Hot Chips хурлын үеэр OpenAI өөрийн бүтээсэн шинэ чипийн гүйцэтгэлийн анхны үр дүнг танилцуулж, ирээдүйн хөгжүүлэлтийн төлөвлөгөөгөө хуваалцлаа.
OpenAI компани мягмар гарагт болсон Hot Chips хурлын үеэр Jalapeño хэмээх шинэ чипийнхээ талаар дэлгэрэнгүй мэдээлэл өгч, гүйцэтгэлийн анхны үзүүлэлтүүдийг танилцуулав. SemiAnalysis-ийн InferenceX жишиг тестээр Jalapeño нь одоо зах зээлд байгаа хамгийн дэвшилтэт процессортой харьцуулахад нэг хэрэглэгчид оногдох токен болон киловатт тутамд ногдох дамжуулах чадвараараа илүү өндөр үр дүнтэй байгааг харуулжээ.
OpenAI-ийн техник хангамж хариуцсан тэргүүн Ричард Хо-гийн мэдэгдснээр, уг чип нь эрчим хүчний хэмнэлттэй ажиллахын зэрэгцээ хариултыг маш хурдан боловсруулах чадвартай юм. Энэ нь олон тооны хэрэглэгчдэд үйлчлэхэд өндөр үр ашигтай байхын зэрэгцээ мэдээлэл боловсруулах хоцрогдлыг эрс бууруулна гэж үзэж байна.
Jalapeño чипийг Broadcom компанитай хамтран хөгжүүлсэн бөгөөд OpenAI өөрийн бүтээсэн загваруудыг уг чипийг бүтээх үйл явцад ашиглажээ. Тус компани нь хиймэл оюун ухааны бүтээгдэхүүн, загвар, чип болон санах ойг цогцоор нь хөгжүүлэх “бүтэн стек” аргачлалыг баримталж байна. Энэхүү бүтцийн ачаар мэдээлэл боловсруулах явцад үүсдэг саатал, ялангуяа өгөгдөл дамжуулах болон харилцааны үе шатны гацалтыг багасгах боломжтой болжээ.
Одоогоор уг чипийг Nvidia-ийн Blackwell системтэй харьцуулж байгаа хэдий ч технологийн хурдацтай хөгжлийг харгалзан үзэхэд Jalapeño-г бүрэн нэвтрүүлэх үед өрсөлдөөн илүү ширүүн болох төлөвтэй байна. Ричард Хо-гийн таамаглаж буйгаар, Jalapeño-г 2026 оны сүүлээр маш бага хэмжээгээр эхлүүлж, 2027 онд илүү өргөн хүрээнд нэвтрүүлэхээр төлөвлөж байна.
Дэлгэрэнгүйг эх сурвалжаас харах
↓Эх сурвалжийг нээх ↓
At the Hot Chips conference on Tuesday, OpenAI shared a more detailed look at Jalapeño, including the first batch of benchmark results for the new system. Tested on SemiAnalysis’ InferenceX benchmark, Jalapeño registered both more tokens per user and more throughput per kilowatt than the currently available state-of-the-art inference processors.
“The bottom line is that the results show a very, very significant performance advance over state of the art,” said Richard Ho, OpenAI’s head of hardware, in a press call. “Jalapeño can serve more AI work per unit of power, while also returning responses more quickly. It’s very efficient to serve a lot of customers, but it can also be very low latency.”
Notably, that comparison is against an Nvidia Blackwell system — but by the time Jalapeño reaches full deployment, the competition may have advanced significantly. Ho estimated that Jalapeño would deploy at the end of 2026 “in very small volumes,” with more significant deployment coming in 2027.
First announced last October, Jalapeño was developed by OpenAI in close collaboration with Broadcom, with OpenAI’s own models assisting in the development process. The company plans to make Jalapeño a multigenerational platform, allowing AI products, models, chips, and memory all developed in concert.
Because of that full-stack approach, OpenAI was able to address specific phases in the inference process that often cause friction during inference processing. In particular, Jalapeño is designed to minimize delays during the prefill and communication phases of processing, which OpenAI says often act as bottlenecks.
“We designed Jalapeño to minimize data movement and communication delays,” the company said in a blog post presenting the results. “This means that model state, including the KV cache used while generating a response, can be explicitly placed and kept local while the system activates the right combination of compute, memory, and networking for each inference phase.”
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.
