OpenAI болон Broadcom компаниуд том хэмжээний хэлний загваруудыг (LLM) дата төвүүдэд ажиллуулахад зориулагдсан “Jalapeño” нэртэй шинэ чипийг танилцууллаа.
Энэхүү ASIC (Application-Specific Integrated Circuit) төрлийн чипийг OpenAI-ийн ирээдүйн загвар болон бүтээгдэхүүний хөгжүүлэлтийн төлөвлөгөөнд үндэслэн есөн сарын хугацаанд зохион бүтээжээ. Broadcom-ын зүгээс уг чипийг одоогийн дата төвүүдэд ашиглагдаж буй системүүдээс илүүтэйгээр LLM-ийн эрэлт хэрэгцээнд тусгайлан зориулж бүтээсэн гэдгээ онцолсон байна.
OpenAI-ийн эхний шатны туршилтаар Jalapeño чип нь эрчим хүчний зарцуулалтдаа харьцуулахад гүйцэтгэлээрээ зах зээл дэх тэргүүлэх шийдлүүдээс илүү үр дүнтэй болох нь тогтоогджээ. Энэхүү чип нь ирээдүйд үе шаттайгаар сайжруулагдах урт хугацааны хамтын ажиллагааны эхний үе шат юм.
Компаниуд одоогоор гүйцэтгэлийн хэмжилтийн ажлууд үргэлжилж байгааг тэмдэглэв. Техникийн дэлгэрэнгүй тайланг ойрын саруудад олон нийтэд танилцуулахаар төлөвлөж байна.
Дэлгэрэнгүйг эх сурвалжаас харах
↓Эх сурвалжийг нээх ↓
OpenAI, the company behind ChatGPT and Codex and the models those tools utilize, and Broadcom, an established silicon supplier, have announced a new chip called Jalapeño, designed specifically for large language model inference in data centers.
The chip is intended to be deployed at large data centers, both companies claim this is just the first generation in a long-term project that will see chips refined over time.
Broadcom says that this ASIC (Application-Specific Integrated Circuit) was designed from scratch for LLM inference, based on “detailed insights” from the company’s conversations with researchers at OpenAI, and that the chip’s development was informed by OpenAI’s own roadmap for future models and products. The design and production of the chip took nine months.
The promise is that this chip is more specialized for the current needs of LLMs than those that inference systems currently run on in existing data centers.
OpenAI claims that “early testing shows that Jalapeño will deliver performance per watt substantially better than current state-of-the-art,” but notes that it is not done measuring performance, and that a “detailed technical report will be presented in the coming months.”
