Технологийн аварга компаниуд PyTorch хэрэгсэлд суурилсан шинэ шийдлүүдийг танилцуулснаар хөгжүүлэгчдэд NVIDIA-гийн GPU-ээс хамааралгүйгээр AI загваруудаа өөрсдийн чип дээр ажиллуулах боломжийг олгож байна.
Мягмар гарагт Google компани удаан хүлээгдсэн TorchTPU төслөө нээлттэй эх сурвалж (open-source) хэлбэрээр танилцууллаа. Энэхүү шийдэл нь AI хөгжүүлэгчдэд PyTorch дээр суурилсан загваруудаа кодоо дахин бичих шаардлагагүйгээр Google-ийн Tensor Processing Unit (TPU) чип болон Google Cloud платформ дээр шууд ажиллуулах боломжийг бүрдүүлж байна.
Үүний өмнөхөн буюу даваа гарагт Amazon компани мөн ижил төстэй TorchNeuron хэрэгслээ танилцуулсан юм. Энэ нь хөгжүүлэгчдэд AI загваруудаа AWS орчинд, Amazon-ы Trainium чип дээр ажиллуулах боломжийг олгож байгаа бөгөөд тус компани PyTorch-ийн үндсэн төсөлд өөрийн кодыг оруулснаар дээрх хэрэгслүүдийг NVIDIA-гийн техник хангамжаас хамааралгүйгээр илүү өргөн хүрээнд ашиглах нөхцөлийг бүрдүүлэхээр ажиллаж байна.
Google-ийн хувьд Meta, Hugging Face, vLLM бүтээгч Inferact, SGLang бүтээгч RadixArk зэрэг байгууллагуудтай хамтран ажиллаж, TorchTPU-ийн ажиллагааг сайжруулснаараа ялгарч байна. Түүнчлэн тус компани хөгжүүлэгчдэд зориулсан TPU agent suite хэрэгслийг нэвтрүүлж, LiteRT хэрэгслээ шинэчилснээр гар утас, зөөврийн компьютер болон бусад төхөөрөмжүүд дээр PyTorch загваруудыг илүү үр дүнтэй ажиллуулах боломжийг бүрдүүлжээ.
Хэдийгээр эдгээр алхам нь хөгжүүлэгчдийг NVIDIA-гийн техник хангамжаас шууд татгалзахад хүргэхгүй ч Google болон Amazon-ы зүгээс зах зээл дээрх NVIDIA-гийн давуу талыг хязгаарлах томоохон оролдлого хийж байгааг харуулж байна. PyTorch нь өнөөдөр AI салбарын програмуудын 85 орчим хувьд ашиглагдаж буй түгээмэл хэрэгсэл бөгөөд 2022 онд Meta компани уг төслийн удирдлагыг Linux Foundation-д шилжүүлсэн билээ.
Дэлгэрэнгүйг эх сурвалжаас харах
↓Эх сурвалжийг нээх ↓
On Tuesday, Google announced that TorchTPU, its long-awaited version of PyTorch, is now available as an open-source project. With this, Google joins Amazon in trying to break Nvidia’s stranglehold on the AI industry, where most AI apps are written by default to run on Nvidia’s chips, or GPUs.
PyTorch is the popular open-source toolkit that AI app developers and startups use to build, train, and run AI models. It is, by some accounts, used by 85% of the AI apps. PyTorch was originally developed by Meta (then Facebook) in 2016, long before the world had an inkling that LLMs would change the world. At the time, Nvidia’s GPUs were already the standard hardware for AI research, so many of PyTorch’s features were built to work specifically with them. In 2022, Meta turned PyTorch over to the Linux Foundation, a nonprofit that manages many important open source projects.
Google’s version, TorchTPU, lets AI apps run on Google’s AI chips, called Tensor Processing Units (TPUs). It also makes it easy to move existing PyTorch apps to TPUs and, therefore, to Google Cloud. Developers can do this with a simple configuration change and no re-writing of their apps.
Amazon made a similar announcement Monday, when it released its own version of PyTorch, called TorchNeuron. TorchNeuron allows AI apps to be ported to Amazon’s homegrown AI chip, Trainium, and to AWS with no rewriting. Amazon also said it going even further in its effort to loosen Nvidia’s hold on PyTorch. It is submitting code to the main PyTorch project that decouples various features from Nvidia’s chips, making it more open to any hardware by default.
Google may be one-upping Amazon in a few ways, however. It says it worked directly with Meta, Hugging Face, Inferact (maker of vLLM) RadixArk (maker of SGLang), and others to ensure that TorchTPU’s features and code libraries work well with these popular AI development tools, just as the original PyTorch does.
Plus the search giant has launched a dedicated tool, the TPU agent suite, to help developers move their apps to Google’s chips and cloud and fix errors along the way. It even updated its popular LiteRT tool, which runs AI on phones, laptops and embedded devices, to work better with PyTorch AI apps.
None of this means AI app developers will automatically ditch Nvidia’s hardware en masse just because they can now easily move to alternative chips and clouds. But Amazon and Google are clearly working to end Nvidia’s advantage.
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.
