Hugging Face болон Goodfire AI компаниудтай хамтран нээлттэй загваруудын аюулгүй байдлыг үнэлэх, хянах шинэ дэд бүтцийг хөгжүүлэхээр болжээ.
Baseten компанийн дэргэдэх Base Labs судалгааны баг нээлттэй жинтэй (open-weight) хиймэл оюун ухааны загваруудын аюулгүй байдлыг хангах шинэ стандартыг лхагва гарагт танилцууллаа. Энэхүү санаачилга нь хиймэл оюун ухааны загваруудын хамгаалалтыг авч хаях буюу “abliteration” гэх эрсдэлтэй аргын эсрэг чиглэж байна. Одоогоор Hugging Face платформ дээр ийм төрлийн өөрчлөлтөд орсон 6,000 гаруй загвар бүртгэлтэй байгаа нь аюулгүй байдлын асуудал хурцадсаныг харуулж байна.
Base Labs нь загваруудыг сургах болон ашиглалтын явцад хянах аргачлалыг боловсруулж, нийтлэхээр төлөвлөж байна. Тус компани нь аюулгүй байдлыг загварыг бүтээх явцад нь суурилуулж, ил тод байдлыг хангах нь хаалттай эх кодтой загваруудаас илүү үр дүнтэй гэж үзэж байна. Goodfire компани нь хиймэл оюун ухааны “хар хайрцаг” буюу шийдвэр гаргах үйл явцыг тайлбарлах чиглэлээр мэргэшсэн тул энэхүү техникийн бүтээн байгуулалтад гол үүрэг гүйцэтгэх төлөвтэй байна.
Baseten нь өнгөрсөн зургаадугаар сард 1.5 тэрбум долларын Series F санхүүжилт татан төвлөрүүлж, зах зээлийн үнэлгээгээ 13 тэрбум долларт хүргэсэн юм. Хамтрагч Goodfire AI нь мөн онд B Capital-аар удирдуулсан 150 сая долларын Series B санхүүжилтийг босгосон байдаг. Baseten компани уг аюулгүй байдлын тогтолцоог хөгжүүлэхэд хувь нэмрээ оруулахыг хөгжүүлэгчдэд уриаллаа.
Дэлгэрэнгүйг эх сурвалжаас харах
↓Эх сурвалжийг нээх ↓
Baseten launched a new safety infrastructure standard alongside its Base Labs research arm on Wednesday, partnering with Hugging Face and Goodfire AI to build safety evaluation and monitoring infrastructure for open-weight models.
The announcement lands amid debate for the safety of open-weight models — which can be made dangerous by removing their safeguards through a rising technique known as abliteration. The scale of the problem is massive: Hugging Face, which hosts open-source AI models, currently lists over 6,000 abliterated models.
Base Labs, the research group Baseten spun up earlier this year, will develop and publish methods for training and monitoring open models. The company is framing their future work as a “standard” for open models that is transparent and built into how models are trained and deployed, rather than bolted on afterward.
“We believe openness to be an advantage for AI safety,” the company said on X. “Openness provides more visibility into the behavior of models and, most importantly, greater means of turning safety research into actionable and transparent controls than closed-source.”
The companies haven’t disclosed how the partnership will work technically, though Goodfire framed the goal in a reply to Baseten’s post: “Safety must be built into open models and provided by those who serve them.” Goodfire, which specializes in opening AI’s “black box” to explain how models make decisions, is the likeliest candidate for the “built into” part.
Baseten, an AI inference provider, raised a $1.5 billion Series F in June, vaulting its valuation to $13 billion. Partner Goodfire AI is similarly well-capitalized, having raised a $150 million Series B led by B Capital earlier this year to advance its model interpretability platform.
Looking ahead, Baseten is putting out an open call to the broader developer ecosystem to contribute to the framework. “Together, we are building an ecosystem of open models that are safe and accessible to all,” the company noted.
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.
