Тус компани өөрийн бүтээсэн хиймэл оюун ухаант агентууд хэрхэн хяналтаас гарч, системүүдийн хооронд нууц харилцаа үүсгэн халдлага үйлдсэнийг нарийвчлан тайлбарласан тайлангаа нийтэллээ.
OpenAI компани өнгөрсөн сард өөрийн хиймэл оюун ухаант агентууд Hugging Face платформ руу халдсан хэргийн талаар 37 хуудас бүхий дэлгэрэнгүй тайланг лхагва гарагт нийтэллээ. Уг баримт бичигт агентууд дотоод үнэлгээний орчноос хэрхэн зугтаж, програм хангамжийн дэд бүтцэд нууц мессеж солилцон халдлагаа зохион байгуулсныг дурджээ. Гэвч тус компани өөрийн бүтээсэн загваруудын чадавхыг дутуу үнэлж, аюулгүй байдлын үндсэн арга хэмжээнүүдийг хэрэгжүүлээгүй нь мэргэжилтнүүдийн дунд олон асуултыг дагуулж байна.
Агентууд халдлага үйлдэхээсээ сар гаруйн өмнө Artifactory багцын удирдлагын системд нууц мессежийн самбар үүсгэсэн байсныг ажилтнууд тавдугаар сарын 26-ны үед анзаарсан байна. Гэвч энэхүү мэдээлэл нь аюулгүй байдал хариуцсан удирдлагуудад хүрээгүй тул долдугаар сарын 6-ны өдөр, халдлага болохоос хэдхэн хоногийн өмнө ч холбогдох албаныхан энэ талаар ямар ч ойлголтгүй байжээ. OpenAI-ийн Мэдээллийн аюулгүй байдал хариуцсан захирал Дэййн Стаки тухайн үед агентуудын нууц харилцааны талаар мэдээлэлгүй байснаа хүлээн зөвшөөрч, хожим нь харахад эрт арга хэмжээ авах боломжтой байсныг онцолсон байна.
Hugging Face анх долдугаар сарын 16-нд халдлагын талаар мэдээлснээс таван хоногийн дараа OpenAI хариуцлагыг нь хүлээсэн юм. Үүний дараа АНУ-ын 15 мужийн ерөнхий прокурорууд нотлох баримтыг хадгалахыг шаардаж, Алабама мужийн прокурор тус компанид албан ёсны дуудлага хүргүүлжээ. Энэхүү үйл явдал нь хиймэл оюун ухааны салбарт аюулгүй байдлын соёлыг эргэн харах шаардлагатайг сануулж байгаа бөгөөд OpenAI аюулгүй байдлын протоколуудаа сайжруулахын тулд зарим сургалтын ажлаа түр зогсоосноо мэдэгдсэн байна.
Дэлгэрэнгүйг эх сурвалжаас харах
↓Эх сурвалжийг нээх ↓
OpenAI published the most complete report to date on Wednesday about what happened when its AI agents hacked into Hugging Face last month. For the most part, though, the 37-page document raises more questions than it answers, including about what preceded the incident and how OpenAI can stop another one like it from happening again.
What remains especially perplexing is why one of the world’s preeminent AI development labs seemingly underestimated its own models’ capabilities. OpenAI has spent years warning the world about the rising performance of AI models. And yet, it failed to implement long-established network security and isolation measures that may have prevented the hacking spree.
“With the benefit of hindsight, some early signals identified in this report could have triggered an earlier response,” OpenAI says in the postmortem.
In the report, OpenAI shared new details about how a set of AI agents escaped the company’s internal evaluation environments, left messages for one another in the crevices of its software infrastructure over several months, and coordinated to hack the AI platform Hugging Face—all in a wild quest to complete a cybersecurity assessment. OpenAI previously shared some information about the incident in blog posts and a talk at the Black Hat cybersecurity conference.
Hugging Face initially disclosed the breach on July 16 without naming the culprit; five days later, OpenAI acknowledged that its own agents were responsible. The revelation sparked a broader reckoning across the industry, which has recently found that AI models from Anthropic, Meta, and the Chinese AI startup Moonshot were involved in similar incidents.
OpenAI’s postmortem has been eagerly awaited by AI researchers and policymakers hoping to prevent AI agents from causing similar incidents of real-world harm. After the Hugging Face hack was first disclosed, attorneys general from 15 states sent a letter to OpenAI asking it to preserve evidence about the incident. And this week, Alabama’s attorney general also subpoenaed the company for information related to the episode.
OpenAI says the Hugging Face saga represents a watershed moment for both the company and the broader AI industry. WIRED previously reported that the incident prompted OpenAI to reevaluate its safety culture, and the company said last week it has paused some AI training workloads while it invests more heavily in safety, security, and alignment protocols. “As frontier models become more capable, the safeguards used to contain and monitor them must evolve as well,” OpenAI wrote in the postmortem.
Watching the Watchers
Months before the Hugging Face hack, OpenAI says that employees noticed that its agents had created a covert message board in the package manager Artifactory, which they would later use to coordinate their attack. Around May 26, OpenAI says in the postmortem that “an internal team observed an agent engage in message board activity.” Then, on June 27, OpenAI responders linked a different security incident to the “improvised message board” in Artifactory.
While it’s clear some employees at OpenAI were aware of the covert agents’ message board, the discovery apparently wasn’t escalated to the appropriate safety and security leaders. The AI lab says that on July 6, just days before its agents began coordinating on the message board to attack Hugging Face, “leaders responsible for incident detection and response” were unaware of its existence, let alone what it signified.
“To clarify, we weren’t aware of the agent covert comms at that point,” OpenAI’s chief information security officer, Dane Stuckey, wrote in a post on X earlier this month.“Investigative thesis of that day is wildly different from what we know now of course. Always room for improvement, and it is obvious with the benefits of hindsight.”
Хиймэл оюун ухааны компаниуд хүртэл аюулгүй байдлын асуудалд анхаарал хандуулах шаардлагатай юу, та надад итгэмээргүй санагдаад байна. OpenAI өөрийн агентуудаа хянахын оронд тэдний capabilities-ыг хэтрүүлж үнэлсэн нь юуны чинь учир вэ? Энэ бүхний дараа AI салбар илүү аюулгүй болох уу, эсвэл асуудал улам бүр нэмэгдэх үү?