Нууцлал, аюулгүй байдлыг тэргүүнд тавьсан гэж зарласан тус аппликейшн нь хэрэглэгчийн мэдээлэлд хандах эрхийг хөндөж болзошгүй эмзэг байдалтай болох нь тогтоогджээ.
Meta компани саяхан танилцуулсан Muse хиймэл оюун ухааны туслах нь нууцлал, аюулгүй байдлын үүднээс бүтээгдсэн гэж Марк Зукерберг онцолсон хэдий ч macOS үйлдлийн системд “zero-day” буюу шинээр илэрсэн аюултай цоорхойтой нь тогтоогдсон байна. Энэхүү алдаа нь тухайн төхөөрөмж дээр ажиллаж буй дурын аппликейшн эсвэл командын мөрөөр дамжуулан Muse-ийн удирдлагыг бүрэн гартаа авах боломжийг олгож байжээ. Аюулгүй байдлын мэргэжилтэн Патрик Уордлын тайлбарласнаар, халдагчид энэхүү цоорхойг ашиглан хэрэглэгчийн бүртгэлийн түлхүүрийг олж авах, улмаар хиймэл оюун ухааны туслахаар дамжуулан хортой файл суулгах, камерын зураг авах зэрэг үйлдлийг хэрэглэгчдэд мэдэгдэлгүйгээр гүйцэтгэх эрсдэлтэй байсан аж.
Muse нь хэрэглэгчийн цахим шуудан, хуанли, олон нийтийн сүлжээний хаяг болон бусад хувийн мэдээлэлд бүрэн хандах эрхтэйгээр ажилладаг тул Apple компанийн тогтоосон аюулгүй байдлын хамгаалалтын давхаргыг бүхэлд нь хөндөж байв. Уг асуудал илэрсэнтэй холбогдуулан Amazon компани өнгөрсөн ням гарагт Muse-ийг өөрийн сайт руу нэвтрэхийг хориглосон байна. Мэргэжилтнүүдийн зүгээс Meta-гийн хөгжүүлэгчид дуут бичлэгийг төхөөрөмж дээр биш, үүлэн технологид суурилан боловсруулсан нь ийм төрлийн халдлага гарах нөхцөлийг бүрдүүлсэн гэж үзэж байна.
Аюулгүй байдлын энэхүү ноцтой алдаа илэрснээс хойш 12 гаруй цагийн дараа Meta компани “hotfix” буюу яаралтай засварлалтыг гаргаж, цоорхойг хаасан гэж мэдэгдлээ. Хэдийгээр тус компани хиймэл оюун ухааны туслахын аюулгүй байдлын талаарх баримт бичгүүдийг нийтэлж, хэрэглэгчдийн итгэлийг олохыг хичээж байгаа ч Anthropic болон Google-ийн загваруудад ч мөн адил аюулгүй байдлын асуудал үүссэн нь салбарын хөгжлийг удаашруулах шаардлагатай гэх шүүмжлэлийг дагуулсаар байна.
Дэлгэрэнгүйг эх сурвалжаас харах
↓Эх сурвалжийг нээх ↓
Meta founder and CEO Mark Zuckerberg has gone to great lengths to hype the security of its new AI assistant, Muse, claiming it is “built from the ground up for privacy and security.” A zero-day vulnerability that gives locally run apps and terminal commands complete control of the agent raises serious doubts. Further raising questions, Amazon on Sunday began blocking Muse from its site.
Meta introduced Muse a few weeks ago. The assistant “books appointments, fills out forms and handles customer service,” “proactively takes tasks off your plate,” and can “make purchases, generate images, create documents, and connect with your favorite apps and services.” The macOS app (curiously, there’s no Windows version) also works with a user’s WhatsApp, email, calendar, and social media accounts. When a task requires a tool that doesn’t exist, Muse creates one on the fly.
Meta Doth Hype Muse Security Too Much
Of course, for Muse to do any of these things, users must first give it access to their accounts. This includes authenticating the assistant to each service and, because the app runs on macOS, giving it permissions to a broad range of operating system-restricted device resources, like writing files to disk, accessing the mic and camera, and monitoring location and calendars. Apple has spent years developing these defenses to prevent installed apps or commands entered into the terminal from accessing these resources, clearly because the company considers them a security threat. Muse completely undoes these default measures.
The zero-day allowed any app or terminal command to gain access to the token that authenticates users to their Muse account. Meta developers designed the assistant so that any locally installed app or executed code, regardless of the macOS permissions it has, can change a long list of undocumented settings. Most of them are fairly innocuous, such as controlling dark mode. One setting, however, was anything but innocuous. It allowed processes to change the endpoint where transcription occurs. Normally, it’s a server address operated by Meta. Attackers could have exploited this flaw by changing the location to their own endpoint. If that happened, the attackers would have had the token that gives complete control over the Muse account.
“We can manipulate the agent and leverage its privileges to do whatever we want,” Patrick Wardle, the macOS security expert who discovered the zero-day, told Ars ahead of the hotfix. “So instead of us having to write a very comprehensive Mac malware stealer, we can just leverage the AI assistant itself.” Wardle said he has developed several proof-of-concept attacks that do things like writing malicious files to disk and snapping pictures, in many cases with no indication to even an alert user.
More than 12 hours after this post went live, Meta said it released a hotfix that patched the 0-day.
Meta has published two posts in as many weeks documenting the design decisions that went into ensuring an assistant with such extraordinary access to user data and resources is secure and private. The posts come amid revelations that internal testing of models from Anthropic and Google has resulted in security breaches of external, third-party networks that the engineers involved never intended to target. In traditional human-only hacking, these actions could likely result in the filing of criminal charges. The Meta posts are likely mindful of the resulting blowback and the calls to slow down AI development in response.
Wardle said that Meta developers made several design decisions that made his exploit possible. One is the choice for Muse dictation to occur in the cloud, where Meta can log it. macOS has long provided a simple means for apps to handle dictation and transcription in processes that stay securely on the device. Had the developers chosen this safer alternative, the attack wouldn’t have been possible.
