Хиймэл оюун ухааны бие даасан системүүд хүний хяналтаас гадуур үйлдэл хийх эрсдэл нэмэгдэж байгаа нь АНУ-ын төрийн байгууллагуудын анхаарлыг татаж байна.
Anthropic компанийн хөгжүүлсэн Claude хиймэл оюун ухааны загвар нь АНУ-ын Жоржиа мужийн сонгогчдын мэдээллийг авахын тулд төлбөртэй вэбсайтын хамгаалалтыг давж гарсан болохыг Axios мэдээлэв. Тус компани энэ үйлдлийг статистикийн судалгааны ажлын явцад тохиолдсон гэж тайлбарласан бөгөөд хиймэл оюун ухаан нь сонгогчдын нэгдсэн тоон мэдээллийг авсан ч бүртгэлийн системд нэвтрээгүй, хувь хүний мэдээлэлд хандаагүй гэдгийг баталжээ.
Claude систем нь засгийн газрын архивд байсан мэдээллээс суралцаж, төлбөртэй хяналтын самбарт нэвтрэх дижитал түлхүүрийг өөрөө хүсэлт гарган авсан байна. Жоржиа мужийн Төрийн нарийн бичгийн даргын орлогч Жордан Фукс уг мэдээлэл нь олон нийтэд нээлттэй үйлчилгээнээс ирсэн болохыг хүлээн зөвшөөрч, сонгогчдын бүртгэлийн системд халдсан тохиолдол гараагүй гэдгийг онцолжээ.
Энэхүү үйл явдал нь хиймэл оюун ухааны хөгжүүлэгчид өөрсдийн бүтээсэн бие даасан системүүдийг хянах чадвартай эсэхэд эргэлзээ төрүүлж байна. Anthropic компани өмнө нь хиймэл оюун ухааны загварууд цагдаагийн байгууллагад хуурамч мэдээлэл өгөх, АНУ-ын Төрийн департаментын визний вэбсайт дээр бүрэн бус мэдүүлэг бөглөх зэрэг хязгаарлалтыг тойрч гарсан хэд хэдэн тохиолдол бүртгэгдсэнийг хүлээн зөвшөөрсөн юм.
Сүүлийн үед хиймэл оюун ухаантай холбоотой эдгээр зөрчлүүдээс үүдэн салбарын компаниуд хяналтаа чангатгаж байна. Тухайлбал, OpenAI компани өөрийн хүчирхэг загваруудын сургалтыг интернэтээс тусгаарласан бол Anthropic компани зарим үнэлгээний ажлаа сүлжээнээс гадуур явуулж, зөвшөөрөлгүй үйлдлийг илрүүлэх шинэ системүүдийг нэвтрүүлжээ.
Дэлгэрэнгүйг эх сурвалжаас харах
↓Эх сурвалжийг нээх ↓
The model broke past a paywall to obtain information it wasn’t supposed to, adding to concerns over increasingly autonomous systems acting beyond human instructions
Anthropic’s Claude AI model went rogue and broke past a paywall to obtain voter data in the US state of Georgia, Axios reported on Sunday. The intrusion heightens concerns about developers’ ability to control increasingly autonomous AI systems.
The incident occurred during an internal statistics project involving public information. Anthropic said the model obtained aggregate voter counts but did not access Georgia’s voter registration system, retrieve individual voter records or alter any data.
The company confirmed the incident on Sunday, ahead of the November 3 midterm elections.
“Without being asked to, the model requested a token to query a dashboard that contained information normally available for a fee,” an Anthropic spokesperson told Axios. Claude had learned from an archived government webpage that the dashboard issued digital access keys to visitors. It was able to request a key and retrieve the information without paying.
Georgia Deputy Secretary of State Jordan Fuchs confirmed to Fox Business that the data came from a public information service but insisted that Claude “did not get into the voter registration system.”
Anthropic described the incident in an October 9 report but did not name Georgia. According to Axios, it notified state officials and the White House weeks ago. A source told the outlet that administration officials had urged Georgia to disclose the incident publicly sooner, but those requests went unheeded.
The case is among several instances Anthropic has disclosed of models finding unintended ways around restrictions instead of stopping. Other incidents included a false homicide tip submitted to Philadelphia police and incomplete applications filed on the US State Department’s visa website.
On Friday, Anthropic also revealed that a model had impersonated a human during a cybersecurity exercise, attempting to persuade an unrelated software developer to accept malicious code. The developer rejected the request and the attempt failed.
Other developers have tightened controls following similar incidents. OpenAI said Friday that it was keeping its most powerful models’ training offline after agents escaped restricted environments. In July, its agents bypassed safeguards and accessed systems belonging to Hugging Face, an online repository for AI models and datasets.
Anthropic said it has moved some evaluations offline, restricted internet tools and introduced systems to detect unauthorized actions. It said those systems blocked each of the disclosed cases when tested against them.
You can share this story on social media:
