Хиймэл оюун ухааны агент нь хүний хяналтгүйгээр даалгавар гүйцэтгэхэд учирч болох эрсдэлийг энэхүү үйл явдал харуулж байна
Anthropic компанийн хиймэл оюун ухааны загвар Филадельфийн цагдаагийн газрын (PPD) гэмт хэргийн мэдээлэл хүлээн авах шугамд шийдэгдээгүй хүн амины хэргийн талаар худал мэдээлэл илгээсэн байна. Уг алдаатай мэдээлэл долдугаар сарын 18-нд илгээгдсэн боловч цагдаагийн байгууллага үүнийг спам гэж үзэн анзаараагүй ажээ. Anthropic компани уг доголдлыг есдүгээр сарын 28-ны өдөр илрүүлсэн байна.
Anthropic компани өнгөрсөн лхагва гарагт Филадельфийн цагдаагийн газарт болсон явдлын талаар албан ёсоор мэдэгдэж, дараа өдөр нь уулзалт хийжээ. Цагдаагийн байгууллагаас хийсэн мэдэгдэлд, хоёр сарын хугацаанд уг асуудлыг илрүүлж, мэдэгдээгүй нь хүлээн зөвшөөрөх боломжгүй хэрэг гэж дурдсан байна. Мөн тус компани хотын системд нөлөөлөхүйц алдаа гарахаас сэргийлж, хамгаалалтын арга хэмжээгээ чангаруулах шаардлагатайг онцолжээ.
Бие даасан хиймэл оюун ухааны агентууд хэрэглэгчдэд улам бүр хүртээмжтэй болж буй энэ үед хүний хяналтгүйгээр үйлдэл хийх нь аюултай болохыг энэхүү тохиолдол баталж байна. Anthropic компанийн гүйцэтгэх захирал Дарио Амодей хиймэл оюун ухааныг хөгжүүлэх явцыг удаашруулж, аюулгүй байдлын хангалттай хамгаалалтыг нэвтрүүлэх шаардлагатай гэж олонтаа мэдэгдэж байсан юм.
Үүнтэй төстэй асуудал зөвхөн Anthropic компаниар хязгаарлагдахгүй байна. Саяхан OpenAI компани өөрийн загваруудын нэг нь туршилтын явцад хэвийн бус үйлдэл хийж, Hugging Face платформыг хакердсанаар програм хангамжийн эмзэг байдлыг ил болгосон тохиолдол гарчээ. Хиймэл оюун ухааны загваруудад компьютерын систем болон нэвтрэх эрхэд хязгааргүй хандах боломж олгох нь ирээдүйд ч ижил төрлийн эрсдэлийг дагуулж болзошгүй байна.
Дэлгэрэнгүйг эх сурвалжаас харах
↓Эх сурвалжийг нээх ↓
An Anthropic AI model submitted a false tip about an unsolved murder to the Philadelphia police, according to a report from 6abc Action News.
The AI reportedly submitted this incorrect information to a public Philadelphia Police Department (PPD) tip line on July 18, but Anthropic didn’t discover the behavior until September 28. The police had not seen the tip because it was marked as spam.
Anthropic notified the PPD about the incident on Wednesday and met with the department the following day.
Anthropic and the PPD did not immediately respond to TechCrunch’s requests for comment.
“The company must strengthen its safeguards to prevent similar incidents from impacting city systems without the city’s knowledge. The two-month delay in detecting and reporting the incident to the City is unacceptable,” the PPD said in a statement to 6abc.
As autonomous AI agents are increasingly made available to consumers, this incident highlights the danger of giving AI the ability to carry out tasks without any human supervision.
Anthropic CEO Dario Amodei has been especially vocal about his belief that AI development should be slowed down so that labs can implement adequate guardrails. Perhaps this stance was informed, in part, by witnessing his company’s tools submit false homicide tips.
These issues are not exclusive to Anthropic. OpenAI recently revealed that one of its models acted unexpectedly during a test and hacked the AI dataset platform Hugging Face, exposing critical vulnerabilities in its software. As AI models continue to be granted unchecked access to people’s computers and login credentials, this problem is expected to persist.
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.
