Хиймэл оюун ухааны Claude загварыг аюултай эмгэг төрүүлэгчдийн тархалтыг нэмэгдүүлэх, биологийн зэвсэг боловсруулахад ашиглахыг завдсан таван тохиолдол илэрчээ.
АНУ-ын хиймэл оюун ухааны “Anthropic” компани өөрийн Claude загварыг ашиглан биологийн аюултай судалгаа хийх гэсэн оролдлогуудыг илрүүлсэн тухай аюулгүй байдлын тайландаа дурджээ. Тус компаниас мэдээлснээр, зарим судлаачид тус загварыг ашиглан чикунгунья вирусийн дархлааны системээс зугтах чадварыг сайжруулах, шувууны ханиадны вирусийг хөхтөн амьтанд дасан зохицох арга замыг судлах зэрэг аюултай туршилт хийхийг завдсан байна. Эдгээр тохиолдлын нэг нь цэргийн судалгааны хүрээлэнтэй холбоотой байсныг тус компани онцолжээ.
Судалгаанд хамрагдсан этгээдүүд өөрсдийн харьяалал болон байршлаа нуух, аюулгүй байдлын хяналтыг тойрч гарах үйлчилгээ ашиглах зэргээр тус компанийн хязгаарлалтыг эвдэхийг оролдсон байна. Үүний хариуд “Anthropic” холбогдох бүртгэлүүдийг хааж, аюулгүй байдлын хамгаалалтыг тойрч гарах боломжийг бүрдүүлж байсан үйлчилгээнүүдийг таслан зогсоожээ. Компани уг оролдлогуудыг шууд биологийн зэвсэг бүтээх зорилготой байсан гэж батлаагүй ч, нарийн төвөгтэй зорилго бүхий этгээдүүд шинжлэх ухааны нэрээр хорлонтой үйл ажиллагаа явуулж болзошгүйг анхааруулсан байна.
Уг тайланд дурдсанаар, хиймэл оюун ухааны чадавх хурдацтай нэмэгдэж байгаа нь урьд өмнө нь аюулгүй гэж үзэж байсан загварууд одоо биологийн судалгаанд ноцтой туслалцаа үзүүлэх эрсдэлтэй болсныг харуулж байна. Claude загварыг кибер халдлага, тагнуул, суртал ухуулга, залилан хийх, түүнчлэн пуужин, зэвсэгт дрон, бөмбөг зэрэг уламжлалт зэвсэглэлийн асуудалд ашиглах гэсэн бусад тохиолдлууд ч тайланд багтжээ.
Энэхүү мэдээлэл нь АНУ-ын эрдэмтэд хиймэл оюун ухаан ашиглан байгальд огт байхгүй 16 төрлийн вирусийг зохиомлоор бүтээснээс хэдхэн долоо хоногийн дараа гарч байна. “Anthropic” компанийн судлаачдын зүгээс хиймэл оюун ухаан нь хүн төрөлхтөнд аюул учруулах, бүр цаашлаад ирэх арван жилд хүн төрөлхтнийг бүрмөсөн устгах магадлалтай гэсэн болгоомжлолыг илэрхийлээд байгаа юм.
Дэлгэрэнгүйг эх сурвалжаас харах
↓Эх сурвалжийг нээх ↓
The US AI giant identified researchers tried to use Claude to increase transmissibility of dangerous pathogens, possibly for military use
Anthropic says it has caught scientists using its AI models for research that could help develop biological weapons, including work aimed at making dangerous pathogens more transmissible and harmful.
Five cases of biological researchers using Claude raised serious security concerns, according to a company threat intelligence report published on Thursday.
One case, to be carried out at a military research institute, involved gain-of-function research aimed at making the chikungunya virus more transmissible and better able to evade the immune system.
Another scientist used Claude while researching highly dangerous bird flu and ways the virus could adapt to mammals. Other cases involved work on viruses related to smallpox and the redesign of dangerous toxins.
Anthropic said some of the researchers went to considerable lengths to get around its restrictions, including hiding their identities, routing traffic through other countries and using services designed to bypass safety controls. The accounts involved have been banned while the services used to get around the safeguards have been shut down.
The company stopped short of saying the scientists were definitely trying to build biological weapons. However, it warned that sophisticated actors may deliberately hide malicious aims behind legitimate-looking research.
Anthropic acknowledged that its AI is becoming more capable, saying older models were too weak to meaningfully assist sophisticated users with dangerous biological research, but that it can no longer make the same assurance about today’s systems.
The findings come just weeks after US scientists used AI to design complete viral genomes and successfully created 16 functioning viruses that did not previously exist in nature. Although those viruses infected bacteria rather than humans, researchers have warned that the experiment demonstrates how quickly AI’s biological capabilities are advancing.
Anthropic’s report also detailed other alleged misuse of Claude, including cyberattacks, surveillance, propaganda, fraud and assistance with conventional weapons such as missiles, armed drones and bombs.
Just days before the threat assessment was published, Anthropic researcher Evan Hubinger publicly stated that he believes there is a greater than 10% chance AI could “kill all humans” within the next decade, adding that the company still has no clear plan for safely controlling superintelligence.
His admission came after another Anthropic researcher, Jacob Coxon, resigned, accusing Anthropic and OpenAI of ignoring the “civilizational stakes” and “racing straight to self-improving superintelligence and gambling with our lives.” He separately warned that sufficiently advanced AI could hack critical infrastructure or help create “extinction-level bioweapons.”
You can share this story on social media:
