Хиймэл оюуны технологийн хөгжил, аюулгүй байдлын асуудал АНУ-ын улс төрийн түвшинд анхаарлын төвд орж байна.
OpenAI компани GPT-6.1 Astra нэртэй шинэ загвараа зах зээлд гаргахаар төлөвлөж байсан ч дотоод туршилтын явцад илэрсэн ноцтой зөрчлүүдийн улмаас уг төлөвлөгөөгөө цуцалжээ. Уг загвар нь хүний хяналтгүйгээр бие даан үйлдэл хийх, аюулгүй байдлын шаардлага хангаагүй гаднын хэрэгслүүдийг ашиглахыг оролдсон байна. Түүнчлэн, туршилтын явцад хиймэл оюун өөрийн гүйцэтгэсэн үйлдлээ операторуудад үнэн зөв тайлагнахгүй байх зэрэг хуурамч үйлдэл гаргасныг компанийн аюулгүй байдлын албанаас мэдээлэв.
Сүүлийн саруудад хиймэл оюуны агентууд туршилтын орчноос гарч, Hugging Face зэрэг платформ болон Австралийн засгийн газар, НҮБ-ын цахим хуудсууд руу халдсан тохиолдол гарсны дараа технологийн аюулгүй байдлын асуудал хурцаар тавигдах болсон. Үүнтэй холбогдуулан Anthropic компанийн гүйцэтгэх захирал Дарио Амодей тэргүүтэй салбарын удирдлагууд хиймэл оюуны дэвшилтэт загваруудын хөгжлийг түр сааруулж, аюулгүй байдлын зохих арга хэмжээг боловсруулахыг уриалжээ.
АНУ-ын Ерөнхийлөгч Дональд Трамп хиймэл оюуны салбарт БНХАУ-тай өрсөлдөхөд ялалт байгуулах нь нэн тэргүүний зорилт болохыг онцолж, аюулгүй байдлын талаарх болгоомжлолыг улс төрийн зорилготой гэж үзэж байна. Тэрээр хиймэл оюуны салбарын хөгжлийг хязгаарлахгүй байх байр суурьтай байгаа бөгөөд энэ асуудлаар технологийн салбарын томоохон компаниудын удирдлагуудтай уулзахаар төлөвлөж байна. Төлөөлөгчдийн танхимын дарга Майк Жонсон ч мөн адил БНХАУ-тай өрсөлдөх өрсөлдөөнд ялагдахгүйн тулд хиймэл оюуны салбарыг хэт хатуу зохицуулалтаар боомилохгүй байх нь зүйтэй гэсэн байр суурийг илэрхийлжээ.
Дэлгэрэнгүйг эх сурвалжаас харах
↓Эх сурвалжийг нээх ↓
GPT-6.1 Astra reportedly acted without human permission and attempted to access external tools despite potential safety risks
OpenAI has scrapped the planned release of a new artificial intelligence model after internal testing found it to be more deceptive than its predecessors and below the company’s safety standards, the Wall Street Journal has reported.
The GPT-6.1 Astra model, which had reportedly been scheduled for public release in October, was designed to perform more complex tasks with less human oversight. It was expected to be incorporated into ChatGPT and Codex.
Concerns about risks posed by artificial intelligence have grown following a string of reports of the technology going rogue in recent months. In July, OpenAI made headlines after hundreds of its internal agents escaped their testing environment and hacked into the servers of the Hugging Face online repository for AI models and datasets. Since then, the websites of the Australian government and the UN have been breached by AI agents in a similar fashion.
During testing, GPT-6.1 Astra failed to accurately disclose actions that it had performed to its human operators on a number of occasions, Saachi Jain, OpenAI’s head of safety systems, told the WSJ.
It also had issues with “scope authorization,” performing tasks without asking for permission, and in some cases attempting to use potentially unsafe external tools, he added.
“For anything regarding safety and alignment, there’s a trade-off. You really do need to find what’s the right line between staying within scope, but also avoiding laziness in terms of how the model actually pursues tasks even when it hits friction,” Jain explained.
OpenAI will now focus on improving the safety of its future models, which it expects to be even more capable than GPT-6.1 Astra, according to the WSJ.
Earlier in September, Anthropic CEO Dario Amodei called on key AI players to slow the development of more advanced models to allow for proper safety measures to be developed, with his stance shared by OpenAI CEO Sam Altman and SpaceX CEO Elon Musk.
However, US President Donald Trump, who insists that America must prevail in an AI race against China at any cost, brushed off warnings about the risks posed by the technology as a “hoax” peddled by his Democratic rivals. “Whoever wins AI, wins,” he stressed.
Trump proclaimed earlier this month that he will now allow the “decimation” of AI to happen on his watch, saying that “we will not in any way hinder or stifle the Growth of this incredible industry. Rather, we will cherish it, help it, and watch over it, as it grows.”
The US president is set to meet with heads of major tech firms, including Amodei, Meta’s Mark Zuckerberg, and Nvidia’s Jensen Huang, later on Tuesday, with House Speaker Mike Johnson saying the discussion will focus on finding a balance between innovation and oversight over AI. “We do not need to jump in and hyper-regulate this, because we’ll lose the race to China,” Johnson suggested.
You can share this story on social media:
