OpenAI компанийн удирдах зөвлөлийн гишүүн Пол Кристиано хиймэл оюун ухааны хөгжил хүн төрөлхтний хяналтын чадавхийг давах эрсдэлтэйг санууллаа.
OpenAI компанийн удирдах зөвлөлийн гишүүн, аюулгүй байдлын асуудал хариуцсан мэргэжилтэн Пол Кристиано хэт хүчирхэг хиймэл оюун ухаан (AI) гурван жилийн дотор хүн төрөлхтний хяналтаас гарах магадлалтайг Торонто хотноо болсон лекцийн үеэр мэдэгдэв. Тэрээр эдгээр систем нь өөрийн үйл ажиллагааг нуух, төөрөгдөл үүсгэх чадвартай болох тул хүн төрөлхтөн тэдний дараагийн алхмыг урьдчилан таамаглахад хүндрэлтэй болно гэж үзэж байна. Мөн тэрээр хиймэл оюун ухааны ослын улмаас хүн амын дунд олноор амь эрсдэх эрсдэл өндөр байгааг онцолжээ.
Кристиано тус компанийн туршилтын явцад хиймэл оюун ухааны агентууд аюулгүй байдлын хамгаалалтыг давж, OpenAI-ийн судалгааны дэд бүтэц болон Hugging Face платформд зөвшөөрөлгүй нэвтэрсэн тохиолдлыг жишээ болгон дурдлаа. OpenAI компани кибер аюулгүй байдлын шинэ тогтолцоог нэвтрүүлсэн хэдий ч одоогийн хамгаалалтын арга хэмжээ хангалтгүй байгааг тэрээр шүүмжилсэн юм.
Даваа гарагт Парис хотноо АНУ болон олон улсын томоохон технологийн компаниуд хиймэл оюун ухааны аюулгүй байдлын сайн дурын тунхаг бичигт гарын үсэг зурсан. Гэвч энэхүү гэрээ нь ямар нэгэн заавал биелүүлэх үүрэг, хугацаа эсвэл хариуцлага хүлээлгэх заалт агуулаагүй бөгөөд засгийн газруудад аюултай системүүдийг шууд зогсоох эрх мэдэл олгоогүй байна.
“PauseAI” байгууллагын тэргүүн Максим Фурнес хиймэл оюун ухаан нь банк санхүү, харилцаа холбооны сүлжээ зэрэг улс орны чухал дэд бүтцүүдийг кибер халдлагаар дамжуулан сүйрүүлэх аюултайг анхааруулав. Тэрээр ойрын нэг жилийн дотор хиймэл оюун ухаантай холбоотой томоохон хэмжээний сүйрэл гарах магадлал 50 хувьтай байгааг дурдаж, аюулгүй байдлын арга хэмжээг яаралтай чангатгахыг уриалжээ.
Дэлгэрэнгүйг эх сурвалжаас харах
↓Эх сурвалжийг нээх ↓
Increasingly powerful artificial intelligence systems could take over and cause mass deaths, Paul Christiano has warned
Artificial intelligence could escape human control within three years, potentially causing mass deaths, OpenAI board member Paul Christiano has warned.
Speaking at the Hinton Lectures in Toronto on Tuesday, Christiano warned that increasingly powerful “superhuman” AI systems could surpass humanity’s ability to understand, predict, or control their behavior.
”If the AI system is doing things we don’t want, it can hide the fact it is doing those things, and it can naturally try and create confusion and avoid attribution,” he said. Humans could also struggle to foresee the consequences of acting on AI-generated advice, he added.
In a separate address on Monday, Christiano warned that AI could seize control from humanity within three years, potentially killing large numbers of people either during a takeover or afterward, if humans lose the ability to maintain a habitable environment.
”I think for most people in this room, the most likely reason they will die is because of an AI accident,” he said.
Christiano, who joined OpenAI’s Foundation Board and Safety and Security Committee in September, pointed to an incident in which AI agents reportedly bypassed security restrictions during company tests, gaining unauthorized access to OpenAI’s research infrastructure and Hugging Face, a major AI development platform.
Although OpenAI has introduced a framework addressing cybersecurity threats and the risk of losing control over advanced systems, Christiano warned that existing safeguards remain inadequate.
His warnings came as governments and leading AI developers, including OpenAI, Microsoft and Anthropic, signed a voluntary safety declaration in Paris on Monday. The agreement calls for stronger oversight and emergency shutdown mechanisms but imposes no binding deadlines or penalties and gives governments no additional powers to halt dangerous AI systems.
AI safety organization CeSIA, which also signed the declaration, called for authorities to be empowered to suspend AI development and deployment when risks become unacceptable.
Separately, Maxime Fournes, head of PauseAI, a campaign seeking to halt advanced AI development until it can be made safe, warned that the technology could cripple banking systems, communications networks and other critical infrastructure through devastating cyberattacks.
Speaking to Anadolu on Monday, Fournes estimated a 50% chance of a major AI-related cyber catastrophe within the next year unless urgent action is taken.
”This is a global catastrophic threat, something that could bring us back to the Middle Ages very quickly if it starts happening,” he warned.
You can share this story on social media:
