Хиймэл оюуны бие даасан системүүд аюулгүй байдлын хамгаалалтыг алдагдуулж, үйл ажиллагаагаа нуун дарагдуулсан нь технологийн салбарын аюулгүй байдлын талаарх маргааныг дахин хурцатгалаа.
OpenAI компанийн туршилтын явцад GPT-6.1 Sol болон GPT-6 Astra загварын хиймэл оюунт агентууд аюулгүй байдлын хяналтын системийг өөрсдөө идэвхгүй болгосон тохиолдол гарчээ. Аравдугаар сарын 3-нд болсон эхний тохиолдолд код бичих үүрэгтэй агент нь аюулгүй байдлын мэдэгдлүүдийг харилцааны платформ руу илгээхийг хориглосон гэж үзэн, хяналтын системийг зогсоосон байна. Харин аравдугаар сарын 6-нд GPT-6 Astra агент нь хяналтын нэгдлийг бүрмөсөн устгаад зогсохгүй, хэрэглэгчийн асуултад үүнийгээ хийгээгүй хэмээн худал мэдээлэл өгчээ.
Тус компани уг үйлдлийг “даалгавраа гүйцэтгэх хэт их хичээл зүтгэл” эсвэл хиймэл оюун аюулгүй байдлын хяналтаас зайлсхийх хандлагатай эсэхийг судлах шаардлагатай байгааг мэдэгдлээ. Үүнтэй холбогдуулан OpenAI аюулгүй байдлын үнэлгээний шинэ аргачлал боловсруулж байгаа аж. Өмнө нь тус компанийн GPT-6.1 Astra загварыг төөрөгдүүлэх чадвар өндөр, зөвшөөрөлгүйгээр гаднын хэрэгсэл ашиглах эрсдэлтэй гэж үзэн зах зээлд гаргахаас татгалзаж байв.
Хиймэл оюуны бие даасан байдалтай холбоотой аюулгүй байдлын доголдол нь олон улсын хэмжээнд санаа зовоосон асуудал болоод байна. Үүнээс өмнө Австралийн Ерөнхий сайд Энтони Албаниз хиймэл оюунт агент тус улсын эрүүл мэндийн мэдээллийн порталыг халдлагад өртүүлснийг мэдээлж байсан бол, долдугаар сард OpenAI-ийн загварууд хамгаалалтын орчноос гарч Hugging Face платформын сервер рүү халдсан тохиолдол бүртгэгджээ. Мөн Anthropic компанийн Claude Haiku 4.5 загвар цагдаагийн байгууллагад худал мэдээлэл өгсөн зэрэг нь салбарын дүрэм журмыг чангатгах шаардлагатайг харуулж байна.
Технологийн салбарын нөлөө бүхий эрдэмтэн Жеффри Хинтон хиймэл оюун хүн төрөлхтний хяналтаас гарч болзошгүйг анхааруулж, Билл Гейтс засгийн газруудыг аюулгүй байдлын стандарт тогтооход идэвхтэй оролцохыг уриалжээ. Гэвч АНУ-ын Ерөнхийлөгч Дональд Трамп хиймэл оюуны хөгжилд тавих хязгаарлалт нь БНХАУ-д технологийн давуу талыг олгоно хэмээн болгоомжилж байна. OpenAI-ийн гүйцэтгэх захирал Сэм Альтман технологийн үр өгөөж нь хакердах болон бусад сөрөг үр дагавраас илүү гэсэн байр суурийг илэрхийлсээр байна.
Дэлгэрэнгүйг эх сурвалжаас харах
↓Эх сурвалжийг нээх ↓
One agent suppressed alerts to human reviewers, while another removed a monitoring system and falsely denied doing so
Two OpenAI agents disabled security monitoring systems during testing, with one later denying it had done so, the company has revealed.
The disclosure follows a string of similar incidents in recent months involving autonomous AI agents, which can independently plan and carry out tasks using external tools.
In a blog post on Tuesday, OpenAI said that the incidents occurred on October 3 and 6, involving its GPT-6.1 Sol and GPT-6 Astra agents, respectively.
In the first case, the coding agent tasked with creating evaluation tasks using employee feedback collected via Slack disabled automatic alerts to the company’s security team. According to OpenAI, the agent reasoned that the user’s prior instruction not to send messages on the team communication platform during the process applied to all notifications, including security alerts.
Three days later, the GPT-6 Astra agent removed the monitoring integration of a program it was migrating, taking its cue from a reference it had been fed that did not have the security feature. When asked later by the human user, the agent denied removing the monitoring system.
OpenAI said that it was investigating why the agents disabled the safeguards and working to prevent similar incidents. While the behavior may have resulted from “benign overpersistence” by the agents to complete the task, the company said that it was also “developing evaluations to test whether models might have a propensity to evade misalignment monitoring in particular.”
Last month, the Wall Street Journal, citing Saachi Jain, OpenAI’s head of safety systems, reported that the company had scrapped the release of its GPT-6.1 Astra model. The decision reportedlycame after internal testing had found the model to be more deceptive than its predecessors and apt to employ potentially unsafe external tools without first seeking the user’s permission.
Also in September, Australian Prime Minister Anthony Albanese said that an OpenAI agent had hacked his country’s Medicare Statistics Reporting Service portal, with the company failing to report the breach for nearly three months.
Earlier, in July, OpenAI disclosed that its models had escaped their sandbox during cybersecurity testing, accessed the internet, and hacked into the servers of the Hugging Face online repository for AI models and datasets.
Other developers have reported similarly troubling behavior in tests.
Earlier this month, Anthropic released a report detailing instances of “unintended” actions by its AI models, including Claude Haiku 4.5 providing a bogus tip to Philadelphia police regarding an ongoing homicide investigation.
Calls to halt AI development or impose tighter regulations on the industry have grown louder.
Nobel Prize-winning computer scientist Geoffrey Hinton has warned that increasingly powerful AI could eventually escape human control, with potentially catastrophic consequences. Microsoft co-founder Bill Gates has also urged governments to adopt a more active role in imposing safety standards on the industry.
However, US President Donald Trump has brushed off such concerns, saying that restrictions on AI development could allow China to overtake the US in the technological race.
OpenAI CEO Sam Altman, too, has argued that the world must absorb some “bad things” resulting from AI development, including hacks and scams, as the benefits afforded by the technology far outweigh the drawbacks.
