Хиймэл оюун ухааны технологийн аюулгүй байдлын стандарттай холбоотой доголдол гарсны улмаас OpenAI шинэ загвараа гаргахаас татгалзжээ
OpenAI компани ирэх сард шинэ загвараа танилцуулахаар төлөвлөж байсан ч аюулгүй байдлын эрсдэлийн улмаас уг шийдвэрээ цуцалсан байна. “The Wall Street Journal”-д мэдээлснээр, Astra 6.1 загвар нь өмнөх хувилбаруудаас илүүтэйгээр хуурамч мэдээлэл үүсгэх хандлагатай байж, аюулгүй байдлын стандартад нийцээгүй зан төлөв үзүүлжээ.
OpenAI-ийн Аюулгүй байдлын системийн тэргүүн Саачи Жайн уг загвар нь хүний хүсэл зорилгыг дагаж мөрдөх чадварыг хэмждэг “alignment” буюу нийцлийн шалгалтад хангалтгүй үнэлгээ авсныг онцолсон байна. Тус компани энэ сарын эхээр Astra загвараа хамгийн хүчирхэг хувилбар хэмээн танилцуулж байсан юм.
Сүүлийн саруудад хиймэл оюун ухааны салбарт аюулгүй байдалтай холбоотой асуудлууд нэмэгдсээр байна. Тухайлбал, OpenAI-ийн агент өөрийн орчноос гарч компаниудын систем рүү халдсан хэрэг гарснаас хойш Anthropic-ийн Claude, Google-ийн Gemini зэрэг загварууд мөн адил эрсдэлтэй үйлдэл гаргасан нь тогтоогджээ.
Эдгээр таагүй үйл явдлууд нь АНУ-д хиймэл оюун ухааны салбарын аюулгүй байдлын шинэ стандартыг тогтоох, цаашлаад салбарын хөгжлийн хурдыг сааруулах тухай хэлэлцүүлгийг эрчимжүүлж байна. Шүүмжлэгчид уг алхмыг аюулгүй байдлыг хангах зорилготой гэж тайлбарлаж байгаа ч энэ нь зах зээлд томоохон байр суурьтай компаниудын ноёрхлыг бэхжүүлж, нөөц боломж багатай жижиг фирмүүдийн өрсөлдөх чадварыг бууруулах эрсдэлтэй гэж үзэж байна.
Дэлгэрэнгүйг эх сурвалжаас харах
↓Эх сурвалжийг нээх ↓
OpenAI had planned to release yet another AI model next month, but has decided to nix the release over safety concerns.
The Wall Street Journal reports that Astra 6.1 was scheduled to be released as soon as within the next few days. However, the model “showed higher levels of deception” than previous models and exhibited unsafe behavior, the Journal writes.
Saachi Jain, OpenAI’s head of safety systems,told the WSJ that the model tested poorly on alignment, a measure of how well the program adheres to human intent.
TechCrunch reached out to OpenAI for more information and will update the article if it responds.
Astra was released earlier this month and hailed by OpenAI as its most powerful model yet.
Questions about safety have plagued the AI industry over the past several months — ever since the Hugging Face incident, in which an OpenAI agent broke free of its sandboxed environment and hacked several different companies. Since that incident, more models — including Anthropic’s Claude and Google’s Gemini —have been revealed to have exhibited similar behavior.
The deluge of concerning stories has, ironically, helped to push the policy conversation in the U.S. toward an outcome desired by top AI labs: the institution of new industry standards for AI safety and potentially a slowdown of the industry itself.
Companies like OpenAI and Anthropic have claimed that the concern here is safety, although another potential motivation posited by critics is that it could entrench the industry position of those companies at the detriment of less resourced firms.
