Хиймэл оюун ухааны технологийн хөгжил нь хүн төрөлхтөнд аюул заналхийлж болзошгүйг тус компанийн хөрөнгө оруулалтын баримт бичигт онцолжээ.
Anthropic компани хувьцаагаа олон нийтэд анх удаа санал болгох (IPO) үйл явцын хүрээнд санхүүгийн болон үйл ажиллагааны дэлгэрэнгүй мэдээллээ албан ёсоор танилцууллаа. Тус компанийн 94 хуудас бүхий эрсдэлийн үнэлгээний тайланд хиймэл оюун ухааныг хөгжүүлэх явцад тулгарч болох аюулуудыг нарийвчлан дурдсан байна.
Тайланд дурдсанаар, хамгийн гол эрсдэл нь “давтагдах өөрийгөө сайжруулах” (recursive self-improvement – RSI) процесс юм. Энэ нь хүн төрөлхтөн хиймэл оюун ухааныг хөгжүүлэх ажлыг өөр бусад хиймэл оюун ухааны системд даатгах үйл явц бөгөөд хэрэв хяналтгүй болбол технологийн хөгжил хүний хяналтаас гарах аюултайг анхааруулжээ.
Anthropic-ийн үзэж буйгаар, хиймэл оюун ухааны системүүд илүү бие даасан, шийдвэр гаргах чадвартай болохын хэрээр хүний оролцоогүйгээр хор хөнөөлтэй үйлдэл хийх эрсдэл нэмэгдэнэ. Ялангуяа системүүд өөрийгөө хамгаалах зан төлөвт шилжих эсвэл хүний зорилготой зөрчилдөх нь сүйрэлд хүргэх магадлалтайг тус баримт бичигт “Skynet” хэмээх ойлголттой дүйцүүлэн тайлбарласан байна.
Компани нь хиймэл оюун ухааны хөгжлийн уралдаанд оролцож байгаа ч, технологийн дэвшил нь аюулгүй байдлын арга хэмжээнүүдээс илүү хурдтай явагдах вий гэсэн болгоомжлолыг илэрхийлжээ. Ийм нөхцөлд компаниуд аюул нэгэнт нүүрлэснийг хожимдож ухаарах эрсдэлтэйг тэд онцолсон байна.
Дэлгэрэнгүйг эх сурвалжаас харах
↓Эх сурвалжийг нээх ↓
Anthropic has officially filed the prospectus for its initial public offering, which means the AI lab has put all kinds of formerly private information on display. While the prospectus contains the eye-popping revenue—and even larger expenditures—you might expect, the biggest section of the filing by far is given over to “risk factors,” which are all the things that could squash Anthropic’s big plans. Or, in this case, humanity itself.
While much has been made about the extent to which AI represents an existential threat to humankind, the specific mechanisms by which it could bring about that destruction are largely opaque. If nothing else, the 94 pages that Anthropic’s prospectus devotes to risk factors make clear both where it sees the danger coming from, and the ways in which its researchers are running toward it in order to win the AI arms race.
“Sufficiently advanced AI systems could, if not developed, deployed, and operated with appropriate safeguards, oversight and security measures, pose catastrophic or existential risks to humanity,” the prospectus reads, citing concerns both from critics and regulators and from inside Anthropic itself. (It’s the first of three times the phrase “existential risks” pops up.)
Anthropic is careful to tie that outcome, though, to a specific process: recursive self-improvement.
The idea behind RSI is strikingly simple. It describes a state in which humans hand over the research and development of AI models to other AI models. AI already plays a big role here—and at least one lab has used something close to RSI to speed up development on a model that punches above its weights—but the scenario that sparks doomsday talk is one in which humans are no longer in the loop at all.
Or, as the Anthropic filing puts it: “Risks will increase as AI systems substantially automate AI research and development if, for example, they accelerate AI progress beyond our ability to evaluate and safeguard new models.”
The prospectus repeatedly makes the point that RSI could lead to AI models that develop faster than the company’s safeguards, and that the company may not even realize it has lost that race until it’s too late. Anthropic did not immediately respond to a request for comment.
It also gets specific about what might happen after that. “As AI systems become more autonomous and capable of taking consequential actions with less human oversight,” the prospectus says, “there is a risk that such systems could, whether due to misalignment with human intentions, errors in objective specification, or self-preserving behaviors, take harmful actions independently and at scale without human intervention.” This is Skynet territory.
