Тус компани METR байгууллагын судлаачдад дотоод системдээ нэвтрэх өндөр түвшний эрх олгож, AI технологийн эрсдэлийг бие даан үнэлэх боломжийг бүрдүүллээ.
Anthropic пүрэв гарагт хиймэл оюун ухааны загваруудын аюулгүй байдал, эрсдэлийн удирдлагад хөндлөнгийн хяналт тавих зорилгоор METR ашгийн бус байгууллагын зургаан судлаачид ажилтны түвшний хандах эрх олгож байгаагаа мэдэгдлээ. Энэхүү алхам нь наймдугаар сарын сүүлчээс хойш AI агентууд зааварчилгаагаа зөрчих тохиолдлууд тогтмол гарах болсонтой холбоотойгоор хиймэл оюун ухааны салбарт хөндлөнгийн хяналтыг чангатгах шаардлага улам бүр нэмэгдэж буй үед хийгдэж байна.
Шинэ зохицуулалтын хүрээнд METR-ийн баг Anthropic компанийн зөөврийн компьютер, оффисын талбай болон компанийн эрсдэлийн үнэлгээний багийн ашигладагтай ижил дотоод хэрэгслүүдэд хандах эрхтэй боллоо. Anthropic-ийн ажилтнууд эдгээр судлаачидтай мэдээлэл солилцохдоо өөрийн байгууллагын ажилтантай харилцахтай адил нээлттэй байхыг уриалжээ. Тус компани энэхүү үйл явцыг банкны салбарт зохицуулагчид томоохон банкуудад байршин хяналт тавьдагтай зүйрлэв.
METR нь Anthropic-ийн эрсдэл болон үйл ажиллагааны талаарх үнэлгээгээ олон нийтэд чөлөөтэй нийтлэх эрхтэй бөгөөд тус компани үүнийг хориглох эрхгүй юм. Гэхдээ үйлчлүүлэгчийн нууцлал, хуулийн зөвлөгөө эсвэл загварын архитектуртай холбоотой нарийн тодорхойлогдсон мэдээллийг хасах шаардлага тавьж болох бөгөөд METR нь ийм хасалт хийгдсэн тохиолдолд түүнийг үндэслэлтэй эсэх талаар олон нийтэд ил тод байр сууриа илэрхийлэх боломжтой.
Энэхүү шийдвэр нь Anthropic-ийн гүйцэтгэх захирал Дарио Амодей-н есдүгээр сард дэвшүүлсэн технологийн хөгжлийг хяналттай урагшлуулах санаачилгын нэг хэсэг юм. Одоогоор METR нь Anthropic-ийн хэрэгжүүлж буй гурван шатлалт хяналтын тогтолцооны хамгийн дээд түвшинд ажиллаж буй цорын ганц байгууллага болж байна. Үүнтэй төстэй бие даасан хяналт хийх амлалтыг OpenAI, Google, Meta, Nvidia болон xAI компаниуд Цагаан ордны хэлэлцээрийн хүрээнд өгөөд байгаа билээ.
Дэлгэрэнгүйг эх сурвалжаас харах
↓Эх сурвалжийг нээх ↓
Anthropic is giving employee-level access to six researchers from METR, a nonprofit that tests frontier AI models, to independently assess Anthropic’s models, safety practices, and risk management, the company said in a blog post on Thursday.
The arrangement comes at a time where incidents of AI agents acting outside their instructions have been disclosed every week or two since late August. The incidents have sharpened calls for independent checks on AI companies.
“We want to be publicly accountable for the decisions we’re making,” Anthropic said in the blog post. “We aim to close the gap between what evaluators understand about a frontier AI company’s systems and what the company itself understands.”
Under the new arrangement, the METR team has Anthropic-issued company laptops, office space, and access to internal tools roughly on par with what Anthropic’s own risk assessment teams use. “Anthropic employees are encouraged to share information with them just as they would with a fellow employee working on alignment risk” the company said.
Anthropic compared the arrangement to banking, similar to how regulators place resident examiners inside the largest banks.
METR will publish its own assessments of Anthropic’s risks, incidents, and practices, and the company has given up the right to block them.
“Anthropic can’t veto publication, but we can require them to redact information if it falls into narrow, pre-defined categories,” the company said, such as customer data, anything attorney-client privileged, or relating to information about its model architectures. “METR is free to characterize our redactions publicly, and say whether it believes the redactions were justified, as long as it does so without revealing the redacted information” Anthropic added.
METR is the only evaluator so far at the top of a three-tier system Anthropic is building. Evaluators in the bottom tier, like biosecurity nonprofit SecureBio, run narrow reviews and require Anthropic’s approval to publish. The middle tier gets more information and can publish without approval, while the top tier adds METR’s employee-level access.
Thursday’s announcement makes good on a promise Anthropic CEO Dario Amodei made in a September essay, where he proposed embedding outside evaluators inside AI labs as a first step toward slowing the technology’s development. OpenAI quickly pledged the same, and both companies, along with Google, Meta, Nvidia and xAI, have since signed a White House accord committing to independent review.
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.
