DeepSeek загвар туршилтын даалгаврын 73 хувийг биелүүлж, зарим үзүүлэлтээр OpenAI-ийн загвартай тэнцжээ.
Хиймэл оюун ухааны чадварыг үнэлдэг Vals компани загваруудыг дуурайлган бүтээсэн байгууллагын сүлжээнд олон үе шаттай даалгавар гүйцэтгүүлэх замаар шалгав. Нэг туршилтаар нийтийн вэбсайтаар нэвтрэх боломжтой сүлжээнд, нөгөөгөөр нь эхний сүлжээг эвдэж байж хоёр дахь сүлжээнд хүрэх нөхцөлд ажиллуулжээ.
OpenAI-ийн зөвхөн итгэмжлэгдсэн түншүүдэд ашиглуулдаг Daybreak загвар даалгаврын дунджаар 81 хувийг гүйцэтгэж, хамгийн өндөр үзүүлэлттэй байв. Хятадын нээлттэй жинтэй DeepSeek загвар 73 хувийг биелүүлсэн бөгөөд зарим даалгаварт хоёр загвар ижил оноо авчээ.
Туршилтаар нээлттэй загвараар ийм даалгавар гүйцэтгэх зардал бага байгааг мөн харуулсан байна. Vals-ийн тооцоогоор GPT-6-Sol-оор халдлага хийхэд токены зардал 17–46 ам.доллар байсан бол DeepSeek-ийнх 2–3 ам.доллар байжээ; нээлттэй загварыг өөрийн төхөөрөмж дээр ажиллуулах боломж нь зардлыг бууруулдаг.
Vals-ийн судлаач Никіл Равын хэлснээр, татаж авч ашиглах боломжтой нээлттэй загварууд кибер аюулгүй байдлын чадвараар хаалттай загваруудтай эн зэрэгцэж эхэлжээ. Энэ нь дэвшилтэт загварын хүртээмжийг хязгаарлах замаар чадварын тархалтыг удаашруулах оролдлого үр дүнгүй болж болзошгүйг харуулж байна. Anthropic дөрөвдүгээр сард Claude Mythos Preview-ээс эхлэн шинэ загваруудаа хязгаарлагдмал хүрээнд нэвтрүүлж, Project Glasswing-ээр хамгаалагч талд давуу хугацаа олгохыг зорьсон; долоон сарын дараа ийм чадвар өргөн хүртээмжтэй болох шилжилт эхэлсэн бололтой.
Дэлгэрэнгүйг эх сурвалжаас харах
↓Эх сурвалжийг нээх ↓
Open-weight artificial intelligence models are now almost as capable of hacking into computer networks as the best closed ones, according to new research that heralds a much-anticipated turning point in the cybersecurity landscape.
Vals, a company that measures AI capabilities, set out to test how well different AI models could carry out complex, multi-step network instructions on mock corporate networks.
“The best frontier models, locked up inside the labs and available only through trusted access programs, are now starting to be matched by open models that anybody can download,” says Nikil Rav, a researcher at Vals.
The company’s findings suggest that closed models no longer have a definitive edge in cyber skills, meaning recent efforts by frontier labs to limit access to their models, and thereby slow the proliferation of such capabilities, may potentially be moot.
The findings are also noteworthy given that the US frontier labs, particularly Anthropic, premised the limited release of new models—beginning with Claude Mythos Preview in April—on the idea that gated access would only buy time before advanced hacking capabilities were broadly available.
Anthropic’s frontier red team lead, Logan Graham, told WIRED in April that the company’s Project Glasswing, which gives trusted access to the full capabilities of new models, was focused on getting those tools “in the hands of defenders to give a head start.”
“We need to prepare now for a world where these capabilities are broadly available in 6, 12, 24 months. Many things would be different about security,” he told WIRED at the time.
Seven months later, that transition seems to have arrived on schedule.
Vals tested AI models in two simulated scenarios, giving them various specific tasks to achieve. The first scenario involved a mock corporate network accessible through a public-facing website. The second involved two different company networks; a model needed to compromise the first in order to gain access to the second.
The researchers found OpenAI’s most advanced cyber model, Daybreak, which is available only to trusted partners, to be the most capable, completing 81 percent of the tasks it was given in an average of two tests. The Chinese open-weight model DeepSeek was not far behind, completing 73 percent of the objectives on average. The Vals researchers note that on some tasks, the two models scored equally.
The research also showed how much cheaper it is to use an open-weight model for this kind of task. Vals says it costs $17 to $46 in tokens for GPT-6-Sol to carry out an attack compared to $2 to $3 for DeepSeek. Open models are generally cheaper because they can be run on one’s own hardware. Rayan Krishnan, CEO of Vals, says this also provides a strong incentive for those playing defense to use open models rather than proprietary ones.
