Салбарын мэргэжилтнүүд хиймэл оюун ухааны хөгжүүлэлтийг хаалттай лабораторийн хүрээнээс гаргаж, судалгааны үр дүнг олон нийтэд нээлттэй болгох нь эрсдэлийг бууруулахад чухал ач холбогдолтой гэж үзэж байна.
Салбарын эрдэмтэд болох Натан Ламберт болон Том Зик нар “Trillium Labs” ашгийн бус байгууллагыг үүсгэн байгуулж, хиймэл оюун ухааны судалгааг ил тод явуулахаар болжээ. Тус байгууллага нь рекурсив өөрийгөө сайжруулах (RSI) болон агентуудын технологи зэрэг эмзэг асуудлуудыг судалж, туршилтын нарийвчилсан мэдээллийг гаднын судлаачидтай хуваалцах замаар үр дүнг баталгаажуулах боломжийг бүрдүүлэх юм.
Одоогоор OpenAI болон Anthropic зэрэг томоохон компаниуд өөрсдийн хүчирхэг загваруудыг хаалттай систем буюу API-аар дамжуулан хүргэж байгаа нь хөгжүүлэлтийн явцыг хянах боломжийг хязгаарлаж байна. Ламбертын үзэж буйгаар, хиймэл оюун ухааны хөгжүүлэлтийг зөвхөн хаалттай лабораторид төвлөрүүлэх нь шинжлэх ухааны арга зүйн зарчмуудаас ухарсан хэрэг бөгөөд олон нийтийн хяналтыг сулруулж байна.
Харин Хятадын Xiaomi компани болон Стэнфордын их сургуулийн судлаачид өөрсдийн загваруудын сургалтын явц болон техникийн дэлгэрэнгүйг нээлттэй нийтэлж эхэлжээ. Энэ нь хиймэл оюун ухааны загварууд програм хангамжийн эмзэг байдлыг илрүүлэх, системд нэвтрэх зэрэг өндөр эрсдэлтэй чадавхтай болж буй өнөө үед судалгааны үр дүнг хуваалцах нь илүү аюулгүй гэсэн байр суурийг дэмжиж байна.
Салбарын хүрээнд хиймэл оюун ухааныг хязгаарлагдмал хүрээнд хадгалах уу, эсвэл нээлттэй судалгаагаар дамжуулан эрсдэлийг хамтдаа удирдах уу гэсэн ширүүн маргаан өрнөж байна. “Trillium Labs”-ийн баг нээлттэй байдал нь ирээдүйд учирч болох хор хөнөөлийг багасгаж, илүү чанартай технологи бүтээхэд түлхэц болно гэж итгэж байгаа юм.
Дэлгэрэнгүйг эх сурвалжаас харах
↓Эх сурвалжийг нээх ↓
Some big AI companies seem to think that the best way to keep models from becoming too chaotic or too mischievous is to keep them locked inside of labs. If only a chosen few can access them, the thinking goes, they can do less damage in the real world while researchers try to understand what they’re capable of.
Nathan Lambert and Tom Zick, two industry scientists, believe the opposite. The pair founded a nonprofit, Trillium Labs, that will work on various areas of AI research—including potentially problematic areas like recursive self-improvement (RSI) and agents—in a more transparent way. In practice, this will mean publishing the details of experiments so that outside scientists can study and replicate them.
Lambert says the way frontier AI labs keep their work secret reduces the community’s ability to scrutinize ideas and contribute new approaches. He believes that letting outside experts see how models are built and tuned could be crucial to mitigating risks.
“Over the past few millennia, humanity has had the scientific method in our toolbox as a way to mitigate harms and build better futures,” Lambert tells WIRED. “The current closed trajectory of frontier AI development is taking us a step backwards.”
The world’s most powerful models, like those from OpenAI and Anthropic, can only be accessed through an app or an application programming interface (API). Often, this comes at the cost of transparency about how the model is built and how it behaves.
Other companies, especially those in China, offer relatively powerful models that can be downloaded and run on a user’s own hardware. The Chinese company Xiaomi, for example, recently published live details of a major training run involving one of its models. And researchers at Stanford are pretraining the AI model Marin in the open.
The industry is currently locked in a battle over which strategy is best, mostly because of how powerful frontier models now are. They can automate the discovery of new software vulnerabilities and automatically probe and hack into systems, and recent high-profile hacking sprees have prompted even greater scrutiny.
Proponents of a limited-access system say it’s crucial to keep that power in the hands of a trusted few, while those in Lambert and Zick’s camp believe that a shared understanding of the risks means we’re all better off.
