Хиймэл оюун ухааны чатбот мэдээллийг буруу боловсруулснаас болж Хятадын хөлөг онгоцны эсрэг явуулах байсан цэргийн ажиллагааг сүүлийн мөчид цуцалсан байна.
Энэхүү үйл явдал нь АНУ-ын цэргийн хүчнийхэн шийдвэр гаргах үйл явцад хиймэл оюун ухааныг хэт ихээр шүтэж байгаа нь ноцтой аюул дагуулж болохыг харууллаа. Тусгай ажиллагааны командлалын шинжээч нээлттэй эх сурвалжийн өгөгдөл болон нууц тагнуулын мэдээллийг нэгтгүүлэхээр хиймэл оюун ухааны чатботыг ашиглах үед уг алдаа гарчээ. Чатбот хөлөг онгоцны ачааны жагсаалтыг буруу таньж, цөмийн зэвсгийн бүрэлдэхүүн хэсгүүдийг тээвэрлэж байна гэсэн ташаа дүгнэлтийг гаргасан байна.
Шинжээч уг буруу мэдээллийг албаны тайлан болгон хэлбэржүүлж, командлалын сувгуудаар түгээснээр цэргийн нисэх онгоцууд ажиллагаанд оролцохоор хөөрсөн байжээ. АНУ-ын Батлан хамгаалах яам хиймэл оюун ухааныг ашиглан шийдвэр гаргах хурдыг нэмэгдүүлэхийг зорьж байгаа боловч энэхүү хурд нь хүний хяналт хангалтгүй үед томоохон эрсдэл дагуулж байгааг мэргэжилтнүүд анхааруулж байна.
GovAI-ийн судлаач, АНУ-ын армийн ахмад офицер Жэйк Стеклерийн хэлснээр, том хэлний загваруудын (LLM) агуулсан тодорхойгүй байдлыг цэргийн албан хаагчид сайтар ойлгох нь чухал юм. Ялангуяа хүч хэрэглэх, бай онох, ажиллагааны төлөвлөгөө боловсруулах зэрэг хүний амь нас, аюулгүй байдалтай шууд холбоотой шийдвэрүүдэд хиймэл оюун ухааныг хяналтгүй ашиглах нь аюултай үр дагавартай.
Тэрээр хиймэл оюун ухааныг бүрмөсөн татгалзах бус, харин аюулгүй байдлын нэмэлт хамгаалалтуудыг нэвтрүүлэх шаардлагатай гэж үзэж байна. Хэрэв технологийн нэвтрүүлэлтийн хурдыг аюулгүй байдлаас дээгүүр тавьбал цэргийн албан хаагчдын системд итгэх итгэл буурч, улмаар дэвшилтэт технологийг нэвтрүүлэх үйл явц удаашрах эрсдэлтэйг тэрээр онцолжээ.
Дэлгэрэнгүйг эх сурвалжаас харах
↓Эх сурвалжийг нээх ↓
Military aircraft were already in the air this spring when U.S. officials made an alarming discovery: the intelligence driving an armed operation against a Chinese vessel had been hallucinated by an AI chatbot. The operation was aborted at the last minute, narrowly averting a potential conflict with China, CNN reported on Friday.
The episode underscores a growing concern among military officials and outside experts: As decision-makers lean more heavily on AI, the errors these systems produce can travel up the chain of command before being questioned.
The intelligence report, which circulated during the war with Iran, said the vessel was carrying components for a nuclear weapons program.
The false intelligence originated with a Special Operations Command analyst who queried an AI chatbot to synthesize open-source data with classified signals intelligence. The chatbot misidentified the ship’s cargo manifest. The analyst then used the tool a second time to format the erroneous findings into an official-looking summary, which was circulated across command channels.
The near-miss comes as the U.S military races to integrate AI to accelerate decision-making and maintain its edge over China. The Pentagon has described AI as delivering a significant advantage in speeding up its kill chain so commanders can respond in the right time. But the same speed that makes AI attractive may also allow hallucinations with insufficient human oversight.
“It’s important for service members to understand the uncertainty inherent to LLMs,” said Jake Steckler, research scholar at GovAI and veteran U.S. Army officer in a written response to TechCrunch. “But it’s especially critical for any decisions that could lead to use of force, like targeting, intelligence analysis, or operational planning. There are life and death consequences for those decisions.”
Still, Steckler says, the incident should serve as a call to add more safeguards to AI, not a reason to avoid it. “These tools can be useful in the right contexts and with the right safeguards in place,” he said. “But prioritizing adoption speed over all else will likely lead to incidents that only make service members lose trust in these systems, which ultimately is only going to slow adoption.”
When you purchase through links in our articles, we may earn a small commission. This doesn’t affect our editorial independence.
