Хэлний том загварууд (LLM) асар их хэмжээний өгөгдөл шаарддаг бол нялх хүүхэд цөөн тооны үгээр хэлний зүй тогтлыг хурдан сурдаг болохыг эрдэмтэд онцоллоо.
Хиймэл оюун ухааны салбар хүний түвшний сэтгэлгээ, бүтээмжийг дуурайхын тулд асар их дэвшил гаргасан ч суралцах үйл явцаараа хүний хөгжлөөс хоцорч байна. Станфордын их сургуулийн танин мэдэхүйн ухааны эрдэмтэн Майкл С. Фрэнк хэлэхдээ, өнөөгийн технологиор хүний хэл сурах үйл явцыг давтахын тулд хүн төрөлхтний цуглуулсан бүх мэдлэгийг ашиглах шаардлагатай болж байгааг онцлов. Гэтэл нялх хүүхэд ердөө 10-30 сая үг сонсоод л өгүүлбэр бүтээж сурдаг нь гайхалтай үзэгдэл юм.
Жишээлбэл, GPT-2 загварт 30 сая үгээр сургалт явуулахад утгагүй үгсийн цуглуулга үүсдэг бол хүүхэд энэ хэмжээний мэдээллээр хэлний үндсэн чадварыг эзэмшдэг байна. Хүүхэд хэлний дүрэм, үгсийн санг маш хурдан бөгөөд дасан зохицох чадвартайгаар сурдаг нь хиймэл оюун ухааны загваруудын хувьд шийдвэрлэх шаардлагатай томоохон асуудал болжээ.
Технологийн компаниуд хэлний загваруудыг өргөжүүлэх замаар хүний түвшний хиймэл оюун ухаан бүтээхийг зорьж байгаа ч энэ аргачлал үр ашиггүй гэж олон мэргэжилтэн үзэж байна. Хэт их хэмжээний өгөгдөл шаарддаг энэхүү дутагдал нь хиймэл оюун ухааны салбарын ирээдүйн хөгжилд томоохон саад тотгор болж байна.
Дэлгэрэнгүйг эх сурвалжаас харах
↓Эх сурвалжийг нээх ↓
Compared to the lofty benchmark of human-level intelligence, AI chatbots still have a long way to go.
Sure the industry has made remarkable progress in beefing them up to generate seemingly human-level sentences, but in measures of reasoning and productivity, AI has its work cut out.
But how do today’s large language models stack up against humans when it comes to learning to speak? Not any better, it turns out.
In a breakdown of the AI teaching process, MIT Technology Review interviewed a number of experts on large language model efficiency. It turns out that even infants are much better students of human language than today’s AI chatbots, and — though it might not feel like it for some parents — much more efficient.
As Michael C. Frank, a cognitive scientist at Stanford University explained to MIT, the tech industry’s “progress recently has been amazing.” Yet despite advances over the last few years, “we still have to burn down a forest and scrape the entire sum of all human knowledge to re-create this milestone that happens in our living rooms over the course of a year.”
Though it isn’t really known why, babies are remarkably adaptive when it comes to language, picking up on linguistic rules and vocabulary like little fleshy sponges. LLMs, on the other hand, require unfathomable amounts of language data to reach something akin to proficiency, much more than your typical human.
“It’s just totally miraculous,” Frank told MIT of the human language learner. He notes that toddlers can start spitting out dramatically legible sentences after ingesting around 10 to 30 million words from their surroundings.
“If you train GPT-2 on 30 million words, you get a nonsense generator; you don’t get a kid,” he said.
For the AI industry, this inefficiency has become a major nut to crack, as least for tech companies that hope to ever produce human-level AI through scaling language models —a prospect many AI experts say is impossible.
More on AI: Teachers Warn That Students Are Losing the Ability to Think as They Lean on AI for Everything
The post Even Babies Are Still Way Better at Learning Than AI Models appeared first on Futurism.
