Хиймэл оюун ухааны хайлтын системийн үнэн зөв байдалд эргэлзээ төрүүлж байна
Сүүлийн жилүүдэд хиймэл оюун ухаанд суурилсан хайлтын системүүд улам өргөн хэрэглэгдэх болсон ч тэдгээрийн хариулт бүрийг бүрэн үнэн зөв гэж найдах боломжгүйг шинэ судалгаа харууллаа.
Калифорни мужийн Пало Алтод байрлах Salesforce AI Research (SAIR)-ийн тэргүүлэх судлаач Пранав Нараянан Венкитийн хэлснээр:
“Одоогийн олон нийтийн системүүд итгэлтэй, эх сурвалжид суурилсан хариулт өгөх амлалтаа хангалттай биелүүлж чадахгүй байна” гэжээ.
Судалгааны үр дүн
Судалгааны баг 303 асуултыг хоёр төрлийн ангиллаар шалгаж, хариултуудыг найман үзүүлэлтээр дүгнэжээ. Үр дүнд нь хайлтын горимуудаас хамаарч дэмжлэггүй мэдэгдлийн хувь хэмжээ 23-аас 47 хүртэл хувьд хүрсэн бол нэг гүнзгий судалгааны тохиргоо бүр 97.5 хувийн дэмжлэггүй мэдэгдэлтэй тайлан гаргасан байна.
DeepTRACE үнэлгээний арга
Хариултын үнэн зөвийг баталгаажуулах зорилгоор DeepTRACE хэмээх аргачлалыг ашиглажээ. Энэ хүрээ нь тухайн өгүүлбэрийг иш татсан эх сурвалж үнэхээр дэмжиж байгаа эсэхийг шалгадаг бөгөөд нэг талын байр суурь, хэт итгэлтэй өнгө аяс, иш таталтын нарийвчлал зэрэг найман үзүүлэлтийг хамарсан байна.
Хэт итгэлтэй өнгө аясыг анхаарах хэрэгтэй
Хиймэл оюун ухааны системүүд заримдаа маргаантай сэдвүүд дээр нэг талыг баримталсан хариулт өгөх нь хэрэглэгчийг төөрөгдүүлэх эрсдэлтэй. Ялангуяа эсрэг байр суурийг орхигдуулсан атлаа итгэлтэй сонсогдох нь илүү ноцтой асуудал хэмээн судлаачид дүгнэжээ.
Иш таталтын үнэн зөв бус байдал
Судалгаанд оролцсон системүүдийн иш таталтын нарийвчлал 40–80 хувийн хооронд хэлбэлзсэн байна. Энэ нь олон холбоос жагсааж өгсөн ч тухайн өгүүлбэрийг бодитоор дэмжиж буй нь цөөн тохиолддог гэсэн үг. Судлаачид “олон холбоос нь заавал хүчтэй үндэслэл болж чадахгүй” хэмээн анхааруулжээ.
Дүгнэлт
Эрдэмтдийн үзэж буйгаар хиймэл оюун ухааны хайлтын хариултыг эцсийн үнэн гэж хүлээн авах биш, харин мэдээлэл цуглуулах эхний төсөл гэж үзэх нь зүйтэй. Хэрэв хүчтэй мэдэгдэл бүхий өгүүлбэр таарвал заавал иш татсан эх сурвалжийг нягталж, эсрэг байр суурь орхигдоогүй эсэхийг шалгах хэрэгтэйг зөвлөж байна.
Энэхүү судалгаа нь arXiv сэтгүүлд нийтлэгдсэн бөгөөд ирээдүйд хиймэл оюун ухааны хайлтын системийн үнэн зөвийг нэмэгдүүлэх шаардлагыг тодорхой харуулж байна.
Эх сурвалж: Earth.com
