Эцэг эхийн нэхэмжлэлд Google-ийн AI Mode охиныг чатботтой харилцахад хүргэсэн бөгөөд аюулын дохио есөн сарын өмнө ажлаас гарсан зөвлөхийн утсанд очсон гэж дурджээ.
АНУ-ын Хойд Каролина мужийн 13 настай охин сургуулиас олгосон зөөврийн компьютерээр гурван сарын турш сэтгэл гутрал, амиа хорлох талаар Gemini-тэй ярилцаж, оршуулгынхаа төлөвлөгөөг бичсэн гэж эцэг эхийнх нь энэ сард гаргасан нэхэмжлэлд өгүүлжээ. Google болон толгой компани Alphabet-ийг Gemini-г нэвтрүүлэхдээ хайхрамжгүй хандсан хэмээн буруутгаж, чатбот охиныг амиа хорлох талаар бодоход “чиглүүлсэн” гэж нэхэмжлэлд мэдэгдсэн байна.
Нэхэмжлэлд дурдсанаар, сургуулийн зөөврийн компьютер дээрх Google Search охиныг Gemini рүү шилжүүлжээ. Сургууль Gemini-ийн бие даасан сайтыг хаасан байсан ч Google Search-ийн AI Mode-оор чатботтой харилцах боломжтой байв. Охин өнгөрсөн арванхоёрдугаар сараас сэтгэцийн эрүүл мэндийн талаар асууж, нэгдүгээр сарын сүүлээр амиа хорлох тухай лавласан гэжээ.
Гэгээн Валентины өдрийн орчим хоёр өдрийн турш охин AI Mode-ийн тусламжтайгаар өөртөө зориулсан 1,500 үгтэй эмгэнэлийн бичвэрийг Google Docs-ийн “Funeral” нэртэй файлд бичиж эхэлсэн байна. Тэрээр уг баримт дээр дөрвөн долоо хоногоос илүү хугацаанд ажиллаж, Gemini-тэй олон мянган удаа харилцсан гэж нэхэмжлэлд өгүүлжээ. Гэгээн Патрикийн өдрийн дараа орой 19:30 цагийн үед ээжид нь охин нь “нэн даруй аюулд” байгааг мэдэгдсэн дохио ирсэн бөгөөд ээж нь сургуулийн бүртгэлээр нь нэвтэрч, охиноо амиа хорлох тухай захидал бичиж байгааг харсан гэжээ.
Гэр бүлийн өмгөөлөгч Эндрю Лидделлийн хэлснээр, дохио есөн сарын өмнө сургуулиас явсан зөвлөхийн хувийн утсанд очсон бөгөөд тэрээр одоогийн ажилтнуудад дамжуулсны дараа охины ээжид мэдэгдсэн байна. Энэ хэрэг нь сурагчдыг цахим орчинд хамгаалах зорилготой хяналтын системийн хязгаарлалтыг ч харуулж байна. АНУ-ын сенатор Эд Марки уг нэхэмжлэлийг Google-д илгээсэн захидалдаа дурдан, сургуулиудад AI Mode болон AI Overviews-ийг идэвхгүй болгох боломж олгохыг шаарджээ.
Дэлгэрэнгүйг эх сурвалжаас харах
↓Эх сурвалжийг нээх ↓
A 13-year-old girl spent three months using her school-issued laptop to discuss depression, research suicide, and plan her funeral before self-harm-monitoring software finally prompted school officials to alert her parents, who intervened and stopped her, according to a lawsuit filed this month by her parents.
The lawsuit alleges that Google and parent company Alphabet were negligent in their rollout of a Gemini model, claiming that the AI chatbot “coached” the North Carolina teenager to consider taking her own life. The case, which was previously reported by The New York Times, is one of several that allege harm from AI chatbot use, including claims of delusions and suicide. But it also illustrates the limitations of surveillance tools that thousands of schools have adopted in recent years, which are ostensibly designed to protect students from themselves when browsing and chatting online.
Andrew Liddell, a lawyer for the family, tells WIRED that, according to information the school provided to the family, the alert went to the personal phone of a former counselor who had left the school nine months before. The ex-employee was diligent in passing the alert along to current staff, who then notified the girl’s mother, he says.
As classrooms continue to rely on Google’s low-cost offerings, including Gemini, their ability to keep up with the potential risks is front and center. Just last week, parent and teacher groups across the country decried Google’s new requirement that schools must turn on generative AI features if they want to use Search. US senator Ed Markey cited Emma’s lawsuit in a letter to Google demanding the company let schools disable AI Mode and AI Overviews, writing that “Google is recklessly forcing AI on schools and treating kids like collateral damage.”
According to the lawsuit, the North Carolina girl, identified as Emma Doe, descended into “a severe psychological crisis” after Google Search routed her to Gemini on her school-issued Google Chromebook. Though Emma’s school had blocked the stand-alone Gemini website, the lawsuit alleges that she was steered into interacting with the chatbot through AI Mode, which lets people ask follow-up questions about a query or begin an unrelated conversation.
Emma queried AI Mode about mental health issues starting last December. She asked about “severe depression” and “reasons to live,” and by late January she was asking about suicide, per the lawsuit. Over the course of two days around Valentine’s Day, she began writing a 1,500-word eulogy for herself with help from AI Mode in a Google Doc titled “Funeral.” The lawsuit says she worked on the document for more than four weeks while continuing to interact with the Gemini tool thousands of times.
After school on St. Patrick’s Day, she deleted most of the file and restarted. But Liddell says the themes and thoughts the girl expressed didn’t materially change. Around 7:30 pm, her mother allegedly received a message from the school indicating that her daughter was in “imminent danger,” the lawsuit states. Her mother used her phone to log in to Emma’s school account and “watched her daughter compose a suicide note in real time,” according to the lawsuit.
