Орогнол хүсэгчдийн өргөдлийг боловсруулахад OpenAI-ийн технологийг ашиглаж буй нь тус яамны үйл ажиллагааны ил тод байдал болон мэдээллийн үнэн зөв байдлын талаарх болгоомжлолыг төрүүлжээ.
Их Британийн Хил, цагаачлалын асуудал эрхэлсэн бие даасан байцаагч (ICIBI) тус улсын Дотоод хэргийн яамны орогнол хүсэгчдийн өргөдлийг боловсруулахад ашиглаж буй хиймэл оюун ухааны хэрэгсэлд хяналт шалгалт хийхээр төлөвлөж байна. Энэхүү алхам нь Open Rights Group (ORG) байгууллагаас хиймэл оюун ухааны хэрэгслийн үйл ажиллагаатай холбоотой мэдээллийг шаардсаны дараа хийгдэж буй үйл явц юм. ORG-ийн зургаан сарын турш явуулсан судалгаагаар засгийн газрын нууцалж буй эдгээр хэрэгслүүдийн нарийвчлал болон чанарын хяналтын талаар ноцтой асуултууд гарч ирээд байна.
Дотоод хэргийн яам OpenAI-ийн GPT-4 загварт суурилсан Asylum Case Summarisation (ACS) болон Asylum Policy Search (APS) хэрэгслүүдийг 2024 оны сүүлээр эхлүүлсэн 100,000 орчим орогнолын өргөдлийн ачааллыг бууруулах зорилгоор ашиглаж байна. Тус яамны зүгээс эдгээр хэрэгсэл нь зөвхөн ярилцлагын тэмдэглэл болон бодлогын мэдээллийг эмхэтгэхэд туслах үүрэгтэй бөгөөд эцсийн шийдвэрийг мэргэшсэн ажилтнууд гаргадаг гэж мэдэгджээ. Гэвч өнгөрсөн долдугаар сард шүүхээс Дотоод хэргийн яамыг “хиймэл оюун ухааны хийсвэрлэл” бүхий баримт ашиглан орогнол хүсэгчийн өргөдлийг үндэслэлгүйгээр татгалзсан хэмээн буруутгасан тохиолдол гарсан байна.
Судлаачдын үзэж байгаагаар ACS хэрэгслийн гаргасан хураангуйд баримтын алдаа болон буруу ташаа мэдээлэл өндөр хувьтай байгаа нь тогтоогджээ. Мөн APS хэрэгслийн хувьд чанарын хяналтын тогтолцоо огт байхгүй байгаа нь эрсдэлийг нэмэгдүүлж байна. ICIBI өмнөх тайландаа эдгээр хэрэгслийн найдвартай байдал харилцан адилгүй байгааг онцолж байсан бөгөөд ирэх онд хийх хяналт шалгалтын тэргүүлэх чиглэлдээ энэ асуудлыг багтаах эсэхээ удахгүй зарлах юм.
Дэлгэрэнгүйг эх сурвалжаас харах
↓Эх сурвалжийг нээх ↓
A UK government watchdog is considering an investigation into the Home Office’s use of generative AI tools to process asylum applications, WIRED has learned. The potential probe follows lawmakers and researchers publicly questioning the tools’ accuracy and the government’s secrecy around their use.
The Independent Chief Inspector of Borders and Immigration (ICIBI), which monitors the Home Office’s management of borders, immigration, and customs, has asked digital rights nonprofit Open Rights Group (ORG) to share more information on the tools as it draws up plans for the topics it will inspect next year, campaigner Sara Alsherif tells WIRED. ORG’s findings come from a six-month investigation into the tools, which involved 11 parliamentary questions, two ministerial letters, and 10 public records requests that attempt to pry details from the Home Office, which has withheld details on the tools.
The ICIBI tells WIRED it cannot confirm what topics are under active consideration before it publishes its annual inspection priorities, but it says it is aware of concerns about the use of AI tools and pointed to its findings last year that one of the tool’s “effectiveness and reliability were varied.”
“Asylum decisions are made by trained caseworkers, with AI tools used only to assist in navigating interview records and policy information. They cannot be used in isolation and do not make decisions on claims,” a Home Office spokesperson tells WIRED in an email. “We regularly monitor the performance of these tools alongside our established quality-assurance processes, and have already committed to publishing updated evaluations on their roll out.”
The Home Office uses the Asylum Case Summarisation (ACS) and Asylum Policy Search (APS) tools, built on OpenAI’s 2023 GPT-4 large language model and Microsoft Foundry, to summarize transcripts of interviews with asylum applicants and information about their countries of origin, according to documents obtained by ORG. The immigration and law enforcement authority started piloting these tools in late 2024 as the Labour government tried to clear a backlog of around 100,000 asylum cases, while staying on top of the tens of thousands of new applications the UK receives each year. While the department has made significant progress, halving the number of people waiting on an initial decision in the year through June, the number of appeals against decisions has ballooned.
Researchers are concerned about the accuracy of the AI tools–especially to decide something as high-stakes as whether to send someone back to a country where they fear persecution. ORG found that the percentage of summaries generated by the ACS deemed not fit for use—often because they contain factual errors or misrepresentations—is significantly higher than the published 9 percent error rate calculated in the pilot evaluation. There is no quality control for the summaries produced by the APS, it also found.
Asylum decision-makers use the tools to save time when reviewing asylum cases; when used together, the pilot showed the tools could save around an hour per case, according to government estimates. Caseworkers use the ACS to speed up their review of transcripts of interviews where asylum seekers explain how they were persecuted in their country and why they are afraid to return. They use the APS as a search assistant to find and summarize country policy information, which informs them whether the applicant faces a genuine risk of harm in their home country. In July, a UK judge accused the Home Office of citing an “AI hallucinated” document to refuse a Moroccan woman and her child’s asylum claim on the basis that her home country would be safe for her to return to.
