Эрдэмтэд жимсний ялааны тархины бүтцийг бүрэн зурагласны дараа программ хангамжийн инженерүүд үүнийг ашиглан видео тоглоом тоглох туршилтуудыг хийж байна.
Google компани эрэгчин жимсний ялааны тархи болон төв мэдрэлийн тогтолцоог 3D хэлбэрээр бүрэн зурагласнаа зарлалаа. Энэхүү судалгаанд хиймэл оюун ухааны тусламжтайгаар сая сая 2D дүрсийг нэгтгэн 166,000 гаруй мэдрэлийн эсийг сэргээн бүтээжээ. Мэдрэл судлалын салбарт чухал ач холбогдолтой энэхүү ололтыг нейробиологийн ойлголтыг гүнзгийрүүлэх суурь загвар гэж үзэж байна.
Энэхүү мэдээллээс хойш гурав хоногийн дараа буюу есдүгээр сарын 6-нд Coinbase компанийн программ хангамжийн инженер Алекс Вормут ялааны тархины загварыг ашиглан анхны Doom тоглоомыг тоглуулахаар бэлтгэж эхэлснээ зарлав. Тоглоомын дүрс бүр ялааны мэдрэхүйн эд эсийг өдөөж, мэдрэлийн идэвхжил нь тоглоомын удирдлага руу хөрвөгдөх зарчмаар ажилладаг байна. Мөн тоглоом дотор хохирол амсах үед ялааны тархины допамин ялгаруулдаг эсүүдийг өдөөх замаар сургалтын үйл явцыг дэмждэг ажээ.
Түүнчлэн хөгжүүлэгчид энэхүү технологийг ашиглан Beat Saber болон Super Mario 64 зэрэг тоглоомуудыг туршиж байна. Лира Бабблс нь бэхжүүлэлт сургалтын (Reinforcement Learning) аргаар Beat Saber тоглоомыг тоглохыг ялаанд зааж байгаа бол Жессика Пакетт Super Mario 64 тоглоомыг дижитал тархиар дамжуулан ажиллуулжээ. Үүнээс гадна Ro0oney хэмээх хэрэглэгч Принстоны их сургуулийн хамтын ажиллагаатай Flywire.AI төслийн өгөгдлийг ашиглан ялааны тархийг Minecraft тоглоомд нэвтрүүлсэн байна.
Дэлгэрэнгүйг эх сурвалжаас харах
↓Эх сурвалжийг нээх ↓
Last week, Google announced (via HKEPC) that it managed to fully map the brain and central nervous system of an adult male fruit fly into 3D neural shapes. As you might expect, it took approximately three seconds flat for software engineers to try and get it to play Doom.
Google reports that scientists and researchers used AI to combine millions of 2D images into the final model, and says it reconstructs over 166,000 neurons. Google says, “This foundational map of the adult male fruit fly brain can help accelerate our understanding of the brain, and is a major milestone in neuroscience.”
By September 6 (three days later), Alex Wormuth, a software engineer at Coinbase, announced that the fly brain was being trained to play the original Doom. They say, “Each Doom frame stimulates sensory neurons. Neural activity is mapped to game controls. Damage triggers a stimulus to two PPL101 dopamine cells as reinforcement.”
You can even watch the fruit fly play in real time via Wormuth’s website, and it not only shows the point of view in Doom, but can also show a third-person render of the fly going around Doom maps. As of the time of writing, the fly is on round 6385 and, well, it’s not very good. Sorry, fly.
But modders aren’t done here. They have also somehow managed to make the fruit fly play Beat Saber, and play it pretty well. Lyra Bubbles on X has used the brain and replays of a song in Beat Saber to teach the fruit fly where to hit and why, via Reinforcement Learning. That does mean it’s not organically reacting to the notes popping up on screen, but it is receiving input and responding to stimuli. Lyra says, “Further training is to reduce reliance on external signals and allow it to play fully reactively with no input data.”
I’m training a fly brain to play Doom using the full MaleCNS v1.0 fruit fly connectome.Each Doom frame stimulates sensory neurons. Neural activity is mapped to game controls. Damage triggers a stimulus to two PPL101 dopamine cells as reinforcement.Will the fly learn to… https://t.co/ObCJ03gxy3 pic.twitter.com/H2YDBtyuR8September 6, 2026
And, after “pivoting to fly engineering in 2026”, Jessica Paquette also shared on X their experience running the digital fly brain through Super Mario 64.
If you think that is all the game’s modders made the fruit fly play, think again, as YouTuber Ro0oney even put it in Minecraft. But this time, Ro0oney used Flywire.AI, a similar project made in collaboration with Princeton University. The number of neurons are different (160,000+ vs 139,255), and Google analysed a male brain whilst Flywire analysed a female brain, but the basic idea is the same.
And with so many not only working on scans, but also using those scans in actual applications, it makes the mind race to think about what could be next, and just how long we will have to wait until they can replicate a human mind.
