İnsanların zihinlerindeki görsel imgeleri metne dönüştüren teknik geliştirildi – Son Dakika Bilim Teknoloji Haberleri

Japonya’daki telekomünikasyon şirketi Nippon Telegraph and Telephone’un İletişim Bilimleri Laboratuvarı’nda çalışan araştırmacı Horikawa Tomoyasu, ana dili Japonca olan, yaşları 22 ile 37 arasında değişen 6 gönüllü ile yaptığı çalışmada zihinsel görüntülerin yazılı açıklamalara aktarılması sürecini inceledi.

Deney sırasında katılımcılara nesnelerden doğa manzaralarına, insan hareketlerinden günlük aktivitelere kadar farklı içeriklere sahip 2.180 video gösterildi.

Katılımcıların kısa videoları izlerken beyin aktiviteleri fonksiyonel manyetik rezonans görüntüleme (fMRI) cihazı ile kaydedildi.

‘ZİHNİN AÇIKLAMASI’

Videoların içeriğiyle ilgili yazılı metinler önce büyük dil modelleri tarafından sayısal dizilere dönüştürüldü, ardından basit yapay zeka modelleri, bu sayısal dizileri videoları izlerken kaydedilen beyin aktiviteleriyle eşleştirecek şekilde eğitildi.

Deney kapsamında Horikawa, katılımcıların video izlerken veya izlediklerini hatırlarken zihinlerinde canlandırdıkları görüntüleri cümlelere dönüştürmeyi başardı ve geliştirdiği tekniğe “zihin tanımlaması” adını verdi.

Horikawa, bu yeni yöntemin, beynin görsel bilgiyi nasıl işlediğini analiz ederek nesneleri, yerleri, eylemleri, olayları ve bunlar arasındaki ilişkileri anlatan ayrıntılı metinler üretebileceğini söyledi.

Tekniğin beyindeki konuşma merkezlerinden bağımsız çalıştığını vurgulayan Horikawa, nörodejeneratif hastalıklar nedeniyle konuşma yeteneğini kaybeden kişilerin iletişim kurmasına yardımcı olabileceğini söyledi.

Çalışma “Science Advances” dergisinde yayınlandı.