心に描いた風景を脳信号から復元！｜大阪大学

量子科学技術研究開発機構（理事長 小安重夫、以下「QST」）量子生命・医学部門 量子生命科学研究所 量子生命情報科学研究チームの間島慶研究員、情報通信研究機構（（NICT（エヌアイシーティー））理事長 徳田英幸）未来ICT研究所の小出（間島）真子研究員、大阪大学大学院生命機能研究科の西本伸志教授は、人が心の中で思い描いた任意の風景・物体などの「メンタルイメージ」を脳信号から読み出し、復元することに成功しました。 画像を実際に目で見ている人の脳の活動を機能的磁気共鳴画像法（fMRI）で計測し、その脳信号から見ている画像を復元できることは先行研究で示されています。しかし、メンタルイメージの復元は従来の方法では難しく、例えばアルファベットの文字や単純な幾何学図形など、限られた種類の画像でしか成功していませんでした。 これに対して研究チームは、目で見ている画像の復元に成功した既存の手法[出典1]をベースにしながら、近年発展の目覚ましい生成系AIとベイズ推定、ランジュバン動力学法を組み合わせた新手法を開発しました（概要図 参照）。この手法を用いて、画像の種類を限定することなく、人が心の中に思い描いたイメージを復元することに世界で初めて成功しました。 本成果は、他者の心の中にある認知や意識を客観的・定量的に捉える手段を提供するものであり、将来的には「心とは何か」の理解への道を拓くものと考えられます。また、メンタルイメージを用いた新たなコミュニケーションツール開発への応用や、本手法を利用したブレイン・マシン・インターフェース技術の開発と医療機器への展開が期待されます。 本研究は、神経科学・深層学習に関する論文が数多く発表されている国際誌Neural Networksに令和5年11月30日（木）0：00にオンライン掲載されました。本研究は、文部科学省 光・量子飛躍フラッグシッププログラム（Q-LEAP）（JPMXS0120330644)、科学研究費補助金 若手研究（20K16465）、科学技術振興機構（JST） さきがけ（JPMJPR2128）、CREST（JPMJCR18A5及びJPMJCR22P3）、ERATO（JPMJER1801）の支援を受けて行われました。