Stable Diffusionは、2022年に公開された
ディープラーニングのtext-to-imageモデルで、
テキスト入力に基づいて画像生成ができる
画像生成AIです。
Stable Diffusion Online
https://stablediffusionweb.com/
今回は、大阪大学が行ったStable Diffusionを
用いた研究結果をご紹介します。
大阪大学の研究チームは、脳内の活動部位を
非侵襲的に測定するための方法である
磁気共鳴機能画像法(fMRI)で測定した
初期視覚野の活動(映像特徴)から
潜在表現を取得して、画像デコーダーに読み込ませて
画像を生成するという実験を行いました。
実験で被験者に提示された画像を見た時の
脳活動の情報をもとに
・初期視覚野から生成した画像
・高次視覚野の脳活動からテキストエンコーダーで生成した画像
・Stable Diffusionによって生成された画像
で生成された画像を比較。
詳しくはリンク記事でご確認ください。
磁気共鳴機能画像法(fMRI)は、脳内の活動部位を非侵襲的に測定するための方法です。このfMRIで測定した脳の機能活動から画像生成AIのStable Diffusionを使い、被験者が見た画像を再構築することに成功したという論文を、大阪大学大学院生命機能研究科の高木優助教らが発表しました。
情報源: 画像生成AI「Stable Diffusion」でfMRIによる脳活動のデータから画像を生成する研究を阪大の研究者が発表
[PR]