AIモデルにおいて、より大型のモデル(教師モデル)から
小型のモデル(生徒モデル)へと知識を移す工程を
「蒸留」と呼ぶそうです。
AI開発企業のAnthropicなどの研究チームは、
大規模言語モデルが無関係なデータを介して
行動特性を伝達するという
「Subliminal Learning(サブリミナル学習)」についての
研究結果を発表。
サブリミナル学習について調べるため、ベースモデルから
「特定の動物が好きな教師モデル」を作成し、
数列やコード、思考の連鎖といった狭い領域で
データを生成し、生徒モデルのファインチューニングを行い、
最終的な生徒モデルがどのような特性を示すのかを評価。
詳しくはリンク記事でご確認ください。
「フクロウ好きなAIが生成した数列」で調整したAIもフクロウ好きになってしまう「サブリミナル学習」が起きる理由とは？ – GIGAZINE
AI開発企業のAnthropicなどの研究チームが、大規模言語モデルが無関係なデータを介して行動特性を伝達する「Subliminal Learning(サブリミナル学習)」についての研究結果を発表しました。サブリミナル学習により、「フクロウが好きなAIが生成した数列」でファインチューニングされたAIまでフクロウを好きになるなど、開発者にとって予想外の影響が出てしまうリスクがあるとのことです。
[PR]