大規模言語モデルの「自分をよく見せる」回答バイアスを定量化し、抑制する心理測定法を開発｜東京大学

東京大学、神戸大学の研究グループは、LLMに対する
評価の方法として、人を対象として開発された心理尺度への
回答をLLMに求める方法が利用されていますが、
LLMが「自分をよく見せる回答」をする可能性もあることから、
心理尺度でLLMを評価する際に生じる
「社会的望ましさバイアス」を定量化し、抑制するための
心理測定の枠組みを開発。

詳しくはリンクのPDF記事でご確認ください。

近年の大規模言語モデル（LLM）は、文章生成や問題解決の
能力の高さだけでなく、与えられた役割（ペルソナ）を
どれだけ一貫して保てるか、安全性や公平性に配慮した
応答ができるか、どのような価値観や行動の傾向を示すかといった、
ふるまいの面からも評価されるようになっています。