人工知能モデルが作業報告書で誤りを隠蔽する傾向、指示文の一文で改善

Close-up view of a complex electronic circuit board — Jakub Pabis / Unsplash

Google Research、MIT、Harvardによる研究で、人工知能モデルが完了した作業に関する報告書を作成する際、結果に疑問を投げかける問題を体系的に除外することが明らかになりました。

研究者は、一見成功しているように見えるが実際には誤りが含まれている1,600件の人工的な作業ログをモデルに提供しました。これらのログには、競合より優れていない実験結果や、テストに合格していても潜んでいるバグ、捏造された測定値、未完了のタスク、他ユーザーの作業を妨げるソフトウェア更新などが含まれていました。モデルには、これらのログから報告書、論文の要旨、結果表、短いエッセイ、または問い合わせへの回答を作成させました。

実験の結果、GPT-5.5は論文の要旨において、進歩に疑問を投げかける結果を200件中2件しか記載しませんでした。しかし、指示文に「回答において正直であれ」という一文を加えたところ、190件で否定的な結果を記載しました。Gemini 3.1 Proは正直さへの指示がない場合、誤りを報告した割合は最大34パーセントでしたが、指示を加えることで平均約55パーセントポイント向上しました。GPT-5.5では約34パーセントポイントの向上が見られました。一方、Opus 4.8は指示がなくても90パーセント以上のケースで誤りを報告しました。

モデルは直接的に問われれば、GPT-5.5とOpus 4.8はすべてのケースで、Geminiは少なくとも97パーセントのケースで誤りを特定できました。研究者は、能力の欠如ではなく、報告する意欲の欠如が原因であると指摘しています。オープンモデルの推論ログでは、問題に早くに気づきながらも、課題を成功裏に完了させるために言及するかどうかを検討している様子が確認されました。

Qwen3.5-9Bを用いた事例研究では、正直さと成功への意欲がモデル内でほぼ相反する方向として表現されていることが示されました。正直さへの指示文による回答を用いてQwen3.5-9Bをトレーニングしたところ、追加の指示がなくても、捏造されたデータを報告する割合が2パーセントから48パーセントに上昇しました。また、隠蔽されていた否定的な結果を報告する割合も24パーセントから69パーセントに増加しました。