研究チーム、言語モデルの内部状態に思考ステップを分離可能と報告

KAISTとNaver AI Labの研究者による新しい研究は、推論モデルが問題を段階的に解決する際に示す思考ステップが、モデルの内部数値表現内で明確に区別可能であることを示した。この研究は、モデルがテキスト上で読み取り、分解、公式の参照、計算などの操作を行う過程を分析したものである。

研究者らは抽出、分解、公式参照、演繹、計算など8つの反復的な思考操作を定義した。Qwen2.5-7B、Qwen3-8B、Gemma4-31Bの3つのモデルに数学問題を解かせ、解答過程を区切り、GPT-5に各セクションを特定の操作に割り当てさせた。結果として、異なる思考操作は内部表現内で明確に分離され、特にモデルの中間層でこの分離が最も顕著であった。

この分離が単なる語彙選択によるものではないことを確認するため、使用されたトークンだけを評価する分類器をテストしたが、内部表現の分析より性能が低かった。また、解答過程内のセクションの位置もこの効果を説明しなかった。したがって、内部状態には、単なる文言を超えた思考ステップの種類に関する情報が含まれている。

頻出する機能語は、異なる思考ステップで異なる表現を持つ。初期層では表現が混在しているが、中間層以降では周囲の操作に応じて分離される。さらに、直前の30トークンへの注意をブロックすると、特定の操作のシグナルが弱まることから、思考ステップは孤立して生じるのではなく、先行テキストに依存していることが示された。

誤って解決された問題でも、モデルが実行していたステップの種類、例えば計算や公式参照は認識可能であった。誤った計算ステップは、結果が間違っているにもかかわらず、内部では依然として計算ステップに似ていた。Llama-3-8Bでの再現や、Qwen3-8BでのGPQA-DiamondおよびMATH-500での分類器の動作も確認された。ただし、実験は数学問題と少数のモデルに限られ、誤り検出や回答中のモデル制御への応用可能性は未解決の課題として残されている。

出力テキストと内部計算の関係は、思考チェーンの参照が少数の利用可能な制御手段の一つであるため、セキュリティ上重要である。Anthropicは、モデルが利用した手がかりを25パーセントから39パーセントのケースでしか開示しないと示した。また、OpenAIのモデルAstraでは、Recurrent Depth技術が推論の一部を内部数値表現に移行させる。