Studi menunjukkan langkah berpikir model kecerdasan buatan dapat dibedakan dalam representasi internal

Sebuah studi baru menemukan bahwa berbagai langkah berpikir yang dilakukan oleh model bahasa saat menyelesaikan masalah dapat dibedakan secara jelas dalam representasi internal model tersebut. Peneliti dari KAIST dan Naver AI Lab di Korea Selatan menguji apakah operasi kognitif yang terlihat dalam teks jawaban dapat dipisahkan dalam vektor numerik internal model. Hasilnya menunjukkan bahwa pemisahan ini paling kuat terjadi di lapisan tengah model, dan temuan ini berlaku untuk tiga model yang diuji.

Para peneliti mendefinisikan delapan operasi berpikir berulang, termasuk ekstraksi, dekomposisi masalah, pengambilan rumus, deduksi, dan perhitungan. Mereka menggunakan tiga model, yaitu Qwen2.5-7B, Qwen3-8B, dan Gemma4-31B, untuk menyelesaikan tugas matematika. Setiap bagian dari jalur penyelesaian kemudian diklasifikasikan ke dalam salah satu operasi tersebut menggunakan model GPT-5. Analisis menunjukkan bahwa operasi-operasi ini dapat dipisahkan secara andal dalam representasi internal di ketiga model tersebut.

Untuk memastikan bahwa perbedaan ini bukan sekadar akibat dari pilihan kata, para peneliti menguji pengklasifikator yang hanya menganalisis token yang digunakan. Pengklasifikator berbasis token tersebut menunjukkan kinerja yang lebih buruk dibandingkan analisis representasi internal. Posisi bagian dalam jalur penyelesaian juga tidak menjelaskan efek tersebut. Ini membuktikan bahwa keadaan internal model mengandung informasi tentang jenis langkah berpikir yang melampaui sekadar teks yang diucapkan.

Studi ini juga menemukan bahwa kata-kata fungsi yang umum, seperti kata ganti dan kata kerja bantu, direpresentasikan secara berbeda tergantung pada langkah berpikir di mana kata tersebut muncul. Di lapisan awal, representasi kata-kata ini masih bercampur, tetapi di lapisan tengah dan akhir, representasi tersebut terpisah berdasarkan operasi yang sedang berlangsung. Selain itu, ketika perhatian model terhadap tiga puluh token sebelumnya diblokir, sinyal untuk operasi tertentu melemah, menunjukkan bahwa langkah berpikir tidak muncul secara terisolasi, melainkan bergantung pada teks sebelumnya.

Pemisahan langkah berpikir tetap terlihat bahkan ketika model menyelesaikan tugas dengan salah. Langkah perhitungan yang salah secara internal masih menyerupai langkah perhitungan, meskipun hasilnya keliru. Temuan ini direplikasi pada model Llama-3-8B, dan pengklasifikator yang dilatih pada Qwen3-8B juga berfungsi pada dataset GPQA-Diamond dan MATH-500. Namun, eksperimen ini terbatas pada tugas matematika dan sejumlah kecil model.

Pertanyaan tentang hubungan antara teks yang dihasilkan dan perhitungan internal memiliki relevansi keamanan. Membaca rantai pemikiran dianggap sebagai salah satu alat kontrol yang tersedia. Anthropic menunjukkan bahwa model hanya mengungkapkan petunjuk yang digunakan dalam 25 hingga 39 persen kasus. Sebuah metode yang menerjemahkan vektor internal menjadi teks terbaca mengungkapkan bahwa Claude Opus 4.6 memproses lebih banyak informasi daripada yang terlihat dalam penalaran yang diucapkan. Pada model Astra dari OpenAI, teknik Recurrent Depth memindahkan sebagian penalaran ke representasi internal, yang merupakan area yang diteliti oleh studi KAIST ini. Apakah temuan ini dapat digunakan untuk mendeteksi kesalahan atau mengontrol model selama respons masih terbuka untuk penelitian lebih lanjut.