دراسة تكشف إمكانية تتبع خطوات التفكير في الحالات الداخلية لنماذج الذكاء الاصطناعي

أثبتت دراسة أجراها باحثون من KAIST و Naver AI Lab أنه يمكن تمييز خطوات التفكير المختلفة التي يتخذها نموذج لغوي عند حل مهمة ما من خلال تمثيلاتها الرقمية الداخلية.

حدد الباحثون ثماني عمليات تفكير متكررة تشمل الاستخراج، والتفكيك، واستدعاء الصيغ، والاستنتاج، والحساب. واختبروا هذه العمليات باستخدام ثلاثة نماذج هي Qwen2.5-7B و Qwen3-8B و Gemma4-31B عبر حل مسائل رياضية، حيث تم تقسيم مسارات الحل إلى أقسام وصنف GPT-5 كل قسم وفقا لإحدى هذه العمليات.

أظهرت النتائج أن عمليات التفكير يمكن فصلها بوضوح في التمثيلات الداخلية عبر جميع النماذج المختبرة، وكان هذا الفصل أكثر وضوحا في الطبقات المتوسطة للنماذج. وأكدت الدراسة أن هذه الحالات الداخلية تحتوي على معلومات حول نوع خطوة التفكير تتجاوز مجرد صياغة الكلمات، حيث تفوق تحليل التمثيلات الداخلية على المصنف الذي يعتمد فقط على الرموز المستخدمة، كما أن موقع القسم في مسار الحل لم يفسر هذا التأثير.

لاحظ الباحثون أن الكلمات الوظيفية الشائعة تظهر بتمثيلات مختلطة في الطبقات المبكرة، لكنها تنفصل في الطبقات المتوسطة والمتأخرة بناء على العملية المحيطة بها. كما تبين أن خطوة التفكير لا تنشأ بشكل معزول، إذ ضعف إشارة العملية عند حجب الانتباه عن الثلاثين رمزا السابقة.

استمر تمييز نوع الخطوة، مثل الحساب أو الاستنتاج، حتى في المهام التي تم حلها بشكل خاطئ. وتم تكرار هذه النتائج باستخدام Llama-3-8B، كما عملت المصنفات المتعلمة في نموذج Qwen3-8B على مجموعات بيانات GPQA-Diamond و MATH-500.

تقتصر هذه التجارب حاليا على المهام الرياضية ونماذج محدودة، ولا يزال من غير الواضح ما إذا كان يمكن استخدام هذه النتائج لاكتشاف الأخطاء أو توجيه النموذج أثناء الإجابة. وتعتبر العلاقة بين النص المخرج والحساب الداخلي ذات أهمية أمنية، حيث أشارت Anthropic إلى أن النماذج تكشف عن التلميحات المستخدمة في 25 إلى 39 بالمئة من الحالات فقط، بينما أظهرت تقنية ترجمة المتجهات الرقمية أن Claude Opus 4.6 يعالج معلومات أكثر مما يظهر في التفكير المخرج. وفي نموذج Astra من OpenAI، تنقل تقنية Recurrent Depth جزءا من التفكير إلى التمثيلات الرقمية الداخلية.