---
title: מחקר חדש מזהה הבחנה ברורה בין שלבי חשיבה שונים בתוך המודלים
url: https://www.dataloco.com/he/story-5
published: 2026-09-13T14:45:43+00:00
language: he
section: בינה מלאכותית
source: https://the-decoder.de/denkschritte-von-ki-modellen-lassen-sich-in-deren-internen-zustaenden-nachweisen/
organizations: KAIST, Naver AI Lab, OpenAI, Anthropic
publisher: Dataloco
---

# מחקר חדש מזהה הבחנה ברורה בין שלבי חשיבה שונים בתוך המודלים

חוקרים מאוניברסיטת KAIST בדרום קוריאה ומעבדת Naver AI Lab פרסמו מחקר המראה כי ניתן לזהות ולפצל את שלבי החשיבה השונים של מודלי שפה בתוך המיצוגים הפנימיים שלהם. המחקר בוחן כיצד מודלים פועלים בעת פתרון בעיות מתמטיות, ומגלה כי פעולות שונות כמו חילוץ מידע, פירוק בעיה, הזמנת נוסחה או ביצוע חישוב, משאירות חתימות נפרדות וברורות בתוך המבנה הפנימי של המודל. התוצאות הראו כי ההבחנה בין פעולות אלו חזקה במיוחד בשכבות האמצע של המודל, ולא רק בשכבות הראשונות או האחרונות.

החוקרים הגדירו שמונה פעולות חשיבה נפוצות, כגון חילוץ, פירוק, הזמנת נוסחה, הסקה וחישוב. כדי לבדוק את ההיפותזה, הם השתמשו בשלושה מודלים שונים: Qwen2.5-7B, Qwen3-8B ו-Gemma4-31B. המודלים הופענו לפתרון שאלות מתמטיות, והתשובות שלהם פורקו לפרקים. לאחר מכן, מודל נוסף בשם GPT-5 הופען לסיווג כל פרק לפי סוג הפעולה שביצע המודל המקורי. ניתוח המיצוגים הפנימיים הראה כי ניתן להפריד באופן אמין בין סוגי הפעולות השונות בכל שלושת המודלים שנבדקו.

המחקר ביקש גם לבדוק האם ההבחנה נובעת רק מהמילים שנבחרו. חוקרים השוו את ביצועי מחלק שפעל רק על סמך המילים עצמן, מול ניתוח המיצוגים הפנימיים. התברר כי המיצוגים הפנימיים מכילים מידע עשיר יותר על סוג שלב החשיבה, מעבר למילים המוצגות. מילים פונקציונליות נפוצות, כמו מילות קישור, קיבלו ייצוגים שונים בהתאם לפעולה הסביבתית שבה הן הופיעו. בשכבות המוקדמות הייצוגים היו מעורבים, אך בשכבות האמצע והמאוחרות הם נפרדו בהתאם לפעולה.

בדיקות נוספות הראו כי שלב חשיבה אינו נוצר באופן מבודד. כאשר החוקרים חסמו את תשומת הלב של המודל ל-30 המילים שקדמו לו, האותות של הפעולה החלשו. הדבר מעיד על תלות בטקסט הקודם. גם בשאלות שפתרו המודלים באופן שגוי, נותרה ההבחנה הפנימית ברורה; שלב חישוב שגוי נראה פנימית עדיין כשלב חישוב. התוצאות הושגו גם במודל Llama-3-8B, והמחלקים שנלמדו פעלו גם על סוגי שאלות אחרים כמו GPQA-Diamond ו-MATH-500.

המחקר מוגבל כרגע לשאלות מתמטיות ולמספר מוגבל של מודלים. השאלה האם ניתן לנצל ממצאים אלו לזיהוי שגיאות או לשליטה במודל בזמן אמת נשארת פתוחה. הנושא נוגע גם לשאלות אבטחה, שכן היכולת לקרוא את שרשרת החשיבה נחשבת לאחד הכלים המועטים הזמינים לבקרה. מחקרים קודמים הראו כי מודלים חושפים רק חלק מהמידע שהם עבדו עליו, וטכניקות חדשות מראות כי חלק מהחשיבה מתרחש בתוך המיצוגים הפנימיים, בדיוק שם שהמחקר הנוכחי מתמקד.

## This story in other languages

- [ไทย](https://www.dataloco.com/th/story-5)
- [Русский](https://www.dataloco.com/ru/issledovateli-dokazali-vozmoznost-vyiavleniia-vnutrennix-etapov-rassuzdenii-v-neirosetiax)