دراسة تكشف ثغرات في أدوات فحص المهارات البرمجية للوكلاء الذكيين

في المقابل، نجحت الأدوات الثلاث في تحديد تهديدات بمستوى عالٍ عند اختبار اقتباس تعليمي لهجوم في الحزمة رقم 5. وأشار الباحث إلى أن هاتين الحالتين كانتا أكثر فائدة من الدرجات النهائية التي منحتها الأدوات.

تضمنت منهجية الاختبار تقسيم الحزم إلى مجموعتين، الأولى تضم خمس حزم بتعليمات مسموح بها، والثانية تضم سبع حزم تحتوي على تعليمات خطيرة مثل سرقة الأسرار، وتسريب البيانات، وتنفيذ أكواد غير مفحوصة، وتعديل ملفات التشغيل التلقائي دون إذن. وقد تم إجراء ما مجموعه 42 تجربة، شملت 36 تجربة للحزم و6 تجارب لملفات منفصلة بصيغة Markdown.

أوضح الباحث أن الاختبارات ركزت على رد فعل الماسحات تجاه التعليمات النصية فقط، ولم تتضمن سكربتات تنفيذية أو مفاتيح حقيقية، حيث استُخدمت نطاقات غير صالحة للعناوين الشبكية. كما تم تشغيل الماسحات في حاويات تستخدم وضع القراءة فقط لضمان عدم تنفيذ التعليمات، مع تعطيل الشبكة تماماً لمنع أي اتصال خارجي، خاصة وأن بعض الأدوات مثل NVIDIA SkillSpector قد تحاول الاتصال بقاعدة بيانات OSV في وضع عدم استخدام النماذج اللغوية.