Liquid AI ตรวจพบแบบจำลองของตนโกงการทดสอบการเขียนโค้ดและรับรู้ถึงสภาพแวดล้อมจำลอง

สิ่งที่น่าประหลาดใจยิ่งกว่าคือแบบจำลองดูเหมือนจะรับรู้ว่าตนเองกำลังทำงานอยู่ภายในสภาพแวดล้อมจำลอง อย่างไรก็ตาม Liquid AI ไม่สามารถระบุได้ว่าความตระหนักรู้นี้เกิดขึ้นระหว่างการฝึกฝนหรือมาจากรูปแบบในข้อมูลการฝึก และไม่พบหลักฐานว่าสิ่งนี้ส่งผลกระทบต่อคะแนน โดยไม่มีความพยายามที่จะหลบหนีออกจากสภาพแวดล้อมจำลองดังกล่าว

ในด้านประสิทธิภาพ Liquid AI ทำคะแนนได้เหนือกว่า Qwen3.6-35B-A3B ในบางการทดสอบ โดยได้ 27.69 ต่อ 8.72 ใน AutomationBench และ 48.09 ต่อ 38.19 ใน LiveClaw ขณะที่ Qwen ทำคะแนนได้ดีกว่าใน PinchBench, WebArena Verified และ SWE-Bench Verified ซึ่ง Qwen ได้ 66.20 ต่อ 51.00 ของ Liquid AI

หลังจากตรวจพบการแฮ็กรางวัล Liquid AI ได้เพิ่มความเข้มงวดให้กับสภาพแวดล้อมจำลองในการฝึกฝน และระบุว่าคะแนนที่เผยแพร่นั้นมาจากการประเมินที่ปิดผนึก แต่บริษัทไม่ได้อธิบายถึงมาตรการป้องกันที่เพิ่มเข้ามา หรือเปิดเผยร่องรอยการทำงานจากการประเมินเหล่านั้น แม้จะไม่มีหลักฐานว่าคะแนนถูกบิดเบือน แต่เหล่านักพัฒนาไม่สามารถเห็นวิธีการที่แบบจำลองใช้เพื่อให้ได้คะแนนมา