การทดสอบตัวกรองคาลมานในวงจรแก้ไขโค้ดด้วยปัญญาประดิษฐ์: ผลลัพธ์ที่แตกต่างระหว่างแบบจำลองและสถานการณ์จริง

การทดลองใช้โมเดลภาษา gpt-6.1-sol ในการปรับปรุงโค้ดภาษาไพธอน โดยวัดผลด้านความถูกต้อง เวลาในการประมวลผล และการใช้หน่วยความจำ ระบบสร้างคำตอบทั้งหมด 720 รายการ แบ่งเป็น 144 รายการสำหรับการปรับเทียบและ 576 รายการสำหรับการประเมินผล

โครงสร้างการประเมินประกอบด้วยเส้นทางการทำงาน 48 เส้นทาง ซึ่งเกิดจากภารกิจ 6 รายการ คูณด้วยจำนวนรอบทำซ้ำ 2 ครั้ง และโหมดการทำงาน 4 แบบ แต่ละเส้นทางมีขั้นตอนการแก้ไขโค้ดต่อเนื่องกัน 6 รอบ โดยมีการโต้ตอบระหว่างผู้เขียนและผู้วิจารณ์

ผู้วิจัยเปรียบเทียบวิธีการตัดสินใจรับฟังข้อเสนอแนะ 4 รูปแบบ ได้แก่ การปฏิบัติตามคำแนะนำของผู้วิจารณ์โดยตรง การใช้กฎทางสถิติคงที่ การใช้วิธีการทำให้เรียบ และการใช้ตัวกรองคาลมาน เพื่อวิเคราะห์ว่าวิธีการใดจัดการกับสัญญาณรบกวนจากคำวิจารณ์ได้ดีที่สุด

ผลการทดลองชี้ให้เห็นว่า แม้ทฤษฎีการควบคุมจะอธิบายปัญหาการแกว่งตัวของวงจรแก้ไขได้ แต่ในทางปฏิบัติ ตัวกรองคาลมานอาจไม่เพียงพอที่จะแก้ปัญหาความไม่แน่นอนของระบบเอเจนต์ปัญญาประดิษฐ์ได้อย่างสมบูรณ์