หุ่นยนต์ที่มี GPT-6 Astra ทำความสะอาดครัวได้อย่างอิสระ

นักวิจัยจาก Stanford และ Caltech ได้นำเสนอระบบ HomeBody ที่ช่วยให้หุ่นยนต์ Unitree-G1 สามารถนำทางในครัวที่ไม่รู้จัก ทำความสะอาด และหยิบของจากลิ้นชักได้อย่างอิสระ

HomeBody ไม่มีชั้นการควบคุมที่ฝึกมาในระหว่างโมเดลภาษาและหุ่นยนต์ แต่ใช้ Vision-Language-Model (VLM) ที่สามารถเรียกใช้ความสามารถต่าง ๆ เช่น การหยิบ การนำทาง หรือการเปิดลิ้นชักได้โดยตรง หุ่นยนต์จะสำรวจพื้นที่ สร้างคู่แฝดดิจิตอลใน Isaac Sim ของ Nvidia และจัดเก็บวัตถุและสถานที่ในหน่วยความจำเชิงพื้นที่ เพื่อที่จะค้นหาสิ่งของที่อยู่นอกสายตา นอกจากนี้ โมเดลภาษายังวางแผนขั้นตอนถัดไปและแก้ไขข้อผิดพลาดด้วยตัวเองเมื่อต้องทำงานเช่น "ทำความสะอาดครัว"

ข้อจำกัดที่นักวิจัยกล่าวถึงคือ ความล่าช้าของ Astra การเกิดความร้อนเกินของเซอร์โวที่มือ และค่าใช้จ่ายในการคำนวณที่สูง โค้ดนี้สามารถเข้าถึงได้บน GitHub