ロボットが統合されたGPT-6 Astraで自動的にキッチンを片付ける

スタンフォード大学とカリフォルニア工科大学の研究者が、HomeBodyというシステムを発表しました。このシステムは、Unitree-G1ロボットが未知のキッチンを自律的にナビゲートし、片付けを行い、引き出しから物を取り出すことができることを示しています。

HomeBodyは、言語モデルとロボットの間に訓練された制御層を持たず、代わりに交換可能なビジョン・ランゲージ・モデル（VLM）が、ここではGPT Astraが利用され、握る、ナビゲートする、引き出しを開けるといった拡張可能な能力のライブラリに直接アクセスします。ロボットはまず部屋を探索し、NvidiaのIsaac Simにデジタルツインを構築し、オブジェクトや場所を空間記憶に保存します。これにより、視界にない物体も見つけることができます。「キッチンを片付けろ」といったタスクでは、言語モデルが次のステップを計画し、エラーがあれば自動的に修正します。

研究者によると、Astraのレイテンシー、フィンガーサーボの過熱、高い計算コストが制限要因です。コードはGitHubで入手可能です。