रोबोट ने एकीकृत GPT-6 एस्ट्रा के साथ रसोई को स्वचालित रूप से साफ किया

स्टैनफोर्ड और कैलटेक के शोधकर्ताओं ने होमबॉडी नामक एक प्रणाली का प्रदर्शन किया है, जो यूनिट्री-जी1 रोबोट को एक अज्ञात रसोई में स्वतंत्र रूप से नेविगेट करने, साफ करने और दराजों से वस्तुएं निकालने में सक्षम बनाता है।

होमबॉडी ने रोबोट और भाषाई मॉडल के बीच प्रशिक्षित नियंत्रण परत को छोड़ दिया है। इसके बजाय, एक विनिमेय विज़न-भाषा मॉडल (VLM) - यहाँ GPT एस्ट्रा - सीधे क्षमताओं की एक विस्तारित पुस्तकालय को सक्रिय करता है, जैसे कि ग्रिपिंग, नेविगेटिंग या दराज खोलना। रोबोट पहले कमरे का अन्वेषण करता है, एनविडिया के आइज़ैक सिम में एक डिजिटल ट्विन बनाता है और वस्तुओं और स्थानों को एक स्थानिक स्मृति में संग्रहीत करता है। इस प्रकार, वह उन वस्तुओं को भी ढूंढ सकता है जो दृश्य क्षेत्र में नहीं हैं। "रसोई साफ करो" जैसे कार्यों के लिए, भाषा मॉडल अगले चरणों की योजना बनाता है और त्रुटियों पर स्वयं को सुधारता है।

शोधकर्ताओं के अनुसार, एस्ट्रा की विलंबता, अंगों के अधिवक्ताओं का अधिक गर्म होना और उच्च गणना लागत सीमाएँ हैं। कोड गिटहब पर उपलब्ध है।