Robot z zintegrowanym GPT-6 Astra samodzielnie sprząta kuchnię

Badacze z Stanford i Caltech opracowali system o nazwie HomeBody, który pozwala robotowi Unitree-G1 samodzielnie nawigować po nieznanej kuchni, sprzątać oraz wydobywać przedmioty z szuflad.

System HomeBody rezygnuje z wytrenowanej warstwy sterującej pomiędzy modelem językowym a robotem. Zamiast tego, wymienne model wizji i języka (VLM), w tym przypadku GPT Astra, bezpośrednio korzysta z rozszerzalnej biblioteki umiejętności, takich jak chwytanie, nawigowanie czy otwieranie szuflad. Robot najpierw bada pomieszczenie, tworzy cyfrowego bliźniaka w symulatorze Nvidii Isaac Sim, a następnie zapisuje obiekty i miejsca w pamięci przestrzennej, co pozwala mu na odnalezienie przedmiotów, które nie są już w polu widzenia.

Zgodnie z badaczami, ograniczenia dotyczą opóźnień w działaniu Astra, przegrzewania serwomechanizmów palców oraz wysokich kosztów obliczeniowych. Kod jest dostępny na GitHubie.

Wcześniejsze badania wskazały na znaczne poprawy w rozumieniu przestrzennym u Astra, ale również na potencjalne niedobory w zakresie bezpieczeństwa robota Astra. OpenAI już zapowiedziało, że planuje ponownie zaangażować się w robotykę, także do użytku osobistego.