Roboter med integrert GPT-6 Astra rydder selvstendig i en kjøkken

Forskere fra Stanford og Caltech har utviklet et system kalt HomeBody, som lar en Unitree-G1-robot navigere, rydde opp og hente gjenstander fra skuffer i et ukjent kjøkken på egen hånd.

HomeBody dropper en trent kontrolllag mellom språkmodellen og roboten. I stedet kaller et byttbart Vision-Language-Model (VLM), her GPT Astra, direkte på et utvidbart bibliotek av ferdigheter som å gripe, navigere eller åpne skuffer. Roboten utforsker først rommet, lager en digital tvilling i Nvidias Isaac Sim og lagrer objekter og steder i et romlig minne. På denne måten finner den også gjenstander som ikke lenger er i synsfeltet. Ved oppgaver som "Rydd kjøkkenet" planlegger språkmodellen de neste stegene og korrigerer seg selv ved feil.

Forskere rapporterer at begrensninger inkluderer latens fra Astra, overoppheting av fingerservos og høye beregningskostnader. Koden er tilgjengelig på GitHub.

Tidligere undersøkelser har vist at Astra har betydelig forbedret romlig forståelse, men en annen studie påpekte mulige mangler ved sikkerheten til en Astra-robot. OpenAI har allerede annonsert planer om å gå inn i robotikk igjen, også for personlig bruk.