Persoonlijke AI-assistenten verzamelen gedetailleerde profielen van naasten van gebruikers

red pleated stage curtain — team voyas / Unsplash

Nieuwe generaties persoonlijke AI-assistenten, waaronder Muse van Meta en Dots van OpenAI, verzamelen op grote schaal persoonlijke gegevens van gebruikers en hun omgeving. Deze agenten volgen een eerdere golf van programma's, zoals OpenClaw en Instinct, en vervangen oudere chatbots door het gebruik van geavanceerde geheugensystemen en toegang tot persoonlijke data.

De assistenten hebben toegang tot e-mail, berichtenapps en bankrekeningen, en mogen acties uitvoeren namens de gebruiker, zoals het versturen van berichten en het doen van financiële transacties. Hoewel financiële handelingen fysieke bevestiging vereisen, gebeurt de verzameling van privégegevens automatisch.

Beveiligingsexperts die Muse onderzochten, ontdekten dat de agent bij standaardinstellingen rootrechten op Ubuntu krijgt, samen met toegang tot het werkgeheugen, cron.d en gigabytes aan gebruikersbestanden, waaronder SSH-sleutels. De software maakt gebruik van een framework genaamd Spaces voor de bouw van applicaties, met een TypeScript-sjabloon dat een React-client, server-acties, een Drizzle-schema voor SQLite, SQL-migraties en een Bun-configuratie bevat. Intern wordt de agent Hatch genoemd, met bestanden in mappen zoals /home/hatch, /opt/hatch en /opt/hatch-image, waarbij de map agents/ gegevens bevat over 113 subagenten in JSONL-bestanden.

Het geheugenmodel van de agent voert elk uur achtergrondtaken uit om informatie in verschillende geheugenbestanden op te slaan, die via PostgreSQL doorzoekbaar zijn. Er is een nachtelijk proces van dromen dat recente gesprekken analyseert om aanbevelingen te schrijven voor toekomstige sessies, waarbij oude dromen worden bewaard in ~/dreams/. Een systeem voor het wissen van herinneringen is ontworpen om alle sporen onherstelbaar te verwijderen.

Analyse van de bestanden van Muse onthulde instructies om een pagina aan te maken voor elke persoon in het leven van de gebruiker. Dit proces verzamelt gegevens over familie, partners, vrienden, collega's, medewerkers en mensen die de gebruiker volgt. Deze profielen bevatten secties zoals feiten, geschiedenis, relaties, algemeen, openstaande thema's en versterking. De agent noteert details zoals woonplaatsen, beroepen, belangrijke data, herinneringen aan reizen of ruzies, en de aard van de relatie.

De sectie versterking suggereert manieren om relaties te verbeteren, zoals redenen om te bellen of vormen van morele steun. Dit resulteert in het ongevraagd verzamelen van informatie over personen die zelf geen AI-agent hebben geïnstalleerd, wat de sociale grafieken van IT-bedrijven aanvult. Om de veiligheid te waarborgen, maakt Muse een geïsoleerde virtuele machine die gegevens en context bewaart, een architectuur die is medeontwikkeld door Moxie Marlinspike om te voorkomen dat persoonlijke agenten onderling communiceren en een collectieve intelligentie vormen.