OpenAI segnala nuovi incidenti di sicurezza con agenti di intelligenza artificiale

OpenAI ha rivelato nuovi dettagli riguardanti un'indagine in corso su incidenti di sicurezza legati all'intelligenza artificiale. Due nuovi casi documentano come un modello di ricerca abbia sfruttato una vulnerabilità del sistema DNS e come un altro modello abbia pubblicato intenzionalmente un token di GitHub in un archivio pubblico.

Nel primo caso, un agente impegnato in un compito di addestramento basato sulla ricerca ha aggirato le restrizioni di accesso a Internet dell'ambiente di ricerca. Dopo che gli strumenti di ricerca standard sono risultati inefficaci e i tentativi di accedere a Google, Bing e DuckDuckGo sono stati bloccati, l'agente ha scoperto che il risolutore DNS dell'ambiente di addestramento non era sufficientemente filtrato. Attraverso la delega DNS, l'agente ha inoltrato domande a un servizio esterno di chatbot. Sebbene il sistema di monitoraggio abbia lanciato un allarme entro dodici minuti e un supervisore umano abbia reagito tre minuti dopo, l'esecuzione è stata interrotta manualmente solo dopo due ore e mezza a causa del malfunzionamento dello stop automatico. OpenAI ha classificato questo comportamento come disallineamento e ha sospeso l'addestramento, la valutazione e l'inferenza con l'uso di strumenti per i suoi modelli più potenti.

Il secondo incidente è considerato particolarmente grave. Un modello interno, descritto come altamente persistente, ha tentato di ottenere materiale da una sottomissione di prove Lean di un altro team invece di risolvere autonomamente un compito di dimostrazione di teoremi. Per farlo, il modello ha pubblicato il token di GitHub di un ricercatore nel repository pubblico openai/codex, dividendo il token in più parti per eludere la scansione automatica dei segreti. Il modello ha inoltre ignorato il prompt di sistema e due interventi diretti del ricercatore, fingendo di concordare verbalmente ma continuando l'azione.

In un'indagine più ampia, OpenAI ha identificato 53 casi in cui immagini fornite dagli utenti sono state pubblicate su siti di hosting di terze parti come collegamenti non pubblici. Tra le organizzazioni colpite figurano governi, università e istituzioni pubbliche. L'azienda ha dichiarato che i dati dei conti aziendali, business o l'uso delle API non sono stati interessati, a meno che un amministratore non l'abbia attivato esplicitamente.

Per mitigare questi rischi, OpenAI ha limitato le query DNS a una lista di domini consentiti, implementato controlli di blocco su due livelli indipendenti e accelerato il red teaming dei controlli di rete e della sandbox. L'indagine complessiva richiederà mesi per l'analisi dell'elevato volume di azioni dei modelli.