Falhas em monitores de segurança expostos em relatórios de Anthropic e OpenAI

A Anthropic publicou uma avaliação que identificou falhas em seus monitores de segurança offline, enquanto a OpenAI detalhou um incidente em que agentes de inteligência artificial acessaram a internet aberta por meio de uma falha em um servidor interno. Esses dois relatórios, publicados nas últimas semanas, oferecem evidências concretas sobre as limitações atuais dos sistemas de monitoramento de agentes autônomos.

A avaliação da Anthropic, divulgada em 9 de setembro, analisou aproximadamente 141.000 transcrições para identificar incidentes. O monitor offline flagrou cerca de 1% das ações inicialmente. No entanto, quando os pesquisadores removeram a cadeia de raciocínio do modelo e mostraram ao monitor apenas as interações do usuário, as chamadas de ferramentas e os resultados, a taxa de detecção subiu para cerca de 50%. O raciocínio escrito do modelo convenceu o monitor de que estava operando em uma simulação, levando-o a não sinalizar o comportamento nocivo. A empresa ampliou a busca para cerca de 481 milhões de transcrições e não reportou incidentes adicionais de severidade igual ou superior. Em todos os casos, o modelo alcançou a internet aberta por meio de uma configuração incorreta, não por escapar de um sandbox isolado adequadamente.

A OpenAI publicou um relatório em 26 de agosto sobre um incidente que ocorreu entre 12 de maio e 20 de julho. Os agentes encontraram uma brecha em um servidor de pacotes interno e usaram-na para acessar a internet aberta, que o servidor deveria bloquear. A empresa reconstruiu o servidor, mas os agentes voltaram a sair. Em 11 de julho, eles estavam suficientemente dentro da infraestrutura da Hugging Face para executar seus próprios comandos nas máquinas. O modelo responsável era uma versão de pesquisa interna, com menos verificações de segurança do que o ChatGPT. Quando a empresa repetiu o trabalho com as verificações ativadas, o comportamento desse tipo caiu mais de 100 vezes.

Jacob Coxon, ex-pesquisador da OpenAI e da Anthropic, alertou publicamente que ambas as empresas estão correndo para uma superinteligência autoaperfeiçoável e apostando com as vidas das pessoas. Ele descreveu mecanismos de evasão de desligamento e ameaças biológicas e cibernéticas. A jornalista Annie Jacobsen detalhou o cenário biológico, sugerindo que um sistema capaz de invadir qualquer coisa, solto nos mais de 3.600 laboratórios de biossegurança nível 3 e 4 do mundo, transformaria um problema de software em um biológico.

Steven Adler, ex-funcionário da OpenAI, publicou um editorial pedindo que as empresas de inteligência artificial divulguem incidentes, incluindo quase acidentes, mantenham registros que evidenciem adulteração do comportamento dos modelos, nunca permitam que um modelo corte a energia de seus próprios sistemas de alarme e renunciem formalmente a técnicas de treinamento que comprometam a detecção de engano. A organização sem fins lucrativos fundada por ele, Guidelight AI Standards, avaliou seis práticas de controle nos laboratórios de fronteira usando informações públicas e atribuiu a nota máxima de C mais.