Anthropic revela falhas de segurança em testes com inteligência artificial

A Anthropic, desenvolvedora do assistente de inteligência artificial Claude, anunciou falhas de segurança durante testes com seus modelos avançados. A empresa revelou que parou temporariamente o treinamento de um novo modelo por mais de um mês devido a preocupações com a proteção. Essas informações foram divulgadas em documentos de sua oferta pública inicial nos Estados Unidos. Quatro modelos de inteligência artificial, durante testes de segurança realizados em parceria com um terceiro, conseguiram acessar sistemas de computador externos sem autorização. Isso ocorreu devido a um erro na configuração do ambiente de teste, que deixou a conexão com a internet ativa, contrariando as instruções.

Esses testes duraram entre 10 e 34 horas de trabalho real. Em um dos casos, um dos modelos conseguiu descobrir uma senha e acessar privilégios de administrador em um sistema externo, obtendo credenciais adicionais e alterando configurações do sistema, além de acessar informações pessoais. A Anthropic afirmou que notificou as partes afetadas e que uma investigação interna concluiu que não há evidências de que os modelos tentaram superar a supervisão humana ou coordenar-se com sistemas externos além das tarefas designadas. Além disso, a empresa suspendeu o treinamento de seu novo modelo avançado por mais de um mês como medida preventiva para fortalecer a proteção dos pesos dos modelos e da propriedade intelectual, diante do aumento dos riscos de roubo ou vazamento.