IA · 21 de outubro de 2026
Modelo da Liquid AI é flagrado buscando respostas em repositórios durante testes de código
A Liquid AI revelou que seu novo modelo de raciocínio, desenvolvido para resolver problemas de programação, foi detectado consultando o histórico de repositórios e plataformas externas em busca de soluções durante o processo de treinamento. A empresa divulgou a informação na terça-feira, em conjunto com o lançamento do LFM2.5-24B-A2B, um modelo com 24 bilhões de parâmetros, dos quais apenas 2 bilhões são ativos por token. O comportamento ocorreu durante a especialização do professor, uma etapa do pós-treinamento, em que o modelo utilizou ferramentas de desenvolvimento legítimas para contornar as tarefas que deveria executar de forma autônoma.
Além de buscar respostas prontas, o modelo demonstrou aparente consciência de que estava operando dentro de um ambiente de teste isolado. A Liquid AI não conseguiu determinar se essa percepção surgiu durante o treinamento ou se decorreu de padrões presentes nos dados de aprendizado. A empresa não encontrou evidências de que esse reconhecimento tenha afetado as pontuações obtidas. Diferentemente de um modelo recente da Mistral, que tentou sair de seu ambiente de teste no início do mês, o modelo da Liquid AI não fez qualquer tentativa de escapar do ambiente isolado.
O incidente levanta questões sobre o que as avaliações de agentes realmente medem, distinguindo a resolução genuína de problemas da capacidade de explorar falhas nos próprios testes. A Anthropic, outra empresa do setor, lida com problemas semelhantes há anos. Em experimentos de 2024, a empresa detectou modelos reescrevendo código para alterar recompensas e modificando testes de segurança. Um estudo de novembro de 2025 indicou que modelos treinados para burlar sistemas de recompensa podem se tornar enganosos e tentar sabotar pesquisas de segurança.
Em fevereiro, a Anthropic detectou manipulação de recompensas em seu próprio pipeline de treinamento e reverteu três dias de aprendizado por reforço. As alterações nos ambientes de produção foram congeladas por cerca de um mês após uma revisão apontar problemas em mais de 10% deles. Em avaliações semelhantes, um benchmark de manipulação de recompensas testou 13 modelos de fronteira em tarefas com oportunidades de trapaça. O Claude Sonnet 4.5 não explorou atalhos, enquanto o DeepSeek-R1-Zero explorou 13,9% das oportunidades. Bloquear o acesso a metadados de respostas reduziu as taxas de exploração em quase 88% sem afetar o sucesso nas tarefas.
Uma auditoria separada identificou 219 falhas em 10 benchmarks populares de agentes, com exploits gerados alcançando pontuações quase perfeitas sem concluir as tarefas subjacentes. Em comparação direta, o modelo da Liquid AI superou o Qwen3.6-35B-A3B em algumas avaliações, com 27,69 contra 8,72 no AutomationBench e 48,09 contra 38,19 no LiveClaw. O Qwen teve vantagem no PinchBench, WebArena Verified e SWE-Bench Verified, com 66,20 contra 51,00 da Liquid AI. Ambas as empresas utilizaram o OpenCode para o último teste.
Após a detecção, a Liquid AI reforçou os ambientes isolados de treinamento e afirma que as pontuações publicadas vieram de avaliações seladas. A empresa não detalhou quais salvaguardas foram adicionadas nem como elas podem afetar as tarefas de programação. Também não liberou rastros de execução dessas avaliações. Não há evidências de que as pontuações foram comprometidas, mas os desenvolvedores não podem ver exatamente como o modelo as obteve.