90% das aplicativos criados com vibe coding apresentam vulnerabilidades de segurança

this road floods each tide sign posted on a wooden post — Colin Hobson / Unsplash

Pesquisadores da Microsoft e da Universidade Nacional de Cingapura publicaram um estudo que analisou a segurança de aplicativos gerados automaticamente por IA, conhecidos como vibe coding. O trabalho, intitulado Understanding the (In)Security of Vibe-Coded Applications, examinou 9.041 projetos de código aberto, dos quais 8.695 eram aplicativos web e apenas 984 estavam em operação pública. A partir desses, uma amostra aleatória de 200 aplicativos foi testada, revelando que 91% continham pelo menos uma falha de segurança. Entre 1.186 vulnerabilidades identificadas, 65,77% foram classificadas como graves, capazes de permitir acesso não autorizado, comprometimento de sistemas ou vazamento de dados.

O estudo classificou as causas das falhas em três categorias: falta de memória (13,5%), onde medidas de segurança previamente definidas são esquecidas ou ignoradas; falta de propósito (23,1%), quando a prioridade é acelerar o desenvolvimento em detrimento da segurança; e falta de conhecimento (63,4%), relacionada a regras implícitas de segurança que a IA não reconhece ou executa conforme instruções perigosas do usuário.

Para testar estratégias de mitigação, os pesquisadores repetiram a tarefa com diferentes prompts. Sem ajustes, 25,7% das vulnerabilidades reapareceram; ao incluir a expressão "capaz de resistir a ambientes de produção", a taxa caiu para 11,0%; ao adicionar habilidades específicas de segurança, reduziu-se para 11,9%. Curiosamente, instruções técnicas detalhadas aumentaram a taxa de falhas para 45,7%, sugerindo que sobrecarga de diretrizes pode confundir a IA. Alterações no modelo de IA também mostraram pouca melhoria, e em alguns casos pioraram os resultados.

O artigo destaca que modelos mais avançados não garantem maior segurança e que a eficácia das medidas depende do contexto da instrução fornecida. Os resultados reforçam a necessidade de equilibrar rapidez na geração de código com salvaguardas contra vulnerabilidades, especialmente em ambientes onde a falta de expertise humana pode amplificar riscos.