Experimento de busca de agentes em modelos abertos revela resultados variados

white and blue light on dark room — Denny Müller / Unsplash

Um experimento recente focou na criação de um sistema de busca de agentes utilizando modelos abertos para encontrar informações específicas, em particular, contatos de recursos humanos em grandes empresas. O projeto foi realizado com um orçamento limitado, utilizando ferramentas como Openrouter e Ollama, com um investimento total de 20 dólares.

O objetivo inicial do experimento era entender como um agente poderia localizar informações verificáveis sem recorrer a dados pessoais. O autor do projeto escolheu a empresa Sber, devido ao seu tamanho e à presença de produtos de inteligência artificial, acreditando que a probabilidade de sucesso na busca seria alta. Durante o experimento, foram utilizados diferentes métodos e ferramentas para automatizar o processo de busca.

As ferramentas empregadas incluíram o Agent Hermes, que forneceu funcionalidades para busca e registro de resultados, e o Ollama, que ofereceu modelos locais com um plano gratuito. Um modelo adicional, JEV, foi utilizado para avaliar os resultados da busca, definindo critérios para aceitar ou rejeitar informações encontradas.

A busca foi realizada principalmente através do Yandex, pois outros mecanismos de busca, como Google e Bing, apresentaram limitações significativas, incluindo a dificuldade em contornar as proteções de captcha. O Yandex mostrou-se mais eficaz, retornando resultados relevantes para as consultas realizadas.

O experimento também destacou a importância da configuração do sistema, como o uso de proxies e a escolha do mecanismo de busca. A análise das medianas de erros dos diferentes mecanismos revelou que o Yandex e o Bing apresentaram 0% de erro, enquanto o Google mostrou 10% e outros mecanismos como DuckDuckGo apresentaram taxas de erro muito mais altas.

Apesar das dificuldades encontradas, o experimento serviu como uma prova de conceito sobre a viabilidade de um sistema de busca automatizado baseado em modelos abertos, com a possibilidade de futuras melhorias e ajustes.