Teste com 16 modelos em 7 buscadores: Exa fez em média 10,5 pontos de 14; SearXNG, cerca de 3

Um autor do Habr passou 16 modelos por 7 ferramentas de busca, todos com a mesma pergunta sobre o Bitrix24. O agente precisava encontrar a pessoa jurídica e seus dados cadastrais, a receita do último ano conhecido, o CEO e o CMO, os produtos e planos, as atualizações de 2026, dois webinars já realizados e dois futuros, além de menções na mídia nos últimos seis meses. Cada um dos sete itens valia 0, 1 ou 2 pontos, com máximo de 14.

O gabarito foi montado manualmente pelo autor. Além da completude, ele contou o E, o número de itens com erro verificável, e as «invenções com confiança declarada»: fatos incorretos que o modelo marcou como «tenho certeza». A métrica do ranking é a pontuação líquida, ou seja, a completude menos E.

A pergunta tinha armadilhas. A OOO «БИТРИКС24», de Kaliningrado, é uma holding vazia, sem funcionários, e não a empresa procurada. Os dados de receita foram publicados apenas para 2023. O diretor de marketing é conhecido principalmente por comentários na imprensa especializada.

O que os modelos sabem sem busca

Primeiro, oito modelos responderam sem acesso à internet. O Gemini 3.8 Flash fez 5 pontos corretos de 14; os demais, de 1 a 3. Sonnet 5.5, Qwen 3.8 Max e GLM-5.3 inventaram o INN. O Nemotron Super citou um INN que pertence ao Sberbank. O Mistral Large 3 se confundiu com a pessoa jurídica, e o MiMo v2.6 Pro escreveu honestamente «não sei» sobre a receita.

O pior desempenho foi do gpt-oss:120b: seis invenções com confiança declarada, entre elas «lançamentos de 2026», quatro webinars inexistentes e citações da RIA Novosti de 22.10.2026. Seis modelos citaram o CEO; nenhum citou o CMO atual.

Sete buscadores: o que cada um entrega

O autor descreveu as ferramentas e as testou com dois modelos gratuitos que menos inventam, dots-3-note e Nemotron 3 Super, com uma execução por combinação.

• Exa: busca semântica em índice próprio, entrega o texto completo e highlights; $10 em créditos gratuitos por mês. Pontuação média de 10,5.
• DuckDuckGo (ddgs): biblioteca que dispensa chave, retorna título, URL e um snippet de 200 a 300 caracteres; é frágil por causa de bloqueios por IP. Pontuação média de 10,0.
• Keenable: índice próprio com busca «como estava em determinada data». Resultado de 7 a 8 pontos.
• Tavily: agregador de até 20 fontes, divide o conteúdo em chunks de 500 a 800 caracteres; 1 000 créditos por mês. Resultado de 5 a 7.
• Firecrawl: é um scraper, e não um buscador: renderiza a página e entrega markdown limpo. Na matriz, a combinação com o Parallel fez de 5 a 9 pontos.
• SearXNG: metabuscador self-hosted com até 244 fontes. Na configuração padrão, entrega apenas snippets, e o resultado ficou em cerca de 3. O autor admite que, com ajustes, ele pode render mais.
• Brave Search API: índice independente com mais de 30 bilhões de páginas e o endpoint /llm/context. As 2 000 consultas gratuitas não bastaram, e foi preciso recarregar a conta com $5, por isso ele não entrou na matriz.

Um caso ilustrativo com o dots: o agente citou helpdesk.bitrixrix24.ru, um domínio com erro de digitação que respondia com HTTP 200. O fato estava errado, e o próprio domínio pode ser de phishing. De cerca de 66 URLs verificadas com curl, só 2 estavam fora do ar. O principal erro não é um link inventado, mas a leitura incorreta de uma página que existe. O autor recomenda incluir validação de domínio na camada de orquestração do agente.

Dezesseis modelos: ler páginas importa mais que «inteligência»

No Exa, oito modelos pagos fizeram em média 11,1 de 14. Depois, o autor fez três execuções por combinação. A variação de um mesmo modelo foi de 3 a 6 pontos: o Sol obteve de 7 a 13 com o mesmo prompt. Um ranking baseado em uma única execução é, em parte, loteria. Médias finais de completude:

• MiMo v2.6 Pro: 12,0, 0 invenções, ≈$0,06 por execução;
• Nemotron 3 Ultra: cerca de 12,0, 0 invenções (2 de 3 execuções concluídas);
• GLM-5.3: 11,7, 1 invenção;
• DeepSeek v4.1 Flash: 11,7, 4 invenções: a pontuação alta foi obtida à custa de suposições;
• Sonnet 5.5: 11,3, 0 invenções, ≈$0,16;
• Gemini 3.8 Flash: 11,3, 2 invenções, ≈$0,05;
• Qwen 3.8 Max: 11,0, 0 invenções, ≈$0,14;
• dots-3-note: 11,0 e 5 invenções;
• Sol: 10,7, 0 invenções, ≈$0,15;
• Qwen 3.8 27B: 10,7, 2 invenções;
• Luna: 10,3, 1 invenção, ≈$0,01;
• Gemma 4 31B: 8,7, 3 invenções;
• Nemotron Super: 8,3, 3 invenções;
• Inkling: 8,3, 2 invenções;
• Mistral Large 3: 7,3, 3 invenções;
• gpt-oss 120B: 6,0, 6 invenções.

A análise do tool_calls.json explicou o resultado. O agente usa web_search (para encontrar) e web_extract (para ler a página).

O Qwen Max, no Brave, fez cerca de 23 buscas e 6 extrações em 5 a 6 minutos. Inkling e Mistral fizeram 7 buscas cada e nenhuma extração, com resultados de 3,7 e 4,0. Sonnet e Gemini fizeram de 7 a 11 buscas e de 0 a 1 extração em 40 a 50 segundos: rápido, mas o orçamento não chegou para webinars e mídia.

A completude cresce com o número de chamadas a web_extract, e não com a potência do modelo. Dicas no prompt são instáveis: no caso da Luna, a orientação sobre webinars adicionou um único meetup, mas a completude caiu de 10,3 para 7,7.

Snapshots de fontes e a falha do Brave

Quando o próprio código baixava as fontes para o snapshot.json e o modelo apenas extraía os campos, o ranking se embaralhou. O Gemini 3.8 Flash, no snapshot do DDG, fez 12 pontos sem erros, enquanto no Brave ao vivo fez 9,3. Mistral e Gemma subiram para 10,7 no snapshot, e o Nemotron 3 Super, ao contrário, caiu de 9,0 no Brave ao vivo para 3,3–3,7. DeepSeek: 11,7 no Exa, 6,7 no snapshot do DDG, 10,7 no snapshot do Brave. A completude média por modo: Exa, 10,1; Brave, 8,9; snapshot do DDG, 9,2; snapshot do Brave, 8,6. O snapshot do Brave quase não cobriu a mídia: em 34 de 45 execuções, o item ficou em branco.

Erros típicos: receita de «4,6 bilhões em 2024» em vez de 4,57 bilhões em 2023, confusão do Bitrix24 com o CMS 1C-Bitrix e a armadilha da OOO de Kaliningrado em Inkling, Mistral, Gemma, Nemotron Super e gpt-oss. Um incidente à parte: após o esgotamento do limite, o Brave passou a retornar HTTP 402, o detector só capturava o 429, e 9 de 42 execuções rodaram sem busca.

As limitações são evidentes: um único caso de teste, poucas execuções e avaliação manual com ajuda do Grok Bot. A conclusão prática para quem constrói busca para agentes: não confie em uma única execução, conte as invenções com confiança declarada separadamente e deixe ao agente orçamento para ler as páginas.