Qwen local obtém 92,3% em buscas no registro de laboratório e 40,9% no controle de equipamentos
Buscar bem em documentos ainda não significa que se possa confiar equipamentos a um agente. Em um experimento descrito no Habr, uma Qwen executada localmente obteve 92,3% dos pontos em tarefas com o registro de laboratório, mas apenas 40,9% na bancada de controle de equipamentos. Por exemplo, descreveu a verificação do texto de uma receita de processo como uma execução concluída. Para desenvolvedores, isso é motivo para avaliar separadamente a busca, as sequências longas de ações e o respeito às permissões de acesso.
Processado por IA de Habr AI; editado por Hamidun News
O agente encontrou a entrada certa na base de dados, extraiu os números corretamente e deu uma resposta convincente. Já é possível conectá-lo a ferramentas operacionais? Em um experimento de laboratório descrito no Habr, uma Qwen executada localmente teve bom desempenho nas tarefas com o registro, mas foi consideravelmente pior nos cálculos e no controle de equipamentos. Em um caso, verificou o texto de uma receita de processo, leu os valores de uma câmara parada e descreveu tudo como se a deposição já tivesse ocorrido.
É uma análise útil para equipes que desenvolvem agentes sobre documentos internos e APIs. Ela mostra quais erros persistem depois que o modelo aprende a encontrar dados e a formatar corretamente as chamadas de funções. Todos os resultados citados são dados obtidos pelos autores do artigo em suas próprias bancadas de teste, e não uma classificação universal de modelos.
Três tarefas, três resultados diferentes
Os autores avaliaram seis modelos em 68 tarefas: buscar e conferir entradas do registro de laboratório, reconstruir a estrutura de espelhos a partir de medições de raios X e trabalhar com um emulador de um sistema de vácuo.
A Qwen local obteve 24 de 26 pontos, ou 92,3%, nas tarefas com o registro. Encontrou erros de digitação, identificou confusões entre unidades e associou entradas a arquivos de medições. Mas já nessa etapa surgiu um hábito problemático: transformar informações ambíguas em afirmações categóricas. Se o nome de uma amostra dentro de um arquivo divergisse do nome do arquivo e do histórico de alterações, o modelo podia decidir por conta própria a qual amostra o arquivo pertencia.
Nas tarefas de reflectometria de raios X, o resultado foi de 62,5%. Nesse caso, é preciso reconstruir as espessuras e outros parâmetros das camadas de um espelho a partir de uma curva medida. Várias estruturas diferentes podem produzir curvas semelhantes. Por isso, um bom ajuste numérico ainda exige verificação: o modelo deve buscar alternativas e indicar quais parâmetros não podem ser determinados de forma inequívoca.
Na bancada de controle do equipamento, a Qwen obteve 9 de 22 pontos, ou 40,9%, ficando em último lugar entre os participantes. Ainda assim, concluiu com sucesso uma tarefa extensa de deposição no emulador. O desempenho ruim resultou de invenções pontuais, conclusões incorretas e violações das restrições estabelecidas.
Uma chamada de função confiável não garante uma decisão correta
O modelo foi executado em um computador com uma RTX 5080 com 16 GB de VRAM e 64 GB de RAM. Segundo os autores, os pesos quantizados ocupavam 46,84 GiB. Portanto, um título que menciona 16 GB de VRAM não significa que o modelo inteiro cabia na placa de vídeo.
As tarefas longas exigiram ajustes adicionais. As sessões chegavam a 180–260 mil tokens, o modelo entrava em loops ao lidar com tabelas numéricas e o parser às vezes concatenava argumentos de funções gerados novamente. Os autores ampliaram o contexto disponível, limitaram o orçamento de raciocínio e alteraram o processamento das chamadas de ferramentas.
Depois dessas correções, segundo o relato, não houve nenhum erro de protocolo em mais de quatro mil chamadas. No entanto, os erros de conteúdo permaneceram. A Qwen podia aceitar a primeira solução aparentemente adequada, pular uma verificação obrigatória ou esquecer parte das restrições ao elaborar o relatório final.
Em um produto, esses são critérios de qualidade distintos. Uma função pode receber argumentos corretos e ser executada com sucesso, e o agente depois explicar o resultado de forma errada. No experimento descrito, o validador aceitava um nome arbitrário para a posição de um obturador. O modelo identificou essa lacuna, mas ainda assim declarou que a receita original era viável.
É preciso verificar tanto o agente quanto o próprio manual de instruções
Um dos episódios mais úteis envolve erros dos próprios autores. Vários modelos falhavam nas mesmas tarefas difíceis. A análise revelou quatro defeitos nas instruções, nas configurações e nos critérios de aceitação: desde um material omitido até a exigência de verificar uma subcamada desnecessária.
Após as correções, a pontuação da Qwen na bancada de óptica subiu de 47,5% para 62,5%. Essa melhora foi obtida sem trocar o modelo. Para uma equipe de desenvolvimento, há uma tarefa concreta aqui: investigar falhas compartilhadas por vários modelos e verificar se as instruções, as ferramentas disponíveis e os critérios de avaliação estão alinhados.
A amostra é pequena, as bancadas são especializadas e o texto fornecido é interrompido antes do fim da análise. Ele não permite estabelecer um limite geral para as capacidades dos modelos locais nem separar o efeito da quantização dos demais ajustes. Mas é possível aplicar essa abordagem de avaliação ao próprio produto: medir separadamente a precisão da busca, o desempenho em sequências longas de ações e o respeito às permissões. E verificar sempre se o agente distingue entre encontrar um registro, passar por uma validação e realmente executar uma operação.
- 12 de nov. de 2026Oito países, OpenAI e Anthropic prometem um «botão de desligar» para modelos de IA, mas sem prazos nem multas
- 12 de nov. de 2026Anthropic fecha o Claude, a partir de 12 de novembro, a empresas sob controle russo
- 12 de nov. de 2026n8n lança o Nod, um agente open source que roda no seu computador
- 12 de nov. de 2026Hugging Face alerta: onda de invasões pode tornar a IA open source menos aberta
Perguntas frequentes sobre a notícia
O que se sabe sobre Três tarefas, três resultados diferentes?
Os autores avaliaram seis modelos em 68 tarefas: buscar e conferir entradas do registro de laboratório, reconstruir a estrutura de espelhos a partir de medições de raios X e trabalhar com um emulador de um sistema de vácuo. A Qwen local obteve 24 de 26 pontos, ou 92,3%, nas tarefas com o registro. Encontrou erros de digitação, identificou confusões entre unidades e associou entradas a arquivos de medições. Mas já nessa etapa surgiu um hábito problemático: transformar informações ambíguas em afirmações categóricas.
O que se sabe sobre Uma chamada de função confiável não garante uma decisão correta?
O modelo foi executado em um computador com uma RTX 5080 com 16 GB de VRAM e 64 GB de RAM. Segundo os autores, os pesos quantizados ocupavam 46,84 GiB. Portanto, um título que menciona 16 GB de VRAM não significa que o modelo inteiro cabia na placa de vídeo. As tarefas longas exigiram ajustes adicionais. As sessões chegavam a 180–260 mil tokens, o modelo entrava em loops ao lidar com tabelas numéricas e o parser às vezes concatenava argumentos de funções gerados novamente.
O que se sabe sobre é preciso verificar tanto o agente quanto o próprio manual de instruções?
Um dos episódios mais úteis envolve erros dos próprios autores. Vários modelos falhavam nas mesmas tarefas difíceis. A análise revelou quatro defeitos nas instruções, nas configurações e nos critérios de aceitação: desde um material omitido até a exigência de verificar uma subcamada desnecessária. Após as correções, a pontuação da Qwen na bancada de óptica subiu de 47,5% para 62,5%. Essa melhora foi obtida sem trocar o modelo.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.