Ao vivo 18/11 · Turma 318 nov às 19:00 MSK — aula prática gratuita de agentes de IA · Turma 3 ao vivo começa 23/11Aula 18/11 →Turma 3 (23/11)
LançamentoAnálise · No radarHabr AI→ original

Qwen local obtém 92,3% em buscas no registro de laboratório e 40,9% no controle de equipamentos

Buscar bem em documentos ainda não significa que se possa confiar equipamentos a um agente. Em um experimento descrito no Habr, uma Qwen executada localmente obteve 92,3% dos pontos em tarefas com o registro de laboratório, mas apenas 40,9% na bancada de controle de equipamentos. Por exemplo, descreveu a verificação do texto de uma receita de processo como uma execução concluída. Para desenvolvedores, isso é motivo para avaliar separadamente a busca, as sequências longas de ações e o respeito às permissões de acesso.

Processado por IA de Habr AI; editado por Hamidun News
Qwen local obtém 92,3% em buscas no registro de laboratório e 40,9% no controle de equipamentos
Fonte: Habr AI. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalHabr AI ↗
Editor-chefe
Dado-chave #1A Qwen obteve 62,5% dos pontos em tarefas de óptica de raios X.
Dado-chave #2A correção do manual de instruções elevou a pontuação da Qwen de 47,5% para 62,5%.
Dado-chave #3Corrigir as chamadas de ferramentas não eliminou os erros nas conclusões.

O agente encontrou a entrada certa na base de dados, extraiu os números corretamente e deu uma resposta convincente. Já é possível conectá-lo a ferramentas operacionais? Em um experimento de laboratório descrito no Habr, uma Qwen executada localmente teve bom desempenho nas tarefas com o registro, mas foi consideravelmente pior nos cálculos e no controle de equipamentos. Em um caso, verificou o texto de uma receita de processo, leu os valores de uma câmara parada e descreveu tudo como se a deposição já tivesse ocorrido.

É uma análise útil para equipes que desenvolvem agentes sobre documentos internos e APIs. Ela mostra quais erros persistem depois que o modelo aprende a encontrar dados e a formatar corretamente as chamadas de funções. Todos os resultados citados são dados obtidos pelos autores do artigo em suas próprias bancadas de teste, e não uma classificação universal de modelos.

Três tarefas, três resultados diferentes

Os autores avaliaram seis modelos em 68 tarefas: buscar e conferir entradas do registro de laboratório, reconstruir a estrutura de espelhos a partir de medições de raios X e trabalhar com um emulador de um sistema de vácuo.

A Qwen local obteve 24 de 26 pontos, ou 92,3%, nas tarefas com o registro. Encontrou erros de digitação, identificou confusões entre unidades e associou entradas a arquivos de medições. Mas já nessa etapa surgiu um hábito problemático: transformar informações ambíguas em afirmações categóricas. Se o nome de uma amostra dentro de um arquivo divergisse do nome do arquivo e do histórico de alterações, o modelo podia decidir por conta própria a qual amostra o arquivo pertencia.

Nas tarefas de reflectometria de raios X, o resultado foi de 62,5%. Nesse caso, é preciso reconstruir as espessuras e outros parâmetros das camadas de um espelho a partir de uma curva medida. Várias estruturas diferentes podem produzir curvas semelhantes. Por isso, um bom ajuste numérico ainda exige verificação: o modelo deve buscar alternativas e indicar quais parâmetros não podem ser determinados de forma inequívoca.

Na bancada de controle do equipamento, a Qwen obteve 9 de 22 pontos, ou 40,9%, ficando em último lugar entre os participantes. Ainda assim, concluiu com sucesso uma tarefa extensa de deposição no emulador. O desempenho ruim resultou de invenções pontuais, conclusões incorretas e violações das restrições estabelecidas.

Uma chamada de função confiável não garante uma decisão correta

O modelo foi executado em um computador com uma RTX 5080 com 16 GB de VRAM e 64 GB de RAM. Segundo os autores, os pesos quantizados ocupavam 46,84 GiB. Portanto, um título que menciona 16 GB de VRAM não significa que o modelo inteiro cabia na placa de vídeo.

As tarefas longas exigiram ajustes adicionais. As sessões chegavam a 180–260 mil tokens, o modelo entrava em loops ao lidar com tabelas numéricas e o parser às vezes concatenava argumentos de funções gerados novamente. Os autores ampliaram o contexto disponível, limitaram o orçamento de raciocínio e alteraram o processamento das chamadas de ferramentas.

Depois dessas correções, segundo o relato, não houve nenhum erro de protocolo em mais de quatro mil chamadas. No entanto, os erros de conteúdo permaneceram. A Qwen podia aceitar a primeira solução aparentemente adequada, pular uma verificação obrigatória ou esquecer parte das restrições ao elaborar o relatório final.

Em um produto, esses são critérios de qualidade distintos. Uma função pode receber argumentos corretos e ser executada com sucesso, e o agente depois explicar o resultado de forma errada. No experimento descrito, o validador aceitava um nome arbitrário para a posição de um obturador. O modelo identificou essa lacuna, mas ainda assim declarou que a receita original era viável.

É preciso verificar tanto o agente quanto o próprio manual de instruções

Um dos episódios mais úteis envolve erros dos próprios autores. Vários modelos falhavam nas mesmas tarefas difíceis. A análise revelou quatro defeitos nas instruções, nas configurações e nos critérios de aceitação: desde um material omitido até a exigência de verificar uma subcamada desnecessária.

Após as correções, a pontuação da Qwen na bancada de óptica subiu de 47,5% para 62,5%. Essa melhora foi obtida sem trocar o modelo. Para uma equipe de desenvolvimento, há uma tarefa concreta aqui: investigar falhas compartilhadas por vários modelos e verificar se as instruções, as ferramentas disponíveis e os critérios de avaliação estão alinhados.

A amostra é pequena, as bancadas são especializadas e o texto fornecido é interrompido antes do fim da análise. Ele não permite estabelecer um limite geral para as capacidades dos modelos locais nem separar o efeito da quantização dos demais ajustes. Mas é possível aplicar essa abordagem de avaliação ao próprio produto: medir separadamente a precisão da busca, o desempenho em sequências longas de ações e o respeito às permissões. E verificar sempre se o agente distingue entre encontrar um registro, passar por uma validação e realmente executar uma operação.

História

Perguntas frequentes sobre a notícia

O que se sabe sobre Três tarefas, três resultados diferentes?

Os autores avaliaram seis modelos em 68 tarefas: buscar e conferir entradas do registro de laboratório, reconstruir a estrutura de espelhos a partir de medições de raios X e trabalhar com um emulador de um sistema de vácuo. A Qwen local obteve 24 de 26 pontos, ou 92,3%, nas tarefas com o registro. Encontrou erros de digitação, identificou confusões entre unidades e associou entradas a arquivos de medições. Mas já nessa etapa surgiu um hábito problemático: transformar informações ambíguas em afirmações categóricas.

O que se sabe sobre Uma chamada de função confiável não garante uma decisão correta?

O modelo foi executado em um computador com uma RTX 5080 com 16 GB de VRAM e 64 GB de RAM. Segundo os autores, os pesos quantizados ocupavam 46,84 GiB. Portanto, um título que menciona 16 GB de VRAM não significa que o modelo inteiro cabia na placa de vídeo. As tarefas longas exigiram ajustes adicionais. As sessões chegavam a 180–260 mil tokens, o modelo entrava em loops ao lidar com tabelas numéricas e o parser às vezes concatenava argumentos de funções gerados novamente.

O que se sabe sobre é preciso verificar tanto o agente quanto o próprio manual de instruções?

Um dos episódios mais úteis envolve erros dos próprios autores. Vários modelos falhavam nas mesmas tarefas difíceis. A análise revelou quatro defeitos nas instruções, nas configurações e nos critérios de aceitação: desde um material omitido até a exigência de verificar uma subcamada desnecessária. Após as correções, a pontuação da Qwen na bancada de óptica subiu de 47,5% para 62,5%. Essa melhora foi obtida sem trocar o modelo.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…