Qwen3.8-27B em IQ3 numa RTX 5070 Ti atinge 91,1% e entrega 68,3 tok/s

O autor de um artigo no Habr rodou o Qwen3.8-27B quantizado em IQ3 em uma única placa de vídeo RTX 5070 Ti e obteve 91,1% de tarefas resolvidas com sucesso, num conjunto próprio. O índice consolidado é 82,3, e a velocidade de geração é de 68,3 tokens por segundo em uma única thread, com contexto de 131K. Esta é a primeira parte de uma série: depois, a execução local será comparada com provedores de nuvem russos em qualidade e em preço, em rublos.

O que foi medido

No anúncio, os números aparecem atrelados às "minhas tarefas". Ou seja, trata-se de um benchmark do próprio autor, e não de um teste público como os que os laboratórios costumam rodar. Na prática, isso até ajuda: tarefas próprias mostram com mais precisão se o modelo serve para um trabalho específico. Mas não dá para comparar o resultado diretamente com as tabelas de leaderboards.

Parâmetros finais da execução:

• Modelo: Qwen3.8-27B, quantização IQ3
• Hardware: uma RTX 5070 Ti
• Taxa de tarefas resolvidas com sucesso: 91,1%
• Índice consolidado: 82,3
• Velocidade: 68,3 tok/s, uma thread
• Contexto: 131K tokens

Por que IQ3 e 131K geram polêmica

O autor conta que ouviu muitas opiniões do tipo "131K é pouco" e "IQ3 é burro". As objeções fazem sentido. O IQ3 comprime os pesos para cerca de três bits por parâmetro, e esse tipo de quantização tem fama de perder qualidade. O contexto de 131K também parece modesto diante de modelos com janela de centenas de milhares e até milhões de tokens.

A explicação está no hardware. A RTX 5070 Ti tem 16 GB de memória de vídeo GDDR7. Uma conta por alto: 27 bilhões de parâmetros a 3–3,5 bits por peso dão algo em torno de 10–11 GB só para os pesos. O restante vai para o KV-cache, que cresce junto com o contexto. Esta é a minha estimativa; o número exato depende da arquitetura do modelo e de o cache estar quantizado ou não. Ainda assim, ela mostra por que a combinação "IQ3 mais 131K" não parece casual. Uma quantização maior empurraria o contexto longo para fora da memória.

A velocidade de 68,3 tokens por segundo fica acima do ritmo de leitura e basta para trabalho interativo: chat, ajustes de código, ciclos curtos de agentes.

O que falta no anúncio

Agora, os pontos fracos. Pelo teaser, não dá para saber o que compõe o conjunto de tarefas, como o índice 82,3 é calculado e em que ele difere da taxa de sucesso de 91,1%. Não foram informados o runtime, os parâmetros de amostragem nem o método de verificação das respostas. Também não está claro como o modelo se comporta com o contexto cheio, e não apenas em consultas curtas. Por fim, os 68,3 tok/s valem para uma única thread. Para uma equipe com requisições paralelas, a nuvem pode levar vantagem em throughput.

É justamente por isso que a segunda parte é a mais interessante. Ela promete a comparação com a nuvem russa, ou seja, qualidade mais custo em rublos.

Como usar esses dados

Os números prontos do autor funcionam melhor como metodologia do que como veredito.

• Reúna de 30 a 50 tarefas do seu trabalho real: código, análise de documentos, extração de dados. Defina de antemão o que conta como sucesso.
• Rode o mesmo modelo em várias quantizações, por exemplo IQ3 e algo mais pesado, e também na nuvem. Registre a taxa de sucesso e a velocidade.
• Teste o contexto longo separadamente: preencha a janela até 100K ou mais e verifique como a qualidade cai.
• Faça as contas com honestidade. De um lado, o preço da placa, a energia elétrica e o seu tempo de manutenção. Do outro, os rublos por milhão de tokens e o volume real de tráfego.

Se você é o único usuário e suas tarefas cabem em 131K, uma placa local com 16 GB, a julgar por esses dados, pode dar conta da maior parte do trabalho. Para vários fluxos paralelos, só vale tirar conclusões depois dos números de nuvem da segunda parte.