Groq processou cinco avaliações em 2 segundos, Ollama em 81: o que o teste não mostra

Suponha que você queira separar automaticamente as avaliações dos clientes em positivas e negativas. Há dois caminhos: executar um modelo no próprio computador ou enviar os textos por uma API em nuvem. As questões são práticas: quanto tempo será preciso esperar por uma resposta, quanto custará o processamento e para onde irão os dados dos clientes.

O Machine Learning Mastery publicou um exemplo didático dessa comparação. Na execução do autor, o modelo local processou cinco avaliações em 80,71 segundos, enquanto o modelo em nuvem levou 2,02 segundos. A diferença é de quase quarenta vezes. No entanto, ainda é cedo para usar esses números na escolha da infraestrutura: o experimento compara modelos diferentes, e as condições da execução local não estão suficientemente documentadas.

Como funciona a comparação

O autor monta dois classificadores com os métodos fit() e predict(), conhecidos por quem usa scikit-learn. O primeiro utiliza Scikit-Ollama e Llama 3 localmente. O segundo funciona com Scikit-LLM e envia solicitações ao modelo gpt-oss-20b pela API da Groq. Ambos recebem as mesmas cinco frases em inglês e duas categorias disponíveis: positiva e negativa.

Uma função compartilhada executa o classificador, mede o tempo total e confere as respostas com rótulos definidos previamente. É um ponto de partida útil: você pode substituir as frases de demonstração por avaliações da sua loja, solicitações de suporte ou mensagens curtas de usuários. A interface permite manter a mesma lógica de medição ao trocar o sistema responsável pelo processamento.

Nos resultados apresentados, o modelo local classificou corretamente quatro das cinco frases, enquanto o modelo em nuvem acertou todas as cinco. A acurácia foi de 80% e 100%. O tempo inclui as chamadas a fit() e predict(), portanto os segundos informados correspondem a toda a execução medida, e não à latência de uma solicitação individual.

Por que ainda não há um vencedor

O principal problema é que o modelo e o ambiente de execução mudam ao mesmo tempo. Por isso, o experimento não separa o efeito da infraestrutura das diferenças entre Llama 3 e gpt-oss-20b. Usar a mesma função de medição facilita o procedimento, mas não garante, por si só, que os sistemas sejam comparáveis.

Além disso, o artigo não apresenta as especificações do hardware local, uma série de execuções repetidas nem resultados separados após o aquecimento do modelo. Sem essas informações, é impossível saber até que ponto os 80,71 segundos seriam representativos em outro computador. Um único número total também não mostra a variação das latências, que pode afetar a experiência do usuário.

Os resultados de acurácia ilustram a questão com ainda mais clareza. A única divergência ocorreu em uma avaliação que pode ser traduzida como "É razoável, nada de especial, mas funciona". O autor a rotulou como positiva; o modelo local, como negativa. A tarefa não inclui uma classe neutra. Assim, toda a diferença de vinte pontos percentuais se resume a uma frase ambígua e ao esquema de rotulagem escolhido.

O custo também não é medido. A função simplesmente imprime a string "$0" fornecida a ela. Para a execução local, isso não considera hardware nem eletricidade; para a execução em nuvem, não esclarece as condições de acesso gratuito nem os limites de uso. A afirmação de privacidade absoluta também exige uma ressalva: executar no Google Colab, uma opção permitida pelo tutorial, já significa usar infraestrutura externa.

O que aproveitar no seu projeto

O valor prático do artigo está na estrutura do experimento. Comece com uma amostra representativa de mensagens reais e regras claras de rotulagem. Se o seu produto recebe avaliações neutras, decida previamente se elas precisam de uma categoria própria. Caso contrário, alguns supostos "erros do modelo" serão, na verdade, divergências sobre o significado dos rótulos.

Em seguida, fixe as versões dos modelos, os parâmetros de execução e o hardware. Repita as medições e avalie separadamente a primeira solicitação e o desempenho após o aquecimento. Para um serviço, é útil conhecer não apenas o tempo médio, mas também a latência das respostas lentas, o comportamento sob carga concorrente e a taxa de falhas.

Por fim, calcule os custos para o volume esperado de solicitações e verifique os requisitos de transferência de dados. O teste mostra como montar rapidamente um primeiro protótipo de comparação. A decisão entre execução local e em nuvem deve se basear nos resultados da sua própria tarefa: as cinco avaliações publicadas não oferecem fundamento suficiente.