Uma única RTX 3090 sustenta o helpdesk de IA de um escritório de 40 pessoas e se paga em 5 meses

Os modelos em nuvem são mais inteligentes que os locais, e ninguém vai discutir isso. Mas «mais inteligente» não é a única métrica. As assinaturas ficam mais caras, os limites do modelo topo de linha acabam em meia hora e os dados vão parar nas mãos do provedor. Para contabilidade, advogados e tudo o que envolve dados pessoais, isso é uma restrição operacional, não um risco abstrato. Em uma palestra aberta em 6 de novembro, o diretor técnico do estúdio «Flag», Sasha Andreev, mostrou como é um cálculo sóbrio: quando basta uma placa de vídeo no gabinete e quando não basta.

Agente com ferramentas em vez de um «modelo que sabe tudo»

O primeiro caso é um escritório comum, fora da área de TI, com 40 pessoas: 1C, contabilidade, vendas, diretoria. O gerente aciona o contador, o contador se afoga em extratos, o diretor quer uma lista de devedores «para agora». Cada tarefa é simples, mas juntas geram um ruído constante.

Andreev propõe não ensinar tudo ao modelo, e sim dar a ele ferramentas: acesso ao 1C, ao Bitrix24, ao EDO (gestão eletrônica de documentos) e aos regulamentos internos. O modelo não reinventa o pagamento de uma fatura, ele chama um script de automação comum. Esses scripts são testados, escalam e não «raciocinam» pela milésima vez com chance de errar. O esquema é simples: a solicitação cai em uma fila (Bitrix, Planfix, Trello, tanto faz), o agente a pega e executa, e o resultado volta para a pessoa.

A mesma lógica funciona no desenvolvimento dele. Um bug ou solicitação de cliente cai na fila, e o Qwen 27B local, em modo agente, acessa o git, faz commits, merges e deploys. Um modelo de nuvem mais forte (na maioria das vezes o Codex) verifica o resultado como revisor. O objetivo é o trabalho pronto, não a vitória da rede local sobre a da nuvem.

O limite também é claro. Chamar um manipulador de 1C já escrito, o modelo local consegue. Desenvolver uma configuração de 1C, não: o contexto das sessões de agente ali é enorme, e a nuvem se sai visivelmente melhor.

Fazendo as contas: placa, tokens e quantização

Na RTX 3090, Andreev obtém cerca de 150 tokens por segundo. Em um escritório de 40 pessoas, costumam rodar 2–3 requisições ao mesmo tempo; os demais estão na fila ou almoçando. Um diálogo médio ocupa cerca de 20 mil tokens, e com acesso ao 1C, cerca de 60 mil. O contexto da configuração dele chega a 262 mil tokens. Para um helpdesk, isso basta.

A economia é a seguinte. Uma carga de cerca de 2000 chamadas por semana na nuvem custa aproximadamente 296 mil rublos por ano no Yandex AI Studio e 267 mil no Cloud.ru (GigaChat). Andreev comprou sua 3090 por 75 mil. Hoje, no Avito, essas placas custam cerca de 120 mil, e a esse preço o retorno vem em cerca de cinco meses. Uma ressalva importante: isso considera apenas a placa, sem o resto do hardware e a eletricidade, e não é o custo total de propriedade.

Para que um modelo de 27 bilhões de parâmetros caiba em 24 GB de memória de vídeo, ele é quantizado. Em 16 bits ele pesa cerca de 54 GB; no formato Q4, apenas cerca de 13,5 GB. Nos benchmarks, a perda de qualidade é da ordem de um ponto e meio. Uma analogia com o número π: para contas do dia a dia, 3,14 basta, mas arredondar para três não dá, a qualidade desmorona. O KV-cache, ou seja, o «resumo» do contexto, também é quantizado. A velocidade depende muito do motor (llama.cpp, Ollama e kernels especializados), e os benchmarks costumam ser medidos com contexto vazio. Em uso real, com a janela cheia, a velocidade é menor.

O que fazer na prática

A ordem recomendada por Andreev: primeiro escolher o modelo, a quantização e as tarefas, depois rodar o mesmo modelo na nuvem de um provedor e só então comprar o hardware. A medida não é o preço do token nem o preço da placa, mas o custo de um trabalho executado com sucesso. Se a carga é repetível e o modelo dá conta, o hardware próprio se paga. Se não, é preciso um modelo híbrido ou a nuvem. Tokens baratos com resultado ruim acabam sendo os mais caros.

Mais algumas conclusões da palestra:

• Comece pela análise: dores, 3–4 casos prioritários, piloto, medição do efeito.
• O híbrido é a opção mais comum. O modelo local executa, o modelo de nuvem ou um script rígido verifica. O controle humano não escala para 40 funcionários; a verificação precisa ser automatizada.
• Sem uma base digital (CRM, gerenciador de tarefas, wiki, mensageiro), os agentes não têm onde se apoiar.
• Os pesos do modelo não podem ser «lidos», então trate-os como software de terceiros e mantenha um perímetro de controle ao redor.

As limitações também merecem ser ditas com honestidade. Todos os números se referem a uma configuração e uma carga, e além disso são a experiência pessoal do palestrante, não um benchmark independente. Os preços das placas usadas estão subindo: no verão de 2025, uma 3090 custava cerca de 55 mil. O próprio Andreev diz que só se arrepende de ter comprado apenas uma placa, e que o preço desse caminho é lidar constantemente com quantizações, modelos e motores. Em compensação, para a rotina repetível de um escritório, a placa de vídeo de consumo já não é exotismo, e sim uma ferramenta de trabalho.