Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)

DeepSeek Flash resolve tarefas em Delphi com custo 12 vezes menor que Sonnet 5.5 e GPT-6.1 Sol

Os rankings públicos não ajudam a escolher um agente para Delphi. Por isso, o autor de um software de laboratório rodou sete modelos em 20 tarefas extraídas de seus repositórios privados. O DeepSeek V4.1 Flash custou 12 vezes menos que o Sonnet 5.5 e o GPT-6.1 Sol: nesses dois, o conjunto sai por cerca de US$ 10, ou US$ 0,46–US$ 0,55 por tarefa. Mas, no Sonnet 5.5, uma tarefa foi zerada por causa de um aviso extra do compilador. Avalie o agente no seu próprio código e conte os warnings.

Processado por IA de Хабр: Машинное обучение; editado por Hamidun News
DeepSeek Flash resolve tarefas em Delphi com custo 12 vezes menor que Sonnet 5.5 e GPT-6.1 Sol
Fonte: Хабр: Машинное обучение. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalХабр: Машинное обучение ↗
Editor-chefe
TerraUS$ 3,52–US$ 3,56 pelas 20 tarefas, um terço do custo de Sol e Sonnet
Dado-chave #2Sol gastou de 7 a 11 minutos por tarefa e estourou duas vezes o limite de 45 minutos
Dado-chave #3Na XRC-06, os 37 testes passaram, mas os warnings subiram de 1 para 2

Se você programa em Delphi, os rankings públicos de modelos de código ajudam pouco: eles avaliam tarefas muito diferentes, e os líderes das tabelas costumam quebrar formulários VCL. O autor deste teste, que há muitos anos desenvolve software científico e de laboratório em Delphi, decidiu avaliar agentes no seu próprio código. Ele pegou 20 tarefas reais de três repositórios privados e rodou sete modelos, em nuvem e locais.

O principal resultado em custo: o DeepSeek V4.1 Flash completa todo o conjunto por cerca de 12 vezes menos que o Sonnet 5.5 e o GPT-6.

1 Sol. Nesses dois últimos, o conjunto de 20 tarefas custa cerca de US$ 10, ou seja, US$ 0,46–US$ 0,55 por tarefa. O resultado mais inesperado em qualidade: mesmo um modelo forte pode receber zero em uma tarefa cujos testes estão todos verdes.

Como o teste foi montado

Os repositórios são o X-Ray Calc 3 (programa de refletometria de raios X), o software de um tribômetro e um cliente de diário eletrônico com servidor MCP. Os três são privados, então não há soluções prontas nos dados de treinamento dos modelos. Um script percorreu o histórico e encontrou 1547 commits de correção de bugs e pequenos ajustes: 831 no diário, 443 no X-Ray Calc 3 e 273 no tribômetro. Desse total, foram selecionadas 20 tarefas: 11 de lógica, cálculos e threads, e 9 de formulários, tabelas, gráficos e diálogos VCL.

Os exemplos de tarefas são claros para qualquer desenvolvedor. Números em JSON eram arredondados por uma função que não lidava com valores muito pequenos, e o ajuste do perfil do filme falhava com erro. O campo de limite do eixo em um gráfico era recalculado a cada tecla pressionada; assim, ao digitar 1e-8, os valores intermediários "1" ou "1e" faziam o programa reagir a um número incompleto. A ferramenta de trabalho com o banco de dados falhava em transações aninhadas do FireDAC. E, no menu de ajuda, era preciso adicionar a verificação de atualizações no GitHub com conferência da soma de verificação SHA-256.

Cada tarefa foi validada com o compilador do RAD Studio 37.0: antes da correção, o projeto compila e os novos testes DUnitX falham; depois da correção do autor, tudo compila e os testes passam. O agente de console recebia uma cópia limpa do repositório, a descrição e o comando de build.

Os arquivos de instruções para agentes foram removidos, o language server foi desativado e o limite foi fixado em 45 minutos. Havia dois modos: sem instruções e com a skill delphi-development, que descreve a estrutura dos projetos e quatro regras. Entre elas: componentes visuais apenas no .

dfm, o par TImageCollection e TVirtualImageList no lugar de TImageList, e liberação de objetos locais via try..finally. A tarefa não é contada como correta se o número de avisos do compilador subir acima do nível inicial.

O que cada modelo mostrou

O DeepSeek Flash e o Claude Haiku 5.5 foram executados três vezes por tarefa; os demais modelos, uma vez. Todos os modelos em nuvem usaram nível alto de raciocínio. O DeepSeek Flash com a skill passou em todos os testes em 60 de 60 execuções e, pela escala estrita, marcou 58 de 60. Ele gasta em média de 337 a 383 segundos por tarefa. Também superou em precisão o Haiku 5.5, de preço próximo: este custa US$ 0,061 por tarefa e teve de 83% a 88% de execuções bem-sucedidas.

O GPT-6.1 Terra foi lançado um dia antes da publicação. Pela tabela de preços da OpenAI, ele custa US$ 1, US$ 5 e US$ 0,05 por milhão de tokens de entrada, saída e cache, respectivamente, metade do preço do Sol. O conjunto saiu por US$ 3,52–US$ 3,56, um terço do custo de Sol e Sonnet. Nos testes, o Terra acertou 19 das 20 tarefas (95%). A tarefa de atualização automática XRC-09, em que o Sol falhou nos dois modos, foi resolvida pelo Terra na primeira tentativa. O Sol costuma levar de 7 a 11 minutos por tarefa e, em duas tarefas do diário sem a skill, consumiu todo o limite de 45 minutos.

Ficaram fora da tabela o Gemini 4 Argon (interrompido após 24 execuções por causa da velocidade), o GLM 5.3 Flash (o saldo no OpenRouter acabou depois da quarta tarefa) e o Claude Opus 5.5 (duas tarefas de teste: o Sonnet já dava conta).

Como um único warning zerou quase todos

A história mais reveladora é a da tarefa XRC-06: adicionar um botão para limpar resultados do arquivo de projeto, que por dentro é um arquivo zip comum. O Sonnet 5.5 passou nas 20 tarefas pelos testes, mas obteve 19 de 20 pela escala estrita.

O motivo não está na lógica. Todos os 37 testes ocultos passaram, mas o projeto já tinha um aviso do compilador, W1002 ("o símbolo depende da plataforma"), em uma função existente de gravação do arquivo. O Sol e a primeira tentativa do DeepSeek extraíram a lógica comum para um procedimento auxiliar, e o aviso continuou único.

O Sonnet, o Terra, o Haiku, o Qwen Coder e as outras duas tentativas do DeepSeek escreveram uma função separada e copiaram para ela, fielmente, a verificação de "arquivo somente leitura" da função vizinha. Com isso, as linhas com o símbolo problemático passaram a ser duas, os warnings subiram de um para dois, e o script atribuiu zero.

A segunda lição vem da tarefa TRB-04. A janela falhava ao abrir por causa de um par de propriedades do TStringGrid: primeiro é preciso aumentar o número de linhas e só depois definir o número de linhas fixas. O erro no FormCreate exibia uma janela modal do Windows, não havia ninguém para clicar em "OK", e o teste ficou travado até o timeout, em vez de simplesmente falhar.

O que fazer na prática

Não escolha um agente por ranking público: monte de 10 a 20 tarefas do seu histórico de commits, com testes. Inclua na avaliação o número de avisos do compilador; caso contrário, você deixará passar exatamente o caso que derrubou o Sonnet aqui. Para correções de rotina, o barato DeepSeek Flash parece mais sensato que modelos que custam US$ 10 por conjunto. A limitação é óbvia: 20 tarefas e um único autor não formam uma estatística válida para todos os projetos, e sim uma referência.

História

Perguntas frequentes sobre a notícia

Como o teste foi montado?

Os repositórios são o X-Ray Calc 3 (programa de refletometria de raios X), o software de um tribômetro e um cliente de diário eletrônico com servidor MCP. Os três são privados, então não há soluções prontas nos dados de treinamento dos modelos. Um script percorreu o histórico e encontrou 1547 commits de correção de bugs e pequenos ajustes: 831 no diário, 443 no X-Ray Calc 3 e 273 no tribômetro.

O que cada modelo mostrou?

O DeepSeek Flash e o Claude Haiku 5.5 foram executados três vezes por tarefa; os demais modelos, uma vez. Todos os modelos em nuvem usaram nível alto de raciocínio. O DeepSeek Flash com a skill passou em todos os testes em 60 de 60 execuções e, pela escala estrita, marcou 58 de 60. Ele gasta em média de 337 a 383 segundos por tarefa. Também superou em precisão o Haiku 5.5, de preço próximo: este custa US$ 0,061 por tarefa e teve de 83% a 88% de execuções bem-sucedidas.

Como um único warning zerou quase todos?

A história mais reveladora é a da tarefa XRC-06: adicionar um botão para limpar resultados do arquivo de projeto, que por dentro é um arquivo zip comum. O Sonnet 5.5 passou nas 20 tarefas pelos testes, mas obteve 19 de 20 pela escala estrita. O motivo não está na lógica. Todos os 37 testes ocultos passaram, mas o projeto já tinha um aviso do compilador, W1002 ("o símbolo depende da plataforma"), em uma função existente de gravação do arquivo.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…