Modal lança Spindle: custo de ajuste fino caiu até 80% nos testes da empresa

Uma equipe está treinando um agente para escrever código: ele recebe uma tarefa, altera arquivos, executa testes e retorna para avaliação. Durante todo esse processo, os aceleradores reservados para atualizar o modelo podem ficar esperando o próximo lote de dados. A conta do aluguel continua crescendo. A Modal propõe preencher essas pausas com outros experimentos: seu novo servidor Spindle permite que várias execuções compartilhem o hardware. Segundo os testes da própria empresa, os custos caíram de 20% a 80% em relação ao Tinker, dependendo da tarefa e da configuração.

É uma ferramenta útil para equipes que fazem ajuste fino de modelos abertos regularmente e comparam muitas variantes. Mas a principal questão é quanto trabalho será possível acomodar nas GPUs pelas quais a equipe está pagando. A simples mudança da cobrança por tokens para a cobrança por hora não garante economia.

Como vários experimentos compartilham as mesmas GPUs

O Spindle é um servidor de código aberto com API compatível com o Tinker, da Thinking Machines. O desenvolvedor define o ciclo de treinamento em Python: como calcular a perda, pelo que recompensar o agente e em qual ambiente executar as tarefas. O servidor, implantado no espaço de trabalho da equipe na Modal, cuida do treinamento distribuído. A cobrança é pelo tempo de GPU.

Imagine que uma equipe esteja testando quatro maneiras de avaliar as respostas de um agente de busca. Cada variante precisa buscar documentos, lê-los e elaborar uma resposta. Enquanto a primeira execução está ocupada com a busca, o servidor realiza uma etapa de treinamento da segunda. Depois chega a vez da terceira. Assim, as pausas de um experimento se tornam tempo de trabalho para outro.

Para isso, o Spindle oferece suporte a multi-LoRA: várias execuções usam um modelo base compartilhado e adaptadores treináveis separados. Também é possível treinar todos os parâmetros do modelo. Os cálculos para gerar respostas e atualizar os pesos são separados, permitindo escolher aceleradores diferentes para cada função e ajustar os recursos de forma independente.

A compatibilidade foi demonstrada com um agente de busca baseado no gpt-oss-20b que trabalha com relatórios financeiros e ferramentas de busca e leitura. Segundo a Modal, para migrar o script existente do Tinker, bastou alterar o endereço do servidor e a chave de acesso. É um bom exemplo de migração, embora ainda não comprove a compatibilidade com qualquer código de usuário.

Onde houve economia e onde a capacidade disponível se esgotou

No teste de matemática, um único cliente deixava longas pausas entre as etapas de treinamento. Quando quatro clientes passaram a alternar o trabalho, a utilização do servidor de treinamento chegou a cerca de 88%. Aumentar ainda mais o número de clientes nessa configuração já reduzia de forma perceptível a vazão de cada execução, pois elas precisavam disputar os recursos compartilhados.

A variação dos preços mostra como o resultado depende da tarefa. Em matemática, a Modal reduziu o custo estimado por milhão de tokens de saída de US$ 9,77 para US$ 1,99 com oito clientes. No agente de busca, a economia foi mais modesta: de US$ 5,06 para US$ 3,80. Nas tarefas de programação do SWE-Gym com contexto de 256 mil tokens, a empresa relatou uma redução de US$ 15,04 para US$ 5,82.

São medições do fornecedor, feitas com diferentes equipamentos e números de clientes simultâneos. Elas não devem ser interpretadas como uma promessa de desconto para qualquer projeto. Além disso, a redução de custo veio acompanhada de um tempo maior para concluir as execuções individuais. Para uma equipe com prazo rígido para obter um modelo, essa troca pode não compensar.

O que verificar antes de migrar o treinamento

O valor prático do Spindle está na possibilidade de adaptar o servidor à tarefa. Por exemplo, a Modal descreve a ampliação do contexto de um modelo de 16 mil para 256 mil tokens por meio de mudanças na configuração e do aumento do paralelismo de contexto. No entanto, alterar duas configurações em um exemplo não significa que o contexto longo saia de graça: ainda são necessárias GPUs adequadas e verificações de estabilidade.

Vale começar pela migração de um experimento reproduzível. Primeiro, comparar a qualidade no mesmo conjunto de tarefas; depois, executar várias variantes simultaneamente e medir o custo do treinamento concluído, o tempo de espera e a utilização dos aceleradores. Tokens baratos ajudam pouco se o resultado necessário chegar tarde demais.

O Spindle ainda está em beta. O código aberto permite modificar o servidor, mas a implantação descrita usa a infraestrutura da Modal. Para uma equipe com uma fila constante de experimentos, é um motivo para avaliar a economia obtida com o uso compartilhado das GPUs. Para execuções individuais esporádicas, a vantagem ainda precisa ser demonstrada. As configurações e os resultados estão publicados no anúncio da Modal.