Together AI amplia em 3000 vezes os limites da Batch Inference API e corta preços em 50%

A Together AI atualizou a Batch Inference API, serviço para processar grande quantidade de requisições a modelos LLM com execução adiada. A empresa anunciou três melhorias importantes: limites 3000 vezes maiores, redução de 50% no preço e uma interface reformulada para facilitar o uso.

Escala sem gargalos

A principal mudança está nos limites. Antes, o teto era de 10 milhões de tokens por usuário por modelo; agora são 30 bilhões. Não é só um número: ele resolve um problema de arquitetura enfrentado por empresas que processam datasets enormes.

Antes, grandes volumes de trabalho eram tratados de forma simples: o dataset era dividido em partes, criavam-se várias tarefas batch pequenas, cada uma era acompanhada separadamente e os resultados eram coordenados. Era incômodo, demorado e caro. Agora é possível enviar o dataset inteiro em uma única operação e receber o resultado dentro de um SLA de 24 horas, muitas vezes bem mais rápido.

O preço também foi atualizado. O processamento batch agora custa aproximadamente metade da API em tempo real para o mesmo volume de computação. Quando se fala em bilhões de tokens, a diferença de preço pesa nos orçamentos dos projetos.

Qualquer modelo, interface simples

A API agora funciona com todos os mais de 40 modelos da plataforma Together, incluindo deployments privados. Antes, a escolha se limitava a poucos modelos, o que atrapalhava equipes que queriam experimentar e testar diferentes modelos em modo batch.

A interface foi totalmente refeita. Antes era preciso escrever chamadas de API, entender a documentação e depurar código. Agora tudo é feito por um aplicativo web: criar a tarefa, monitorar o progresso e baixar os resultados. Alguns cliques e pronto. Isso reduz a barreira de entrada para equipes que não querem se distrair escrevendo código para cada requisição batch.

Para quem serve

• Análise de sentimento e classificação de textos em milhões de documentos
• Detecção de transações fraudulentas: varredura de milhões de pagamentos e operações
• Geração sintética de dados para treinar novos modelos
• Vetorização de grandes corpora de texto (geração de embeddings)
• Moderação de conteúdo em redes sociais e plataformas com UGC
• Testes de benchmark para avaliar e comparar a qualidade de modelos

Um exemplo concreto: o laboratório Inception Labs já usa a API batch como base do seu fluxo de produção. Segundo o cofundador Vladimir Kuleshov:

«Confiamos na Batch Inference API para processar volumes muito grandes de requisições.

Os limites altos permitem rodar experimentos gigantescos sem gargalos. As tarefas terminam bem mais rápido que o SLA de 24 horas, muitas vezes em poucas horas.»

O que isso significa para a indústria

A inferência em batch está saindo do nicho de especialistas e entrando na categoria de ferramentas de massa. Antes, os custos altos e a complexidade técnica eram uma barreira séria. Só grandes laboratórios de pesquisa, projetos governamentais e grandes corporações podiam arcar com o processamento batch. Agora, startups e equipes de porte médio têm acesso ao mesmo ferramental.

A redução de 50% no preço e o aumento de 3000 vezes nos limites eliminam os principais obstáculos à adoção em massa. Em 2025, espera-se uma onda de uso de batch inference em aplicações de produção, da moderação de conteúdo em escala real à síntese de grandes volumes de dados de treinamento para fine-tuning de modelos próprios.