Together AI multiplica por 3000 los límites de su Batch Inference API y recorta los precios un 50 %

Together AI ha actualizado su Batch Inference API, un servicio para procesar grandes cantidades de peticiones a modelos LLM con ejecución diferida. La compañía anunció tres mejoras importantes: límites 3000 veces mayores, una rebaja del 50 % en el precio y una interfaz rediseñada para facilitar el uso.

Escalar sin cuellos de botella

El cambio principal afecta a los límites. Antes el techo era de 10 millones de tokens por usuario y modelo; ahora es de 30 000 millones. No es solo una cifra: resuelve un problema de arquitectura al que se enfrentan las empresas que procesan conjuntos de datos enormes.

Hasta ahora, las cargas grandes se gestionaban de forma sencilla: se dividía el conjunto de datos en partes, se creaban muchas tareas batch pequeñas, se seguía cada una por separado y se coordinaban los resultados. Era incómodo, lento y caro. Ahora se puede subir todo el conjunto de datos en una sola operación y recibir el resultado dentro de un SLA de 24 horas, a menudo mucho antes.

Al mismo tiempo se actualizó la tarifa. El procesamiento batch cuesta ahora aproximadamente la mitad que la API en tiempo real para el mismo volumen de cómputo. Cuando se habla de miles de millones de tokens, la diferencia de precio pesa en los presupuestos de los proyectos.

Cualquier modelo, una interfaz sencilla

La API funciona ahora con los más de 40 modelos de la plataforma Together, incluidos los despliegues privados. Antes la elección se limitaba a unos pocos modelos, lo que complicaba la vida a los equipos que querían experimentar y probar distintos modelos en modo batch.

La interfaz se ha rehecho por completo. Antes había que escribir llamadas a la API, entender la documentación y depurar código. Ahora todo se hace desde una aplicación web: crear la tarea, monitorizar el progreso y descargar los resultados. Unos pocos clics y listo. Esto reduce la barrera de entrada para los equipos que no quieren distraerse escribiendo código para cada petición batch.

Para quién es

• Análisis de sentimiento y clasificación de textos en millones de documentos
• Detección de transacciones fraudulentas: análisis de millones de pagos y operaciones
• Generación sintética de datos para entrenar nuevos modelos
• Vectorización de grandes corpus de texto (generación de embeddings)
• Moderación de contenido en redes sociales y plataformas con UGC
• Pruebas de referencia (benchmarks) para evaluar y comparar la calidad de los modelos

Un ejemplo concreto: el laboratorio Inception Labs ya usa la API batch como base de su flujo de trabajo en producción. Según su cofundador, Vladimir Kuleshov:

«Confiamos en la Batch Inference API para procesar volúmenes muy grandes de peticiones.

Los límites altos nos permiten lanzar experimentos gigantescos sin cuellos de botella. Las tareas terminan bastante antes del SLA de 24 horas, a menudo en unas pocas horas.»

Qué significa para la industria

La inferencia batch deja el nicho de los especialistas y pasa a ser una herramienta de uso masivo. Antes, los costes elevados y la complejidad técnica eran una barrera seria. Solo los grandes laboratorios de investigación, los proyectos gubernamentales y las grandes corporaciones podían permitirse el procesamiento batch. Ahora las startups y los equipos medianos tienen acceso a las mismas herramientas.

La rebaja del 50 % y el aumento de 3000 veces en los límites eliminan los principales obstáculos para su adopción masiva. En 2025 se espera un auge del uso de la inferencia batch en aplicaciones de producción, desde la moderación de contenido a escala real hasta la síntesis de grandes volúmenes de datos de entrenamiento para el fine-tuning de modelos propios.