Sciforium acelera DeepSeek-V4.1-Flash en AMD hasta 1 129 tokens por segundo
El equipo de Sciforium ha acelerado DeepSeek-V4.1-Flash en cuatro GPU AMD MI355X: con tráfico real, la velocidad subió de 835 a 1 129 tokens por segundo (P90). La clave fue la decodificación especulativa: un modelo pequeño, el borrador, adivina varios tokens por adelantado y el modelo grande los verifica todos a la vez. El borrador se reentrenó con solicitudes reales de clientes y la longitud de la predicción pasó de 5 a 7 tokens. Conclusión: ajustar el borrador al propio tráfico aportó cerca de un 35% más de velocidad sin cambiar los pesos.
Procesado por IA desde X: @0x0SojalSec; editado por Hamidun News
La velocidad de respuesta de un modelo es dinero. Cuanto más rápido genera tokens una GPU, menos tarjetas hacen falta para el mismo tráfico y menos tiempo pasa el usuario mirando un cursor parpadeante. Por eso el último resultado de la startup Sciforium merece la atención de quienes ejecutan modelos grandes en producción: su versión de DeepSeek-V4.1-Flash genera 1 129 tokens de salida por segundo en cuatro aceleradores AMD Instinct MI355X. Antes, la misma configuración daba 835.
Qué se aceleró exactamente
Estos son los detalles relevantes del comunicado de la compañía. La medición se hizo en P90: no es el mejor caso, sino un valor que cumple la gran mayoría de las solicitudes. El tráfico es real, de clientes, y no una ejecución sintética. El modelo se usó con sus pesos originales: no se ha destilado ni recortado. El aumento fue de aproximadamente un 35%.
Los autores subrayan también el contexto: hasta hace poco, muchos dudaban de que las tarjetas gráficas de AMD pudieran sostener cargas pesadas de LLM en producción al nivel de Nvidia. Este caso es un argumento a favor de que, con buen trabajo de ingeniería, esa brecha se cierra.
Cómo funciona el truco del borrador
La base de la aceleración es la decodificación especulativa. Imagine a un editor veterano que revisa el texto de un becario. Escribir desde cero es lento, pero revisar un párrafo ya redactado es rápido: el editor repasa varias frases de un vistazo y las aprueba de golpe. Aquí el becario es un modelo pequeño, el borrador (drafter), que propone varios tokens por adelantado. El editor es el DeepSeek-V4.1-Flash grande, que comprueba todos los tokens propuestos en una sola pasada. Si las predicciones son correctas, en un solo paso del modelo grande se obtienen varios tokens en lugar de uno. Si no, se descarta lo sobrante y la calidad de la respuesta sigue siendo la del modelo grande.
Toda la ganancia depende de la frecuencia con que acierta el borrador. Sciforium llamó a su enfoque traffic-tuned speculators: el borrador se reentrenó con datos reales de clientes, es decir, con las solicitudes y respuestas que el modelo ve en la práctica. Un borrador genérico acierta bien con textos generales, pero tropieza con lo específico. Si su tráfico consiste en respuestas de soporte con plantillas, código de un stack concreto o JSON estructurado, un borrador entrenado con ese tráfico da en el blanco bastante más a menudo.
La segunda palanca es la longitud de la predicción, que se subió de 5 a 7 tokens por vez. Esto solo funciona si el borrador es muy preciso: cuanto más larga es la cadena, mayor es el riesgo de que falle en algún punto del final y se pierda toda la parte restante. Alargarla compensó precisamente porque el borrador pasó a ajustarse mejor al tráfico.
La tercera capa es una optimización profunda de los kernels para AMD, es decir, del código de bajo nivel que ejecuta los cálculos en las MI355X. Según el texto del post, el equipo subraya que no tuvo que reescribir el motor vLLM: el esfuerzo se concentró en el borrador y en los kernels.
Qué conviene llevarse de esto
Primero: si aloja usted mismo un modelo abierto, ajustar la decodificación especulativa a su propio tráfico puede aportar decenas de puntos porcentuales de velocidad sin perder calidad y sin cambiar los pesos. Es más barato que comprar más GPU.
Segundo: para ello hacen falta registros de solicitudes reales. Quienes los recopilan y saben reentrenar un modelo pequeño obtienen ventaja sobre quienes usan un borrador genérico listo para usar.
Tercero: AMD en inferencia se está convirtiendo en una opción viable y no en un experimento. Para los fundadores, es una palanca en la negociación del precio del cómputo y una forma de no depender de un solo proveedor.
Limitaciones
Se trata de una declaración de la propia compañía y, por ahora, no hay mediciones independientes. El resultado corresponde a una configuración concreta: DeepSeek-V4.1-Flash, cuatro MI355X y el tráfico de los clientes de Sciforium. Con otra carga, la ganancia será distinta: en un chat conversacional, en código y en razonamientos largos varía la proporción de predicciones acertadas del borrador. El post no revela todas las condiciones de la medición, así que conviene comparar estas cifras con benchmarks ajenos con cautela. La dirección, en cambio, es clara y reproducible: entrenar el borrador con datos propios, ajustar la longitud de la predicción y optimizar los kernels para el hardware.
- 18 nov 2026Una sola coma china hizo que DeepSeek respondiera en chino en el 94% de los casos
- 18 nov 2026Una IA encuentra una vulnerabilidad desconocida en V8 por $4,24 y en 13 minutos; en febrero no la halló con $350
- 18 nov 2026Agentes de IA publicaron 228 releases de un juego sin revisión humana; los tests devolvieron el 25% de las tareas
- 18 nov 2026Tencent Hy4 flash obtiene 2,79 sobre 4 frente a 2,81 de Haiku 5.5 y cuesta 18 veces menos por tarea
Preguntas frecuentes sobre la noticia
¿Qué se sabe sobre Qué se aceleró exactamente?
Estos son los detalles relevantes del comunicado de la compañía. La medición se hizo en P90: no es el mejor caso, sino un valor que cumple la gran mayoría de las solicitudes. El tráfico es real, de clientes, y no una ejecución sintética. El modelo se usó con sus pesos originales: no se ha destilado ni recortado. El aumento fue de aproximadamente un 35%.
Cómo funciona el truco del borrador?
La base de la aceleración es la decodificación especulativa. Imagine a un editor veterano que revisa el texto de un becario. Escribir desde cero es lento, pero revisar un párrafo ya redactado es rápido: el editor repasa varias frases de un vistazo y las aprueba de golpe. Aquí el becario es un modelo pequeño, el borrador (drafter), que propone varios tokens por adelantado. El editor es el DeepSeek-V4.1-Flash grande, que comprueba todos los tokens propuestos en una sola pasada.
¿Qué se sabe sobre Qué conviene llevarse de esto?
Primero: si aloja usted mismo un modelo abierto, ajustar la decodificación especulativa a su propio tráfico puede aportar decenas de puntos porcentuales de velocidad sin perder calidad y sin cambiar los pesos. Es más barato que comprar más GPU. Segundo: para ello hacen falta registros de solicitudes reales. Quienes los recopilan y saben reentrenar un modelo pequeño obtienen ventaja sobre quienes usan un borrador genérico listo para usar.
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
Lo esencial de la IA — una vez por semana
Siete historias que de verdad importaron, elegidas a mano. Sin ruido ni notas de prensa.
¡Listo! Revisa tu correo para la confirmación.