Inicia 23 novCohorte 3 en vivo de Vibe Coding y Agentes IA: 3 semanas, 9 clases en directoCohorte 3 (23.11) →
InfraestructuraCódigo / SDK · Listo para usarHabr AI→ original

Q.ANT y AMD ejecutan un LLM de 1 mil millones de parámetros con un chip óptico en lugar de la atención

Cuanto más largo es el texto de una consulta a un LLM, más rápido crecen el cómputo y la memoria de la GPU dedicada al KV-cache, que guarda lo ya leído. Q.ANT y AMD han sustituido parte de las capas de atención de un modelo de 1 mil millones de parámetros por un chip óptico que calcula la transformada de Fourier con luz. No han revelado ni la velocidad ni la calidad, y tampoco fueron los primeros: en abril, la británica Lumai ya ejecutó un LLM sobre óptica. Para un desarrollador, por ahora es solo una demo, y es pronto para cambiar de stack.

Procesado por IA desde Habr AI; editado por Hamidun News
Q.ANT y AMD ejecutan un LLM de 1 mil millones de parámetros con un chip óptico en lugar de la atención
Fuente: Habr AI. Collage: Hamidun News.
Escuchar artículo
Ficha técnica y cifras clave
ParámetroDatos
Fuente originalHabr AI ↗
Editor jefe
Dato clave #1Q.ANT promete sistemas de serie para la segunda mitad de 2027
Dato clave #2El SDK abierto en C y Python, con emulación en CPU, se publicó en septiembre de 2026
Dato clave #3Google FNet conservó en 2021 entre el 92 y el 97% de la precisión de BERT en GLUE

Imagine un chatbot que responde sobre cientos de páginas de contratos, o un agente con un largo historial de conversación. Cuanto más largo es el texto que recibe un modelo de lenguaje (LLM), más le cuesta procesarlo. El mecanismo de atención, en el que cada palabra se compara con todas las demás, exige un cómputo que crece de forma cuadrática.

Además, el KV-cache, la zona de memoria de la GPU donde el modelo guarda lo que ya ha leído, se hincha y desplaza todo lo demás. La empresa alemana Q.ANT ha intentado sortear esta limitación con luz: en la conferencia SC26 de Chicago mostró, junto con AMD, inferencia híbrida (ejecución de un modelo ya entrenado) sobre un modelo de aproximadamente 1 mil millones de parámetros.

Parte del trabajo de atención no lo hace la GPU, sino un coprocesador fotónico. Si paga por GPU para contextos largos, conviene saberlo, pero todavía no hay nada que comprar: no hay cifras de velocidad ni de calidad.

Qué se mostró exactamente

Parte de las capas del modelo se trasladó de la GPU al coprocesador fotónico Q.ANT NPU Gen 2+. Este calcula de forma óptica la transformada discreta de Fourier (una operación matemática que mezcla la información entre palabras según una fórmula fija) en una sola pasada de la señal luminosa. Según el informe técnico, en el experimento funcionó un modelo de lenguaje de aproximadamente 1 mil millones de parámetros sobre un acelerador AMD Instinct MI210 acompañado del chip fotónico. Utz Bacher, vicepresidente de software de Q.ANT, llama al enfoque «capas de atención de Fourier» y habla de un prototipo temprano.

La idea, explicada en términos cotidianos, es esta. La atención convencional se parece a una reunión en la que cada participante habla por turnos con todos los demás. La transformada de Fourier mezcla la información según un esquema predefinido, sin comparaciones por pares. Por eso resulta más barata, y en óptica se calcula casi al instante. El resto de las capas del transformer se queda en la GPU clásica de AMD.

Lo que la compañía no ha revelado y por qué lo de «primero del mundo» es discutible

El comunicado de prensa presenta el lanzamiento como «el primero del mundo», pero ya en abril de 2026 la startup británica Lumai ejecutó un LLM completo en su servidor Iris. Su arquitectura es distinta: en lugar de guías de onda planas de silicio, como las de Q.ANT, usa óptica tridimensional con lentes y haces de luz en espacio libre. Según Lumai, los modelos de nivel Llama 70B funcionan en tiempo real con un ahorro del 90% de energía.

La demostración de Q.ANT tiene más lagunas que datos:

  • No se ha nombrado el modelo concreto. No está claro cómo se ha resuelto el problema de la máscara causal (la prohibición de «mirar» palabras futuras durante la generación paso a paso) ni qué capas se han quedado en la GPU.
  • No hay perplejidad (una medida de cuánto «se sorprende» el modelo ante un texto) ni resultados en benchmarks estándar. Esperamos pruebas en Artificial Analysis.
  • No se han revelado ni el aumento de tokens por segundo ni la compresión real del KV-cache. La reducción del consumo energético se describe solo como «potencialmente significativa».

Antes, en junio de 2026, en la conferencia ISC de Hamburgo, Q.ANT mostró sobre un chip de la generación anterior un modelo de difusión de 59 millones de parámetros para generar imágenes y la arquitectura TiRex basada en xLSTM. Entonces se habló de una eficiencia energética 30 veces mayor, pero se refería al propio circuito óptico y las cifras eran estimaciones.

Qué pasará con la calidad

Sustituir la atención por una capa de Fourier se le ocurrió a alguien antes de la fotónica: en 2021 Google lo hizo en la arquitectura FNet. El entrenamiento se aceleró entre un 70 y un 80%, pero el modelo conservó solo entre el 92 y el 97% de la precisión de BERT en la prueba GLUE. Además, FNet era un codificador, no un modelo generativo que escribe texto palabra por palabra.

La versión óptica tiene las mismas limitaciones de arquitectura, más una sobrecarga añadida: en cada capa hay que convertir los tensores de digital a luz y viceversa, y además transferirlos entre la GPU y el coprocesador. Si esas transferencias se comen la ganancia, no habrá aceleración.

Qué debe hacer un desarrollador

Q.ANT planea lanzar al mercado sus sistemas de serie en la segunda mitad de 2027. Los aceleradores de la generación anterior están disponibles desde el 9 de noviembre en beta cerrada en servidores dedicados de IONOS en Alemania. Los chips también se han enviado a los centros alemanes de supercomputación LRZ y JSC, pero de allí aún no hay informes públicos independientes.

Se puede experimentar con la idea ya: en septiembre de 2026 la compañía publicó un SDK abierto con API en C y Python y emulación en CPU. Se está actualizando para las capas de Fourier de Gen 2+.

La viabilidad del híbrido la mostrarán dos cifras: la perplejidad frente a un modelo equivalente de 1 mil millones de parámetros con atención clásica, y un aumento honesto de tokens por segundo en inferencia real. Sin ellas, es pronto para hablar de sustituir la atención. Queda una pregunta: qué será más difícil, llevar el hardware óptico a la producción en serie o convencer a los desarrolladores de que reescriban sus modelos para él.

Historia

Preguntas frecuentes sobre la noticia

¿Qué se sabe sobre Qué se mostró exactamente?

Parte de las capas del modelo se trasladó de la GPU al coprocesador fotónico Q.ANT NPU Gen 2+. Este calcula de forma óptica la transformada discreta de Fourier (una operación matemática que mezcla la información entre palabras según una fórmula fija) en una sola pasada de la señal luminosa. Según el informe técnico, en el experimento funcionó un modelo de lenguaje de aproximadamente 1 mil millones de parámetros sobre un acelerador AMD Instinct MI210 acompañado del chip fotónico.

¿Qué se sabe sobre Lo que la compañía no ha revelado y por qué lo de «primero del mundo» es discutible?

El comunicado de prensa presenta el lanzamiento como «el primero del mundo», pero ya en abril de 2026 la startup británica Lumai ejecutó un LLM completo en su servidor Iris. Su arquitectura es distinta: en lugar de guías de onda planas de silicio, como las de Q.ANT, usa óptica tridimensional con lentes y haces de luz en espacio libre. Según Lumai, los modelos de nivel Llama 70B funcionan en tiempo real con un ahorro del 90% de energía.

¿Qué se sabe sobre Qué pasará con la calidad?

Sustituir la atención por una capa de Fourier se le ocurrió a alguien antes de la fotónica: en 2021 Google lo hizo en la arquitectura FNet. El entrenamiento se aceleró entre un 70 y un 80%, pero el modelo conservó solo entre el 92 y el 97% de la precisión de BERT en la prueba GLUE. Además, FNet era un codificador, no un modelo generativo que escribe texto palabra por palabra.

ZK
Zhemal Khamidun — CPO de Alpina Digital, product manager de AlpinaGPT. Crea productos de IA desde 2019. Hamidun News es un proyecto personal que creció hasta ser un agregador en producción con más de 6.000 lectores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
¿Qué te parece?
Cargando comentarios…