El Transformer ya no es necesario: el ex vicepresidente de OpenAI construye un nuevo imperio por mil millones

Parece que los pasillos de OpenAI se están quedando más vacíos. El éxodo de empleados clave de la empresa de Sam Altman se ha transformado de una desafortunada fuga de talentos en la formación completa de una nueva industria. Esta vez, los titulares han sido agitados por un ex-vicepresidente de Investigación, que no solo se fue "al vacío", sino que anunció la creación de una startup con ambiciones de mil millones de dólares.

Y su objetivo principal suena casi sacrílego para la comunidad de IA moderna: planea desafiar la arquitectura Transformer, que es el fundamento de todo lo que llamamos inteligencia artificial moderna. Seamos honestos: Transformer, regalado al mundo por investigadores de Google en 2017, se convirtió en el estándar de oro. Todos estos GPTs, Claudes y Geminis son esencialmente solo variaciones de una misma idea.

Pero esta arquitectura tiene problemas fundamentales con la escalabilidad de memoria y la eficiencia computacional. Cuanto más largo sea el contexto, más dificultad tienen las redes neuronales para "respirar". Los antiguos líderes de OpenAI, que estaban en el origen del entrenamiento de los modelos más poderosos, entienden perfectamente que aumentar infinitamente el número de GPUs es un callejón sin salida.

Para lograr una verdadera inteligencia artificial general, necesitas algo más elegante y eficiente que la "atención" cruda en la que se basa el stack tecnológico actual. La suma de 1 mil millones de dólares que el nuevo proyecto planea atraer no es solo un número bonito para los titulares. Este es el precio de entrada en las grandes ligas.

En un mundo donde entrenar un modelo cuesta cientos de millones, intentar crear una arquitectura alternativa requiere enormes recursos para experimentos con hardware y datos. Ya hemos visto intentos de implementar State Space Models (SSM) o arquitecturas como Mamba, pero ninguna de ellas ha logrado derrocar al rey. El hecho de que el hombre responsable del "post-entrenamiento" en OpenAI esté asumiendo este desafío sugiere que tiene una comprensión concreta de exactamente dónde comienza a romperse la arquitectura antigua.

Esta partida es parte de una tendencia más amplia. Estamos observando cómo la "mafia de OpenAI" se expande por Silicon Valley, creando competencia que Microsoft y Google solo podían soñar. Anthropic fue la primera señal, SSI (Safe Superintelligence) de Ilya Sutskever la segunda.

Ahora vemos la tercera ola: aquellos que quieren cambiar no solo los métodos de entrenamiento o cuestiones de seguridad, sino el fundamento matemático mismo de las redes neuronales. Si esta startup puede demostrar que su enfoque funciona mejor a larga distancia, OpenAI se encontrará en la posición de una empresa que invirtió miles de millones en perfeccionar el motor de vapor en el momento en que apareció el motor de combustión interna. Los inversores parecen estar dispuestos a asumir el riesgo.

En el valle ahora hay una extraña mezcla de euforia y miedo a perder "la próxima gran cosa". Todos entienden que el éxito actual de los LLMs podría ser un máximo local. Y mientras Sam Altman está ocupado convirtiendo OpenAI en una corporación comercial y buscando billones para chips, sus antiguos ingenieros están intentando reinventar la rueda.

Esta es una historia clásica de David y Goliat, excepto que David tiene mil millones de dólares de capital de riesgo en su bolsillo y la mejor experiencia de la industria. ¿Qué significa esto para nosotros? Lo más probable es que estemos al borde de un cambio de paradigma.

Si la nueva arquitectura resulta ser más eficiente, la IA no solo será más inteligente, sino también más barata, más accesible y posiblemente más autónoma. Es hora de que nos acostumbremos a la idea de que la abreviatura GPT podría convertirse en un anacronismo como Netscape o AltaVista. En el mundo de la IA, seis meses es una era, y un año es una eternidad.

Y esta eternidad parece pertenecer a aquellos que se atrevieron a presionar el botón "delete" en el código Transformer. La pregunta clave: ¿Podrá la nueva arquitectura escalar tan predeciblemente como Transformer, o veremos otra "burbuja" de ambiciones que estalle contra la dura realidad de la computación distribuida?