El Transformer ya no hace falta: un exvicepresidente de OpenAI levanta un nuevo imperio de mil millones

Parece que los pasillos de OpenAI se están quedando más vacíos. El éxodo de empleados clave de la compañía de Sam Altman ha pasado de ser una molesta fuga de talento a la formación de toda una nueva industria. Esta vez ha sacudido los titulares un antiguo vicepresidente de investigación (VP of Research) que no se ha ido simplemente «a ninguna parte», sino que ha anunciado una startup con ambiciones de mil millones de dólares. Y su objetivo principal suena casi sacrílego para la comunidad actual de la IA: pretende desafiar la arquitectura Transformer, el cimiento de todo lo que hoy llamamos inteligencia artificial.

Seamos sinceros: el Transformer, regalado al mundo por investigadores de Google en 2017, se convirtió en el estándar de oro. GPT, Claude y Gemini son, en esencia, variaciones de la misma idea. Pero esta arquitectura tiene problemas fundamentales de escalado de memoria y eficiencia computacional. Cuanto más largo es el contexto, más cuesta «respirar» a la red neuronal. Los antiguos líderes de OpenAI, que estuvieron en el origen del entrenamiento de los modelos más potentes, entienden perfectamente que seguir sumando tarjetas gráficas sin límite es un callejón sin salida. Para alcanzar una verdadera inteligencia artificial general hace falta algo más elegante y eficiente que la tosca «atención» sobre la que se sostiene el stack tecnológico actual.

Los 1.000 millones de dólares que el nuevo proyecto prevé captar no son solo una cifra vistosa para los titulares. Es el precio de la entrada a la primera división. En un mundo donde entrenar un solo modelo cuesta cientos de millones, intentar crear una arquitectura alternativa exige recursos colosales para experimentar con hardware y datos. Ya hemos visto intentos de introducir los State Space Models (SSM) o arquitecturas tipo Mamba, pero hasta ahora ninguna ha logrado destronar al rey. Que se ponga al frente quien se encargaba del «post-entrenamiento» en OpenAI indica que tiene una idea concreta de dónde empieza a fallar la arquitectura antigua.

Esta salida forma parte de una tendencia más amplia. Estamos viendo cómo la «mafia de OpenAI» se extiende por Silicon Valley y crea una competencia con la que Microsoft y Google solo podían soñar. Anthropic fue la primera señal de alarma; SSI (Safe Superintelligence), de Ilya Sutskever, la segunda. Ahora vemos una tercera oleada: la de quienes quieren cambiar no solo los métodos de entrenamiento o las cuestiones de seguridad, sino la propia base matemática de las redes neuronales. Si esta startup logra demostrar que su enfoque funciona mejor a largas distancias, OpenAI quedará como la empresa que invirtió miles de millones en perfeccionar la máquina de vapor justo cuando apareció el motor de combustión interna.

Los inversores parecen dispuestos a arriesgar. En el Valle reina ahora una extraña mezcla de euforia y miedo a perderse «la próxima gran cosa». Todos entienden que el éxito actual de los LLM puede ser un máximo local. Y mientras Sam Altman se ocupa de convertir OpenAI en una corporación comercial y de buscar billones para chips, sus antiguos ingenieros intentan reinventar la rueda. Es la clásica historia de David contra Goliat, solo que David lleva en el bolsillo 1.000 millones de dólares de capital de riesgo y la mejor experiencia del sector.

¿Qué significa esto para nosotros? Lo más probable es que estemos al borde de un cambio de paradigma. Si la nueva arquitectura resulta más eficiente, la IA no solo será más inteligente, sino también más barata, más accesible y, posiblemente, más autónoma. Conviene ir acostumbrándose a la idea de que la sigla GPT puede acabar siendo un arcaísmo como Netscape o AltaVista. En el mundo de la IA, medio año es una época y un año, una eternidad. Y esa eternidad, al parecer, pertenecerá a quienes se atrevieron a pulsar el botón «delete» sobre el código del Transformer.

Lo principal: ¿podrá la nueva arquitectura escalar de forma tan predecible como el Transformer, o veremos otra «burbuja» de ambición que estalla contra la dura realidad de la computación distribuida?