La nueva frontera de la IA: de los datos a la experiencia de interacción

Durante la última década, el progreso en inteligencia artificial se ha medido por la escala: modelos más grandes, conjuntos de datos más extensos y más potencia de cómputo. Ese enfoque ha producido avances asombrosos en los grandes modelos de lenguaje (LLM). En solo cinco años, la IA pasó de modelos como GPT-2, que apenas lograban imitar la coherencia, a sistemas como GPT-4, que pueden razonar y mantener un diálogo con sentido. Y ahora, los primeros prototipos de agentes de IA que pueden moverse por bases de código o navegar por páginas web apuntan a una frontera completamente nueva.

Pero el tamaño por sí solo solo lleva a la IA hasta cierto punto. El próximo salto no llegará únicamente de aumentar el tamaño de los modelos. Llegará de combinar datos cada vez de mayor calidad con los mundos que construimos para entrenar a los modelos. Y la pregunta más importante pasa a ser: ¿cómo son las aulas para la IA?

En los últimos meses, Silicon Valley ha hecho sus apuestas y los laboratorios invierten miles de millones en construir esas aulas, conocidas como entornos de aprendizaje por refuerzo (RL). Estos entornos permiten que las máquinas experimenten, fracasen y mejoren en espacios digitales realistas.

La historia de la IA moderna se ha desarrollado por eras, cada una definida por el tipo de datos que consumían los modelos. Primero llegó la era del preentrenamiento con conjuntos de datos a escala de internet. Estos datos de acceso público permitieron a las máquinas imitar el lenguaje humano reconociendo patrones estadísticos. Después llegaron los datos combinados con aprendizaje por refuerzo a partir de la retroalimentación humana, un método que recurre a trabajadores de crowdsourcing para evaluar las respuestas de los LLM y que hizo la IA más útil, receptiva y alineada con las preferencias humanas.

Hoy los datos siguen siendo la base. Son la materia prima con la que se construye la inteligencia. Pero entramos en una nueva fase en la que los datos por sí solos ya no bastan. Para abrir la siguiente frontera, debemos combinar datos de alta calidad con entornos que permitan una interacción ilimitada, retroalimentación continua y aprendizaje mediante la acción. Los entornos RL no sustituyen a los datos; amplifican lo que los datos pueden hacer, al permitir que los modelos apliquen conocimientos, pongan a prueba hipótesis y perfeccionen su comportamiento en condiciones realistas.

En un entorno RL, el modelo aprende mediante un ciclo sencillo: observa el estado del mundo, realiza una acción y recibe una recompensa que indica si esa acción ayudó a alcanzar el objetivo. A lo largo de muchas iteraciones, el modelo descubre poco a poco estrategias que conducen a mejores resultados. El cambio importante es que el aprendizaje se vuelve interactivo: los modelos no solo predicen el siguiente token, sino que mejoran mediante ensayo, error y retroalimentación.

Por ejemplo, los modelos de lenguaje ya pueden generar código en un chat sencillo. Si se los coloca en un entorno de programación en vivo, donde pueden obtener contexto, ejecutar su código, depurar errores y mejorar su solución, algo cambia. Pasan de asesorar a resolver problemas de forma autónoma.

En un mundo regido por el software, la capacidad de la IA de generar y probar código de nivel de producción en repositorios enormes supondrá un cambio importante en sus capacidades. Ese salto no llegará solo con conjuntos de datos más grandes; llegará con entornos inmersivos donde los agentes puedan experimentar, tropezar y aprender por iteración, en buena medida como lo hacen los programadores humanos. El desarrollo en el mundo real es caótico: los programadores deben lidiar con errores poco definidos, bases de código enredadas y requisitos vagos.

Entrenar a la IA para manejar ese caos es la única forma de que pase de producir intentos propensos a errores a ofrecer soluciones coherentes y fiables.

Navegar por internet también es caótico. Ventanas emergentes, muros de inicio de sesión, enlaces rotos e información desactualizada se entrelazan con los flujos de trabajo cotidianos de navegación. Las personas manejan estos fallos casi por instinto, pero la IA solo puede desarrollar esa capacidad entrenando en entornos que imiten la imprevisibilidad de internet. Los agentes deben aprender a recuperarse de errores, reconocer y superar obstáculos de la interfaz de usuario y completar flujos de trabajo de varios pasos en aplicaciones de uso generalizado.

Cada gran salto de la IA se ha apoyado en una infraestructura invisible: anotadores que etiquetan conjuntos de datos, investigadores que entrenan modelos de recompensa e ingenieros que construyen el andamiaje para que los LLM usen herramientas y ejecuten acciones. Encontrar grandes volúmenes de datos de alta calidad fue en su día el cuello de botella de la IA, y resolverlo desencadenó la ola de progreso anterior. Hoy el cuello de botella no son los datos, sino la creación de entornos RL ricos, realistas y verdaderamente útiles.

La próxima etapa del progreso de la IA no será un accidente de escala. Será el resultado de combinar una base sólida de datos con entornos interactivos que enseñen a las máquinas a actuar, adaptarse y razonar en escenarios complejos del mundo real. Los entornos aislados de programación, los campos de pruebas de sistemas operativos y navegadores y las simulaciones seguras convertirán la predicción en competencia.