Un modelo de 8.000 millones de parámetros supera a Claude Opus 4.8 generando ideas científicas

El problema: la diversidad en la generación de ideas

En cualquier flujo de investigación, una de las primeras etapas es la generación de ideas. Los grandes modelos de lenguaje (LLM) se usan cada vez más para automatizar este proceso, pero la mayoría de los trabajos en este campo se centran en la calidad de cada idea individual, ignorando su diversidad. Esto genera un cuello de botella: un modelo puede generar propuestas de alta calidad pero muy parecidas entre sí.

Metodología: aprendizaje por refuerzo a nivel de conjunto

Investigadores de Salesforce AI Research (autores: Manya Wadhwa, Pranav Narayanan Venkit, Hiroaki Hayashi, Yu Li, Tuhin Chakrabarty, Chien-Sheng Wu) propusieron un enfoque diferente. Entrenaron un modelo de 8B parámetros usando un objetivo de aprendizaje por refuerzo a nivel de conjunto (set-level reinforcement learning objective): una función de recompensa que evalúa todo el conjunto de ideas, no cada idea por separado.

En una sola generación, el modelo escribe K tarjetas de ideas estructuradas (idea cards), vinculadas a artículos científicos de origen (ideación anclada en documentos). El punto clave: al evaluar el conjunto de forma conjunta, cada idea se pondera según su distancia respecto a las ideas generadas previamente. Esto entrena al modelo para alejarse deliberadamente de sus propias propuestas anteriores y generar conjuntos lo más diversos posible.

Resultados: por encima de Claude Opus y GPT-6

En un benchmark libre de contaminación (que excluye datos con los que los modelos podrían haber sido entrenados), el modelo de 8B alcanzó una mayor utilidad creativa —una métrica que combina calidad y diversidad— que Claude Opus 4.8 y GPT-6 Astra.

En un estudio piloto con cuatro expertos humanos, los conjuntos de ideas del modelo de 8B se valoraron como igual de prometedores que los de Claude Opus 4.8. Los expertos señalaron que las ideas del modelo de Salesforce contenían un poco más de propuestas únicas.

Un resultado importante: cuando un agente de codificación (coding agent) ejecutó experimentos de prueba de concepto basados en las ideas generadas, el success@k (la proporción de ideas que llevaron a una implementación exitosa) del modelo de Salesforce resultó comparable al de Claude Opus 4.8. Esto significa que la mayor diversidad no afecta la ejecutabilidad práctica de las ideas: siguen siendo realizables.

Por qué importa

Los resultados demuestran que un modelo más pequeño, entrenado con el objetivo adecuado (aprendizaje por refuerzo a nivel de conjunto), puede superar a modelos cerrados mucho más grandes en una tarea especializada: generar ideas científicas diversas pero de calidad. Esto es relevante para las organizaciones de investigación que buscan automatizar la ideación en las primeras etapas de su proceso.

El proyecto fue publicado por Salesforce AI Research con código abierto y un benchmark libre de contaminación, lo que permite a la comunidad reproducir y ampliar los resultados.