Agentes de IA corrigen prospectos de IPO según las observaciones de la SEC: el aprendizaje aportó +3,7 p. p.

Cuando una empresa se prepara para una IPO, presenta sus documentos de registro ante la comisión estadounidense del mercado de valores (SEC). Los empleados de la comisión los leen y envían observaciones; por ejemplo: «ustedes escriben que los ingresos crecieron un 40% por la demanda, expliquen con más detalle». Los abogados de la empresa reúnen los datos, reescriben la sección y envían la respuesta.

El proceso se repite durante varias rondas. Investigadores de la Universidad Tecnológica de Nanyang (Singapur) y de la Universidad de Ciencia y Tecnología de Hong Kong (Guangzhou) han comprobado si los agentes de IA basados en grandes modelos de lenguaje pueden desempeñar ambos papeles. Para ello crearon el benchmark FilingLoop: 380 tareas sobre 96 compañías, en su mayoría de IPO.

La mejor variante del agente, la que aprende entre tareas, cumplió el 27,96% de los requisitos del regulador. El mismo agente sin aprendizaje cumplió el 24,28%.

En qué se diferencia esta tarea de las preguntas financieras habituales

Los tests financieros existentes, como FinQA o FinanceBench, dan al modelo una pregunta ya formulada y le piden que encuentre la respuesta en un informe. Aquí no hay pregunta, y esa es la primera dificultad: Reviewer debe averiguar por sí mismo qué partes del documento plantean dudas. La segunda dificultad es que puede que las cifras necesarias no aparezcan en absoluto en los archivos públicos. Filer tiene que pedírselas a la empresa, y el acceso a esos datos en el test se limita a lo que realmente existió en la historia.

La tercera dificultad tiene que ver con la verificación. Un abogado puede escribir en su respuesta «lo hemos corregido todo» y que en el documento no cambie nada. Por eso el evaluador examina tanto la versión final del documento como la respuesta escrita. Un comentario de la SEC suele contener varios requisitos, y corregir con esmero un párrafo no cubre los demás. Los autores descompusieron los comentarios en requisitos atómicos y obtuvieron 6 099 en total. Un evaluador independiente, que no participa en el trabajo de los agentes, comprueba cada uno de ellos. También busca afirmaciones sin respaldo y correcciones que estropean una sección que antes estaba bien.

Dos roles e instrucciones que se acumulan entre tareas

Cada tarea reproduce una ronda histórica de revisión. Los agentes ven el documento que se revisa y el historial previo. Los comentarios reales de la SEC, las respuestas reales y las ediciones posteriores permanecen ocultos.

• Reviewer recibe los documentos y debe formular por sí mismo qué falta.
• Filer recibe las observaciones, obtiene los datos dentro de la información disponible, corrige el documento y redacta la respuesta.
• Ambas variantes del agente, la fija y la que aprende, pueden mejorar su trabajo a lo largo de una misma tarea.

La diferencia está en lo que ocurre después de la tarea. En el agente que aprende, el evaluador primero registra las puntuaciones. Después, a partir de los requisitos incumplidos, se generan instrucciones de texto para cada rol. Por ejemplo, cómo revisar el desglose de ingresos o cuándo hay que trasladar la explicación al propio documento. Estas instrucciones se aplican solo a los lotes de tareas siguientes y permanecen congeladas dentro de cada lote. Los pesos del modelo no cambian; solo cambia el conjunto de reglas que el agente lee antes de trabajar. Los datos sobre empresas concretas no pasan a las instrucciones: solo entran procedimientos válidos para otros casos.

La evaluación se hace con el primer intento en cada tarea, sin repeticiones. Por eso la mejora no se explica porque el agente simplemente haya repetido el mismo examen.

Las cifras: una mejora pequeña, pero casi gratuita

Los autores compararon ocho configuraciones en las 380 tareas. Los mejores resultados correspondieron a FilingLoop-Evolving, es decir, la versión con aprendizaje entre tareas.

• Cumplimiento de requisitos: 24,28% → 27,96% (unos 3,7 puntos porcentuales, +15% en términos relativos).
• Comentarios de la SEC cerrados por completo: 16,90% → 20,75% (unos 3,9 p. p., +23% en términos relativos).
• El coste total de la ejecución aumentó un 5,8%.
• El coste por requisito cumplido bajó, porque el resultado fue mayor y el gasto creció poco.

Los autores señalan que el aprendizaje mejoró dos habilidades: la detección de lagunas y la corrección condicional, es decir, cuando el documento solo debe modificarse en determinadas circunstancias.

Qué se desprende de todo esto

Para los profesionales, lo relevante no es el 28%: es lo poco que saben hacer los agentes en este trabajo. Incluso la mejor variante cumple apenas algo más de una cuarta parte de los requisitos del regulador y cierra por completo aproximadamente uno de cada cinco comentarios. Un sistema así todavía no puede sustituir a juristas ni a analistas. Sirve como borrador que una persona debe revisar obligatoriamente.

Para quienes construyen agentes para sectores regulados hay tres conclusiones. Primera: hay que verificar el documento final, no el tono seguro de la respuesta. Segunda: el evaluador debe ser independiente; de lo contrario, el agente se elogiará a sí mismo. Tercera: acumular procedimientos sin reentrenar el modelo da una mejora notable por poco dinero. Para las empresas que no pueden ajustar modelos con datos cerrados, este enfoque es más sencillo y seguro. Una salvedad: es el resultado de un solo benchmark con datos históricos de la SEC, y los autores no han comprobado que se traslade a otros reguladores.