Agentes de IA corrigem prospectos de IPO a partir dos comentários da SEC: aprendizado rendeu +3,7 p.p.

Quando uma empresa se prepara para o IPO, ela entrega à comissão de valores mobiliários dos EUA (SEC) os documentos de registro. Os funcionários da comissão leem o material e enviam comentários, como: "vocês escrevem que a receita cresceu 40% por causa da demanda; expliquem em mais detalhes". Os advogados da empresa reúnem os fatos, reescrevem a seção e enviam a resposta.

O processo passa por várias rodadas. Pesquisadores da Universidade Tecnológica de Nanyang (Singapura) e da Universidade de Ciência e Tecnologia de Hong Kong (Guangzhou) testaram se agentes de IA baseados em grandes modelos de linguagem conseguem assumir os dois papéis. Para isso, criaram o benchmark FilingLoop: 380 tarefas de 96 empresas, em sua maioria de IPOs.

A melhor variante de agente, a que aprende entre as tarefas, cumpriu 27,96% das exigências do regulador. O mesmo agente sem aprendizado cumpriu 24,28%.

Em que essa tarefa difere das perguntas financeiras habituais

Testes financeiros existentes, como FinQA ou FinanceBench, entregam ao modelo uma pergunta pronta e pedem que ele encontre a resposta em um relatório. Aqui não há pergunta, e essa é a primeira dificuldade. O Reviewer precisa identificar sozinho quais trechos do documento levantam dúvidas. A segunda dificuldade: os números necessários podem nem estar nos arquivos públicos. O Filer tem de solicitá-los à empresa, e o acesso a esses fatos no teste se limita ao que de fato existia no histórico.

A terceira dificuldade está na verificação. Um advogado pode escrever na resposta "corrigimos tudo" e, no documento em si, nada mudar. Por isso o avaliador examina a versão final do documento e a resposta escrita. Um comentário da SEC costuma conter várias exigências, e a correção cuidadosa de um parágrafo não resolve as demais. Os autores decompuseram os comentários em exigências atômicas, o que resultou em 6 099. Um avaliador separado, que não participa do trabalho dos agentes, verifica cada uma delas. Ele também procura afirmações sem comprovação e correções que estragam uma seção que antes estava perfeitamente adequada.

Duas funções e instruções que se acumulam entre as tarefas

Cada tarefa reproduz uma rodada histórica de revisão. Os agentes veem o documento em análise e o histórico anterior. Os comentários reais da SEC, as respostas efetivas e as revisões posteriores ficam ocultos.

• O Reviewer recebe os documentos e precisa formular por conta própria o que está faltando.
• O Filer recebe os comentários, levanta fatos dentro dos dados disponíveis, corrige o documento e escreve a resposta.
• As duas variantes de agente, a fixa e a que aprende, podem melhorar o próprio trabalho ao longo de uma mesma tarefa.

A diferença está no que acontece depois da tarefa. No agente que aprende, o avaliador primeiro registra as notas. Em seguida, a partir das exigências não cumpridas, são geradas instruções em texto para cada função. Por exemplo, como verificar a abertura da receita ou quando é preciso levar a explicação para dentro do próprio documento. Essas instruções valem apenas para os lotes de tarefas seguintes e ficam congeladas dentro de cada lote. Os pesos do modelo não mudam; muda só o conjunto de regras que o agente lê antes de trabalhar. Fatos sobre empresas específicas não entram nas instruções: só vão procedimentos que servem para outros casos.

A avaliação considera a primeira tentativa em cada tarefa, sem repetições. Por isso, o ganho não se explica por o agente simplesmente ter refeito a mesma prova.

Os números: ganho pequeno, mas quase de graça

Os autores compararam oito configurações nas 380 tarefas. Os melhores resultados vieram do FilingLoop-Evolving, a versão com aprendizado entre as tarefas.

• Cumprimento das exigências: 24,28% → 27,96% (cerca de 3,7 pontos percentuais, +15% em termos relativos).
• Comentários da SEC totalmente resolvidos: 16,90% → 20,75% (cerca de 3,9 p.p., +23% em termos relativos).
• O custo total da execução subiu 5,8%.
• O custo por exigência cumprida caiu, porque o resultado aumentou e as despesas cresceram pouco.

Os autores afirmam que o aprendizado melhorou duas habilidades: a busca por lacunas e a correção condicional, em que o documento só precisa ser alterado em determinadas circunstâncias.

O que isso significa

Para quem trabalha na prática, o número principal não é 28%, mas o quão pouco os agentes ainda sabem fazer nesse trabalho. Mesmo a melhor variante cumpre pouco mais de um quarto das exigências do regulador e resolve por completo cerca de um em cada cinco comentários. Um sistema assim ainda não substitui advogados e analistas. Serve como rascunho, que uma pessoa precisa conferir.

Quem constrói agentes para áreas reguladas pode tirar três conclusões. Primeira: é preciso verificar o documento final, e não o tom confiante da resposta. Segunda: o avaliador deve ser independente, senão o agente acaba elogiando a si mesmo. Terceira: acumular procedimentos sem retreinar o modelo gera um ganho perceptível por pouco dinheiro. Para empresas que não podem fazer fine-tuning de modelos com dados fechados, essa abordagem é mais simples e segura. Ressalva: o resultado vem de um único benchmark, com dados históricos da SEC, e os autores não testaram a aplicação a outros reguladores.