Das 1 598 publicações de RL, só 37 chegaram aos frameworks: auditoria de sete stacks open-source

Uma nova análise de sete frameworks abertos de pós-treinamento de modelos de linguagem com RL mostra como é estreito o caminho entre o artigo e o código funcional. Os autores examinaram o histórico de commits e o cruzaram com 6 939 trabalhos selecionados do arXiv, de janeiro de 2025 a junho de 2026. Dos 1 598 artigos que propõem um método geral de treinamento com RL, só 37 aparecem em pelo menos um framework. Isso equivale a cerca de 2,3%.

Para quem trabalha com isso na prática, a diferença é simples: se o método está no framework, basta uma linha no arquivo de configuração para usá-lo. Se não está, é preciso reescrevê-lo por conta própria, o que em escala de dezenas de bilhões de parâmetros sai caro e arriscado.

O fluxo de artigos cresce, mas a fila de inclusão não anda

Os autores dividiram os trabalhos em cinco coortes trimestrais. O tamanho da coorte saltou de 72 para 386 artigos, um aumento de 5,4 vezes. Já o número de métodos que os frameworks incluíram em até 180 dias ficou sempre na faixa de 5 a 7. Numa estimativa aproximada a partir dos limites dessa faixa, isso representava algo como 7–10% da coorte no início e apenas 1,3–1,8% no fim do período.

O gargalo, ao que tudo indica, não está na geração de ideias, e sim nos recursos dos mantenedores. Cada nova implementação exige testes, manutenção e compatibilidade com o restante do código.

O que passa pelo filtro

Os artigos incluídos se diferenciam de forma clara dos demais trabalhos dos mesmos trimestres:

• Políticas a partir de 30B parâmetros: 41% entre os incluídos, contra 10% entre os outros.
• Ajuste de coeficiente, clip, máscaras ou pesos em uma função de perda existente: 29% contra 9%.
• Publicação do código: igualmente frequente nos dois grupos, ou seja, ter um repositório aberto não dá vantagem.
• As duas diferenças se mantêm mesmo ao excluir os artigos de empresas que mantêm os próprios frameworks.

O último ponto afasta a objeção óbvia de que os frameworks simplesmente adotam os trabalhos "da casa". O quadro é mais amplo: passam os métodos validados em modelos grandes e que podem ser incorporados com uma pequena alteração. Se o artigo exige um componente novo ou a reestruturação do pipeline, as chances são menores.

Recusas quase não aparecem

A observação mais incomum diz respeito às discussões públicas. Nas issues e nos pull requests, os métodos raramente são rejeitados de forma explícita. Em mais de nove de cada dez métodos gerais que não entraram em nenhum framework, não há uma única thread em que eles sejam citados ou mencionados. Muitas das propostas que chegam a aparecer ficam abertas, sem resposta. O método não leva um "não"; ele simplesmente não entra no radar.

Duas verificações adicionais completam o quadro. Os usuários raramente relatam publicamente falhas de treinamento, e por isso os mantenedores têm poucos sinais de quais métodos são realmente necessários. Além disso, nos relatórios técnicos de 13 grandes modelos open-weight, aparecem citados 8 dos 13 métodos amplamente incluídos. Ou seja, a prática dos grandes laboratórios acaba sendo uma alavanca forte, e não só a qualidade do artigo em si.

Um tracker para quem precisa escolher um método

Os autores publicam os dados na forma de um tracker. Ele relaciona falhas de treinamento a implementações nos frameworks e também lista as regras de contribuição de cada projeto e as propostas anteriores de métodos.

Para as equipes que treinam modelos, isso leva a algumas conclusões. Antes de adotar um método de um artigo recente, vale verificar se ele existe no framework e em que estado está a issue correspondente. A ausência de implementação não indica que o método seja fraco, mas significa que você vai validá-lo sozinho. Para os pesquisadores que querem ver suas ideias nesses stacks, ajuda formular o método como um pequeno ajuste de coeficiente, clip ou máscara em uma loss existente e testá-lo em modelos a partir de 30B. Já os usuários dos frameworks deveriam descrever falhas publicamente com mais frequência: hoje isso quase não acontece, e os mantenedores escolhem métodos às cegas.