Interlock ensina agentes a levar tarefas até o fim: até +6,64 pontos no JobBench

A equipe por trás do Interlock propõe um método para sintetizar tarefas longas para agentes de LLM, nas quais não basta acertar a resposta de cada passo: é preciso concluir toda a cadeia de dependências. Dois modelos da família Qwen3.6, ajustados com as próprias trajetórias selecionadas, apresentaram ganhos em três benchmarks externos: +4,00–4,50 p.p. na taxa de tarefas resolvidas no AutomationBench, +3,20–6,64 pontos na avaliação ponderada do JobBench e +3,89–4,16 p.p. nos critérios do Harvey LAB.

O problema: localmente correto, mas inacabado

Os agentes atuam cada vez mais em ambientes onde as evidências estão espalhadas por arquivos e sistemas, o estado da tarefa está parcialmente cumprido e os recursos e artefatos dependem uns dos outros. A falha típica é assim: o agente fecha com capricho cada requisito isolado, mas perde as conexões entre eles. O resultado parece plausível, porém está incompleto. Os autores chamam isso de lacuna de conclusão (completion gap) e a explicam do seguinte modo: o estado de pronto de uma tarefa é definido pelas relações entre os fatos do ambiente, as decisões tomadas e os efeitos que essas decisões devem provocar.

Daí vem a crítica aos dados de treinamento atuais. Se as tarefas sintéticas não codificam essas relações, o agente não recebe nenhum sinal de que há um abismo entre "quase pronto" e "pronto".

Como funciona o Interlock

Cada tarefa é representada como um grafo de conclusão tipado, com três tipos de ligação. As arestas de ancoragem (grounding) conectam evidências públicas às decisões. As hiperarestas de acoplamento (coupling) impõem restrições conjuntas a vários componentes ao mesmo tempo. As arestas de realização (realization) levam de uma decisão a todos os efeitos downstream obrigatórios.

O grafo é compilado em três artefatos: um workspace reinicializável, um pedido público e uma rubrica de avaliação. Em seguida, entram dois controles de qualidade. O source-coverage review verifica se os requisitos de origem não se perderam durante a geração. O public-input review verifica se a rubrica se apoia em materiais realmente acessíveis ao executor, ou seja, se o agente não é obrigado a adivinhar nada que esteja oculto.

Cada execução é avaliada por um agente-juiz, que examina os artefatos produzidos e roda scripts de verificação. Só entram no conjunto de treinamento as trajetórias em que todos os requisitos obrigatórios foram cumpridos.

• Estrutura da tarefa: grafo tipado com arestas de ancoragem, hiperarestas de acoplamento e arestas de realização
• Saída da compilação: workspace reinicializável, pedido público, rubrica
• Filtros: source-coverage review e public-input review
• Seleção: agente-juiz com scripts de verificação, apenas trajetórias com todos os requisitos obrigatórios
• Modelos: duas bases Qwen3.6, ajustadas com as próprias trajetórias aprovadas
• Ganho: AutomationBench +4,00–4,50 p.p., JobBench +3,20–6,64 pontos, Harvey LAB +3,89–4,16 p.p.

O que os números mostram

O esquema é, em essência, uma autodestilação com seleção rigorosa: o modelo resolve tarefas sintéticas, o juiz mantém só as execuções impecáveis e o ajuste fino é feito com elas. O que importa não é a mecânica, mas para onde o efeito se transfere. AutomationBench, JobBench e Harvey LAB não participaram da geração das tarefas, ou seja, o ganho veio de ambientes externos, e não da distribuição dos próprios autores.

O resultado tem limites. Os ganhos são moderados, as faixas são amplas (no JobBench, de 3,20 a 6,64) e há apenas dois modelos-base. A descrição não deixa claro quanto custa gerar e verificar uma tarefa, com que frequência o LLM-juiz erra e como o método escala para um número maior de trajetórias. Essas perguntas devem ser buscadas no texto completo do trabalho.

O que levar para a prática

Mesmo sem reproduzir o pipeline inteiro, as ideias podem ser aplicadas diretamente. Descreva as tarefas dos agentes como um grafo de dependências, em que cada decisão lista os efeitos subsequentes obrigatórios, e verifique os efeitos, não o texto da resposta final. Passe a rubrica por uma checagem de "ela pode ser deduzida a partir dos materiais públicos?": assim saem as tarefas em que o agente falha por causa de condições ocultas. Torne os ambientes reinicializáveis, para que as trajetórias sejam reproduzíveis. Por fim, ao selecionar dados para o ajuste fino, exija o cumprimento de todos os itens obrigatórios, e não uma nota média alta: caso contrário, o modelo continuará aprendendo com resultados "localmente corretos" porém incompletos.