Claude corrigiu 165 pesos de um modelo medico em uma hora e elevou o recall de 76% para 90%

Ha duas semanas, o MIT publicou o trabalho Sparks of Weight-Space Programming: um LLM recebe um arquivo com os pesos de outro modelo, entende como ele funciona e o modifica sem treinamento. O resultado de maior repercussao foi o salto de um pequeno modelo Qwen de 7,9% para 48,1% de respostas corretas em matematica escolar. Uma gerente de produto de P&D em MedTech decidiu testar a ideia em um modelo medico. Funcionou, mas com ressalvas mais importantes do que o proprio sucesso.

Como foi o experimento

Foi usado o OpenSpliceAI, uma versao aberta do SpliceAI. Essa rede analisa um trecho de DNA e preve onde um gene e "cortado" durante a montagem de uma proteina. Para avaliar uma mutacao, o modelo e executado duas vezes, na sequencia original e na alterada, e a diferenca entre as respostas e medida. Esse score e usado nas recomendacoes do ClinGen, portanto conclusoes de laboratorios geneticos reais dependem dele. O modelo e pequeno, com 699 mil parametros, e roda em um notebook sem GPU. Diferentemente do original, sua licenca e aberta.

Claude Opus 5.5 recebeu a tarefa de melhorar a diferenciacao entre mutacoes perigosas e benignas do ClinVar. Nao era permitido treinar o modelo nem testar valores automaticamente. A avaliacao foi feita em cromossomos que Claude nao havia visto, alem de verificar se o desempenho principal do modelo nao havia piorado.

O que Claude encontrou

O mais interessante nao e a edicao, mas o diagnostico. O modelo identifica os pontos reais de splicing com probabilidade de cerca de 99%. Uma mutacao perigosa reduz consideravelmente a confianca dentro da rede, mas isso quase nao aparece na saida: com valores tao altos, a curva de probabilidade e plana. O modelo "sabe" que o sitio foi danificado, mas o score final nao mostra isso.

A solucao se revelou simples. Claude multiplicou os logits da ultima camada por 0,35, ou seja, elevou a temperatura do softmax, e duplicou o sinal da regiao do DNA proxima ao ponto de splicing. Foram apenas duas edicoes, com 165 pesos alterados. No teste oculto, o AUPRC subiu de 0,939 para 0,975, enquanto a parcela de mutacoes perigosas detectadas com o mesmo numero de falsos positivos aumentou de 76% para 90%.

O porem: o gradiente nao e pior

Em seguida, a autora testou honestamente as alternativas. So o ajuste de temperatura respondeu por 86% do ganho, e uma busca simples teria encontrado o mesmo valor. O ajuste fino convencional dos mesmos pesos produziu um AUPRC de 0,970–0,971, ou seja, dentro da margem de erro em relacao ao resultado de Claude. Um ensemble de cinco copias atingiu 0,953, e nesse caso Claude venceu. O mesmo ocorreu no MIT: se o modo de raciocinio for desativado no Qwen original, ele chega sozinho a cerca de 46%. A edicao elimina o comportamento repetitivo, em vez de ensinar matematica.

Na metrica, houve empate. Em compreensao, Claude vence: o gradiente entrega novos pesos e nao diz nada sobre as causas, enquanto o LLM explicou em uma hora o que estava prejudicando o score e onde isso poderia ser corrigido.

Limitacoes

• Um experimento, um modelo e uma unica execucao de Claude.
• A escala de probabilidades mudou, invalidando os limiares clinicos: com um limiar de 0,8, o modelo detecta 15% das mutacoes perigosas, em vez de 49%. E necessario recalibrar.
• O truque da temperatura e especifico deste caso: aqui, o score e a diferenca entre duas probabilidades; em um classificador convencional, ele nao traria beneficio algum.
• Parte dos rotulos do ClinVar se baseava no proprio SpliceAI.
• O modelo nao adquiriu nenhuma habilidade nova: as mutacoes que ele nao consegue reconhecer continuam passando despercebidas.

O que fazer na pratica

Nao espere que um LLM "refaca a fiacao" dos seus pesos melhor do que um gradiente. Mas ele pode ser util como ferramenta de depuracao: peca que leia a rede, encontre onde o sinal esta sendo perdido e proponha uma hipotese. Depois, teste essa hipotese com uma busca barata de parametros e ajuste fino. Se uma configuracao simples produz 86% do efeito, talvez seja tudo o que voce precise, enquanto o valor do agente esta em explicar o motivo. O codigo e as tabelas estao publicados no GitHub, e o experimento pode ser reproduzido em uma CPU.