Claude corrigio 165 pesos de un modelo medico en una hora y elevo el recall del 76% al 90%

Hace dos semanas, el MIT publico el trabajo Sparks of Weight-Space Programming: un LLM recibe un archivo con los pesos de otro modelo, averigua como funciona y lo modifica sin entrenamiento. El resultado mas llamativo fue que un pequeno modelo Qwen paso del 7,9% al 48,1% de respuestas correctas en matematicas escolares. Una product manager de I+D en MedTech decidio probar la idea con un modelo medico. Funciono, pero con salvedades mas importantes que el propio exito.

En que consistio el experimento

Se utilizo OpenSpliceAI, una version abierta de SpliceAI. Esta red examina un segmento de ADN y predice donde se "corta" un gen durante el ensamblaje de una proteina. Para evaluar una mutacion, el modelo se ejecuta dos veces, con la secuencia original y con la modificada, y se mide la diferencia entre sus respuestas. Esta puntuacion se utiliza en las recomendaciones de ClinGen, por lo que de ella dependen las conclusiones de laboratorios geneticos reales. El modelo es pequeno, con 699.000 parametros, y funciona en un portatil sin GPU. A diferencia del original, su licencia es abierta.

Claude Opus 5.5 recibio la tarea de mejorar la distincion entre mutaciones peligrosas y benignas de ClinVar. No se permitia entrenar el modelo ni probar valores automaticamente. Las pruebas se realizaron en cromosomas que Claude no habia visto y, ademas, se comprobo que el rendimiento principal del modelo no empeorara.

Lo que encontro Claude

Lo mas interesante no es la modificacion, sino el diagnostico. El modelo identifica los puntos de empalme reales con una probabilidad cercana al 99%. Una mutacion peligrosa reduce de forma notable la confianza dentro de la red, pero esto apenas se aprecia en la salida: con valores tan altos, la curva de probabilidad es plana. El modelo "sabe" que el sitio esta danado, pero la puntuacion final no lo refleja.

La solucion resulto sencilla. Claude multiplico por 0,35 los logits de la ultima capa, lo que equivale a elevar la temperatura de softmax, y duplico la senal de la region del ADN situada junto al punto de empalme. Solo fueron dos modificaciones, con 165 pesos alterados. En la prueba oculta, el AUPRC subio de 0,939 a 0,975, mientras que la proporcion de mutaciones peligrosas detectadas con el mismo numero de falsos positivos aumento del 76% al 90%.

La trampa: el gradiente no es peor

Despues, la autora comprobo honestamente las alternativas. El ajuste de temperatura por si solo aporto el 86% de la mejora, y una busqueda sencilla habria encontrado el mismo valor. El ajuste fino convencional de esos mismos pesos logro un AUPRC de 0,970–0,971, es decir, dentro del margen de error respecto al resultado de Claude. Un ensemble de cinco copias obtuvo 0,953, y en ese caso Claude si gano. Lo mismo ocurrio en el MIT: si se desactiva el modo de razonamiento del Qwen original, el modelo alcanza por si solo cerca del 46%. La modificacion elimina los bucles repetitivos, no ensena matematicas.

En la metrica hay empate. En comprension gana Claude: el gradiente entrega nuevos pesos y no explica las causas, mientras que el LLM explico en una hora que estaba estropeando la puntuacion y donde podia corregirse.

Limitaciones

• Un experimento, un modelo y una sola ejecucion de Claude.
• La escala de probabilidades cambio, por lo que los umbrales clinicos dejaron de ser validos: con un umbral de 0,8, el modelo detecta el 15% de las mutaciones peligrosas en lugar del 49%. Hace falta recalibrarlo.
• El truco de la temperatura es especifico de este caso: aqui la puntuacion es la diferencia entre dos probabilidades; en un clasificador convencional no aportaria nada.
• Parte de las etiquetas de ClinVar se basaba a su vez en SpliceAI.
• El modelo no adquirio ninguna capacidad nueva: las mutaciones que no sabe reconocer siguen sin detectarse.

Que hacer en la practica

No cabe esperar que un LLM "recablee" los pesos mejor que un gradiente. Pero puede resultar util como herramienta de depuracion: se le puede pedir que examine la red, encuentre donde se pierde la senal y proponga una hipotesis. Despues, esa hipotesis debe comprobarse mediante una busqueda de parametros barata y ajuste fino. Si un ajuste sencillo proporciona el 86% del efecto, quiza sea lo unico necesario, mientras que el valor del agente reside en explicar por que. El codigo y las tablas estan publicados en GitHub, y el experimento puede reproducirse en una CPU.