Koda explica cómo entrenó un modelo de Next Edit Suggestions para predecir ediciones de código

Koda ha explicado cómo entrenó un modelo de Next Edit Suggestions para un autocompletado que intenta adivinar no el siguiente token, sino la siguiente edición significativa del desarrollador. Este enfoque lleva al IDE del completado convencional a un asistente que entiende el curso de una refactorización, un cambio de nombre o una serie de pequeñas correcciones repetitivas. NES se diferencia del autocompletado clásico en que tiene en cuenta el historial de cambios recientes y funciona en cualquier parte del archivo, no solo bajo el cursor.

El modelo puede no solo añadir código, sino también eliminar o sustituir fragmentos. Los escenarios prácticos de este modo son claros: renombrado masivo, actualización de llamadas tras cambiar una firma, continuación de una refactorización iniciada, replicación de una corrección repetida, ajuste de estilo, eliminación de código muerto e incluso pequeños arreglos de linter. En Koda creen que, pese al auge de los agentes de IA, esta herramienta sigue siendo útil: muchas correcciones menores se confirman antes con una sola tecla que formulando un prompt aparte.

Para el entrenamiento, el equipo eligió primero un modelo base con una restricción estricta de latencia. En sus servidores GPU objetivo, los desarrolladores midieron la velocidad de inferencia y redujeron la elección a Qwen2.5-Coder-1.

5B y DeepSeek-Coder-1.3B. Según el conjunto de métricas, eligieron Qwen como base para el ajuste fino supervisado.

La fuente de datos fueron los registros parciales anonimizados, acumulados durante un año, de su propio modelo de completado de código. Estos registros FIM se agruparon por usuario, sesión y archivo para reconstruir cadenas de cambios locales de código. El problema era que una sola edición real de un programador solía desglosarse en decenas de microeventos en los registros.

Por eso los ingenieros unieron esas subsecuencias en cambios únicos con sentido mediante el algoritmo Incremental Difference Detecting, descrito en la investigación sobre NES. Después filtraron por separado los ejemplos en los que la edición objetivo está realmente relacionada de forma causal con el historial de edición, y no es simplemente otro fragmento lógico de código. Al final, de millones de muestras candidatas quedaron solo varias decenas de miles.

Además, el equipo hizo upsampling de las ediciones de tipo replace para equilibrar mejor los tipos de inserción, sustitución y eliminación. Después, Koda comparó su modelo de 1500 millones de parámetros con las soluciones NES abiertas de Continue, Zed y Sweep, y mencionó como referencias cerradas Cursor Tab, GitHub Copilot NES y JetBrains AI Assistant. En su propio conjunto de prueba de 500 ejemplos, Koda-next-edit obtuvo un 27,2 % en Exact Match y un 28,2 % en Judge, mientras que Zeta 2 logró un 17,0 % y un 20,4 %, respectivamente.

En varios conjuntos de datos, la compañía da más prioridad a la métrica Judge, porque se adapta mejor a la comparación de modelos con distintos formatos de respuesta. Por media simple, su modelo quedó primero, y por media ponderada se mantuvo entre los líderes incluso frente a modelos más grandes de 7B y 8B parámetros. Por separado, Koda destaca el conjunto NEP como un benchmark más independiente, porque no es «nativo» de ninguno de los sistemas comparados.

La función ya ha llegado en modo beta al plugin KodaCode 0.9.0 para VS Code.

A continuación, el equipo planea enriquecer el contexto con fragmentos de código similares y pistas del linter, y probar modelos más grandes si logra mantener la latencia necesaria. Otra línea de desarrollo es la interfaz del plugin: en NES no basta con predecir la edición, hay que mostrarla de modo que el desarrollador pueda aceptar o rechazar la sugerencia rápidamente sin perder el ritmo. La historia de Koda muestra que el mercado de herramientas de IA para programadores no se reduce a agentes que intentan hacerlo todo de principio a fin.

Entre la edición manual y la ejecución totalmente autónoma hay una gran capa de tareas en la que más valor aporta un consejo rápido, local y predecible, directamente en el editor. Si estos modelos mejoran en calidad sin perder velocidad, esta clase de asistentes puede convertirse en el formato más extendido de IA en el desarrollo cotidiano.