GitHub amplía las analíticas de Copilot a nueve escenarios de uso

Los responsables de ingeniería suelen evaluar la adopción de Copilot desde una perspectiva demasiado limitada: cuántas licencias se han asignado, cuántas sugerencias se han aceptado y cuántas líneas de código se han generado. Esta visión dejaba fuera a quienes debaten tareas de forma habitual con Copilot Chat o inician un flujo de trabajo con agentes en VS Code. El trabajo se realizaba, pero el panel solo mostraba una parte.

GitHub ha añadido al panel de impacto de Copilot las dos fuentes de actividad que faltaban: Copilot Chat y el panel Agents de VS Code. El gráfico ahora abarca nueve escenarios de uso. Las mismas métricas aparecen en los informes de 28 días para empresas y organizaciones mediante los campos chat y vscode_agent.

Como se refleja en la practica

Imaginemos un equipo de 20 desarrolladores. Cinco apenas utilizan el autocompletado, pero abren el chat con regularidad, investigan errores y piden al agente que modifique varios archivos. Antes, estos empleados podían confundirse con usuarios pasivos de Copilot. Ahora su actividad se muestra por separado.

GitHub también ha cambiado el nombre de la cohorte Passive users a Chat-first users. La nueva denominación es más precisa: no se trata necesariamente de personas que ignoren la herramienta. Están activas en Copilot, pero no utilizaron, durante al menos dos días del periodo de 28 días analizado, la función necesaria para entrar en una de las etapas de adopción.

La regla de interacción es sencilla: un usuario se considera activo en un escenario concreto si lo utilizó al menos dos días distintos durante un periodo de 28 días. Una misma persona puede aparecer en varias métricas a la vez. Por ejemplo, un desarrollador que utilice el modo agente dentro de Copilot Chat se contabilizará en las estadísticas del chat, mientras que el trabajo realizado mediante el panel Agents independiente contará para la métrica VS Code Agent.

Lo que no debe confundirse

La incorporación de los nuevos datos no modifica el modelo de etapas de adopción de Copilot. El chat y el panel Agents se muestran como actividad de funciones, pero por sí solos no trasladan al usuario a la siguiente etapa. El tamaño de las cohortes tampoco ha cambiado, y la API sigue devolviendo el grupo Chat-first como No Cohort.

Es una limitación importante. El crecimiento de la línea Chat no puede interpretarse automáticamente como un aumento de la madurez del equipo ni como prueba de que el desarrollo se haya acelerado. El panel indica dónde utilizan Copilot los empleados, pero no responde si ahorran tiempo, publican cambios con mayor rapidez o generan menos defectos.

También hay restricciones técnicas. Los nuevos campos solo están disponibles en los informes de 28 días de los niveles de organización y empresa. Los informes históricos generados antes de la actualización conservarán los siete escenarios anteriores. El acceso está reservado a propietarios, responsables de facturación o miembros con un rol que permita consultar las métricas de Copilot; además, debe estar habilitada la política de recopilación de métricas.

Que deben hacer los responsables de ingenieria

Primero, compruebe si la proporción de usuarios “pasivos” se debía a una telemetría incompleta. Después, contraste chat y vscode_agent con resultados de ingeniería claros: el tiempo de ciclo de los pull requests, la duración de las tareas, el número de devoluciones para revisión y los defectos posteriores al lanzamiento.

Un experimento útil consiste en seleccionar dos equipos similares y comparar durante un mes no el número de interacciones con Copilot, sino los cambios en el flujo de trabajo. Las nuevas analíticas permiten diferenciar con mayor precisión las formas de utilizar la herramienta. Sin embargo, la decisión de renovar las licencias debe seguir basándose en los resultados de ingeniería y no en un vistoso aumento de la actividad en el gráfico.