GitHub amplia as analises do Copilot para nove cenarios de uso

Lideres de engenharia frequentemente avaliam a adocao do Copilot por uma perspectiva estreita demais: quantas licencas foram atribuidas, quantas sugestoes foram aceitas e quantas linhas de codigo foram geradas. Essa visao deixava de fora as pessoas que discutem tarefas regularmente com o Copilot Chat ou iniciam um fluxo de trabalho com agentes no VS Code. O trabalho acontecia, mas o painel mostrava apenas uma parte dele.

O GitHub adicionou ao painel de impacto do Copilot as duas fontes de atividade que faltavam: o Copilot Chat e o painel Agents do VS Code. Agora, o grafico abrange nove cenarios de uso. As mesmas metricas passaram a aparecer nos relatorios de 28 dias para empresas e organizacoes por meio dos campos chat e vscode_agent.

Como isso funciona na pratica

Imagine uma equipe de 20 desenvolvedores. Cinco deles quase nao usam o preenchimento automatico, mas abrem o chat regularmente, investigam erros e pedem ao agente que altere varios arquivos. Antes, esses profissionais poderiam ser confundidos com usuarios passivos do Copilot. Agora, sua atividade aparece separadamente.

O GitHub tambem renomeou a coorte Passive users para Chat-first users. O novo nome e mais preciso: nao se trata necessariamente de pessoas que ignoram a ferramenta. Elas estao ativas no Copilot, mas nao utilizaram, em pelo menos dois dias do periodo de 28 dias analisado, o recurso exigido para entrar em um dos estagios de adocao.

A regra de engajamento e simples: um usuario e considerado ativo em determinado cenario se o tiver utilizado em pelo menos dois dias diferentes durante um periodo de 28 dias. Uma mesma pessoa pode aparecer em varias metricas ao mesmo tempo. Por exemplo, um desenvolvedor que utilize o modo agente dentro do Copilot Chat sera contabilizado nas estatisticas do chat, enquanto o trabalho realizado pelo painel Agents separado contara para a metrica VS Code Agent.

O que nao deve ser confundido

A inclusao dos novos dados nao altera o modelo de estagios de adocao do Copilot. O chat e o painel Agents aparecem como atividade de recursos, mas, por si sos, nao levam o usuario ao estagio seguinte. O tamanho das coortes tambem nao mudou, e a API continua retornando o grupo Chat-first como No Cohort.

Essa e uma limitacao importante. O crescimento da linha Chat nao pode ser interpretado automaticamente como um aumento da maturidade da equipe ou como prova de que o desenvolvimento ficou mais rapido. O painel informa onde os profissionais usam o Copilot, mas nao responde se eles economizam tempo, entregam alteracoes mais rapidamente ou produzem menos defeitos.

Tambem existem restricoes tecnicas. Os novos campos estao disponiveis apenas nos relatorios de 28 dias nos niveis de organizacao e empresa. Relatorios historicos gerados antes da atualizacao manterao os sete cenarios anteriores. O acesso e restrito a proprietarios, gerentes de cobranca ou membros com uma funcao que permita visualizar as metricas do Copilot; alem disso, a politica de coleta de metricas deve estar habilitada.

O que os lideres de engenharia devem fazer

Primeiro, verifique se a proporcao de usuarios “passivos” era resultado de telemetria incompleta. Em seguida, compare chat e vscode_agent com resultados claros de engenharia: tempo de ciclo dos pull requests, duracao das tarefas, quantidade de devolucoes para retrabalho e defeitos apos o lancamento.

Um experimento util e selecionar duas equipes semelhantes e, durante um mes, comparar nao o numero de interacoes com o Copilot, mas as mudancas no fluxo de trabalho. As novas analises ajudam a distinguir com mais precisao as formas de uso da ferramenta. No entanto, a decisao de renovar as licencas ainda deve se basear nos resultados de engenharia, e nao em um crescimento atraente da atividade no grafico.