Instacart: Ava, o assistente de IA interno — mais de metade dos funcionários mensalmente, com sessões de 20+ minutos

• Scaling Productivity with Ava — Instacart's Internal AI Assistant — tech-at-instacart (Zain Adil, Kevin Lei, Ada Cohen), 2023-09-07
• Unlocking Efficiency: How Ava Became Our AI Productivity Partner (43% экономят час+/нед, 60% инженеров, ~70K строк кода/мес) — tech-at-instacart (Dayle Lyng), 2024-01-31

Contexto

Instacart é o maior serviço de entrega de alimentos do EUA. A história de seu assistente de IA interno começou não com um programa estratégico, mas com um hackathon da empresa inteira no início de 2023: trabalhando em projetos de hackathon, uma equipe de engenharia entregou quase o dobro de recursos planejados com a ajuda do ChatGPT (especificamente GPT-4). A equipe chegou rapidamente à conclusão: se o modelo acelera brainstorming, codificação, depuração e geração de testes tanto assim, cada desenvolvedor da empresa precisa de acesso — o mais rápido possível.

O timing também foi favorável: Instacart trabalhou em estreita colaboração com OpenAI e teve acesso antecipado ao GPT-4 com contexto de 32K tokens — através de APIs com garantias corporativas para privacidade de dados, segurança e cotas. Isso removeu o principal bloqueador que faz as empresas proibirem chatbots públicos: dados não vazam para serviços de terceiros em termos incontrolados. Nessa base, a equipe rapidamente construiu e lançou Ava — um assistente estilo ChatGPT interno, inicialmente apenas para engenheiros.

Em setembro de 2023, os engenheiros Zain Adil, Kevin Lei e Ada Cohen descreveram a jornada 'de projeto de hackathon para ferramenta interna' no blog tech-at-instacart com métricas honestas de adoção, e um segundo post seguiu em janeiro de 2024 — com dados sobre como Ava se enraizou além da engenharia. O caso Instacart se tornou uma das contas públicas de definição de gênero do 'ChatGPT interno': dezenas de empresas construíram ferramentas similares, mas poucas publicaram os números de engajamento e a mecânica que os impulsionou.

Problema

Deixar que os funcionários usem chatbots de IA públicos é arriscado: código, documentos internos e dados de clientes não devem vazar para serviços de terceiros sem garantias corporativas. Mas uma proibição sem alternativa tem um preço previsível — perda de produtividade e uso na sombra: os funcionários simplesmente levarão tarefas de trabalho para contas pessoais do ChatGPT de qualquer forma, apenas sem qualquer supervisão de segurança.

Portanto, uma ferramenta interna é necessária — e aqui vem a segunda metade do produto do problema. Ferramentas corporativas são notoriamente piores que as de consumidor em usabilidade: se o assistente interno for pior que o ChatGPT, os funcionários simplesmente não o usarão, e o investimento se torna um portal morto. A ferramenta tinha que corresponder ao ChatGPT em experiência do usuário — e adicionar o que o serviço público não pode: integração com os fluxos de trabalho da empresa.

O terceiro desafio foi escalar além da engenharia. Para desenvolvedores o valor é óbvio desde o primeiro prompt: código, depuração, testes. Mas recrutadores, advogados, profissionais de marketing e equipes de operações não têm hábito de escrever prompts, e uma caixa de texto em branco é uma verdadeira barreira de entrada. Lançar o assistente para toda a empresa é um problema de produto, não técnico: você precisa de mecânicas que transfiram a expertise de usuários avançados para todos os outros. E tudo isso teve que ser medido — não 'contagens de registros', que o PR corporativo pode facilmente inflar, mas engajamento e retenção reais.

Solução

Ava é um assistente web estilo ChatGPT no GPT-4 (incluindo o modelo com contexto de 32K) e GPT-3.5. Para o primeiro lançamento — apenas engenheiros — a equipe priorizou recursos com valor de desenvolvedor instantâneo: atalhos de teclado convenientes, cópia de código com um clique e atualizações automáticas entre modelos GPT-4 conforme o contexto da conversa crescia — o usuário nunca tem que pensar em qual modelo precisa. Com o modelo de contexto mais amplo, desenvolvedores trabalhavam com arquivos de código completos: criando, depurando, revisando — e resumindo documentos.

A adoção superou as expectativas, e entrevistas pós-lançamento revelaram demanda além da engenharia — de Ops e Recrutamento para Marketing de Marca e RH. Para usuários não-técnicos a equipe baixou a barreira da 'caixa em branco' com templates de prompt bem elaborados, adicionou busca de conversa de texto completo e compartilhamento de conversa. O detalhe de compartilhamento chave: links de conversa se desdobram em previsualizações no Slack para que colegas vejam o conteúdo antes de clicar — a equipe nota diretamente que isso ajudou significativamente a adoção e conscientização do produto.

O próximo passo foi o Prompt Exchange — um mercado de prompts interno. A lógica é instrutiva: uma grande parte das conversas começava de templates, mas a pequena equipe de Ava fisicamente carecia da expertise de domínio para escrever bons templates para cada departamento. Em vez disso, publicar e classificar prompts foi entregue aos próprios funcionários — as melhores práticas começaram a se espalhar horizontalmente, sem envolvimento da equipe central.

O quarto passo foi ir para onde os funcionários já trabalham: um app Slack. Mencionar @Ava em um thread produz resumos e respostas direto na conversa — 'como perguntar a um colega'. Naquela altura quase um terço da organização já estava usando Ava mensalmente, e o canal do Slack removeu o último atrito — ter que abrir uma página separada e colar contexto manualmente.

Os planos descritos no post: recuperação sobre o conhecimento interno e execução de código da Instacart (a equipe chama dados o 'calcanhar de Aquiles' dos LLMs), mais abertura das APIs de Ava para cada equipe da empresa para que possam construir suas próprias ferramentas de IA no topo do assistente.

Resultado

A partir do post de setembro de 2023, mais de metade dos funcionários da Instacart usava Ava mensalmente e mais de 900 semanalmente; sessões duravam 20+ minutos, e usuários 'estavam produzindo e copiando uma quantidade significativa de código'. O acompanhamento de janeiro de 2024 adicionou especificidades: 43% da empresa economiza mais de uma hora por semana com Ava; 60% dos engenheiros geram cerca de 70.000 linhas de código com ela mensalmente; o plugin do Slack é invocado mais de 5.000 vezes por mês e resume mais de 200 threads e canais. Todos os números são dados internos da Instacart sem auditoria externa; note também que 'uma hora economizada por semana' é autoavaliação dos funcionários a partir de pesquisas, não uma medição de rastreamento de tempo.

Na nossa opinião, o caso Ava é valioso acima de tudo como um livro de texto de mecânica de produtos de adoção. Ferramentas internas são geralmente implantadas por decreto; Instacart, em vez disso, percorreu o caminho clássico do consumidor: comece com um público que obtém valor instantâneo (engenheiros), baixe a barreira de entrada (templates), loops virais (compartilhamento de conversa com previsualizações do Slack), conteúdo gerado pelo usuário (o Prompt Exchange), e ir para onde o usuário já vive (o bot do Slack). Cada mecânica aqui transfere para qualquer empresa — e julgando pelos números de retenção, juntas funcionam melhor que qualquer mandato corporativo.

Nossa segunda observação diz respeito às métricas: Instacart relatou engajamento, não registros — audiência semanal, duração da sessão, volume de código gerado, frequência de invocação do Slack. Para ferramentas de IA internas essa é uma disciplina rara: 'demos a todos acesso' e 'metade da empresa realmente a usa todo mês' são fundamentalmente diferentes. Finalmente, a economia da aposta é reveladora: um projeto de hackathon recebeu uma equipe de produto e garantias de segurança corporativa em meses — uma velocidade de legalização que provavelmente explica por que o uso de IA na sombra nunca teve tempo para se enraizar.

Lições aprendidas

1. Um ChatGPT interno com garantias corporativas é a forma mais rápida de legalizar IA em uma empresa: funcionários obtêm a ferramenta, segurança mantém o controle dos dados.
2. A mecânica do produto impulsiona a adoção, não os mandatos: o Prompt Exchange e o compartilhamento de conversa com previsualizações do Slack transformam os melhores prompts dos colegas em um canal de distribuição viral.
3. Uma caixa de texto em branco é uma barreira para usuários não-técnicos: templates de prompt prontos abriram Ava para Ops, Recrutamento, Marketing e RH.
4. Vá para onde o usuário já trabalha: o bot @Ava do Slack removeu o atrito da página separada — 5.000+ invocações mensais confirmam isso.
5. Meça engajamento, não inscrições: sessões de 20+ minutos, 900+ usuários semanais e 70.000 linhas de código por mês sinalizam utilidade real em vez de curiosidade.
6. A equipe central não precisa ser especialista em cada domínio: entregue criação de templates e prompts aos próprios usuários — como o Prompt Exchange fez.
7. Um hackathon é uma fonte legítima de infraestrutura de IA corporativa — desde que o projeto rapidamente obtenha uma equipe de produto e garantias de segurança.

Perguntas frequentes