Garry Tan gasta até US$ 200 mil por ano em tokens para agentes de IA

Garry Tan transformou os agentes de IA de uma ferramenta curiosa em uma linha de despesa própria: o chefe da Y Combinator gasta de US$ 100 mil a US$ 200 mil por ano em tokens. Por esse dinheiro, ele não recebe apenas um chat para responder perguntas. Os agentes o ajudam a escrever código, pesquisar temas, preparar-se para entrevistas e trabalhar com um enorme arquivo pessoal, de e-mail e Dropbox ao Apple Notes.

Para um desenvolvedor, o importante não é o valor em si. Ele mostra onde surge o valor real de um agente: no acesso ao contexto, nas ferramentas e na possibilidade de percorrer várias etapas sem dicas constantes de uma pessoa. Mas o mesmo exemplo expõe de imediato três limitações: custo, segurança dos dados e controle das ações.

Em que um agente difere de um chatbot comum

Imaginemos um executivo se preparando para uma reunião com um parceiro. Um chatbot comum receberá um documento, fará um resumo curto e parará. Um agente pode encontrar a correspondência anterior, resgatar anotações de reuniões antigas, verificar os acordos mais recentes, preparar uma lista de perguntas e apontar antecipadamente contradições. A pessoa define o objetivo, e o sistema monta sozinho a cadeia de trabalho.

É assim que Tan descreve seus assistentes: eles não apenas reagem a um pedido, mas sugerem o próximo passo. Para isso, o agente precisa de três coisas: memória sobre o usuário ou a empresa, acesso às fontes adequadas e um conjunto de ações permitidas. Sem elas, temos o mesmo chat de sempre, só que com um prompt de sistema mais longo.

Na Y Combinator, essa abordagem foi levada ao nível da organização. Segundo Tan, o agente interno Stray Light dispõe de contexto compartilhado sobre os fundadores apoiados, as inscrições e a correspondência recebida. Esse "cérebro da empresa" pode reduzir o tempo de busca por informações e permitir que os funcionários reconstituam mais rápido o histórico das decisões.

O preço do contexto profundo

Esse esquema tem um lado desagradável. O agente pessoal de Tan leu seu e-mail, arquivos, anotações e até registros de terapia de vinte anos. Quanto mais o sistema sabe, mais úteis são suas respostas, e mais graves as consequências de um vazamento, de uma ação errada ou de um acesso amplo demais.

Por isso, o exemplo de Tan não deve ser copiado ao pé da letra. O desenvolvedor deve começar por um processo restrito: por exemplo, um agente que analisa erros de build, encontra as alterações relacionadas e propõe uma correção, mas não tem permissão para publicá-la em produção por conta própria. Para a equipe de produto, é útil separar de antemão a leitura, a preparação de decisões e as ações irreversíveis. Em cada transição devem estar claros o responsável, o registro de operações e o ponto de confirmação humana.

O custo também exige contabilização à parte. O orçamento anual de Tan está fora do alcance da maioria das equipes, e a quantidade de tokens gastos, por si só, não diz nada sobre a utilidade. É preciso calcular o custo de uma tarefa concluída: quanto custaram o modelo, a busca, as novas tentativas e a revisão humana; quanto tempo ou dinheiro foi economizado; e com que frequência o resultado precisou ser refeito.

O que a equipe deve fazer agora

Escolha um processo repetível e suficientemente caro, no qual a informação já esteja armazenada em fontes acessíveis ao sistema. Limite o conjunto de dados e ações, adicione registro de logs, um limite de gastos e confirmação obrigatória das operações críticas. Depois, compare o agente com a forma atual de trabalho em tempo, custo e proporção de tarefas bem-sucedidas.

A experiência de Tan não prova que toda empresa precisa de um agente de US$ 200 mil por ano. Ela mostra outra coisa: um agente forte é construído em torno de contexto e ações, não de uma conversa vistosa. O ganho prático começa onde o sistema conclui um trabalho útil. O risco prático está no mesmo lugar, pois, para isso, é preciso confiar a ele dados, permissões e orçamento.