Tokens à moda chinesa: como economizar 50% em API quando o mercado cresceu 300 vezes

Enquanto o mundo inteiro acompanha mais uma atualização do GPT, a China vive uma revolução silenciosa, mas extremamente cara. Nos últimos 18 meses, o volume de tokens consumidos no país cresceu impressionantes 300 vezes. O número vai além da estatística: é uma explosão que expôs o principal problema do setor, já que a inteligência artificial hoje custa um valor indecente.

Se você achava que as faturas de computação em nuvem doem, imagine o tamanho do estrago para empresas que tentam incorporar redes neurais a todos os processos de negócio. A situação chegou a um ponto em que até as gigantes de tecnologia começaram a se perguntar se esses gastos se justificam. Vale lembrar como chegamos até aqui.

Há um ano e meio, o mercado chinês de IA vivia a fase da “guerra dos cem modelos”. Toda big tech que se prezasse se sentia na obrigação de lançar seu próprio LLM. Na corrida por respostas melhores e mais precisas, todos esqueceram a conta.

O resultado é um mercado em que a demanda por computação cresce exponencialmente, enquanto a margem dos negócios tende a zero. O clássico modelo de “queimar dinheiro”, que funcionou na era do Uber e dos apps de delivery, falha aqui por causa do custo colossal das horas de GPU e da manutenção da infraestrutura. Quem veio ao resgate foi um grupo saído da Universidade Tsinghua, a principal formadora de talentos da indústria de tecnologia chinesa.

Uma nova onda de startups especializadas em infraestrutura de IA (AI) decidiu atacar o problema pelo lado da operação dos modelos, e não pelo do treinamento. Elas afirmam que podem reduzir os gastos com API pela metade. Parece slogan de marketing, mas há um trabalho de engenharia sério por trás.

Estamos falando de otimização profunda do agendamento de recursos, cache inteligente e daquilo que o setor chama de co-design de software e hardware. Essas empresas vão além de alugar servidores: elas reconstroem a forma como o modelo se comunica com o hardware. Por que isso importa justamente agora?

Porque o mercado está saindo da fase do deslumbramento para a do pragmatismo. Os investidores já não estão dispostos a assinar cheques só porque a apresentação tem as letras AI. Eles querem números de retorno.

Se uma startup gasta 80% da receita pagando a API da OpenAI ou da chinesa Baidu, ela não tem futuro. As soluções de otimização de infraestrutura estão se tornando o “molho secreto” que vai permitir à IA sair dos laboratórios e dos brinquedos caros para geeks e chegar à economia real, da indústria ao varejo. Curiosamente, essa tendência de “IA enxuta” nasceu na China justamente por causa da escassez de chips e das restrições impostas por sanções.

Quando você não tem acesso ilimitado às H100 mais recentes, começa a pensar em como extrair o máximo do que tem. Nesse sentido, os engenheiros chineses estão hoje na vanguarda da otimização. Eles estão aprendendo a fazer mais com menos, e essa experiência logo será disputada no mundo todo.

Afinal, quem vai vencer não é quem tem um modelo 1% mais inteligente, e sim quem conseguir entregar essa inteligência a um preço que não leve o cliente à falência. Resumindo: a era do excesso na IA está chegando ao fim. Começa a vez dos engenheiros de infraestrutura, que vão tornar as redes neurais realmente baratas.

Será que as empresas ocidentais conseguirão competir em eficiência se o custo do token na China continuar caindo nesse ritmo?