Startup sul-coreana XCENA levanta US$ 135 milhões apostando em memória, não em computação

A startup sul-coreana de chips XCENA levantou US$ 135 milhões em investimentos, com valuation de US$ 570 milhões. A empresa defende uma tese contraintuitiva: o gargalo da IA atual não é a capacidade de processamento das GPUs, mas a velocidade de acesso à memória.

Todos veem o problema, mas nem todos entendem a causa real

Nos últimos dois anos, o setor ficou obcecado com a escassez de GPUs. Todo dia há notícias sobre falta de capacidade computacional, guerras por chips e restrições de compra. A XCENA olha para o mesmo problema, mas o enxerga de outro modo. Pela lógica da empresa, mesmo que você dê a um modelo o chip mais potente do mundo, ele vai gastar um tempo enorme apenas esperando os dados necessários chegarem da memória ao núcleo de processamento. Esse fenômeno, conhecido como memory bottleneck, prejudica o desempenho bem mais do que muita gente percebe.

A arquitetura das GPUs atuais confirma isso. Um núcleo de processamento consegue executar operações em nanossegundos. E o acesso à memória? Muitas vezes são bilhões de nanossegundos de espera. O resultado é um paradoxo: o processador está pronto para calcular, mas precisa esperar os dados chegarem.

O problema cresce com o tamanho e a complexidade dos modelos

O problema se agrava de forma exponencial. No treinamento de um modelo com um trilhão de parâmetros, o volume de dados que precisa circular entre a memória e o processador se torna simplesmente astronômico. A memória não dá conta do fluxo de requisições.

• Cada duplicação dos parâmetros do modelo aumenta exponencialmente a exigência de memória
• O tempo de acesso à memória cresce de forma não linear com o aumento do volume
• O consumo de energia para mover dados supera o dos próprios cálculos
• Até as GPUs de ponta operam em 30-50% do seu potencial por causa da espera pela memória

Engenheiros de grandes laboratórios já enfrentam esse problema na prática. No treinamento de modelos em escala GPT, boa parte do tempo do processador é gasta esperando os dados necessários, e não nos cálculos em si.

No que a XCENA aposta

A startup desenvolve arquiteturas de memória especializadas que, segundo ela, vão reduzir a latência de acesso e aumentar a largura de banda. Se a abordagem funcionar, pode dar uma enorme vantagem competitiva a laboratórios e empresas que treinam modelos grandes.

O investimento de US$ 135 milhões, vindo de fundos de venture capital de peso, indica que o setor começa a acreditar nessa tese. Também pode sugerir que alguns grandes pesquisadores e desenvolvedores de modelos já toparam com esse problema por dentro e buscam soluções ativamente.

O que isso significa para o futuro da IA

Se a XCENA estiver certa, a arquitetura da infraestrutura de IA da próxima geração será diferente. Em vez de apenas uma corrida por GPUs cada vez mais potentes, haverá uma corrida paralela e igualmente intensa pela velocidade de acesso à memória. Isso pode redefinir de forma significativa quais empresas e laboratórios terão condições de treinar a próxima geração de modelos.

A XCENA pode estar errada em sua análise, e o principal gargalo pode de fato estar na computação. Mas o fato de a startup ter captado tais valores com essa visão indica que o ceticismo começa a dar lugar a um estudo sério da memória como limite crítico para o avanço da IA.