Diploma tchau: como o "caminho selvagem" leva ao OpenAI e Anthropic

Esqueça tudo o que lhe disseram sobre a necessidade de um PhD para trabalhar na elite da inteligência artificial. Se antes um passaporte para o clube exclusivo da OpenAI ou DeepMind era uma pilha de publicações em conferências de topo como NeurIPS, hoje as regras mudaram tanto que os acadêmicos de ontem estão cada vez mais dando lugar àqueles que na China chamam de "elüzi". Este termo significa "caminho selvagem" ou o caminho do autodidata, e é precisamente essas pessoas que estão se tornando o núcleo das equipes que criam modelos de próxima geração.

Durante muito tempo, acreditava-se que a entrada na indústria de IA era protegida por uma barreira intransponível de credenciais acadêmicas. Você tinha que passar anos estudando matemática avançada, escrevendo artigos e esperando por revisões, apenas para ter uma chance em uma entrevista. Mas aqui está o paradoxo: os sucessos mais impressionantes dos últimos anos não são uma vitória da pura teoria, mas um triunfo do escalonamento (Scaling Laws).

Descobriu-se que para criar GPT-4, você precisa não tanto inventar um novo tipo de neurônio, quanto possuir habilidades fenomenais em infraestrutura, preparação de dados e otimização de computação. Este é um trabalho para hackers e engenheiros, não para teóricos. Empresas como OpenAI perceberam isso antes de outras.

Em seu quadro, aparecem cada vez mais pessoas que saíram da universidade ou nunca ingressaram nela, mas passaram anos mergulhando em código aberto e participando de competições no Kaggle. Esses especialistas do "caminho selvagem" possuem uma qualidade que muitas vezes falta aos graduados de Stanford—eles sabem como fazer o código funcionar em condições de recursos limitados. Em uma era em que o custo do treinamento de um modelo é medido em centenas de milhões de dólares, qualquer erro de um engenheiro é muito caro.

Aqui são valorizados aqueles que entendem como o "hardware" interage com o software no nível mais profundo. A mudança de paradigma ocorreu porque a IA se transformou de uma disciplina científica em um setor industrial. Certa vez, a aviação também era domínio de cientistas solitários, mas hoje os aviões são construídos por enormes fábricas.

Em IA, a fase das "fábricas" chegou. Para treinar um modelo como Claude 3, você não precisa reescrever a arquitetura do transformador. Você precisa ser capaz de distribuir a carga entre milhares de processadores gráficos para que não fiquem ociosos nem um segundo.

É por isso que os engenheiros de infraestrutura e especialistas em dados se tornaram as novas estrelas de rock, e seus salários estão alinhados com os rendimentos dos principais pesquisadores. Além disso, o próprio formato de desenvolvimento mudou. OpenAI e seus concorrentes estão se tornando cada vez mais fechados.

Eles não publicam mais artigos detalhados sobre seus métodos, temendo a concorrência. Nesta atmosfera de sigilo, a habilidade acadêmica de escrever bonitos relatórios em LaTeX se torna inútil. O que se torna mais importante é a "cozinha" interna: exatamente como você limpa dados de ruído e que truques você usa no treinamento com aprendizado por reforço (RLHF).

Essas habilidades não são ensinadas em universidades; elas só podem ser adquiridas na prática, trabalhando em projetos reais. O que isso significa para o futuro? Estamos testemunhando uma democratização do talento enquanto simultaneamente monopolizamos recursos.

O limiar para entrada em termos de conhecimento é reduzido: você não precisa mais gastar sete anos em uma dissertação de doutorado. No entanto, as demandas por habilidades práticas estão crescendo exponencialmente. Se você conseguir mostrar um projeto em funcionamento que resolve um problema específico de otimização ou processamento de dados, seu GitHub significará mais para um recrutador do Vale do Silício do que qualquer diploma.

Em suma: a era dos teóricos em IA está sendo substituída pela era dos construtores. As universidades conseguirão se adaptar a um mundo em que a prática está anos à frente da teoria?