OpenAI revela métrica de previsão da próxima palavra em seus modelos: de 0,99 no GPT-3.5 para menos de 0,8
Quanto melhor o modelo prevê a próxima palavra de um texto, mais "inteligente" ele é: essa é a perplexidade, e quanto menor o número, melhor. O cientista-chefe da OpenAI, Jakub Pachocki, propõe que todos os laboratórios se comparem dessa forma. O logaritmo da perplexidade é de cerca de 0,99 no GPT-3.5, 0,91 no GPT-4 e abaixo de 0,8 nos modelos atuais — a partir desse nível surgiram habilidades fortes em cibersegurança e matemática. Por isso, vale acompanhar o treinamento base tanto quanto os benchmarks.
Processado por IA de OpenAI Blog; editado por Hamidun News
Pense no autocompletar do celular: ele é tão mais útil quanto mais acerta a próxima palavra que você vai escrever. Os grandes modelos atuais funcionam, na base, do mesmo jeito, mas aprendem com enormes volumes de texto e código. O cientista-chefe da OpenAI, Jakub Pachocki, publicou um ensaio em que propõe medir o progresso da IA justamente pela qualidade dessa previsão. A métrica se chama perplexidade, e a OpenAI mostrou pela primeira vez seus números internos nela, convocando outros laboratórios a fazer o mesmo.
O que é perplexidade, em um exemplo simples
Suponha que o modelo veja o início de uma linha de código, def add(a, b): return a, e precise prever a continuação. Se quase sempre ele coloca + b, o erro de previsão é baixo. Se chuta ao acaso, o erro é alto. A perplexidade tira a média desse erro sobre um conjunto enorme de textos que o modelo não viu no treinamento. Na prática, a OpenAI olha para o logaritmo da perplexidade, também chamado de entropia cruzada. Não se trata de porcentagem de acerto: quanto menor o número, melhor o modelo prevê.
Pachocki chama o modelo treinado de "compressor". Para prever bem dados novos, é preciso captar seus padrões. Ainda assim, não é um arquivo como o GZIP: o modelo não precisa memorizar o corpus em si. Todo o resto — prompts, ajuste fino, aprendizado por reforço — apenas extrai habilidades latentes desse alicerce. Quais habilidades vão surgir ali, ninguém sabe de antemão.
Os números da OpenAI no principal conjunto de validação:
- GPT-3.5, cerca de 0,99: diálogo coerente, base do primeiro ChatGPT;
- GPT-4, cerca de 0,91: cadeias de raciocínio úteis, das quais nasceram os modelos de reasoning;
- abaixo de 0,8: habilidades notáveis em cibersegurança e matemática;
- cerca de 0,76: o modelo passou a entregar resultados de ponta em problemas abertos de matemática.
Pachocki conta que soluções para questões que ele conhecia havia muito tempo apareciam uma atrás da outra em um único canal do Slack, e chama isso de "surreal". Ele ressalta que ninguém sabia de antemão que as habilidades surgiriam justamente nesses limiares. Antes disso, o GPT-2 aprendeu a escrever parágrafos coerentes, e o GPT-3, a aprender com poucos exemplos dados diretamente no prompt.
Por que impor limites e o que vem a seguir
O autor aponta como próxima janela a faixa de aproximadamente 0,68–0,70. Ele escreve com franqueza que não sabe quais habilidades surgirão ali nem se seremos capazes de verificá-las. Além disso, espera que as auditorias de alinhamento (alignment) habituais funcionem pior e que os modelos reconheçam melhor quando estão sendo testados.
Por isso, a OpenAI propõe um padrão para o setor. Os laboratórios combinam antecipadamente um primeiro limite de perplexidade, além de outras medições, e se comprometem a não ultrapassá-lo até atingir um marco concreto de compreensão e monitoramento do comportamento da IA. Um exemplo de marco é um sucessor do monitoramento de cadeias de raciocínio (CoT monitors). Depois, pelo mesmo princípio, é possível definir os limites seguintes. Também são necessárias normas comuns de avaliação e verificações de segurança com red team até o momento do primeiro lançamento de um modelo.
Há ainda uma projeção sobre o ritmo. Pachocki considera que a IA pode acelerar drasticamente a pesquisa algorítmica de pré-treinamento e que, já em 2027, é possível uma "avalanche" de descobertas fundamentais, como ocorreu na matemática. O avanço em alignment e monitoramento, na avaliação dele, dificilmente acompanhará essa aceleração. No gráfico, há uma quebra acentuada em 2026. A OpenAI a atribui principalmente a pesquisas de longo prazo e a investimentos em computação, e apenas em parte à automação. Mas o design dos modelos mais recentes já conta com contribuição da IA.
Limitações da métrica
O próprio Pachocki lista os pontos fracos:
- os laboratórios usam conjuntos de validação e misturas de dados diferentes, então a comparação direta ainda é impossível;
- a OpenAI calcula a perplexidade em uma amostra de seu código interno, e para o GPT-2 e o GPT-3 essa medição reflete mal as capacidades gerais;
- a perplexidade não corresponde a uma tarefa aplicada específica, e o raciocínio em cadeia de pensamento não a reduz, embora fortaleça muito o modelo;
- o limite inferior dos próprios dados é desconhecido: não é possível chegar a zero, e, à medida que nos aproximamos do piso, o progresso na escala vai desacelerar, embora cada pequena fração signifique um salto maior de inteligência.
O que isso significa na prática
Para desenvolvedores e gerentes de produto, a conclusão é esta: os benchmarks saturam rápido, e a maioria dos testes antigos foi "zerada" por volta do nível do GPT-4. O indicador de pré-treinamento continua sendo uma referência mais estável, e a OpenAI propõe torná-lo a linguagem comum do setor. Quando um laboratório anunciar um novo modelo base, vale perguntar não só sobre as notas em benchmarks, mas também sobre o erro de previsão em um conjunto de dados aberto.
Se a métrica vai virar padrão, depende dos concorrentes. A publicação dos números internos dá a eles um retrato claro da posição da OpenAI, e a empresa assumiu esse risco de propósito em nome de padrões comuns de segurança.
- 22 de nov. de 2026Ahrefs: marca com 10 vezes mais menções na web recebe só 3,7 vez mais citações em respostas de IA
- 22 de nov. de 2026Axiom Math usa IA para escrever em Lean uma prova gigante de 43,1 milhões de linhas em 24 dias
- 22 de nov. de 2026Grant do Yandex foi para um motor de LLM: modelo de 35B na RTX 2080 Ti é três vezes mais rápido que o llama.cpp
- 22 de nov. de 2026Nova modelo da OpenAI, Astra, escreve 40% mais curto, mas o índice de ressalvas caiu de 96 para 24
Perguntas frequentes sobre a notícia
O que é perplexidade, em um exemplo simples?
Suponha que o modelo veja o início de uma linha de código, def add(a, b): return a, e precise prever a continuação. Se quase sempre ele coloca + b, o erro de previsão é baixo. Se chuta ao acaso, o erro é alto. A perplexidade tira a média desse erro sobre um conjunto enorme de textos que o modelo não viu no treinamento. Na prática, a OpenAI olha para o logaritmo da perplexidade, também chamado de entropia cruzada. Não se trata de porcentagem de acerto: quanto menor o número, melhor o modelo prevê.
Por que impor limites e o que vem a seguir?
O autor aponta como próxima janela a faixa de aproximadamente 0,68–0,70. Ele escreve com franqueza que não sabe quais habilidades surgirão ali nem se seremos capazes de verificá-las. Além disso, espera que as auditorias de alinhamento (alignment) habituais funcionem pior e que os modelos reconheçam melhor quando estão sendo testados. Por isso, a OpenAI propõe um padrão para o setor.
O que se sabe sobre Limitações da métrica?
O próprio Pachocki lista os pontos fracos: os laboratórios usam conjuntos de validação e misturas de dados diferentes, então a comparação direta ainda é impossível; a OpenAI calcula a perplexidade em uma amostra de seu código interno, e para o GPT-2 e o GPT-3 essa medição reflete mal as capacidades gerais; a perplexidade não corresponde a uma tarefa aplicada específica, e o raciocínio em cadeia de pensamento não a reduz, embora fortaleça muito o modelo; o limite inferior dos próprios dados é…
Test Frontier LLMs & Autonomous Agents in One Workspace
Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.
O essencial da IA — uma vez por semana
Sete histórias que realmente importaram, escolhidas a dedo. Sem ruído nem releases.
Pronto! Verifique seu e-mail para a confirmação.