Início 23/11Turma 3 ao vivo de Vibe Coding & Agentes de IA: 3 semanas, 9 aulas ao vivoTurma 3 (23/11) →
LançamentoAnálise · No radarTechCrunch→ original

Cientista-chefe da OpenAI propõe limite de velocidade para a IA: perplexidade do GPT-4 era 0,91, agora está abaixo de 0,8

Para limitar a velocidade do desenvolvimento da IA, é preciso um "velocímetro" comum. Jakub Pachocki, da OpenAI, propõe a perplexidade: ela mostra o quão bem o modelo prevê o próximo token (um pedaço de palavra), e quanto menor o número, mais forte é o modelo. O GPT-4 tinha cerca de 0,91; agora, o valor está abaixo de 0,8, e nesse patamar, segundo ele, surgiram habilidades fortes em cibersegurança e matemática. As empresas poderiam deixar de cruzar esse limiar até aprenderem a controlar seus modelos.

Processado por IA de TechCrunch; editado por Hamidun News
Cientista-chefe da OpenAI propõe limite de velocidade para a IA: perplexidade do GPT-4 era 0,91, agora está abaixo de 0,8
Fonte: TechCrunch. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalTechCrunch ↗
Editor-chefe
Dado-chave #1Altman chamou a publicação de "a mais importante que a OpenAI fez recentemente"
Dado-chave #2Testes de habilidades aplicadas envelhecem rapidamente, mas a perplexidade continua útil
Dado-chave #3A ideia de um limite já havia sido publicada antes pelo CEO da Anthropic, Dario Amodei

Imagine que é preciso instalar um limite de velocidade numa estrada, mas os carros não têm velocímetros: cada um mede "rápido" do seu jeito. Algo parecido acontece com as discussões sobre desacelerar o desenvolvimento da IA. Jakub Pachocki, cientista-chefe da OpenAI, propôs esse velocímetro: a perplexidade. O número mostra o quão precisamente um modelo de linguagem prevê o próximo token (um pedaço de palavra) em um texto comum. Quanto menor o valor, melhor o modelo. O GPT-4 tinha cerca de 0,91, e agora os modelos da OpenAI caíram abaixo de 0,8. A seguir, explicamos por que justamente essa métrica e o que decorre disso.

Por que um "velocímetro" passou a ser necessário

O tema da desaceleração da IA deixou de ser assunto só de ativistas. Um ex-pesquisador da OpenAI e da Anthropic afirmou que as empresas "estão brincando com as nossas vidas". No pedido de IPO da Anthropic, está escrito explicitamente que a tecnologia pode trazer "riscos catastróficos ou existenciais para a sociedade". O CEO da Anthropic, Dario Amodei, publicou um plano para "definir o ritmo da fronteira", que, a julgar pela reação, foi apoiado por Sam Altman e Elon Musk. Amodei propunha que as empresas acordassem padrões comuns de segurança e limites para a velocidade do progresso descontrolado.

Mas, para estabelecer um limite de velocidade, é preciso concordar em como medi-lo. É exatamente essa questão que a publicação de Pachocki responde. Altman a chamou de "a mais importante que a OpenAI publicou recentemente".

Por que a perplexidade, e não os benchmarks habituais

Testes de habilidades aplicadas (resolução de problemas, escrita de código, matemática de olimpíada) envelhecem rapidamente: os modelos atingem o teto, e o teste deixa de distinguir uma versão nova da anterior. Segundo Pachocki, a perplexidade continua "informativa" enquanto outros benchmarks se sucedem. Em termos simples, ela mede com que pouca frequência o modelo "se surpreende" com a continuação real de uma frase. Não tem relação com a startup Perplexity, que apenas tem um nome igual.

A publicação traz um gráfico de como a perplexidade dos modelos da OpenAI caiu desde o GPT-3.5. Pachocki destaca dois marcos. O GPT-4, com cerca de 0,91, já conseguia raciocinar de forma produtiva em cadeia de pensamento. Isso levou a equipe a desenvolver deliberadamente essa habilidade e a criar os modernos modelos de raciocínio. Agora, com o valor da função de perda (chamada de loss no texto da publicação) abaixo de 0,8, segundo ele, surgiram capacidades "transformadoras" em cibersegurança e matemática.

Daí vem a ideia: a perplexidade poderia servir de base para um "benchmark geral de inteligência", e, com ele, as empresas estabeleceriam "limites comuns". Elas se comprometeriam a não ultrapassar um determinado patamar até que a capacidade de compreender e acompanhar o comportamento da IA atingisse uma marca específica. A pausa não seria vinculada ao calendário, mas ao quanto as pessoas aprenderam a enxergar o que acontece dentro dos modelos.

O que fica de fora

Por enquanto, trata-se da proposta de uma empresa, e não de um acordo do setor. Segundo o resumo da TechCrunch, não há um limiar concreto, nem um mecanismo para verificar se um concorrente não contorna a restrição, nem uma resposta sobre quem vai calcular os números.

As questões práticas são evidentes. A perplexidade é calculada em um conjunto específico de textos e com um tokenizador específico, então uma comparação honesta entre modelos de empresas diferentes exige um corpus de teste comum. Laboratórios fechados teriam de compartilhar, no mínimo, essa medição. Além disso, o indicador se relaciona com habilidades reais apenas de forma indireta. O exemplo de cibersegurança e matemática mostra correlação, não garantia: quais capacidades vão surgir na próxima queda do valor não se sabe de antemão.

O que isso significa para desenvolvedores e gerentes de produto

Por ora, a conclusão é mais estratégica. Se a ideia virar padrão do setor, o ritmo de lançamento dos novos modelos de fronteira pode depender de um limiar publicamente acordado, e não apenas da disponibilidade de hardware e de orçamento. Isso afetaria os roteiros dos provedores de API e a rapidez com que as equipes poderão contar com a próxima geração de modelos. Vale acompanhar três pontos: se a OpenAI vai divulgar um número concreto, se Anthropic e Google aderirão ao esquema e se surgirá um órgão independente para verificar esses números.

História

Perguntas frequentes sobre a notícia

Por que um "velocímetro" passou a ser necessário?

O tema da desaceleração da IA deixou de ser assunto só de ativistas. Um ex-pesquisador da OpenAI e da Anthropic afirmou que as empresas "estão brincando com as nossas vidas". No pedido de IPO da Anthropic, está escrito explicitamente que a tecnologia pode trazer "riscos catastróficos ou existenciais para a sociedade". O CEO da Anthropic, Dario Amodei, publicou um plano para "definir o ritmo da fronteira", que, a julgar pela reação, foi apoiado por Sam Altman e Elon Musk.

Por que a perplexidade, e não os benchmarks habituais?

Testes de habilidades aplicadas (resolução de problemas, escrita de código, matemática de olimpíada) envelhecem rapidamente: os modelos atingem o teto, e o teste deixa de distinguir uma versão nova da anterior. Segundo Pachocki, a perplexidade continua "informativa" enquanto outros benchmarks se sucedem. Em termos simples, ela mede com que pouca frequência o modelo "se surpreende" com a continuação real de uma frase. Não tem relação com a startup Perplexity, que apenas tem um nome igual.

O que fica de fora?

Por enquanto, trata-se da proposta de uma empresa, e não de um acordo do setor. Segundo o resumo da TechCrunch, não há um limiar concreto, nem um mecanismo para verificar se um concorrente não contorna a restrição, nem uma resposta sobre quem vai calcular os números. As questões práticas são evidentes. A perplexidade é calculada em um conjunto específico de textos e com um tokenizador específico, então uma comparação honesta entre modelos de empresas diferentes exige um corpus de teste comum.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…