Intensivo Grátis 21–22/11Intensivo gratuito de 2 dias em Vibecoding (21–22/11 às 16:00 MSK) · Turma 3 começa 23/11Inscrever-se grátis →Turma 3 (23/11)
LançamentoAnálise · No radarX: @OpenAI→ original

A OpenAI cortou em 5 vezes o preço dos embeddings para RAG: US$ 0,02 em vez de US$ 0,10 por milhão de tokens

Embeddings transformam texto em um conjunto de números, com base no qual sistemas de RAG e de busca encontram documentos semelhantes. A OpenAI lançou o modelo text-embedding-3-small: um milhão de tokens custa US$ 0,02, contra US$ 0,10 do antigo ada-002, ou seja, cinco vezes mais barato. No teste de busca multilíngue MIRACL, ele encontra o documento certo em 44% dos casos, em vez de 31,4%. Quem usa o ada-002 em RAG deve recuperar o investimento rapidamente, mas o acervo terá de ser recalculado do zero.

Processado por IA de X: @OpenAI; editado por Hamidun News
A OpenAI cortou em 5 vezes o preço dos embeddings para RAG: US$ 0,02 em vez de US$ 0,10 por milhão de tokens
Fonte: X: @OpenAI. Colagem: Hamidun News.
Ouvir artigo
Ficha técnica e números-chave
ParâmetroDados
Fonte originalX: @OpenAI ↗
Editor-chefe
O modelo mais avançado, largevetor de 3072 números, MIRACL de 54,9%, US$ 0,13 por milhão de tokens
O parâmetro dimensions comprime o vetoro large com 256 números supera o ada-002
Dado-chave #3Vetores do modelo antigo e do novo são incompatíveis: o índice precisa ser reconstruído por completo

Se você desenvolve busca em documentos, chat sobre uma base de conhecimento ou um sistema RAG, os embeddings são o item de custo mais discreto e, ao mesmo tempo, o mais presente. Cada trecho de texto primeiro é convertido em um conjunto de números, e depois o sistema compara esses conjuntos para encontrar o conteúdo mais próximo em significado. Em 25 de janeiro de 2024, a OpenAI anunciou uma atualização de sua plataforma para desenvolvedores e lançou o novo modelo text-embedding-3-small.

Processar um milhão de tokens (cerca de 750 mil palavras em inglês) custa US$ 0,02 nele, enquanto no antigo text-embedding-ada-002 o preço é de US$ 0,10. São cinco vezes mais barato, e a qualidade não caiu; pelo contrário, melhorou.

O mesmo anúncio atualizou o GPT-4 Turbo e reduziu o preço do GPT-3.5 Turbo, mas são os embeddings que mais alteram a economia da busca, e é sobre eles que vamos falar.

O que foi lançado

Agora a OpenAI tem dois novos modelos: text-embedding-3-small e text-embedding-3-large. O ada-002 surgiu em dezembro de 2022 e continuou sendo a escolha padrão por mais de um ano.

O modelo menor, small, custa US$ 0,02 por milhão de tokens. Para ilustrar: se a base tem 100 mil documentos de 1000 tokens cada, ou seja, 100 milhões de tokens, a indexação inicial sairia por US$ 2 em vez de US$ 10.

A qualidade subiu. No benchmark em inglês MTEB, o small marca 62,3%, contra 61,0% do ada-002. A diferença é mais visível no MIRACL, que avalia busca multilíngue: 44,0% contra 31,4%. Em termos simples, em consultas que não estão em inglês, o sistema passou a encontrar o documento certo com bem mais frequência.

O modelo maior, large, gera vetores de 3072 números. Ele alcança 64,6% no MTEB e 54,9% no MIRACL. Custa US$ 0,13 por milhão de tokens, um pouco mais que o ada-002, mas é a opção mais precisa da linha.

Como funciona a compressão dos vetores

A novidade mais prática é o parâmetro dimensions. Quanto mais longo o vetor, mais memória ele ocupa na base vetorial e mais lenta fica a busca. Antes, não era possível escolher o tamanho: o ada-002 sempre devolvia 1536 números.

Agora o vetor pode ser encurtado diretamente na chamada à API. Segundo a OpenAI, o large reduzido a 256 números ainda supera, no MTEB, o ada-002 completo, com seus 1536 números. Pense em um fichário: em vez de um armário com fichas detalhadas, você mantém fichas curtas e encontra o que precisa tão bem quanto antes. Para uma base com milhões de documentos, isso significa uma conta menor de armazenamento e uma busca mais rápida.

O que fazer na prática

Primeiro: se a sua produção roda no ada-002 e tem muitas requisições, o small é um candidato óbvio à substituição. A conta de embeddings deve cair cerca de cinco vezes.

Segundo: a migração não se resume a trocar o nome do modelo no código. Vetores de modelos diferentes são incompatíveis, então não dá para pesquisar com vetores novos em um índice antigo. Será preciso recalcular os embeddings de todos os documentos. É uma operação única e, com o preço do small, não custa caro, mas precisa ser planejada e testada antes em uma cópia da base.

Terceiro: se for importante para você a busca em português ou em outros idiomas que não o inglês, observe o MIRACL, e não apenas o MTEB. Os números da OpenAI vêm de testes públicos, e no seu próprio conjunto de dados o resultado pode ser diferente. Por isso, antes da migração, reúna um conjunto de consultas típicas do seu negócio e compare com que frequência cada modelo encontra o documento correto.

Quarto: se você precisa de qualidade máxima e o preço é secundário, escolha o large e teste o parâmetro dimensions desde o início. Encontre o tamanho de vetor em que a qualidade nos seus dados ainda se mantém e a base continua compacta.

Há também limitações. O ganho do small no MTEB é de 1,3 ponto, pouco expressivo, então os principais motivos para migrar são o preço e o suporte multilíngue. O anúncio não diz como os modelos se comportam em textos altamente especializados, como os da medicina ou do direito. A atualização do GPT-4 Turbo e a redução de preço do GPT-3.5 Turbo também devem entrar no planejamento do orçamento, mas a decisão sobre a busca é melhor tomada separadamente e com base em medições próprias.

História

Perguntas frequentes sobre a notícia

O que foi lançado?

Agora a OpenAI tem dois novos modelos: text-embedding-3-small e text-embedding-3-large. O ada-002 surgiu em dezembro de 2022 e continuou sendo a escolha padrão por mais de um ano. O modelo menor, small, custa US$ 0,02 por milhão de tokens. Para ilustrar: se a base tem 100 mil documentos de 1000 tokens cada, ou seja, 100 milhões de tokens, a indexação inicial sairia por US$ 2 em vez de US$ 10. A qualidade subiu. No benchmark em inglês MTEB, o small marca 62,3%, contra 61,0% do ada-002.

Como funciona a compressão dos vetores?

A novidade mais prática é o parâmetro dimensions. Quanto mais longo o vetor, mais memória ele ocupa na base vetorial e mais lenta fica a busca. Antes, não era possível escolher o tamanho: o ada-002 sempre devolvia 1536 números. Agora o vetor pode ser encurtado diretamente na chamada à API. Segundo a OpenAI, o large reduzido a 256 números ainda supera, no MTEB, o ada-002 completo, com seus 1536 números.

O que fazer na prática?

Primeiro: se a sua produção roda no ada-002 e tem muitas requisições, o small é um candidato óbvio à substituição. A conta de embeddings deve cair cerca de cinco vezes. Segundo: a migração não se resume a trocar o nome do modelo no código. Vetores de modelos diferentes são incompatíveis, então não dá para pesquisar com vetores novos em um índice antigo. Será preciso recalcular os embeddings de todos os documentos.

ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent
O que você acha?
Carregando comentários…