Ao vivo 18/11 · Turma 318 nov às 19:00 MSK — aula prática gratuita de agentes de IA · Turma 3 ao vivo começa 23/11Aula 18/11 →Turma 3 (23/11)
ModelosGlossário

Decoder-Only Architecture

Uma arquitetura Decoder-Only é uma variante de transformer que usa uma única stack de self-attention com masking causal (esquerda-para-direita) para prever cada próximo token a partir de seu contexto anterior, sem um encoder separado, e é o design dominante para large language models.

Decoder-Only Architecture
Decoder-Only Architecture · Modelos · Hamidun News

Em um transformer apenas-decoder, toda a entrada — tanto prompt quanto saída gerada — é tratada como uma sequência de token unificada. Cada camada aplica self-attention mascarada, onde cada posição pode atender apenas a posições anteriores (masking causal), garantindo que o modelo não possa observar tokens futuros durante predição de próximo-token. Isto contrasta com designs encoder–decoder, que usam um encoder bidirecional separado e um decoder causal, e com modelos apenas-encoder estilo BERT, que aplicam atenção bidirecional sem qualquer restrição generativa.

A arquitetura é treinada com um único objetivo: dada uma sequência de tokens, prever o próximo token em cada posição. Esta tarefa de modelagem de linguagem autoregressiva é completamente auto-supervisionada — nenhum dado rotulado é requerido, apenas texto bruto — permitindo treinamento em corpora em escala web. A série GPT popularizou o design: GPT-1 (OpenAI, 2018) demonstrou transfer learning a partir de pretreinamento, GPT-2 (2019) mostrou que escala produzia geração surpreendentemente coerente, e GPT-3 (2020, 175 bilhões de parâmetros) estabeleceu que modelos apenas-decoder muito grandes desenvolvem amplas habilidades de in-context learning sem atualizações de gradiente.

Modelos apenas-decoder dominam LLMs modernos porque o design é mais simples (uma stack, um objetivo), escala previsivamente com contagem de parâmetros e dados, e lida com compreensão e geração dentro de um único forward pass através de prompt conditioning. Todos os principais modelos de fronteira a partir de 2026 — GPT-4 e GPT-4o (OpenAI), as séries Claude 3 e Claude 4 (Anthropic), Gemini 1.5 e 2.0 (Google DeepMind), LLaMA 3 (Meta) e Mistral — usam arquiteturas apenas-decoder.

Apesar de sua prevalência, o design apenas-decoder tem limitações: masking causal significa que cada token atende apenas a tokens anteriores mesmo quando contexto bidirecional seria benéfico, como em tarefas de classificação onde modelos apenas-encoder do mesmo tamanho podem superá-lo. Pesquisa atual explora prefix attention (atenção bidirecional sobre o prompt seguida de decodificação causal), camadas de decoder mixture-of-experts (como em GPT-4 e Mixtral) e speculative decoding para acelerar o passo de geração inerentemente sequencial.

Exemplo

“Quando um usuário envia um prompt para um LLM como GPT-4 ou Claude, o modelo apenas-decoder processa o prompt completo e gera uma resposta amostrando um token por vez, cada novo token atendendo causalmente a todos os tokens anteriores dentro da janela de contexto.
ZK
Zhemal Khamidun — CPO da Alpina Digital, gerente de produto do AlpinaGPT. Cria produtos de IA desde 2019. O Hamidun News é um projeto pessoal que virou um agregador em produção com mais de 6.000 leitores.
✦ Unified AI Workspace · Nomad

Test Frontier LLMs & Autonomous Agents in One Workspace

Run Claude Opus 5.5, GPT-6, Gemini 3.1, and DeepSeek side-by-side in Nomad AI (nomadnet.ai) — unified model routing, deep research, and multimodal workflows under one subscription.

Try Nomad AI →Launch Nomad Agent