ChatGPT e grandes modelos de linguagem: como eles realmente funcionam

O ChatGPT e outros grandes modelos de linguagem continuam montando a resposta por previsão do próximo token, mas esse mecanismo aparentemente simples se mostrou muito mais produtivo do que até muitos pesquisadores esperavam.

Como os grandes modelos de linguagem, como o

ChatGPT, realmente funcionam? Eles constroem a resposta prevendo o próximo token, um passo de cada vez. O salto de qualidade dos LLMs não se explica só pela escala, mas por como autocrítica, ferramentas e raciocínio em várias etapas foram adicionados ao modelo base.