O que muda de uma geração de modelo para a seguinte?

Uma geração de modelo é um salto que muda o que dá para construir, e não só o quanto o modelo acerta. Cinco eixos se movem entre uma geração e a seguinte: escala, dados, alinhamento, janela de contexto e computação gasta na hora de responder. Nenhum lançamento move todos. Descobrir qual deles se moveu é o que diz se a novidade serve para o seu caso.

Não existe definição oficial de “geração”. Quem publica escolhe o número da versão, e esse número responde a calendário comercial tanto quanto a engenharia. O critério que funciona na prática é outro: se a sua aplicação precisa ser reescrita para aproveitar o modelo novo, foi uma geração; se ela só passa a errar menos nos mesmos casos, foi uma versão menor. A máquina por baixo de todas elas é a mesma, e está descrita em o que é um LLM.

Esta página cobre o mecanismo: os eixos e o padrão de gargalo que se repete a cada salto. Os artigos irmãos cobrem os episódios — o que o GPT-2 já fazia, a era dos modelos de raciocínio, o estado atual dos modelos de fronteira e a linha do tempo dos LLMs.

Os cinco eixos

Todo lançamento se anuncia como “mais capaz”, o que não é informação. A informação está em qual eixo se moveu, porque cada um compra uma coisa diferente e cobra de um jeito diferente.

É dessa divisão que sai o efeito que confunde na hora de comparar fatura: uma geração pode ficar mais barata e mais cara ao mesmo tempo, com preço por token menor e tokens por tarefa maior.

Escala

Foi o eixo dominante entre 2018 e 2022. Um trabalho de 2020 mostrou que a perda de treino cai como lei de potência em relação ao número de parâmetros, ao volume de dados e ao compute, com a tendência estável por mais de sete ordens de grandeza¹. Escala virou investimento previsível: dava para estimar o ganho antes de gastar.

O eixo continua se movendo, mas parou de ser anunciado. O relatório técnico do GPT-4, em 2023, diz literalmente que não traz detalhe de arquitetura, tamanho, hardware, compute de treino ou construção do dataset, e dá como motivo o cenário competitivo². Quem comparava gerações por contagem de parâmetros teve o instrumento retirado da mão naquele ano e não recuperou desde então.

Dados

Em 2022, um trabalho treinou mais de 400 modelos para achar a alocação ótima entre tamanho e dados e concluiu que os modelos da época estavam subtreinados: a cada dobra de parâmetros, dobre os tokens. O modelo de 70 bilhões que eles treinaram com 1,4 trilhão de tokens superou o Gopher, de 280 bilhões, gastando o mesmo compute³. A pergunta deixou de ser “quantos bilhões” e passou a ser “quantos tokens, e quais”.

A parte “quais” é a que ninguém publica. Proporção de código, mistura de idiomas, quanto do corpus é sintético, o que foi filtrado — nada disso aparece no anúncio, e é onde estão as diferenças grandes entre modelos de tamanho parecido. Quando uma geração nova fica visivelmente melhor em código sem ficar melhor em mais nada, foi o mix de dados que mudou.

Alinhamento

É o eixo com a melhor razão entre ganho percebido e custo. Um trabalho de 2022 ajustou o GPT-3 com demonstrações escritas por pessoas e depois com reforço sobre comparações humanas entre saídas do próprio modelo. Avaliadores preferiram as respostas do modelo de 1,3 bilhão de parâmetros tratado assim às do de 175 bilhões sem tratamento⁴. Cerca de 135 vezes menos parâmetros, e ainda assim preferido.

Esse resultado explica boa parte da confusão em torno de gerações: um modelo pode ficar muito mais útil sem ficar maior e sem ver mais dados. Vale na direção contrária também. Uma geração nova pode obedecer melhor à política do provedor e recusar mais, o que é avanço para quem publica e regressão para quem tinha uma aplicação no limite dessa política.

Janela de contexto

Aqui o número é sempre anunciado, sempre verificável e quase sempre superinterpretado. O GPT-3 trabalhava com 2.048 tokens em 2020⁵. Em 2024, o relatório do Gemini 1.5 registrou recall acima de 99% em recuperação de contexto longo até pelo menos 10 milhões de tokens em experimento, e comparou isso com o que existia na época: 200 mil tokens no Claude 3.0 e 128 mil no GPT-4 Turbo⁶. A escala do eixo é real e mudou o que dá para construir. Colar um repositório inteiro no prompt deixou de ser piada.

O que não acompanha o número é a leitura uniforme da janela. Janela anunciada é teto de entrada, não promessa de atenção, e duas gerações com o mesmo teto nominal se comportam de formas bem diferentes aos 300 mil tokens. Essa distância é o assunto da janela de contexto.

Computação na resposta

É o eixo mais recente e o que mais mexeu na conta. Em vez de gastar mais no treino, gasta-se mais na hora de responder: o modelo escreve tokens trabalhando o problema antes de responder, ou o sistema gera várias tentativas e escolhe entre elas.

Um trabalho de 2024 estudou como alocar esse orçamento e encontrou que a estratégia eficaz depende da dificuldade do prompt; distribuindo o compute de forma adaptativa, os autores relatam a mesma qualidade com bem menos compute de teste, e regimes em que isso rende mais do que ter escalado parâmetros no pré-treino⁷. Outro trabalho do mesmo ano mediu o efeito bruto de amostrar várias vezes: a cobertura, que é a fração de problemas resolvidos por alguma das amostras, cresce de forma log-linear ao longo de quatro ordens de grandeza. No SWE-bench Lite, um modelo saiu de 15,9% com uma amostra para 56% com 250⁸.

O gargalo do eixo vem dentro do mesmo resultado. Aquilo funciona porque código tem verificador automático: dá para rodar o teste e saber qual amostra presta. Sem verificador, os métodos usuais de escolher entre amostras, voto majoritário e modelo de recompensa, estagnam depois de algumas centenas e param de acompanhar o orçamento⁸. Computação em inferência compra acerto onde existe algo que diga se a resposta está certa. Onde não existe, compra tokens.

O mapa do assunto

As eras são os saltos e o que cada um destravou. É a parte que não muda depois de acontecer, e a mais segura de ler primeiro.

As famílias são o eixo comercial: GPT, Claude, Gemini, Llama, Qwen, DeepSeek. Cada uma tem cadência própria, convenção de nome própria e critério próprio para o que vira versão maior. Aí mora também a escalada dos pesos abertos.

O estado atual é o ramo perecível: quem está na frente, quanto custa, que janela oferece.

Ler um lançamento é a parte operacional: model card, changelog, snapshot ou alias, prazo de deprecação e por que os nomes são tão confusos.

As eras, e o gargalo que cada uma abriu

2020, few-shot. O GPT-3 mostrou que a tarefa pode ser especificada por exemplos dentro do próprio texto, sem atualizar peso nenhum⁵. Programar por texto virou possível. O gargalo que isso abriu foi imediato: o modelo continuava texto, não obedecia. Extrair uma resposta útil exigia montar o prompt como quem monta uma armadilha.

2022, instrução. O pós-treino com feedback humano resolveu exatamente esse gargalo⁴, e o produto que saiu disso levou a coisa para fora da comunidade técnica. O gargalo novo foi de medição: julgado por utilidade, o placar de benchmark parou de ser bom substituto para “isso é bom de usar”, e a régua migrou para comparação por preferência humana.

2023 e 2024, multimodal e contexto longo. O GPT-4 aceitou imagem junto com texto² e as janelas saíram da casa dos milhares para a dos milhões⁶. Documento inteiro e captura de tela viraram entrada normal. O gargalo: custo e latência por chamada cresceram junto, e a janela anunciada passou a ficar acima da janela que o modelo de fato usa bem.

2024 a 2026, raciocínio e ação. Gastar tokens antes de responder virou técnica de treino, não só de prompt. Um trabalho de 2025 mostrou que reforço puro, sem trajetória de raciocínio rotulada por humano, basta para o modelo desenvolver auto-verificação e troca de estratégia no meio do caminho⁹. Isso e o treino para usar ferramenta em loop deram conta de tarefas de várias etapas. O gargalo ainda está aberto: custo por tarefa em vez de por token, latência que o usuário sente e como avaliar um caminho de vinte passos com um instrumento que mede resposta única.

O padrão vale mais que a lista. Ancorar a arquitetura da sua aplicação no que a geração atual faz bem envelhece mal; ancorar no gargalo que ela abriu envelhece bem, porque o gargalo aberto é a agenda dos dezoito meses seguintes.

Como ler um lançamento

A ideia de documentar um modelo publicado é de 2019: uma ficha curta com uso pretendido, procedimento de avaliação e desempenho por subgrupo, para o modelo não acabar rodando onde ninguém testou¹⁰. O que os laboratórios de fronteira publicam hoje é uma mistura de ficha técnica, relatório de segurança e placar, com a parte técnica recuando a cada geração².

Na prática, quatro perguntas extraem quase toda a informação de um anúncio:

1. Qual eixo se moveu? Ganho concentrado em matemática e código, com resposta mais lenta, é computação em inferência. Ganho em seguir instrução e em recusar menos por engano é pós-treino. Janela maior vem sempre com número. Escala e dados você infere do resto.
2. Contra o que foi comparado, e quando? Placar é sempre contra alguma coisa em alguma data, e comparação com a geração anterior da própria casa diz menos do que parece.
3. É snapshot ou alias? Nome com data aponta para pesos fixos. Nome genérico aponta para o que o provedor decidir servir amanhã.
4. O que saiu? Todo lançamento empurra um modelo antigo para a fila de deprecação, e o prazo costuma estar no rodapé.

Onde falha

“Geração” é rótulo comercial. Uma versão anunciada como menor às vezes carrega mudança maior que a anterior. O rótulo não é uma medida.

O mesmo nome pode mudar de comportamento sem aviso. Um trabalho de 2023 comparou as versões de março e de junho daquele ano do GPT-3.5 e do GPT-4 em sete tarefas. O GPT-4 acertava 84% na classificação de números primos em março e 51% em junho; a adesão a chain-of-thought caiu; os dois passaram a cometer mais erro de formatação em código¹¹. As práticas de versionamento melhoraram desde então, mas o risco só desaparece quando você fixa a versão.

Benchmark satura antes do uso saturar. Quando o placar se aproxima do teto, a diferença entre duas gerações some da métrica muito antes de sumir na tarefa real, e é por isso que o que os benchmarks medem importa mais a cada geração.

Não há garantia de melhora monotônica no seu caso. O laboratório mediu o que o laboratório tem. Um modelo mais novo pode piorar num tipo de entrada que só existe na sua base, e você só descobre com a sua própria suíte.

Por onde começar

1. Guarde vinte a trinta casos reais com a saída esperada. É o único instrumento que responde à sua pergunta em vez de responder à do laboratório. Sem ele, toda migração é palpite com sotaque técnico.
2. Antes de migrar, responda qual eixo se moveu. Se foi o de inferência e a sua tarefa não tem verificador, o ganho provável é pequeno e a fatura sobe.
3. Fixe o snapshot em produção. Alias genérico é mudar de comportamento sem ter feito deploy.
4. Rode os casos antigos no modelo novo antes de tocar no prompt. Trocar modelo e prompt juntos destrói a única comparação que você tinha.
5. Meça custo por tarefa, não por token. É a única forma de comparar uma geração que raciocina com uma que responde direto.
6. Deixe o modelo antigo alcançável por variável de ambiente. A regressão que escapa da suíte aparece na sexta-feira.

Quanto custa trocar de geração

Ordem de grandeza, para saber a forma da conta antes de abrir a tabela.

O preço por token cai a cada geração, e essa é a parte fácil de calcular. A que surpreende é a quantidade de tokens: quando o eixo que se moveu foi o de computação na resposta, a mesma pergunta passa a consumir tokens que você paga e não vê, e comparar preço unitário entre duas gerações deixa de significar alguma coisa. O experimento de amostragem repetida serve de régua para o extremo dessa curva: 250 amostras custam 250 vezes uma amostra, e foi esse o preço do salto de 15,9% para 56% no SWE-bench Lite⁸. Vale em tarefa cara o bastante; não vale em autocomplete.

O resto do custo não está na fatura do provedor. Migração cobra reescrita de prompt, uma rodada nova de avaliação e ajuste de tudo que dependia do formato exato da saída anterior. Em time pequeno isso costuma superar a economia por token do primeiro trimestre, o que é um bom argumento para migrar por ganho de capacidade e não por centavo.

Footnotes

1. Kaplan et al. (2020) mediram a perda em função de tamanho, dados e compute e encontraram leis de potência estáveis por mais de sete ordens de grandeza. ↩

2. O relatório técnico do GPT-4 (2023) descreve um modelo que aceita imagem e texto, e declara não conter detalhe sobre arquitetura, tamanho, hardware, compute de treino ou construção do dataset, citando cenário competitivo e implicações de segurança. ↩ ↩² ↩³

3. Hoffmann et al. (2022) treinaram mais de 400 modelos e concluíram que os da época estavam subtreinados. O Chinchilla, de 70B com 1,4T tokens, superou Gopher (280B) e outros modelos maiores com o mesmo compute. ↩

4. Ouyang et al. (2022) ajustaram o GPT-3 com demonstrações humanas e depois com reforço sobre rankings humanos. As saídas do modelo de 1,3B tratado assim foram preferidas às do GPT-3 de 175B. ↩ ↩²

5. Brown et al. (2020) treinaram oito modelos de até 175 bilhões de parâmetros com janela de 2.048 tokens e mostraram que a tarefa passa a ser especificada por exemplos no próprio texto, sem atualização de pesos. ↩ ↩²

6. O relatório do Gemini 1.5 (2024) reporta recuperação acima de 99% até pelo menos 10 milhões de tokens de contexto, comparando com Claude 3.0 (200 mil) e GPT-4 Turbo (128 mil). ↩ ↩²

7. Snell et al. (2024) analisaram busca contra verificador por processo e atualização adaptativa da distribuição de resposta: a eficácia de cada método varia com a dificuldade do prompt, o que motiva alocar o compute de teste por prompt. ↩

8. Brown et al. (2024) mostraram que a cobertura cresce de forma log-linear com o número de amostras ao longo de quatro ordens de grandeza, com DeepSeek-Coder-V2-Instruct saindo de 15,9% para 56% no SWE-bench Lite com 250 amostras. Sem verificador automático, voto majoritário e modelo de recompensa estagnam depois de algumas centenas. ↩ ↩² ↩³

9. DeepSeek-R1 (2025) mostrou que reforço puro, sem trajetórias de raciocínio anotadas por humanos, incentiva auto-reflexão, verificação e troca de estratégia, com ganho em tarefas verificáveis de matemática e código. ↩

10. Mitchell et al. (2019) propuseram fichas curtas acompanhando modelos publicados, com uso pretendido, procedimento de avaliação e desempenho por subgrupo demográfico. ↩

11. Chen et al. (2023) avaliaram as versões de março e junho de 2023 do GPT-3.5 e do GPT-4 em sete tarefas e encontraram variação grande de comportamento, incluindo queda de 84% para 51% na identificação de números primos pelo GPT-4. ↩