Como um modelo de linguagem é treinado?

Um LLM é treinado em fases. O pré-treino roda uma vez sobre trilhões de tokens e ensina a língua e os fatos. O ajuste supervisionado ensina o formato de uma resposta. O alinhamento ensina qual resposta as pessoas preferem. A primeira fase custa milhões de dólares, e as outras duas somadas custam menos de 2% disso.

Essa divisão é o que explica quase tudo que incomoda em um modelo de fundação na prática. Conhecimento desatualizado é problema da fase 1 e não se conserta na fase 2. Recusa exagerada é problema da fase 3 e não tem nada a ver com o quanto o modelo sabe. Formato instável é problema da fase 2, e é a única das três que um time comum consegue refazer por conta própria.

As duas primeiras fases são treino supervisionado convencional, cada uma com sua função: o ajuste supervisionado sobre demonstrações escritas por pessoas, e o pré-treino sobre texto cru. A terceira, o alinhamento por feedback humano, é o que fez a diferença entre um modelo que continua texto e um produto que responde. Vale olhar uma por uma.

As três fases

A ordem importa e não é reversível. Você não alinha antes de haver o que alinhar, e não adianta ensinar formato a um modelo que ainda não sabe conjugar verbo. Cada fase parte dos pesos que a anterior produziu.

Fase 1: pré-treino, onde o conhecimento entra

O objetivo é o mais simples dos três: dado um trecho de texto, prever o próximo token. Nenhum rótulo humano, nenhuma tarefa definida. O texto é a própria resposta, o que permite consumir volumes que nenhuma anotação manual alcançaria.

O corpus é a decisão mais consequente e a menos documentada da indústria. O exemplo público que dá para inspecionar é o Pile, de 2020: 825 GiB de texto em inglês montados a partir de 22 subconjuntos distintos, muitos de origem acadêmica ou profissional. Os próprios autores documentaram aspectos preocupantes dos dados para quem fosse usá-los¹. Os corpora de fronteira em 2026 são uma ordem de grandeza maiores e nenhum deles é publicado.

A escala virou previsível em 2020 e proporcional em 2022. O GPT-3 usou 175 bilhões de parâmetros sobre 300 bilhões de tokens², menos de dois tokens por parâmetro. Um trabalho de 2022 treinou mais de 400 modelos para achar a alocação ótima e mostrou que os modelos da época estavam subtreinados: a cada dobra de parâmetros, dobre também os tokens. O modelo que eles usaram para provar isso, de 70 bilhões de parâmetros e 1,4 trilhão de tokens, superou o Gopher de 280 bilhões com o mesmo orçamento de computação³. Quatro anos depois, o DeepSeek-V3 foi pré-treinado sobre 14,8 trilhões de tokens⁴, perto de 50 vezes o corpus do GPT-3.

O que sai daqui é um modelo base. Ele sabe muito e não obedece a nada.

Como é um treino desses por dentro

A operação é menos glamourosa do que o resultado sugere. Milhares de aceleradores processam lotes de texto em paralelo, cada um calculando o erro de previsão sobre a sua fatia; os gradientes são somados entre todas as máquinas e aplicados aos pesos. Esse ciclo se repete centenas de milhares de vezes ao longo de semanas ou meses de relógio, sem interrupção planejada.

O que domina o trabalho de engenharia é a falha. Uma GPU morre no meio, e o job inteiro para se não houver checkpoint recente. A perda dispara sem motivo aparente e o treino precisa voltar para um estado anterior. O relatório do DeepSeek-V3 faz questão de registrar que o treino inteiro correu sem nenhum pico irrecuperável de perda e sem nenhum rollback⁴, o que só é digno de nota porque o contrário é comum. Um pré-treino de fronteira é, em boa parte, um exercício de tolerância a falha distribuída com uma rede neural dentro.

Isso também explica por que não dá para “continuar de onde parou” com dados novos e considerar o modelo atualizado. Injetar um corpus recente em um modelo já treinado é pré-treino continuado, com custo proporcional ao volume novo e risco de degradar o que já estava lá. Ninguém faz isso toda semana, e é por isso que o recorte de conhecimento existe.

Fase 2: ajuste supervisionado, onde o formato entra

Aqui alguém escreve as respostas. O conjunto do InstructGPT, em 2022, tinha cerca de 13 mil prompts de treino, parte vindos da API e parte escritos pelos próprios anotadores — uma equipe de 40 pessoas contratadas depois de um teste de triagem⁵. Cada exemplo é um par: o pedido e a resposta que se considera boa.

Duas coisas surpreendem quem chega aqui esperando escala.

A primeira é que o volume é pequeno. Treze mil exemplos, contra 300 bilhões de tokens da fase anterior. A segunda é que reduzir ainda mais parece funcionar. Um trabalho de 2023 ajustou um modelo de 65 bilhões de parâmetros com mil prompts e respostas curados a dedo, sem nenhum reforço, e obteve respostas que avaliadores humanos julgaram equivalentes ou preferíveis às do GPT-4 em 43% dos casos. A conclusão dos autores é a parte que interessa: quase todo o conhecimento já está no modelo depois do pré-treino, e o ajuste serve para ensinar qual formato de resposta usar⁶.

Isso muda o que se otimiza. Em pré-treino, mais dado é quase sempre melhor. Em ajuste supervisionado, consistência ganha de volume: mil exemplos que concordam entre si sobre como uma resposta deve ser produzem um modelo melhor que cem mil exemplos que discordam.

Fase 3: alinhamento, onde a preferência entra

A terceira fase não pede que ninguém escreva a resposta certa. Pede que alguém escolha entre duas. Isso importa porque comparar é muito mais barato e muito mais confiável do que redigir: duas pessoas discordam bastante sobre como escrever a resposta ideal e concordam mais sobre qual de duas respostas é melhor.

A receita clássica tem três passos. Anotadores ranqueiam saídas do próprio modelo — o conjunto de recompensa do InstructGPT tinha 33 mil prompts de treino. Um modelo de recompensa aprende a prever esse ranking. E o LLM é otimizado contra esse modelo de recompensa por reforço, sobre um terceiro conjunto de 31 mil prompts sem rótulo humano⁵.

Duas simplificações mudaram essa etapa depois.

Um trabalho de 2023 mostrou que o modelo de recompensa separado é dispensável: dá para derivar uma perda de classificação simples sobre os pares de preferência e otimizar o LLM diretamente, sem amostragem durante o treino e sem os hiperparâmetros do reforço⁷. Isso reduziu bastante a barreira de entrada, e é por isso que times pequenos hoje conseguem fazer alinhamento próprio.

O outro caminho ataca o custo do lado humano. Uma abordagem de 2022 substituiu a maior parte dos rótulos de inofensividade por feedback do próprio modelo, avaliado contra um conjunto escrito de princípios⁸. O rótulo humano não some, mas passa a ser gasto onde nenhum modelo substitui.

O mesmo prompt depois de cada fase

A primeira coluna é a que mais confunde. O modelo base não erra a fotossíntese; ele nem chega a tentar. Ele reconhece que “Explique fotossíntese para uma criança” tem cara de item de uma lista de exercícios e escreve o próximo item. Está fazendo exatamente a tarefa em que foi treinado.

A segunda coluna responde, e responde certo. O que ela ignora é a parte “para uma criança”, porque o ajuste supervisionado ensinou o formato de uma explicação e não a sensibilidade ao pedido inteiro. A terceira coluna é a que registra que o leitor tem seis anos. Essa diferença entre a segunda e a terceira é fácil de subestimar e é boa parte do que separa um modelo utilizável de um modelo agradável de usar.

A quarta fase, que apareceu depois

Desde 2024 os modelos de raciocínio acrescentaram um estágio de reforço sobre tarefas de resposta verificável, onde a recompensa não vem de preferência humana e sim de um verificador: o teste passou, a conta bateu, a prova fechou.

O resultado que tornou isso público veio da DeepSeek em 2025. Eles mostraram que a capacidade de raciocínio pode ser incentivada por reforço puro, sem trajetórias de raciocínio rotuladas por humanos, e que padrões como autoverificação e mudança de estratégia no meio do caminho aparecem sozinhos durante esse treino⁹. O modelo resultante superou, em matemática, competição de programação e tarefas de STEM, contrapartes treinadas por supervisão sobre demonstrações humanas.

A ressalva vale: isso funciona onde existe um verificador automático. Para “escreva um bom e-mail de desculpas” não existe, e a fase 3 continua sendo a única resposta.

Quanto custa cada fase

Os números do InstructGPT são os mais úteis porque as três fases aparecem na mesma unidade. Treinar o modelo de 175 bilhões de parâmetros com ajuste supervisionado consumiu 4,9 petaflops/s-dia. A versão com reforço consumiu 60. O pré-treino do GPT-3, sobre o qual as duas rodaram, consumiu 3.640⁵. Somando, o pós-treino inteiro ficou abaixo de 2% do que custou a fase anterior.

O relatório mais transparente sobre a conta em dinheiro é o do DeepSeek-V3. A tabela de custos do paper separa 2,664 milhões de horas de GPU H800 para o pré-treino, 119 mil para a extensão de contexto e 5 mil para o pós-treino, totalizando 2,788 milhões de horas. Ao preço de aluguel de 2 dólares por hora que eles assumem, isso dá 5,328 milhões de dólares, 238 mil e 10 mil, num total de 5,576 milhões⁴. Os próprios autores registram que essa cifra cobre o treino oficial e exclui pesquisa anterior, ablações e experimentos descartados. Uma estimativa realista do gasto total de um laboratório é várias vezes isso.

A proporção é o que envelhece bem. Os valores absolutos mudam a cada geração de hardware, mas a forma da conta se manteve por seis anos: a fase que instala conhecimento domina o orçamento, e as fases que instalam comportamento decidem se o modelo serve para alguma coisa.

Onde falha

O corpus contém o benchmark. Quando o texto de treino vem da internet e o teste também, é difícil garantir que um não contém o outro. Isso é o problema central da avaliação de LLM e nasce aqui, na fase 1, não na hora de medir.

Alinhar cobra um preço em capacidade. A otimização por preferência tende a degradar desempenho em tarefas acadêmicas em relação ao modelo apenas supervisionado. O InstructGPT tratou disso misturando gradientes do pré-treino durante o reforço, que é de onde vem o sufixo “ptx” no nome do modelo deles⁵. Quem faz alinhamento próprio sem essa precaução costuma descobrir a regressão depois.

O modelo aprende a agradar o avaliador, não a acertar. A recompensa é um modelo treinado sobre julgamentos humanos, e o LLM é otimizado contra esse modelo. Tudo que engana o modelo de recompensa é premiado: resposta mais longa, mais confiante, mais bem formatada. Resposta correta e resposta convincente não são a mesma coisa, e o gradiente não distingue as duas. O sintoma cotidiano é a resposta que começa repetindo a sua pergunta, acrescenta três marcadores de ressalva e termina se oferecendo para aprofundar. Nada disso foi pedido, e sobrevive porque avaliador com pouco tempo escolhe a que parece mais completa.

Anotador é uma população específica. Quarenta pessoas definiram boa parte do comportamento do InstructGPT⁵. Não há nada de errado nisso, mas vale saber que “o que as pessoas preferem” na fase 3 significa o que aquele grupo preferiu, seguindo aquelas instruções, naquele momento.

Conhecimento novo não entra por pós-treino. É a consequência direta do resultado de 2023 sobre ajuste com mil exemplos⁶. Se o fato não estava no corpus, você precisa colocá-lo no contexto na hora da pergunta, não no conjunto de ajuste.

O que isso muda para quem só usa o modelo

1. Ao ver um comportamento estranho, identifique a fase. Fato errado e desatualizado é fase 1: coloque a informação no contexto. Formato instável é fase 2: dê exemplos no prompt. Recusa ou tom fora do lugar é fase 3: mexa nas instruções de sistema, não no conteúdo.
2. Não tente ensinar conhecimento por fine-tuning. É a rota mais cara para o pior resultado. Ajuste ensina comportamento; conhecimento vai para o contexto.
3. Se for ajustar, invista na consistência do conjunto, não no tamanho. Mil exemplos revisados por uma pessoa só valem mais que dez mil escritos por cinco pessoas com critérios diferentes.
4. Fixe a versão exata do modelo. O provedor pode publicar um pós-treino novo sob o mesmo nome comercial, e é a fase 3 que muda primeiro.
5. Teste recusa e tom separadamente da capacidade. São controlados por fases diferentes e se movem de forma independente entre versões.

Footnotes

1. Gao et al. (2020) montaram um corpus de 825 GiB a partir de 22 subconjuntos distintos e documentaram aspectos preocupantes dos dados para quem fosse usá-los. ↩

2. Brown et al. (2020) treinaram oito modelos de até 175 bilhões de parâmetros, todos sobre 300 bilhões de tokens, e mostraram que a tarefa passa a ser especificada por exemplos no próprio texto de entrada. ↩

3. Hoffmann et al. (2022) treinaram mais de 400 modelos e concluíram que os modelos da época estavam subtreinados: parâmetros e tokens devem escalar juntos. O modelo de 70B com 1,4T tokens superou o Gopher de 280B com o mesmo compute. ↩

4. A Tabela 1 do relatório do DeepSeek-V3 (2024) separa 2,664 milhões de horas de GPU H800 para o pré-treino, 119 mil para extensão de contexto e 5 mil para o pós-treino, a 2 dólares por hora de GPU. ↩ ↩² ↩³

5. Ouyang et al. (2022) descrevem os três conjuntos usados: 13 mil prompts de ajuste supervisionado, 33 mil de recompensa e 31 mil de reforço, rotulados por uma equipe de 40 contratados. O compute reportado foi de 4,9 petaflops/s-dia para o modelo supervisionado de 175B e 60 para a versão com reforço, contra 3.640 do pré-treino do GPT-3. ↩ ↩² ↩³ ↩⁴ ↩⁵

6. Zhou et al. (2023) ajustaram um modelo de 65B com mil prompts e respostas curados, sem reforço, e obtiveram respostas equivalentes ou preferíveis às do GPT-4 em 43% dos casos avaliados. ↩ ↩²

7. Rafailov et al. (2023) mostraram que o modelo de recompensa explícito é dispensável: a política ótima tem forma fechada e permite otimizar diretamente sobre pares de preferência com uma perda de classificação. ↩

8. Bai et al. (2022) treinaram um assistente inofensivo substituindo a maior parte dos rótulos humanos de inofensividade por feedback do próprio modelo, avaliado contra um conjunto escrito de princípios. ↩

9. A DeepSeek (2025) mostrou que a capacidade de raciocínio pode ser incentivada por reforço puro, sem trajetórias rotuladas por humanos, com autoverificação e adaptação de estratégia emergindo durante o treino. ↩