O que é um large language model (LLM)?

Um large language model (LLM) é uma rede neural treinada para prever o próximo token de um texto. Quase todos são construídos sobre a arquitetura transformer, passam por duas fases de treino e saem genéricos o bastante para virar um modelo de fundação: servem a tarefas que ninguém programou neles.

O “large” descreve o modelo, não o texto que ele lê. São bilhões de parâmetros ajustados sobre trilhões de tokens, e é dessa quantidade que sai o resto. Nada no treino diz o que é uma pergunta, uma tradução ou um trecho de código: essas categorias aparecem porque prever bem a próxima palavra num corpus grande o bastante exige, na prática, reconhecer todas elas.

Prever o próximo token é a tarefa inteira

Não há uma segunda operação escondida. O que existe é um ciclo de quatro passos, executado uma vez por token gerado.

Tokenizar. O texto é quebrado em pedaços de subpalavra e cada pedaço vira um número. “Telhado” pode virar um token só ou três, dependendo de quanto aquela sequência apareceu no corpus que treinou o tokenizador. Esse detalhe explica boa parte dos erros bobos que aparecem mais adiante.

Atenção. Cada token calcula o quanto os outros tokens da entrada importam para ele e monta sua representação a partir disso. É o que substituiu a recorrência das arquiteturas anteriores: em vez de processar a frase palavra por palavra, o modelo compara todas as posições de uma vez¹.

Pontuar o vocabulário. A última camada produz um número para cada token possível — algo entre 30 mil e 200 mil opções, conforme o tokenizador. Uma normalização transforma esses números em probabilidades.

Escolher. O sistema sorteia um token dessa distribuição. Com temperatura zero, sempre o mais provável; acima disso, com chance proporcional. É aqui, e só aqui, que entra aleatoriedade.

O token escolhido é concatenado à entrada e o ciclo recomeça. Uma resposta de 500 tokens é o modelo inteiro rodando 500 vezes, cada vez lendo tudo que veio antes. Isso explica por que a saída custa mais que a entrada e por que a resposta aparece palavra a palavra na tela.

O que a atenção resolveu

O paper que introduziu o transformer, em 2017, não era sobre chatbot: era sobre tradução automática, e o resultado principal foi 28,4 BLEU em inglês-alemão do WMT 2014¹. O que ficou não foi o placar. Foi o fato de que, sem recorrência, qualquer posição da sequência alcança qualquer outra em um único passo, e o treino paraleliza — o modelo grande dos autores levou 3,5 dias em oito GPUs, uma fração do custo das arquiteturas que ele superou.

A conta tem um preço embutido. A atenção compara cada token com todos os outros, então o custo por camada cresce com o quadrado do comprimento da sequência. Dobrar o contexto quadruplica esse trabalho. Toda a engenharia de janelas longas dos anos seguintes é, em boa medida, tentativa de contornar esse termo quadrático.

O que a escala comprou

Em 2020, dois trabalhos mudaram a forma de decidir o tamanho de um modelo. O primeiro mostrou que a perda de treino cai como uma lei de potência em relação ao número de parâmetros, ao volume de dados e ao compute, com a tendência se mantendo por mais de sete ordens de grandeza². Isso transformou escala em algo previsível: dá para estimar o ganho antes de gastar.

O segundo corrigiu a proporção. O GPT-3 tinha 175 bilhões de parâmetros e foi treinado em 300 bilhões de tokens³ — menos de dois tokens por parâmetro. Um trabalho de 2022 treinou mais de 400 modelos para achar a alocação ótima e concluiu que tamanho e dados devem crescer juntos: a cada dobra de parâmetros, dobre os tokens. O modelo que eles treinaram para provar isso, com 70 bilhões de parâmetros e 1,4 trilhão de tokens, consumiu o mesmo compute do Gopher, de 280 bilhões, e superou tanto ele quanto modelos de 175, 178 e 530 bilhões⁴.

Vinte tokens por parâmetro virou regra de bolso a partir daí. A consequência prática é que “quantos bilhões” parou de ser uma boa pergunta isolada, e que a disputa se deslocou para dados e para o que vem depois do pré-treino.

Uma segunda ressalva desmontou o resto dessa leitura. Em um modelo de mistura de especialistas, cada token atravessa apenas uma fatia da rede: o total de parâmetros cresce sem que o custo por token acompanhe, porque a maior parte deles fica desativada em cada passada⁵. A técnica é de 2021 e ficou comum entre os modelos grandes, então comparar dois modelos pela contagem total de parâmetros pode comparar coisas diferentes. Um deles talvez esteja ativando um décimo do que anuncia.

Há um terceiro efeito, mais discutido que estabelecido. Um trabalho de 2022 catalogou habilidades que não aparecem em modelos pequenos e surgem de repente acima de certa escala, e chamou isso de emergência⁶. Um trabalho de 2023 argumentou que boa parte desses saltos é artefato da métrica: com métricas descontínuas, como exigir a resposta exata, a curva parece um degrau; com métricas contínuas sobre as mesmas saídas, ela volta a ser suave⁷. A leitura razoável é que a capacidade cresce de forma mais contínua do que os gráficos de 2022 sugeriam, e que “só funciona a partir de X bilhões” merece desconfiança.

O que você baixa quando baixa um modelo

Um modelo aberto é um arquivo de números com um pouco de metadado de arquitetura. Os pesos costumam ser publicados em 16 bits, o que dá dois bytes por parâmetro: um modelo de 8 bilhões ocupa perto de 16 GB, um de 70 bilhões, perto de 140 GB. Esse número é o primeiro filtro para rodar local, porque ele precisa caber na memória do acelerador junto com o cache de atenção da conversa em andamento.

Quantização reduz a precisão de cada peso para 8 ou 4 bits e corta o arquivo na mesma proporção: aquele modelo de 70 bilhões cai para cerca de 35 GB em 4 bits. A qualidade cai junto, em quantidade que varia com a tarefa e que só o seu conjunto de casos mede. Modelo fechado servido por API não tem esse problema nem essa liberdade: você não vê os pesos, e a versão pode mudar embaixo de você.

Duas fases de treino, e a segunda decide o comportamento

O pré-treino produz um modelo que continua texto. Ele não responde perguntas: ele prevê o que viria depois de uma pergunta em um documento da internet, o que pode ser outra pergunta, uma lista de perguntas parecidas ou um rodapé de fórum.

O pós-treino transforma isso em algo que obedece. São duas etapas: ajuste supervisionado em exemplos escritos por pessoas mostrando a resposta desejada, e depois otimização a partir de comparações humanas entre saídas do próprio modelo. Um trabalho de 2022 mediu o efeito de forma difícil de ignorar: avaliadores preferiram as respostas de um modelo de 1,3 bilhão de parâmetros tratado assim às de um de 175 bilhões sem esse tratamento⁸.

Vale separar o que cada fase entrega. Conhecimento vem do pré-treino; o pós-treino praticamente não acrescenta fato novo. Formato, recusa, tom e disposição a seguir instrução vêm do pós-treino. Quando dois modelos parecem saber o mesmo mas um “é melhor de usar”, a diferença costuma estar aí, e não no tamanho.

Desde 2024 essa fase ganhou um terceiro estágio: treinar o modelo para gastar tokens trabalhando o problema antes de responder, com reforço sobre tarefas de resposta verificável. É o que distingue um modelo de raciocínio de um modelo comum, e a diferença aparece na fatura, porque parte desses tokens é cobrada sem nunca ser mostrada. Em julho de 2026 isso já se parece mais com um modo que se liga do que com uma família separada de modelos.

A janela de contexto não é memória

A janela de contexto é o teto de tokens de uma chamada, contando o que entra e o que sai. O GPT-3 trabalhava com 2.048 tokens em 2020³; em julho de 2026, os modelos de fronteira anunciam janelas entre algumas centenas de milhares e um milhão. A diferença de escala é real e mudou o que dá para construir.

O que não mudou é a natureza da coisa. Não existe estado entre chamadas: uma conversa de vinte turnos funciona porque o cliente reenvia os vinte turnos a cada requisição. O modelo não lembra da mensagem anterior, ele a relê. Por isso o custo de uma conversa longa cresce a cada turno mesmo que você digite pouco.

Janela grande também não significa uso uniforme. Um trabalho de 2023 mediu o desempenho variando a posição da informação relevante dentro do contexto e encontrou uma curva em U: acerto alto quando o trecho útil está no começo ou no fim, queda significativa quando ele está no meio, inclusive em modelos vendidos como de contexto longo⁹. A implicação prática é direta: instrução importante no começo ou no fim, e documento que você precisa que seja lido de verdade não deve ser enterrado no meio de outros dez.

Os cinco eixos do assunto

O resto do assunto se organiza em cinco eixos, e identificar o eixo de uma dúvida já elimina metade das respostas erradas para ela.

Arquitetura é o que quase não varia: transformer com atenção, em variações que mudam eficiência mais que capacidade. Treino é onde estão as decisões caras. Famílias é o eixo comercial, e o único que compara Claude, GPT, Gemini e Llama sem virar folheto. Avaliação é o que os benchmarks medem e o que eles não medem. Operação é janela, custo, latência e o resto do que decide se aquilo entra em produção.

Onde falha

Ele não sabe que não sabe. A tarefa de treino premia continuação plausível. Não há passo em que o modelo verifique se aquilo é verdade, então uma citação inventada é gerada com exatamente a mesma mecânica de uma correta. Quanto mais específico e menos frequente o fato, maior o risco. O caso mais fácil de reproduzir é pedir cinco artigos acadêmicos sobre um tema estreito: vêm com autores plausíveis, periódico plausível e DOI no formato certo, e parte deles não existe. O formato sai certo porque formato é o que o modelo aprendeu; existir não é uma propriedade que a tarefa de treino cheque.

Tokenização vaza para tarefas de caractere. Contar letras, inverter uma palavra ou trabalhar com ortografia falha mais do que a competência aparente do modelo sugere, porque ele não vê letras — vê tokens que agregam várias delas.

Aritmética com muitos dígitos é frágil. O modelo aprendeu padrões de conta, não o algoritmo. Multiplicação de números grandes é onde isso aparece primeiro, e a correção é delegar a conta a uma calculadora ou a código, não insistir no prompt.

Conhecimento tem data. O que não estava no corpus de pré-treino não está lá, e o modelo não sabe onde termina o que ele viu. Para fato que muda, a resposta é buscar o dado e colocá-lo no contexto.

A mesma pergunta pode dar respostas diferentes. Com temperatura acima de zero, a escolha do token é um sorteio. Mesmo com temperatura zero, o agrupamento de requisições em lote e diferenças numéricas de hardware fazem com que a repetição exata não seja garantida na prática.

Por onde começar

1. Escreva vinte casos reais antes de escolher qualquer modelo. Entrada de verdade, saída esperada de verdade. É o único instrumento que responde à sua pergunta específica.
2. Comece pelo modelo pequeno da família. Se ele passa nos vinte casos, o modelo grande é dinheiro e latência jogados fora.
3. Meça três coisas separadamente: acerto, tempo até a primeira resposta e custo por chamada. Elas se movem em direções diferentes, e a decisão quase sempre é sobre o par que você aceita piorar.
4. Fixe a versão do modelo em produção. Apontar para o alias genérico significa que a sua aplicação muda de comportamento sem que você tenha feito deploy.
5. Só então mexa no prompt. A maior parte do ganho barato está em engenharia de prompts, não em trocar de modelo.

Custo, em ordem de grandeza

O que se cobra são tokens, separados em entrada e saída. Em julho de 2026, a saída custa algumas vezes mais que a entrada nos provedores grandes, o que faz uma tarefa de resumir sair bem mais barata que uma de gerar, mesmo lendo o mesmo documento.

Duas estimativas ajudam a dimensionar isso antes de abrir a tabela de preços. Um texto em português consome perto de 1,5 token por palavra, então um artigo de 2.000 palavras entra com uns 3.000 tokens. E a parte estável da requisição, como o system prompt e os exemplos fixos, pode ser servida a partir de cache pelos provedores que oferecem prompt caching, com desconto grande sobre o trecho repetido. Se a sua aplicação manda o mesmo bloco de 4.000 tokens em toda chamada, essa é a primeira otimização a fazer, antes de trocar de modelo.

Footnotes

1. Vaswani et al. (2017) propuseram uma arquitetura baseada só em atenção, sem recorrência nem convolução, e reportaram 28,4 BLEU em WMT 2014 inglês-alemão. A Tabela 1 do paper registra o custo: complexidade O(n²·d) por camada de self-attention, contra caminho de comprimento constante entre quaisquer duas posições. ↩ ↩²

2. Kaplan et al. (2020) mediram a perda em função de tamanho, dados e compute, e encontraram leis de potência estáveis por mais de sete ordens de grandeza, com detalhes de largura e profundidade importando pouco. ↩

3. Brown et al. (2020) treinaram oito modelos de até 175 bilhões de parâmetros, todos por 300 bilhões de tokens e com janela de contexto de 2.048 tokens, e mostraram que a tarefa passa a ser especificada por exemplos no próprio texto, sem atualização de pesos. ↩ ↩²

4. Hoffmann et al. (2022) treinaram mais de 400 modelos, de 70 milhões a mais de 16 bilhões de parâmetros, e concluíram que os modelos da época estavam subtreinados. O Chinchilla, com 70B e 1,4T tokens, superou Gopher (280B), GPT-3 (175B), Jurassic-1 (178B) e Megatron-Turing NLG (530B). ↩

5. Fedus et al. (2021) simplificaram o roteamento de mistura de especialistas e treinaram modelos esparsos com número enorme de parâmetros a custo computacional por token constante, com pré-treino até 7 vezes mais rápido que a base densa comparável. ↩

6. Wei et al. (2022) definiram como emergente a habilidade ausente em modelos menores e presente em maiores, e argumentaram que ela não é previsível por extrapolação. ↩

7. Schaeffer et al. (2023) mostraram que métricas descontínuas produzem saltos aparentes sobre as mesmas saídas de modelo, e reproduziram o efeito de propósito em tarefas de visão. ↩

8. Ouyang et al. (2022) ajustaram o GPT-3 com demonstrações humanas e depois com aprendizado por reforço sobre rankings humanos. As saídas do modelo de 1,3B tratado assim foram preferidas às do GPT-3 de 175B. ↩

9. Liu et al. (2023) variaram a posição do documento relevante em perguntas sobre múltiplos documentos e em recuperação de chave-valor, e encontraram queda significativa quando a informação está no meio do contexto. ↩