O que é um modelo de fundação?

Um modelo de fundação é um modelo treinado uma vez sobre uma quantidade enorme de dados genéricos e depois adaptado a muitas tarefas que ninguém tinha em mente durante o treino. O termo descreve a posição do modelo na cadeia, não a arquitetura dele: é a base sobre a qual outros modelos são construídos, por ajuste de pesos ou só por prompt.

Para quase todo modelo de fundação de texto em uso hoje, a resposta para “que modelo é esse?” é um LLM. As duas palavras cobrem quase o mesmo conjunto de arquivos, mas respondem a perguntas diferentes. “LLM” diz o que a coisa é: uma rede treinada para prever o próximo token. “Modelo de fundação” diz para que ela serve: uma peça reutilizável, treinada por quem tem cluster e usada por quem não tem.

A diferença aparece na conta. Pré-treinar custa milhões de dólares em computação e leva meses. Derivar um modelo especializado a partir de um pré-treinado custa entre dezenas e alguns milhares de dólares, e leva horas. Enquanto essa razão for de cinco ou seis ordens de grandeza, a divisão de trabalho continua a mesma: pouca gente treina fundação, muita gente deriva. É por isso que quase todo modelo de IA em produção hoje é uma adaptação de algo que outra empresa treinou.

De onde veio o termo

O nome apareceu em 2021, num relatório do centro de pesquisa de Stanford dedicado ao assunto. Os autores olharam para BERT, DALL-E e GPT-3 e notaram que os três compartilhavam algo que as categorias existentes não capturavam: eram treinados sobre dados amplos em escala e adaptáveis a uma variedade grande de tarefas seguintes. Escolheram “fundação” para marcar esse caráter central e ao mesmo tempo incompleto — o modelo é a base de outra coisa, e sozinho não é produto¹.

O argumento mais útil do relatório não é a definição. É a consequência que eles chamaram de homogeneização: quando milhares de aplicações são construídas sobre o mesmo punhado de bases, os defeitos da base são herdados por tudo que vem depois. Um viés no corpus de pré-treino, uma lacuna de idioma, um recorte de conhecimento, uma falha de tokenização. Nada disso é corrigido por quem está três camadas acima, e muitas vezes nem é visível de lá.

A homogeneização é a razão pela qual “que modelo você usa por baixo?” virou uma pergunta de arquitetura, não de curiosidade. Duas aplicações que nunca se falaram podem falhar da mesma forma no mesmo dia porque compartilham a fundação.

Adaptar significa três coisas diferentes

A adaptação mais barata não toca em peso nenhum. O paper do GPT-3, em 2020, mostrou que dá para especificar a tarefa dentro do próprio texto de entrada, com alguns exemplos, sem nenhuma atualização de gradiente². É o que hoje se chama de prompt e é a forma de adaptação que a maioria das aplicações usa. Custa uma chamada de API e reverte instantaneamente.

A adaptação do meio muda uma fatia pequena dos pesos. Um trabalho de 2021 propôs congelar o modelo inteiro e treinar apenas matrizes de baixo posto injetadas em cada camada; sobre o GPT-3 de 175 bilhões de parâmetros, isso reduziu o número de parâmetros treináveis em 10 mil vezes e o consumo de memória de GPU em 3 vezes, com qualidade equiparável ao ajuste completo e sem custo adicional de latência na inferência³. Esse resultado é o que tornou viável ter dezenas de variantes de um mesmo modelo em uma empresa média. Cada variante é um arquivo de alguns megabytes ao lado dos pesos originais, e não uma cópia do modelo. O ajuste supervisionado é a forma mais comum de treinar essa fatia.

A adaptação cara reescreve todos os pesos. É pré-treino continuado ou fine-tuning completo, e é onde o custo volta a se aproximar do treino original. Fora de laboratório, quase nunca é a escolha certa: sai caro, precisa de muito dado e tende a estragar o que o modelo já sabia.

O que separa um modelo base de um modelo instruct

Um modelo base recém-saído do pré-treino não responde perguntas. Ele continua texto, que é a única tarefa que ele foi treinado a fazer. Escreva “Como reinicio o roteador?” e ele pode devolver mais três perguntas parecidas, porque em muitos documentos da internet é isso que vem depois de uma pergunta: uma lista de perguntas frequentes.

O comportamento de assistente é instalado depois, em duas etapas. Primeiro um ajuste supervisionado sobre exemplos escritos por pessoas mostrando a resposta desejada. Depois uma otimização a partir de comparações humanas entre saídas do próprio modelo. O trabalho de 2022 que documentou essa receita mediu o efeito de um jeito que ficou difícil de ignorar: avaliadores humanos preferiram as respostas de um modelo de 1,3 bilhão de parâmetros tratado assim às de um de 175 bilhões sem esse tratamento⁴.

Na prática você encontra os dois arquivos publicados lado a lado. A Meta lançou o Llama 2 exatamente assim, uma coleção de modelos pré-treinados de 7 a 70 bilhões de parâmetros e as versões de chat derivadas deles⁵. O nome do repositório é o que costuma diferenciar: sufixo -base ou nenhum sufixo para o pré-treinado, -instruct, -chat ou -it para o derivado.

Escolher errado é um erro barato de cometer e caro de diagnosticar. Um modelo base num endpoint de chat produz saída que parece um bug de prompt: ele ignora a instrução, repete a pergunta, entra em loop. Não é bug. É o modelo fazendo a tarefa dele.

O que a base determina e o ajuste não conserta

Vale ser específico sobre o que fica congelado no momento em que a fundação termina de treinar.

O conhecimento. A evidência mais direta veio de um trabalho de 2023 que ajustou um modelo de 65 bilhões de parâmetros com mil exemplos cuidadosamente selecionados, sem nenhum aprendizado por reforço, e obteve respostas que avaliadores humanos consideraram equivalentes ou preferíveis às do GPT-4 em 43% dos casos. A conclusão dos autores é que quase todo o conhecimento é aprendido no pré-treino, e que o ajuste ensina principalmente qual formato de resposta usar⁶. Se o fato não estava no corpus, mil exemplos de ajuste não o colocam lá.

O tokenizador. Ele é fixado antes do pré-treino e não muda depois. Um tokenizador que quebra português em muitos pedaços encarece toda chamada em português, para sempre, em todos os modelos derivados daquela base. E o custo não é só dinheiro: mais tokens por palavra significa que o mesmo documento come mais janela de contexto, então a janela efetiva de um idioma mal tokenizado é menor que o número anunciado. Você herda tudo isso sem nunca ter participado da decisão, e mede em dez minutos passando um parágrafo real seu pelo tokenizador de duas famílias.

A janela de contexto. Estender contexto depois do pré-treino é possível, mas é um procedimento de treino em si, não uma configuração. O teto que a base suporta é o teto prático das derivações dela.

As lacunas de idioma e de domínio. Se o corpus tinha pouco texto jurídico em português, o ajuste vai ensinar o modelo a soar como um advogado brasileiro sem ensiná-lo o que a lei diz. Essa combinação é pior que a incompetência óbvia, porque o tom confiante sobrevive à falta de substância.

A categoria não é só de texto

O relatório de 2021 já tratava visão, robótica e interação humana no mesmo fôlego que linguagem¹, e a razão é que a receita não depende da modalidade: treinar amplo uma vez, adaptar muitas vezes. Hoje o padrão aparece em imagem, áudio, código, séries temporais e estrutura de proteína, e em cada um deles a mesma assimetria de custo se repete.

O que muda de uma modalidade para outra é qual rota de adaptação funciona. Em texto, o prompt resolve boa parte dos casos, porque a instrução e os dados são a mesma coisa: tudo é token. Fora de texto, essa rota é mais fraca. Um modelo de fundação de imagem raramente aceita ser instruído em linguagem natural com a mesma precisão, e a adaptação costuma voltar a ser treino, mesmo que de baixo posto. Quem transporta a intuição de LLM para outra modalidade descobre isso tarde, depois de escrever prompts para um modelo que não foi construído para recebê-los.

Modelos multimodais borram a fronteira, e vale ser preciso sobre o que eles são. Um modelo que aceita imagem e texto na entrada não é dois modelos de fundação grudados: é uma fundação só, treinada sobre pares dos dois tipos de dado. A capacidade de olhar uma figura e responder sobre ela vem do pré-treino conjunto, e não de um componente de visão acoplado depois.

Onde falha

Ajustar para o seu domínio degrada o resto. Um estudo de 2023 mediu isso em modelos de 1 a 7 bilhões de parâmetros durante ajuste de instrução continuado e encontrou esquecimento catastrófico de forma geral: conhecimento de domínio, raciocínio e compreensão de leitura pioram conforme novas tarefas entram. Na faixa testada, a severidade aumentou com o tamanho do modelo⁷. A implicação prática é que o seu conjunto de avaliação precisa cobrir o que você não quer perder, e não só a tarefa que você está ensinando.

Peso aberto não é fundação aberta. Você recebe os números e o suficiente para rodar. Não recebe o corpus, a receita de filtragem nem os logs de treino, que é o que permitiria auditar de onde veio um comportamento. O próprio relatório de 2021 já registrava essa opacidade como o problema central da categoria¹.

O rótulo virou marketing. Em julho de 2026, praticamente todo modelo lançado por um fornecedor é anunciado como modelo de fundação, incluindo modelos pequenos ajustados para uma tarefa só. A palavra parou de carregar informação em material comercial. Vale testar com uma pergunta: quantas coisas diferentes foram construídas em cima deste modelo por gente que não é o fabricante?

A base muda embaixo de você. Em modelo servido por API, o alias genérico pode apontar para uma versão nova sem aviso, e o comportamento das suas derivações por prompt muda junto. Fixar a versão é o que separa uma regressão investigável de uma semana perdida.

Quanto custa, em ordem de grandeza

Os números públicos são poucos e raramente comparáveis, mas um deles é suficiente para dar a forma da conta. A DeepSeek reportou que o treino completo do V3, um modelo de mistura de especialistas com 671 bilhões de parâmetros totais e 37 bilhões ativados por token, pré-treinado sobre 14,8 trilhões de tokens, consumiu 2,788 milhões de horas de GPU H800⁸. A ordem de grandeza disso, ao preço de aluguel praticado na época, fica na casa de alguns milhões de dólares. O próprio relatório observa que a cifra cobre o treino oficial e não inclui a pesquisa anterior, os experimentos descartados nem os dados.

Do outro lado da assimetria: um ajuste de baixo posto sobre um modelo de 7 bilhões de parâmetros, com alguns milhares de exemplos, roda em uma GPU alugada por hora e termina em uma tarde. A conta fica em dezenas de dólares. Prompt, que é a terceira forma de adaptação, custa a chamada de API e mais nada.

Essa distância de cinco a seis ordens de grandeza é o motivo econômico de a categoria existir. Se derivar custasse o mesmo que treinar, ninguém teria inventado uma palavra para a base.

Por onde começar

1. Use o instruct, a menos que você tenha um motivo escrito para não usar. O motivo legítimo costuma ser um destes: você vai fazer o próprio pós-treino, precisa medir perplexidade ou está em uma tarefa de completar texto.
2. Teste o tokenizador da base no seu idioma antes de escolher. Conte quantos tokens saem de um parágrafo real seu. A diferença entre duas famílias pode passar de 30% na mesma frase, e você paga isso em toda chamada.
3. Tente prompt antes de ajuste. A maior parte do ganho fácil está lá, e é a única forma de adaptação que você reverte em um deploy.
4. Se for ajustar, comece por baixo posto. Ajuste completo raramente ganha o suficiente para pagar o custo e o risco de esquecimento.
5. Monte o conjunto de avaliação antes de treinar, cobrindo o que você não quer perder. Sem isso, você mede a tarefa nova e descobre a degradação do resto em produção.
6. Fixe a versão exata da base em produção. Alias genérico significa mudança de comportamento sem deploy.

O passo 5 é o que a maioria pula, e é o único que detecta o modo de falha mais comum de quem deriva um modelo de fundação: a tarefa nova melhora, tudo o mais piora um pouco, e ninguém percebe até um usuário reclamar de algo que funcionava.

Footnotes

1. Bommasani et al. (2021) cunharam o termo para modelos treinados sobre dados amplos em escala e adaptáveis a muitas tarefas seguintes, e argumentaram que a homogeneização resultante faz os defeitos da base serem herdados por todos os modelos adaptados abaixo dela. ↩ ↩² ↩³

2. Brown et al. (2020) mostraram que a tarefa pode ser especificada por exemplos dentro do próprio texto de entrada, sem nenhuma atualização de gradiente no modelo. ↩

3. Hu et al. (2021) congelaram os pesos pré-treinados e treinaram matrizes de baixo posto injetadas em cada camada: 10 mil vezes menos parâmetros treináveis e 3 vezes menos memória de GPU que o ajuste completo do GPT-3 175B, sem latência adicional na inferência. ↩

4. Ouyang et al. (2022) ajustaram o GPT-3 com demonstrações humanas e depois com aprendizado por reforço sobre rankings humanos. As saídas do modelo de 1,3B tratado assim foram preferidas às do GPT-3 de 175B. ↩

5. Touvron et al. (2023) publicaram o Llama 2 como uma coleção de modelos pré-treinados de 7 a 70 bilhões de parâmetros junto com as versões de chat derivadas deles. ↩

6. Zhou et al. (2023) ajustaram um modelo de 65B com apenas mil prompts e respostas curadas, sem reforço, e obtiveram respostas equivalentes ou preferíveis às do GPT-4 em 43% dos casos avaliados. A conclusão é que quase todo o conhecimento vem do pré-treino. ↩

7. Luo et al. (2023) observaram esquecimento catastrófico durante ajuste de instrução continuado em modelos de 1 a 7 bilhões de parâmetros, em conhecimento de domínio, raciocínio e compreensão de leitura, com a severidade aumentando com o tamanho dentro dessa faixa. ↩

8. O relatório técnico do DeepSeek-V3 (2024) registra 2,788 milhões de horas de GPU H800 para o treino completo de um modelo de 671B parâmetros totais e 37B ativados por token, pré-treinado sobre 14,8 trilhões de tokens. ↩