Vale a pena fazer fine-tuning no meu caso?

Fine-tuning vale a pena quando três coisas são verdade ao mesmo tempo: um prompt bem escrito já falhou, a falha é de comportamento e não de conhecimento, e você consegue mostrar o comportamento certo em algumas centenas de exemplos revisados. Falta uma das três e o treino resolve o problema errado, cobrando o preço do certo.

O pedido quase sempre chega na mesma forma: “queremos um modelo treinado nos nossos dados”. Traduzido, costuma significar “queremos que o modelo saiba o que está nos nossos documentos” — e isso é conhecimento, que é território de recuperação. O que o fine-tuning altera são os pesos, e o que os pesos guardam é comportamento.

A segunda tradução mais comum é “o modelo não segue nosso formato”. Aí pode ser treino, sim, mas existe um degrau mais barato antes: colocar exemplos dentro do próprio prompt. Esse você testa numa tarde. O outro leva três semanas e amarra você a um modelo base.

As seis perguntas

Um prompt bem escrito já falhou? Não vale o prompt que alguém rascunhou na segunda-feira. Vale o prompt com o papel definido, o formato descrito, o critério de decisão explícito e dois ou três exemplos resolvidos dentro dele. Essa checagem parece burocrática e é a que mais elimina candidatos. Quem pula direto para o treino nunca vai saber qual dos dois resolvia.

A falha é de comportamento? Comportamento é formato, tom, ordem das seções, o que fazer quando a entrada é ambígua. Conhecimento é o número da sua tabela de preços. A pergunta separa as duas coisas antes de gastar GPU, e a resposta muda completamente o remédio.

Você consegue mostrar o certo em algumas centenas de exemplos? Se você não consegue escrever cinquenta exemplos da saída ideal, o problema não é o modelo: é que a especificação ainda não existe. Escrever os exemplos costuma resolver a ambiguidade, e às vezes resolve o caso inteiro, porque os mesmos exemplos cabem no prompt.

Existe conjunto de avaliação escrito antes do treino? Sem ele você não tem como saber se a rodada ajudou. Olhar dez respostas e achar que melhorou é ruído com cara de resultado, e é assim que a maioria dos projetos declara vitória.

O volume paga a rodada? A economia de fine-tuning vem de encurtar o prompt de toda chamada. Ela é proporcional ao número de chamadas, e o número de chamadas da maioria das aplicações internas é pequeno. Faça a conta com números seus antes de continuar: tokens cortados por chamada, vezes chamadas por mês, vezes preço por token. Uma ferramenta interna com 3 mil chamadas mensais que corta 1.500 tokens de prompt economiza 4,5 milhões de tokens por mês, algo em torno de dez dólares. O conjunto de exemplos que viabiliza esse corte custa semanas de trabalho.

Alguém mantém isso daqui a seis meses? Um modelo ajustado é infraestrutura. Precisa de versionamento, de um lugar para ser servido e de alguém que saiba refazer a rodada quando o autor original mudar de time.

Um “não” em qualquer ponto encerra. Não é rigidez: é que cada pergunta descreve uma condição sem a qual o treino não tem como funcionar, e a sequência foi ordenada da mais barata de checar para a mais cara.

O que entra pelos pesos e o que não entra

A segunda pergunta é a que mais elimina projetos, e ela tem evidência atrás.

Um experimento controlado de 2024 variou a proporção de exemplos de treino que traziam fatos desconhecidos do modelo, em perguntas e respostas de livro fechado. Os exemplos com fato novo foram aprendidos bem mais devagar que os compatíveis com o que o modelo já sabia. E, conforme finalmente entravam, a tendência do modelo a alucinar crescia de forma linear¹.

Leia de novo o formato dessa falha, porque ela é traiçoeira. Você treina, o fato custa a entrar. Você treina mais, ele entra. E o modelo passa a inventar com mais confiança em perguntas que não têm nada a ver com o seu domínio. O ganho no seu conjunto de teste esconde uma regressão em tudo o mais, e você só descobre se tiver medido fora do domínio — o que quase ninguém faz.

A comparação direta com recuperação já tinha sido feita no ano anterior. Um estudo de 2023 mediu fine-tuning não supervisionado contra RAG em tarefas de conhecimento intensivo e encontrou vantagem consistente da recuperação, tanto para o que o modelo já tinha visto no pré-treino quanto para conhecimento inteiramente novo². Vale ler o escopo: o ajuste testado ali era continuar o treino sobre os documentos crus, que é exatamente o que a maioria tenta na primeira vez.

Existe um caso limítrofe que confunde: vocabulário de domínio. Nomes de produto, siglas internas, jargão de setor. Isso fica entre as duas colunas. O modelo aprende a usar o termo, o que é comportamento, mas não aprende o que o termo significa hoje, que é conhecimento. Na prática, o vocabulário costuma caber no system prompt em menos de duzentos tokens.

Quantos exemplos, de verdade

A resposta depende do que você está tentando ensinar, e as duas pontas da faixa estão medidas.

Para comportamento, o piso é surpreendentemente baixo. O LIMA ajustou um modelo de 65B com mil prompts e respostas escolhidos a mão, sem aprendizado por reforço, e o resultado seguia formato e tarefa bem o bastante para competir com assistentes comerciais na avaliação humana dos autores³. Mil exemplos não ensinam medicina a ninguém. Ensinam a responder como o autor daqueles mil exemplos responderia.

Para tarefa difícil, o piso é bem mais alto. Um trabalho de 2024 comparou LoRA e ajuste completo em programação e matemática, com cerca de 100 mil pares de instrução, e ainda assim viu o LoRA ficar substancialmente abaixo do ajuste completo nas configurações de posto baixo usuais⁴. Quando o que você quer é capacidade nova, e não estilo, a escala do conjunto muda de ordem.

Um estudo de escala do mesmo ano ajuda a calibrar a expectativa antes de montar o conjunto. Testando modelos de 1B a 16B em tradução e sumarização, os autores encontraram que o ganho de fine-tuning escala com o tamanho do modelo base mais do que com o tamanho do pré-treino, que aumentar os parâmetros do método eficiente em geral não ajuda, e que o método ótimo depende fortemente da tarefa e da quantidade de dados⁵. A implicação prática é chata e útil: não existe receita transferível. O que funcionou no caso de alguém não prevê o seu.

A regra que sobrevive: quinhentos exemplos revisados um a um valem mais que cinquenta mil raspados. Ampliar depois é fácil. Descartar um conjunto grande e ruim é caro, e ninguém descarta.

As alternativas, na ordem em que resolvem

Prompt melhor. Instrução explícita sobre formato, papel e critério. É o único degrau que você conserta em trinta segundos depois de descobrir que estava errado.

Exemplos dentro do prompt. Uma comparação controlada de 2023 igualou o que normalmente fica desigual nessas discussões — mesmo modelo, mesmo número de exemplos, tamanhos de 125M a 30B — e mediu a generalização das duas abordagens para conjuntos de teste difíceis. As duas generalizaram de forma parecida, com variação grande dependendo do tamanho do modelo e do número de exemplos⁶. O resultado desmonta a versão forte dos dois lados da discussão: nem o ajuste com poucos exemplos é frágil por natureza, nem o aprendizado em contexto é robusto por natureza.

Recuperação. Buscar o documento certo e colocá-lo no contexto. É o degrau de tudo que é conhecimento e o único em que atualizar significa editar um arquivo.

Trocar de modelo base. Costuma ser esquecido e às vezes é o mais barato. O modelo que falhava no seu caso em janeiro pode ter um sucessor em julho que acerta sem exemplo nenhum, e prompt e índice viajam entre modelos quase de graça.

Onde a decisão erra

Confundir “não gostei” com “não sabe fazer”. Se a saída está tecnicamente correta e você quer outro estilo, isso é prompt. Fine-tuning entra quando o estilo é difícil de descrever em palavras e fácil de mostrar em exemplo.

Treinar sobre saída de outro modelo sem revisar. O conjunto herda os erros e o ajuste os aprende com a mesma eficiência com que aprenderia o padrão certo. O resultado é um modelo consistente em estar errado.

Medir só dentro do domínio. O mesmo trabalho de 2024 sobre LoRA encontrou o outro lado da moeda: o adaptador aprende menos, mas também esquece menos que o ajuste completo fora do domínio alvo⁴. Isso só é visível se o seu conjunto de avaliação incluir tarefas que não são a sua. Sem isso, você não tem como saber qual dos dois efeitos pegou você.

Tratar a decisão como definitiva. Um ajuste que se paga hoje pode deixar de se pagar quando o preço por token cair ou quando sair um modelo base melhor. A pergunta seis existe justamente porque a resposta certa hoje tem prazo de validade.

Deixar o conjunto de treino descrever o passado. Um caso concreto e comum: uma equipe de suporte exporta 20 mil tickets resolvidos e usa a resposta do atendente como saída ideal. O conjunto fica grande, barato e cheio de coisa que ninguém quer mais — a política antiga, o tom de dois anos atrás, a resposta que o cliente reclamou depois. O ajuste aprende exatamente isso, com fidelidade, e o sintoma aparece como um modelo que responde bem e responde errado. Conjunto histórico é matéria-prima para revisão, não conjunto de treino.

Quanto custa de verdade

Números de ordem de grandeza, não cotação.

Dados é onde o dinheiro vai. Alguns milhares de exemplos revisados por alguém que sabe qual é a saída certa consomem semanas de uma pessoa que normalmente é cara e não tem esse tempo sobrando. Orçar o treino sem orçar isso é o erro de estimativa mais comum do assunto.

Avaliação é escrita antes e refeita a cada rodada. De 30 a 100 casos reais com a saída aceitável, mais um conjunto fora do domínio para pegar regressão. Custa dias e não é opcional.

Treino é a menor linha. Nos tamanhos que a maioria usa, entre 7B e 14B, uma rodada com adaptadores leva algumas horas de GPU. Em julho de 2026, alugando por hora, isso fica na casa das dezenas de dólares. Cada tentativa errada custa o mesmo de novo, o que ainda deixa a linha pequena.

Manutenção é versionar, servir e reavaliar. Um prompt não tem nada disso.

Migração é a linha que ninguém coloca na planilha. Quando sair um modelo base melhor, o ajuste não viaja: você refaz a rodada, e a avaliação junto. O detalhe por linha está em quanto custa um fine-tuning.

Compare sempre com o que você deixaria de gastar. Se o ajuste corta 2.000 tokens de todo prompt e você faz um milhão de chamadas por mês, a conta fecha rápido. Se você faz mil chamadas por mês, ela não fecha nunca — e nesse caso o cálculo correto não é “quanto economizo”, é “quanto custa não fazer”.

O teste de duas semanas

Antes de aprovar o projeto, rode isto. Custa duas semanas e responde a pergunta.

1. Escreva o conjunto de avaliação. De 30 a 100 casos reais com a saída que você aceitaria, decididos antes de qualquer treino.
2. Rode o baseline. O melhor prompt que você conseguir escrever, e depois o mesmo prompt com três exemplos dentro.
3. Monte o contexto ideal à mão para dez casos difíceis: cole o documento certo, a política certa, o exemplo certo. Se o modelo acerta assim, o problema é recuperação e você terminou.
4. Classifique as falhas que sobraram. Errou o conteúdo, errou o formato, ou errou o julgamento. As três têm remédios diferentes.
5. Monte 200 exemplos do comportamento que falhou e treine um adaptador. Uma rodada barata responde se o sinal existe.
6. Meça duas vezes, dentro e fora do domínio. Se o ganho dentro veio com perda fora, você trocou um problema por outro.

O passo 3 é o que dispensa a maioria dos projetos, e é o mais pulado. Ele separa “o modelo não sabe fazer” de “o modelo não recebeu o que precisava”, e essas duas frases levam a orçamentos que diferem em uma ordem de grandeza.

Footnotes

1. Gekhman et al. (2024) variaram a fração de exemplos com fato desconhecido num experimento controlado de perguntas e respostas de livro fechado, e mediram aumento linear da alucinação conforme esses exemplos eram aprendidos. ↩

2. Ovadia et al. (2023) compararam fine-tuning não supervisionado e RAG em tarefas de conhecimento intensivo, com vantagem consistente da recuperação tanto para conhecimento visto quanto para conhecimento novo. ↩

3. Zhou et al. (2023) ajustaram um modelo de 65B com mil exemplos curados e sem aprendizado por reforço, e usam o resultado para argumentar que quase todo o conhecimento vem do pré-treino. ↩

4. Biderman et al. (2024) compararam LoRA e ajuste completo em programação e matemática: o adaptador fica abaixo no domínio alvo nas configurações de posto usuais, e preserva melhor o desempenho fora dele. ↩ ↩²

5. Zhang et al. (2024) testaram fatores de escala em modelos de 1B a 16B e acharam que o ganho depende mais do tamanho do modelo base que do pré-treino, e que o método ótimo varia com a tarefa e o volume de dados. ↩

6. Mosbach et al. (2023) compararam ajuste com poucos exemplos e aprendizado em contexto controlando modelo, número de exemplos e escala de 125M a 30B, e encontraram generalização parecida entre os dois, com variação grande. ↩