O que é fine-tuning?

A resposta curta

Fine-tuning é pegar um modelo que já funciona e continuar treinando com os seus exemplos, para ele ajustar o comportamento na direção do padrão que você mostrou. Você não está adicionando fatos. Está mudando como ele responde.

Essa distinção decide quase toda pergunta sobre fine-tuning. Se a sua reclamação é que o modelo não sabe alguma coisa, fine-tuning é a ferramenta errada. Se é que ele sabe mas responde no formato errado, você está no lugar certo.

O que ele muda de verdade

Um modelo tem pesos, que codificam tanto o que ele absorveu no treino quanto como ele tende a responder. Fine-tuning empurra esses pesos usando exemplos de entrada e saída desejada, em geral de algumas centenas a alguns milhares de pares.

O que move de forma confiável: formato, tom, estrutura, aderência a um padrão da casa, consistência numa tarefa estreita e repetitiva, e a capacidade de parar de produzir o preâmbulo que ninguém pediu. O que não move de forma confiável: conhecimento de fatos que você mostrou meia dúzia de vezes. O modelo absorve a forma dos seus exemplos muito antes de absorver o conteúdo deles.

Fine-tuning, RAG, ou só um prompt melhor

São três problemas diferentes, e os times costumam pegar o mais caro primeiro.

Prompt muda comportamento sem treino, na hora, e é reversível. RAG dá ao modelo informação que ele não tinha, no momento da pergunta, e continua atualizado conforme seu dado muda. Fine-tuning muda comportamento padrão de forma permanente e envelhece assim que seu requisito muda.

A regra prática: esgote o prompt, depois vá para recuperação, e só então considere fine-tuning. Escrevemos sobre o lado da recuperação em o que é RAG, e a distinção importa porque um problema de conhecimento disfarçado de problema de comportamento queima um trimestre.

Quando é a escolha certa

Quatro situações tornam isso genuinamente válido. Uma tarefa estreita e de alto volume, onde a mesma forma se repete milhares de vezes por dia e cada token de prompt vira custo real. Um formato da casa do qual o prompt insiste em desviar. Um vocabulário ou esquema de classificação especializado que o modelo base fica aproximando.

E pressão de latência ou custo, onde um modelo menor com fine-tuning empata com um maior e genérico na sua tarefa específica por uma fração do preço por requisição. Esse último é o caso de negócio mais defensável, e o menos comentado.

Quando é a escolha cara e errada

Quando você quer que o modelo conheça seus produtos, seus preços, suas políticas, ou qualquer coisa que muda. Grave isso nos pesos e você construiu um sistema que fica confiantemente errado no dia seguinte a um reajuste.

Quando você tem cinquenta exemplos. Isso é um prompt, não um dataset. Quando ninguém consegue articular como é a saída desejada, caso em que você tem um problema de especificação e o fine-tuning vai aprender fielmente a sua confusão. E quando o modelo base não teve chance justa com um prompt sério, que é a maior parte das vezes.

Como o dado precisa ser

Pares de entrada e saída que representem o trabalho como ele chega de verdade, não como você gostaria que chegasse. Consistência importa mais que volume: dois mil exemplos com formato oscilante ensinam o modelo a oscilar.

Inclua os casos difíceis e aqueles em que a saída correta é recusar ou escalar. Um dataset feito só de sucessos limpos produz um modelo que nunca diz que não sabe, que é o modo de falha mais caro em produção.

Assuma que preparar o dado é o projeto. Os times orçam a rodada de treino, que é barata e rápida, e se surpreendem com as semanas de rotulagem que vêm antes.

Quanto custa, e quanto custa manter

A rodada de treino costuma ser a menor linha. Os custos reais são preparar o dataset, avaliar se o resultado ficou de fato melhor, e o fato de que agora você é dono de um artefato de modelo que precisa ser versionado, reimplantado e reavaliado toda vez que o modelo base atualiza ou o requisito muda.

Servir pode sair mais barato por requisição, o que muitas vezes é o objetivo inteiro. Mas você trocou custo variável por obrigação fixa de manutenção, e essa troca só paga em volume.

Como saber se funcionou

Antes de ajustar qualquer coisa, monte o conjunto de avaliação. Senão você vai comparar o modelo novo com o antigo lendo uma dúzia de saídas e preferindo aquele em que gastou dinheiro. Cobrimos como montar isso em evals de LLM.

Separe casos que o modelo nunca viu. Compare contra o modelo base com o seu melhor prompt, não contra o modelo base com um prompt preguiçoso, porque é assim que fine-tuning recebe crédito que não mereceu.

E cheque regressão fora da tarefa alvo. Modelo muito ajustado num formato costuma piorar em tudo que é adjacente, e isso aparece depois como uma queda misteriosa num fluxo que ninguém estava testando.

A ordem de tentar as coisas

Escreva um prompt sério, com exemplos dentro. Meça. Adicione recuperação se a lacuna for de conhecimento. Meça de novo. Só então considere fine-tuning, e só se você conseguir nomear o comportamento específico que continua errado e mostrar isso num conjunto de referência.

A maioria dos times que nos procura sobre fine-tuning tem um problema de recuperação ou um sistema sem medição. Os dois são mais baratos de resolver e precisam ser resolvidos de qualquer jeito, e é por isso que trabalhamos nessa ordem quando construímos IA em produção, ponta a ponta.