Fine-tuning

Fine-tuning is het extra trainen van een bestaand AI-model op jouw specifieke data. Het basismodel is al getraind op miljarden teksten, maar weet niets over jouw bedrijf, jouw tone-of-voice of jouw vakgebied. Met fine-tuning corrigeer je dat.

Het verschil met een gewone prompt: een prompt instrueert het model per vraag, fine-tuning verandert het model zelf. Na fine-tuning antwoordt het altijd in jouw stijl, ook zonder dat je het er elke keer aan herinnert.

Wanneer heeft het zin?

Fine-tuning is niet meestal de eerste oplossing. Tegenwoordig halen goede prompts en RAG de meeste specifieke use-cases al. Fine-tuning wordt interessant als:

• Je een heel specifieke output-stijl nodig hebt die moeilijk in een prompt past (medische rapporten in een exact format, juridische taal, ouderwetse vertalingen).
• Je te veel voorbeelden nodig hebt om in elke prompt te stoppen (40+ voorbeelden worden onbetaalbaar).
• Je goedkoper wilt werken: een kleiner gefintuned model kan dezelfde taak doen als een grotere prompt op een duurder model.
• Je gevoelige data niet in elke prompt wilt meesturen, maar de kennis wel in het model wilt hebben.

Welke technieken bestaan er?

Er zijn drie hoofdvarianten, van duur naar goedkoop:

1. Full fine-tuning. Alle gewichten van het model worden aangepast. Duur en zwaar, alleen echt nodig als je radicaal gedrag wilt veranderen. Meestal overkill.
2. LoRA (Low-Rank Adaptation). In plaats van alle parameters, train je kleine "adapter"-lagen die bovenop het basismodel komen. Werkt verrassend goed voor de meeste use-cases en is 10 tot 100 keer goedkoper.
3. QLoRA. Nog een stap verder: gequantiseerde LoRA. Het basismodel wordt gecomprimeerd naar 4-bit precisie, waardoor fine-tuning op een enkele consumenten-GPU kan. Democratiseert het hele vakgebied.
4. DPO (Direct Preference Optimization). Relatief nieuw, gebruikt paren van "goed" en "slecht" antwoord. Simpeler dan klassieke RLHF en haalt vaak vergelijkbare kwaliteit.

Hoeveel data heb je nodig?

Minder dan veel mensen denken. Voor een duidelijke stijl-aanpassing werken soms al 50 tot 200 voorbeelden. Voor domein-kennis wil je eerder 500 tot 5.000 voorbeelden. Boven de 10.000 voorbeelden begint het punt van afnemend rendement.

De kwaliteit van de voorbeelden telt vele malen zwaarder dan de hoeveelheid. 100 perfect geformatteerde voorbeelden geven een beter resultaat dan 10.000 rommelige.

De grote valkuilen

• Overfitting. Het model leert de voorbeelden uit je hoofd, in plaats van het patroon erachter. Je merkt het als het model goed werkt op je oefeningen maar slecht op nieuwe gevallen.
• Catastrofisch vergeten. Het model verliest vaardigheden die hij eerder had. Je kunt bijvoorbeeld per ongeluk het reagentieel vermogen kapot-finetunen.
• Verouderen. Je gefintunede model is een momentopname. Als OpenAI of Anthropic een nieuwer basismodel uitbrengt, zit jouw fine-tuning vast op het oude.

Het alternatief: in-context leren

In 2024 en 2025 is de houding verschoven. In plaats van fine-tunen, stop je voorbeelden direct in het context window (few-shot prompting) of gebruik je RAG om relevante info op te halen. Sneller, flexibeler, en met de grote context windows van moderne modellen vaak even goed. Fine-tuning blijft nuttig, maar is niet meer de eerste stap voor de meeste projecten.