LLM (Large Language Model)

LLM staat voor Large Language Model, letterlijk een groot taalmodel. Het is het type AI waar ChatGPT, Claude en Gemini allemaal op draaien. Een LLM heeft in zijn training miljarden zinnen gelezen van boeken, artikelen, websites en gesprekken, en heeft daaruit geleerd hoe taal werkt.

De makkelijkste manier om een LLM te begrijpen is als een superslimme autocomplete. Net zoals je telefoon voorstelt welk woord er na "goedemorgen" komt, voorspelt een LLM steeds het volgende stukje tekst, maar dan op een niveau waarop het hele gesprekken, essays of stukken code kan produceren.

Hoe een LLM wordt gemaakt

Het proces heeft twee hoofdfasen:

1. Pretraining. Het model leest gigabytes aan tekst en leert het volgende woord voorspellen. Na genoeg training heeft het patronen geleerd van grammatica tot feitelijke kennis. Dit is de dure stap: het kost miljoenen euros aan GPU-tijd.
2. Fine-tuning met menselijke feedback (RLHF). Mensen beoordelen honderden tot duizenden antwoorden op "goed" of "niet goed". Het model leert welke antwoorden mensen prettig en nuttig vinden. Dit is wat een rauw taalmodel verandert in een bruikbare assistent.

Hoe groot zijn ze?

Modellen worden gemeten in parameters: de knoppen die bepalen hoe het model reageert. Om een gevoel te geven van de schaal:

• GPT-2 (2019): 1,5 miljard parameters — toen al "te gevaarlijk om vrij te geven", vonden de makers
• GPT-3 (2020): 175 miljard parameters — de eerste echt bruikbare LLM
• PaLM (Google, 2022): 540 miljard parameters, trainingskosten circa 8 miljoen dollar
• GPT-4 en latere frontier-modellen: OpenAI publiceert het getal niet meer, maar de schattingen lopen tot meer dan een biljoen parameters

Meer parameters betekent doorgaans meer mogelijkheden, tot op een bepaald punt. Tegenwoordig wordt even veel aandacht besteed aan hoe het model redeneert (zie thinking mode) als aan pure grootte.

Waar LLMs goed en slecht in zijn

Sterk: tekst samenvatten, vertalen, herschrijven, brainstormen, code genereren, uitleg geven. Alles waar taalvaardigheid het hoofdingredient is.

Zwak: feiten exact onthouden (ze hallucineren), optellen en aftrekken zonder hulpmiddel, actuele informatie (hun kennis stopt bij een bepaalde datum), en redeneren dat echte wereldervaring vereist.

Mensen doen het nog steeds beter op sommige taken: fact-checking bijvoorbeeld. GPT-4 haalde 71% accuratesse op fact-checking-taken; menselijke fact-checkers scoren hoger.

Korte geschiedenis

De moderne LLM-revolutie begon in 2017 met een paper van Google: Attention Is All You Need. Dat introduceerde de transformer-architectuur, die efficienter kon leren uit grote hoeveelheden tekst dan wat daarvoor gangbaar was. In 2018 kwam BERT, in 2019 GPT-2, in 2020 GPT-3, en in november 2022 maakte ChatGPT LLMs plotseling iets voor iedereen. Sindsdien komt er elke paar maanden een nieuw frontier-model uit.