Wat zijn tokens in AI? Uitleg voor het MKB
Erwin Berkouwer
Een token is de kleinste eenheid tekst (woord, deel van een woord of leesteken) waarin een AI-taalmodel tekst opsplitst om die te kunnen verwerken. Tokens bepalen zowel de kosten van AI-gebruik via API's (afgerekend per input- en outputtoken) als de context window, het maximum aantal tokens dat een model tegelijk kan verwerken.
Tokens zijn de kleine stukjes tekst waarin een AI-model taal opdeelt om te kunnen lezen, redeneren en antwoorden genereren. Ze bepalen zowel de kosten als de limieten van elke AI-toepassing.
Een token is een klein stukje tekst - een woord, een deel van een woord, of een leesteken - waarin een AI-model taal opsplitst voordat het die tekst kan verwerken. Taalmodellen zoals ChatGPT of Claude lezen geen zinnen zoals mensen dat doen; ze zien een reeks tokens, elk met een eigen numerieke code. Tokens zijn daarmee de rekeneenheid achter alles wat een AI-model doet: lezen, redeneren en antwoorden genereren.
Hoe werkt tokenization?
Voordat een taalmodel een prompt kan verwerken, knipt een zogeheten tokenizer de tekst op in stukjes. Dat gebeurt niet per se per woord. Een kort, veelvoorkomend woord als \"de\" is meestal één token, maar een langer of ongebruikelijk woord kan in meerdere tokens uiteenvallen. Het Engelse voorbeeld \"darkness\" wordt bijvoorbeeld gesplitst in \"dark\" en \"ness\" - twee tokens voor één woord.
Ook leestekens, spaties en cijfers tellen vaak als apart token. Een zin met veel interpunctie of afkortingen gebruikt dus relatief meer tokens dan een zin met dezelfde lengte in gewone woorden.
Vuistregel: woorden naar tokens
Er bestaat geen exacte, taalonafhankelijke omrekenfactor, maar voor Engelse tekst wordt vaak deze vuistregel gehanteerd:
- 1 token ≈ 4 karakters
- 1 token ≈ ¾ woord
- 100 tokens ≈ 75 woorden
Voor Nederlandse tekst ligt de verhouding meestal iets ongunstiger, omdat samengestelde woorden en verbuigingen vaker in meerdere tokens uiteenvallen dan in het Engels. Reken voor een grove schatting op zo'n 1,3 tot 1,5 tokens per Nederlands woord.
Tokens zijn niet zomaar een technisch detail. Ze zijn de eenheid waarin je feitelijk betaalt voor AI - en de eenheid die bepaalt hoeveel tekst een model in één keer kan \"onthouden\".
Waarom is dit relevant voor het MKB?
Als ondernemer merk je tokens vooral op twee plekken:
- Kosten. API-toegang tot modellen zoals GPT of Claude wordt vrijwel altijd per token afgerekend, apart voor invoer (je prompt) en uitvoer (het antwoord). Hoe langer je prompts en documenten, hoe hoger de rekening bij grootschalig gebruik.
- Context window. Elk model heeft een maximum aantal tokens dat het tegelijk kan verwerken - de zogeheten context window. Gaat je document, gesprek of set instructies over die grens, dan moet het model oudere informatie \"vergeten\" of afkappen.
Voor de meeste MKB-toepassingen - een chatbot op de website, een interne kennisassistent, geautomatiseerde e-mailverwerking - betekent dit vooral dat je bewust moet nadenken over hoeveel tekst je een model laat verwerken. Bij losse gebruikersvragen via een consumentenapp (zoals de ChatGPT-app) speelt dit nauwelijks; daar betaal je een vast abonnement. Zodra je zelf via een API integreert of grote hoeveelheden documenten laat verwerken, wordt tokenverbruik een concrete kostenpost.
Een concreet voorbeeld
Stel: je bouwt een AI-agent die binnenkomende klantmails samenvat en een conceptantwoord opstelt. Een gemiddelde mail van 150 woorden komt overeen met ongeveer 200 tot 250 tokens. Voeg je daar contextinformatie aan toe - eerdere correspondentie, een klantprofiel, bedrijfsrichtlijnen - dan kan de daadwerkelijke invoer al snel oplopen tot 1.000 tokens per verwerkte mail.
Bij honderden mails per week loopt dat op, maar de kosten per token liggen bij de meeste moderne modellen in de orde van fracties van centen. Voor een klein tot middelgroot bedrijf is tokenverbruik zelden de bottleneck; de kwaliteit van de opzet - welke informatie je meegeeft, hoe je de taak formuleert - bepaalt meestal veel meer over het resultaat dan het aantal tokens.
| Scenario | Ruwe schatting tokens | Waar je op let |
|---|---|---|
| Korte chatvraag | 20-50 tokens | Nauwelijks kostenimpact |
| E-mail samenvatten + antwoord | 500-1.000 tokens | Kosten per verwerking, contextlengte |
| Lang document doorzoeken (RAG) | 5.000+ tokens | Context window, chunkstrategie |
Wanneer moet je je hier wel of niet druk om maken?
Maak je je zorgen te veel? Meestal wel, als je net begint. Voor een eerste AI-agent of proefproject is tokenverbruik zelden de reden dat iets misgaat - onduidelijke prompts, ontbrekende data of een verkeerd gekozen model spelen een veel grotere rol.
Het wordt wél relevant zodra je:
- Structureel grote documenten of hele kennisbanken laat verwerken.
- Een toepassing bouwt die honderden of duizenden keren per dag een model aanroept.
- Merkt dat gesprekken of documenten de context window van een model overschrijden en het antwoord daardoor onnauwkeurig wordt.
In die gevallen loont het om vooraf te laten doorrekenen wat een oplossing structureel gaat kosten, en met welke architectuur (bijvoorbeeld met samenvattingen of gerichte retrieval in plaats van hele documenten) je tokenverbruik beperkt houdt zonder aan kwaliteit in te boeten.
Gerelateerde begrippen
Tokens hangen nauw samen met een aantal andere basisbegrippen:
- Context window - het maximum aantal tokens dat een model tegelijk kan verwerken.
- LLM (large language model) - het onderliggende model dat tokens leest en genereert.
- Prompt engineering - de manier waarop je een taak formuleert, die direct invloed heeft op hoeveel tokens nodig zijn.
- Kosten van AI-gebruik - grotendeels bepaald door tokenverbruik bij API-gebaseerde toepassingen.
Wil je weten hoe dit voor jouw organisatie in de praktijk uitpakt - qua kosten, architectuur en welke toepassingen echt waarde opleveren? Doe de gratis AI-scan of bekijk wat onze AI-consultancy voor je kan betekenen.
Veelgestelde vragen
Korte, heldere antwoorden die je helpen sneller beslissen.
Hoeveel tokens zijn 1.000 woorden?
Voor Engelse tekst reken je op ongeveer 1.300 tokens per 1.000 woorden. Voor Nederlandse tekst ligt dit doorgaans iets hoger, grofweg 1.300 tot 1.500 tokens per 1.000 woorden, vanwege langere samengestelde woorden.
Kost elk gebruik van AI tokens?
Alleen als je rechtstreeks via een API met een model werkt of een toepassing bouwt die dat op de achtergrond doet. Bij een los abonnement op een chat-app zoals ChatGPT of Claude.ai betaal je een vast bedrag, ongeacht je exacte tokenverbruik.
Wat gebeurt er als ik over de context window ga?
Het model moet dan ouder deel van het gesprek of document afkappen of samenvatten. Dat kan betekenen dat eerdere instructies of informatie 'vergeten' worden, met een minder accuraat antwoord tot gevolg.
Zijn tokens hetzelfde als crypto-tokens?
Nee, dit is een ander concept met dezelfde naam. Een AI-token is een stukje tekst dat een model verwerkt; een crypto-token is een vorm van digitaal eigendom of toegangsrecht op een blockchain.
