Token (AI)
Een token is de kleinste eenheid van tekst die een AI-taalmodel verwerkt, zoals een woord, deel van een woord of leesteken.
Wat is een token?
Een token is de basiseenheid waarmee AI-taalmodellen tekst verwerken. Een token kan een volledig woord zijn, maar ook een deel van een woord, een cijfer of een leesteken. Het Nederlandse woord "volgsysteem" wordt bijvoorbeeld opgesplitst in meerdere tokens. Het aantal tokens bepaalt hoeveel tekst een model in één keer kan verwerken (het contextvenster) en heeft direct invloed op de verwerkingssnelheid en de kosten van AI-toepassingen.
Hoe werken tokens?
Wanneer tekst naar een taalmodel wordt gestuurd, wordt deze eerst opgesplitst in tokens via een tokenizer. Elk token krijgt een numerieke waarde waarmee het model de tekst statistisch verwerkt. Zowel de invoer (prompt) als de uitvoer (het antwoord) verbruiken tokens. Een efficiënte prompt levert niet alleen betere antwoorden op, maar verbruikt ook minder tokens. Wabber optimaliseert de tokenverwerking binnen de RAG-pipeline, zodat alleen de meest relevante context wordt meegegeven aan het model.
Voorbeeld
Een logistiek bedrijf gebruikt de AI-chatbot van Wabber om medewerkers snel antwoord te geven op vragen over verzendinstructies en procedures. Wanneer een medewerker vraagt "Hoe verwerk ik een retourzending?", wordt deze vraag omgezet in circa 8 tokens. Het systeem haalt vervolgens de relevante passages uit de vector database op en stuurt deze als context mee, wat in totaal misschien 500 tokens kost. Doordat Wabber de context slim selecteert, worden er geen onnodige tokens verbruikt en krijgt de medewerker binnen seconden een nauwkeurig antwoord.
Waarom zijn tokens belangrijk?
Tokens bepalen de capaciteit, snelheid en kosten van AI-toepassingen. Hoe meer tokens een model tegelijk kan verwerken, hoe uitgebreidere vragen en documenten het aankan. Op het privécluster van Wabber worden tokens lokaal verwerkt zonder dat gegevens naar externe servers worden verstuurd, wat essentieel is voor organisaties die werken met vertrouwelijke informatie. Met 128GB VRAM kan Wabber modellen draaien met grote contextvensters, waardoor meer informatie tegelijk verwerkt wordt voor nauwkeurigere antwoorden.
Gerelateerde oplossingen
Veelgestelde vragen
Hoeveel tokens kan een AI-model tegelijk verwerken?
Het aantal tokens dat een model tegelijk kan verwerken wordt het contextvenster genoemd. Moderne modellen ondersteunen contextvensters van 4.000 tot meer dan 200.000 tokens. Op het cluster van Wabber, met 128GB VRAM, kunnen modellen met grote contextvensters worden gedraaid, waardoor uitgebreide documenten en gespreksgeschiedenissen in één keer verwerkt kunnen worden.
Wat kost het gebruik van tokens bij AI?
Bij commerciële cloudproviders worden tokens per duizend of per miljoen afgerekend, waarbij uitvoertokens duurder zijn dan invoertokens. Op het privécluster van Wabber zijn er geen kosten per token, omdat de verwerking lokaal plaatsvindt op eigen hardware. Dit maakt het gebruik voorspelbaar en kostenefficiënt, vooral bij intensief gebruik.
Wat is het verschil tussen tokens en woorden?
Een woord kan uit één of meerdere tokens bestaan. Korte, veelvoorkomende woorden zijn vaak één token, terwijl langere of zeldzamere woorden in meerdere tokens worden opgesplitst. Als vuistregel geldt dat 1 token ongeveer 0,75 woorden is in het Engels, en iets minder in het Nederlands vanwege langere samengestelde woorden.
Worden mijn gegevens veilig verwerkt bij tokenisatie?
Op het privécluster van Wabber worden alle tokens lokaal verwerkt op eigen hardware in Nederland. Geen enkele data verlaat het cluster, waardoor volledige privacy en datasoevereiniteit gegarandeerd zijn. Dit is een belangrijk verschil met cloudgebaseerde AI-diensten waarbij data naar externe servers wordt verstuurd.
AI-Readiness Scan
Scan in 2 minuten - ontdek waar u staat.
Klaar om uw data voor u te laten werken?
Plan een vrijblijvende kennissessie van 30 minuten. Ontdek hoe private AI en volgsystemen uw operatie meetbaar verbeteren.