Wat kost AI eigenlijk?

De vraag is niet hoeveel één token kost

De meeste AI-modellen rekenen op basis van tokens. Een token is een klein stukje tekst. Een woord kan uit één token bestaan, maar ook uit meerdere. Alles wat je naar een model stuurt kost tokens en hetzelfde geldt voor het antwoord dat je terugkrijgt.

Daardoor betaal je niet simpelweg per vraag. Een korte classificatie van een e-mail kost veel minder rekenkracht dan het analyseren van een compleet rapport en het genereren van een uitgebreide analyse.

De prijzen per miljoen tokens van modellen als GPT en Claude zijn eenvoudig op te zoeken. Toch zegt dat verrassend weinig over wat jouw AI-toepassing uiteindelijk gaat kosten.

De architectuur eromheen is minstens zo belangrijk.

Stuur je bij iedere vraag een compleet document van honderd pagina's mee? Dan verwerk je steeds opnieuw enorme hoeveelheden informatie. Gebruik je RAG om alleen de relevante passages op te halen, dan hoeft het model misschien maar een fractie daarvan te verwerken.

Hetzelfde geldt voor de keuze van het model. Het krachtigste model gebruiken voor iedere taak klinkt logisch, maar is vaak onnodig. Voor het classificeren van een bericht of extraheren van een paar velden kan een kleiner model prima voldoende zijn.

Pas wanneer een taak complexer wordt, kan een groter model nodig zijn.

Op schaal verandert de rekensom

Bij een proof of concept vallen tokenkosten nauwelijks op. Tien, honderd of zelfs duizend aanvragen kosten bij veel toepassingen relatief weinig.

Maar een toepassing die onderdeel wordt van een dagelijks bedrijfsproces werkt anders.

Als honderden documenten, e-mails of transacties iedere dag door AI worden verwerkt, worden kleine technische keuzes duizenden keren herhaald. Een prompt die onnodig veel context bevat of een model dat veel zwaarder is dan nodig, heeft dan direct invloed op de structurele kosten.

Optimaliseren betekent daarom niet alleen een goedkopere AI-provider zoeken. Het betekent vooral zorgen dat je niet meer AI gebruikt dan het proces nodig heeft.

Tokens zijn maar een deel van de kosten

Tegelijkertijd wordt er soms te veel naar tokenprijzen gekeken.

Een model dat een paar euro goedkoper is, maakt weinig verschil als medewerkers vervolgens alsnog iedere uitkomst handmatig moeten controleren. Andersom kan een relatief dure AI-call uitstekend renderen als daarmee twintig minuten handmatig werk verdwijnt.

Bij private AI verschuift de rekensom nog verder. In plaats van alleen per token te betalen, krijg je te maken met infrastructuur en capaciteit die je zelf beschikbaar houdt.

Daarom kun je de kosten van AI niet los zien van het proces waarin je het gebruikt.

De relevante vraag is uiteindelijk niet:

Wat kost een miljoen tokens?

Maar:

Wat kost het om deze taak betrouwbaar uit te voeren, en wat kost dezelfde taak zonder AI?

Pas dan weet je of AI duur of juist verrassend goedkoop is.