Token sind die kleinen Textbausteine, in die ein KI-Sprachmodell jede Eingabe und jede Antwort zerlegt. Ein Token kann ein ganzes Wort, eine Silbe, ein einzelnes Zeichen oder ein Satzzeichen sein.
Einfach erklärt
Ein Sprachmodell liest keine Wörter, wie wir es tun. Bevor es einen Text verarbeitet, schneidet es ihn in handliche Stücke – ähnlich wie man ein langes Wort beim Silbentrennen zerlegt. Diese Stücke heißen Token. Häufige kurze Wörter wie „und“ oder „the“ sind meist ein einziges Token, seltene oder lange Wörter werden in mehrere Teile gespalten.
Als grobe Faustregel gilt im Englischen: Ein Token entspricht etwa vier Zeichen oder drei Vierteln eines Wortes. 1.000 Tokens sind also ungefähr 750 englische Wörter. Deutscher Text braucht in der Regel mehr Tokens pro Wort, weil lange Zusammensetzungen wie „Datenschutzgrundverordnung“ in viele Teile zerfallen.
Für Nutzerinnen und Nutzer sind Tokens vor allem deshalb wichtig, weil fast alles daran gemessen wird: was eine Anfrage kostet, wie viel Text ein Modell auf einmal überblicken kann und wie schnell es antwortet.
Wie funktioniert es?
Das Zerlegen übernimmt ein eigenes Programm, der Tokenizer. Er arbeitet mit einem festen Vokabular aus oft 100.000 bis 200.000 Bausteinen, das vor dem Training aus großen Textmengen gelernt wurde. Verbreitet ist das Verfahren Byte Pair Encoding: Es startet mit einzelnen Zeichen und fasst Zeichenfolgen, die besonders häufig gemeinsam vorkommen, schrittweise zu größeren Bausteinen zusammen. Jedes Token erhält eine Nummer – das Modell rechnet ausschließlich mit diesen Zahlen.
Weil das Vokabular überwiegend aus englischen Texten entsteht, sind viele Tokenizer für Englisch am effizientesten. Anbieter, die gezielt andere Sprachen bedienen wollen, entwickeln deshalb eigene Tokenizer. Aleph Alpha etwa hat für sein Modell Kolibri einen Tokenizer gebaut, der deutsche Komposita sparsamer zerlegt.
Beim Antworten erzeugt ein Large Language Model Token für Token: Es berechnet, welches Token am wahrscheinlichsten als nächstes folgt, hängt es an und wiederholt den Vorgang. Die Ausgabegeschwindigkeit wird deshalb in Tokens pro Sekunde angegeben. Wie viele Tokens ein Modell gleichzeitig berücksichtigen kann – Ihre Frage, angehängte Dokumente und den bisherigen Gesprächsverlauf –, bestimmt sein Kontextfenster. Aktuelle Spitzenmodelle schaffen hier bis zu einer Million Tokens.
Auch die Abrechnung folgt den Tokens. Über eine API zahlen Entwickler einen Preis je Million Eingabe- und je Million Ausgabe-Tokens, wobei Ausgabe-Tokens meist deutlich teurer sind. Bei einem Reasoning-Modell kommen die internen Denkschritte hinzu: Sie werden ebenfalls als Ausgabe-Tokens berechnet, auch wenn sie in der sichtbaren Antwort nicht auftauchen.
Beispiele und Anwendungen
- Preisvergleich zwischen Modellen: Anbieter nennen ihre Preise in US-Dollar je Million Tokens. Googles Gemini 4 Argon kostete zum Start 2 Dollar je Million Eingabe- und 10 Dollar je Million Ausgabe-Tokens.
- Lange Dokumente: Ob ein Vertrag, ein Buch oder eine ganze Codebasis in einem Durchgang analysiert werden kann, hängt davon ab, ob die Tokenzahl ins Kontextfenster passt.
- Antworttempo: Schnellere Modi werben mit mehr ausgegebenen Tokens pro Sekunde. Für Chat-Anwendungen entscheidet das, wie flüssig sich eine Antwort aufbaut.
- Nutzungslimits in Abos: Auch wenn ein Abo pauschal bezahlt wird, rechnen viele Anbieter intern in Tokens ab. Lange Gespräche und große Dateien verbrauchen das Kontingent deshalb schneller.
- Mehrsprachige Anwendungen: Derselbe Inhalt kann auf Deutsch spürbar mehr Tokens kosten als auf Englisch – relevant für Budgets und für die Frage, wie viel Text ins Kontextfenster passt.