Ein Token ist die Einheit, in die Text für ein Sprachmodell zerlegt wird. Für Leserinnen und Leser des AI-Breakdown ist der Begriff wichtig, weil große Kontextfenster wie 128.000, 200.000, 1 Million oder 2 Millionen Tokens zeigen, wie viel Eingabe und Ausgabe ein Modell in einem Durchlauf verarbeiten kann; zugleich sind Tokens eine Grundlage für Kosten- und Produktivitätsvergleiche.

Kurzdefinition

Ein Token ist eine technische Verarbeitungseinheit für Text. Je nach Modell kann ein Token ungefähr einem Wortteil, einem ganzen Wort oder einem Satzzeichen entsprechen; die Umwandlung von Text in solche Einheiten heißt Tokenisierung.

Im KI-Kontext wird der Begriff vor allem dort relevant, wo es um die Größe von Kontextfenstern, um die Ein- und Ausgabe von Modellen und um die praktische Nutzbarkeit langer Dokumente geht.

Warum Tokens für KI-Modelle wichtig sind

Sprachmodelle verarbeiten Text nicht einfach als ganze Dokumente, sondern innerhalb einer begrenzten Token-Menge. Diese Menge bestimmt, wie viel Text in eine Anfrage, einen Chatverlauf oder eine Ausgabe passt.

Relevant sind zum Beispiel GPT-4 Turbo mit 128.000 Tokens und beschreibt diese Größe als stark vergrößerte Ein- und Ausgabegröße. In einer späteren Ausgabe wird dasselbe Kontextfenster als fast 100.000 Wörter eingeordnet.

Damit werden Tokens zur alltagsnahen Vergleichsgröße: Wer wissen will, ob ein Modell lange Verträge, Codebasen, Transkripte oder Dossiers verarbeiten kann, schaut häufig zuerst auf das Token-Limit beziehungsweise das Kontextfenster.

Token und Kontextfenster

Das Kontextfenster beschreibt, wie viele Tokens ein Modell in einem Durchlauf berücksichtigen kann. Der Token-Begriff taucht im Newsletter deshalb besonders häufig bei Modellankündigungen mit großen Kontextfenstern auf.

Beispiele aus dem AI-Breakdown sind Claude 3 mit 200.000 Tokens, Gemini 1.5 mit bis zu 2 Millionen Tokens, InternLM 2.5 als Open-Source-LLM mit 1 Million Token und Codestral Mamba mit 265.000 Tokens für Ein- und Ausgabe.

Diese Beispiele zeigen die Entwicklung: 2023 waren 128.000 Tokens eine auffällige Größenordnung, 2024 wurden Millionen-Token-Fenster zu einem wiederkehrenden Thema. Das bedeutet aber nicht automatisch, dass jedes Problem gelöst ist; die bestehende Wiki-Seite weist darauf hin, dass lange Kontextfenster kein Ersatz für Gedächtnis, Retrieval oder Verlässlichkeit sind.

Abgrenzung: Token, Parameter und Retrieval

Ein Token ist nicht dasselbe wie ein Parameter. Tokens sind die Einheiten der Eingabe und Ausgabe, während Parameter zu den gelernten Gewichten eines Modells gehören. Der Newsletter unterscheidet diese Größen indirekt, etwa wenn Grok-1 mit 314 Milliarden Parametern beschrieben wird und zugleich erwähnt wird, dass bei einer Token-Anfrage bestimmte Expertenmodelle antworten.

Ein großes Token-Limit ist außerdem nicht dasselbe wie Retrieval. Retrieval Augmented Generation bedeutet, dass relevante Informationen aus externen Quellen gesucht und in die Anfrage eingebracht werden; ein großes Kontextfenster kann viel Text aufnehmen, ersetzt aber nicht automatisch eine gute Suche, Auswahl und Prüfung der Quellen.

Praktisch heißt das: Tokens beantworten die Frage, wie viel Text ein Modell verarbeiten kann; Retrieval beantwortet eher die Frage, welcher Text überhaupt in den Modellkontext gelangen soll.

Praktische Bedeutung im KI-Kontext

Für Leserinnen und Leser ist der Begriff nützlich, um Modellankündigungen einzuordnen: 128.000, 200.000, 1 Million oder 2 Millionen Tokens sind keine abstrakten Marketingzahlen, sondern Hinweise darauf, wie umfangreich Eingaben, Ausgaben und Dokumente in einem Arbeitsgang sein können.

Die bestehende Wiki-Seite ordnet Tokens außerdem als Kosten- und Produktivitätsfaktor ein. Tokenpreise sind dabei nur ein Teil der Betriebskosten; Latenz, Tool-Aufrufe und Nachbearbeitung können ebenfalls relevant sein.

Als Faustregel für die Einordnung im KI-Kontext gilt: Je größer das Token-Fenster, desto mehr Material kann ein Modell grundsätzlich berücksichtigen; ob es daraus zuverlässig die richtige Information findet, ist eine eigene Qualitätsfrage.

Weitere Seiten

Quellen und Belege

AI-Breakdown-Ausgaben

Externe Quellen