Tokenisierung bezeichnet die Zerlegung eines Textes in kleinere, eindeutig adressierbare Einheiten, sogenannte Tokens, als ersten Verarbeitungsschritt von Sprachmodellen und anderen Systemen der Textanalyse.
Ein Computer kann mit zusammenhängendem Fließtext zunächst nichts anfangen – er benötigt eine feste Liste einzelner Bausteine, die er verarbeiten kann. Die Tokenisierung übernimmt diese Vorarbeit: Sie zerschneidet den Eingabetext in einzelne Tokens, etwa ganze Wörter, Wortbestandteile oder einzelne Zeichen, und bildet daraus eine geordnete Folge, mit der ein Modell anschließend rechnen kann.
Moderne Sprachmodelle nutzen meist keine reinen Wort-Tokens, sondern sogenannte Subword-Verfahren wie Byte-Pair Encoding, die Text in Teilwörter zerlegen. Dieser Ansatz löst einen grundlegenden Zielkonflikt: Zu große Tokens – etwa ganze Wörter – würden bei vielen Sprachen eine riesige Anzahl unterschiedlicher Tokens erfordern, während zu kleine Tokens – etwa einzelne Buchstaben – zwar wenige, aber inhaltlich kaum aussagekräftige Einheiten liefern. Nach der Zerlegung ordnet der sogenannte Tokenizer jedem Token eine Zahl aus einem festen Vokabular zu; diese Zahlenfolge ist die eigentliche Eingabe für das nachfolgende Modell, das die Tokens im nächsten Schritt in Vektoren überführt.
Der Satz „Digitalisierung verändert die Arbeit“ wird von einem modernen Tokenizer nicht zwangsläufig in vier ganze Wörter zerlegt, sondern möglicherweise in mehrere Teilwort-Tokens, etwa für „Digital“, „isierung“ und die übrigen Wörter. Erst diese Zahlenfolge aus Tokens verarbeitet das Sprachmodell weiter.
Tokenisierung wird bei jedem Einsatz von Sprachmodellen und in vielen klassischen Verfahren der Sprachverarbeitung benötigt: bei der automatischen Übersetzung, bei Chatbots, bei der Textsuche sowie als Grundlage, um aus Text spätere Repräsentationen wie Embeddings zu erzeugen.
Die Wahl des Tokenisierungsverfahrens beeinflusst unmittelbar, wie ein Sprachmodell mit seltenen Wörtern, Fachbegriffen oder nicht-lateinischen Schriftsystemen umgeht; ein schlecht passendes Tokenisierungsverfahren kann die Qualität der Ergebnisse spürbar verschlechtern. Häufig wird außerdem übersehen, dass die Anzahl der Tokens eines Textes nicht der Anzahl seiner Wörter entspricht – ein Wort kann je nach Sprache und Verfahren aus mehreren Tokens bestehen, was unter anderem die Abrechnung und die Verarbeitungsgrenzen von Sprachmodellen beeinflusst.
Nicht zu verwechseln mit Embedding: Embeddings überführen bereits tokenisierte Einheiten in mathematische Vektoren, die Tokenisierung selbst erzeugt lediglich die diskreten Textbausteine, auf denen dieser nächste Schritt aufbaut. Ebenfalls abzugrenzen ist Trainingsdaten: Trainingsdaten sind der Textbestand, mit dem ein Modell trainiert wird, Tokenisierung ist das technische Verfahren, mit dem dieser Text für die Verarbeitung vorbereitet wird.