Was Token bedeutet
Ein Token ist die Einheit, die viele Sprachmodelle zum Lesen und Generieren von Text verwenden. Je nach Tokenizer können Token ganze Wörter, Wortteile, Satzzeichen, Leerzeichen oder Zeichenfragmente sein. Modelle wandeln Text in Token um und wandeln Token dann in numerische Darstellungen um.
Warum das wichtig ist
Token sind wichtig, weil sie Kosten, Geschwindigkeit, Speicher und Kontextlänge beeinflussen. Viele KI-APIs berechnen die Nutzung nach Eingabe- und Ausgabe-Tokens. Lange Prompts, lange Dokumente und lange Antworten erfordern mehr Token.
Häufige Anwendungen
- Messen der Prompt- und Antwortlänge.
- Definieren eines Modellkontextfensters.
- Schätzung der API-Kosten.
- Chunking langer Dokumente für RAG.
- Kontrolle der Ausgabelänge in Produktionsabläufen.
Worauf zu achten ist
Zu viele irrelevante Eingabetoken können die Kosten erhöhen und die Antwortqualität verringern. Zu wenige Token können dazu führen, dass der Kontext, den das Modell benötigt, weggelassen wird. Das Token-Management ist Teil des KI-Produktdesigns, insbesondere im großen Maßstab.
Token lässt sich am besten im Kontext verstehen: welche Daten verwendet werden, welche Aufgabe unterstützt wird und wie die Ausgabe geprüft wird.