Ein Token ist die kleinste Einheit, mit der ein Large Language Model (LLM) Text verarbeitet. Dabei handelt es sich nicht um ganze W\u00f6rter, sondern meist um Wortteile, Zeichenfolgen oder einzelne Satzzeichen. Tokens sind die Grundbausteine, mit denen Modelle Sprache lesen, erzeugen und abrechnen.<\/p>\n\n\n\n
Bevor ein LLM Text verarbeiten kann, wird der Eingabetext durch einen Tokenizer in Tokens zerlegt. Jedes Token bekommt eine numerische ID aus dem Vokabular des Modells. Das Modell arbeitet also nicht mit Buchstaben oder W\u00f6rtern, sondern mit diesen Zahlen.<\/p>\n\n\n\n
\u00dcbliche Tokenizer-Verfahren sind Byte-Pair Encoding (BPE), WordPiece und SentencePiece. Sie balancieren zwischen zwei Extremen: einzelne Zeichen (zu kleinteilig) und ganze W\u00f6rter (zu gro\u00dfes Vokabular). H\u00e4ufige W\u00f6rter wie \u201eund\u201c bilden meist ein einzelnes Token. Seltene oder zusammengesetzte W\u00f6rter werden in mehrere Teile zerlegt.<\/p>\n\n\n\n
Wie viele Tokens ein konkreter Text ergibt, l\u00e4sst sich direkt nachz\u00e4hlen \u2014 etwa mit dem OpenAI Tokenizer oder der Bibliothek Als grobe Sch\u00e4tzung gilt: 1.000 Tokens entsprechen im Englischen etwa 750 W\u00f6rtern. Im Deutschen sind es wegen l\u00e4ngerer Wortzusammensetzungen oft weniger, meist im Bereich von 500 bis 600 W\u00f6rtern. Die genauen Werte h\u00e4ngen vom Text und vom Tokenizer ab.<\/p>\n\n\n\n Tokens sind aus drei Gr\u00fcnden wichtig:<\/p>\n\n\n\n Ein Token ist nicht dasselbe wie ein Wort oder eine Silbe. Die Zerlegung folgt statistischen Mustern aus den Trainingsdaten, nicht linguistischen Regeln.<\/p>\n\n\n\n Verschiedene Modelle verwenden unterschiedliche Tokenizer. Derselbe Text ergibt deshalb je nach Modell eine andere Token-Anzahl. Der Satz \u201eK\u00fcnstliche Intelligenz ver\u00e4ndert die Arbeitswelt.\u201c ergibt zum Beispiel:<\/p>\n\n\n\n Derselbe Satz, dasselbe Anbieter-\u00d6kosystem. Dennoch ein Unterschied von einem Drittel, weil der neuere Tokenizer ein gr\u00f6\u00dferes Vokabular nutzt und deutsche Wortteile gr\u00f6ber zusammenfasst. <\/p>\n\n\n\n F\u00fcr Kosten- und Kontextfenster-Rechnungen ist daher immer der Tokenizer des konkreten Modells ma\u00dfgeblich, nicht eine pauschale Faustregel.<\/p>","protected":false},"excerpt":{"rendered":" Ein Token ist die kleinste Einheit, mit der ein Large Language Model (LLM) Text verarbeitet. Dabei handelt es sich nicht um ganze W\u00f6rter, sondern meist um Wortteile, Zeichenfolgen oder einzelne Satzzeichen. Tokens sind die Grundbausteine, mit denen Modelle Sprache lesen, erzeugen und abrechnen. Funktionsweise Bevor ein LLM Text verarbeiten kann, wird der Eingabetext durch einen […]<\/p>\n","protected":false},"featured_media":0,"template":"","class_list":["post-88843","glossar","type-glossar","status-publish","hentry"],"_links":{"self":[{"href":"https:\/\/webraketen.space\/en\/wp-json\/wp\/v2\/glossar\/88843","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/webraketen.space\/en\/wp-json\/wp\/v2\/glossar"}],"about":[{"href":"https:\/\/webraketen.space\/en\/wp-json\/wp\/v2\/types\/glossar"}],"version-history":[{"count":1,"href":"https:\/\/webraketen.space\/en\/wp-json\/wp\/v2\/glossar\/88843\/revisions"}],"predecessor-version":[{"id":88846,"href":"https:\/\/webraketen.space\/en\/wp-json\/wp\/v2\/glossar\/88843\/revisions\/88846"}],"wp:attachment":[{"href":"https:\/\/webraketen.space\/en\/wp-json\/wp\/v2\/media?parent=88843"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}tiktoken<\/code> f\u00fcr GPT-Modelle.<\/p>\n\n\n\nBeispiele<\/h2>\n\n\n\n
\n
token<\/code> + ization<\/code> zerlegt \u2014 zwei Tokens.<\/li>\n\n\n\nD | ona | ud | amp | fs | ch | if | ff | ahr | ts | kap | it | \u00e4n<\/code>.<\/li>\n\n\n\nBedeutung f\u00fcr die Praxis<\/h2>\n\n\n\n
\n
Abgrenzung<\/h2>\n\n\n\n
\n
cl100k_base<\/code>): 15 Tokens<\/li>\n\n\n\no200k_base<\/code>): 11 Tokens<\/li>\n<\/ul>\n\n\n\n