Was sind eigentlich Tokens?
Tokens sind die Währung der generativen KI – vergleichbar mit Kilowattstunden beim Strom. Sie sehen sie nicht direkt, müssen aber dafür bezahlen. Je mehr Verarbeitung Sie benötigen, desto mehr Tokens verbrauchen Sie. 💰
Ein Token ist die kleinste Verarbeitungseinheit eines Sprachmodells – weder ein Wort noch ein Buchstabe, sondern etwas dazwischen. Ein kurzes englisches Wort wie “Hello” entspricht einem Token. Das deutsche Wort “Datenschutz-Grundverordnung”? Das sind bereits 5 bis 7 Tokens. Eine A4-Seite mit etwa 500 Worten verbraucht im Deutschen rund 900 Tokens, im Englischen nur 500 bis 700. Deutscher Text kostet also mehr.
Das Context Window – der Arbeitsspeicher der KI
Jedes LLM hat ein begrenztes Context Window – eine beschränkte Größe von Inhalt, die es gleichzeitig verarbeiten kann. Ein 30-seitiges PDF umfasst etwa 20.000 bis 30.000 Tokens. Wer versucht, solche Dokumente in Chat-Anwendungen hochzuladen, bekommt manchmal die Meldung, der Chat sei zu groß.
Die Größe der Context Windows unterscheidet sich erheblich:
- ChatGPT-4: 128.000 Tokens (ca. 200-300 Seiten)
- ChatGPT-4o: 200.000 Tokens (ca. 500 Seiten)
- Lama 3.1: 128.000 Tokens
Wenn das LLM plötzlich mitten im Satz aufhört zu antworten, ist das ein sicherer Hinweis: Das Context Window ist zu klein eingestellt.
Flatrate versus API-Nutzung
Bei Desktop-Apps wie ChatGPT oder Claude zahlen Sie eine Flatrate von rund 20 Euro monatlich. Token-Kosten sehen Sie dort nicht – bis Ihr Chat zu groß wird und die Anwendung einen Neustart verlangt.
Sobald Sie jedoch APIs nutzen und Automatisierungen aufbauen, ändert sich das Spiel. Hier sehen Sie den tatsächlichen Token-Verbrauch. Die Hersteller unterscheiden dabei zwischen Input und Output – wobei Output oft viermal teurer ist als Input. Ein Beispiel: 100 Tokens Input, 1.000 Tokens Output ergibt Faktor 40 beim Preisunterschied.
Wenn Tokens zum Kostenfaktor werden
Für Automatisierungsprojekte kann das schnell relevant werden. Ein einzelner Support-Call mag nur 50 Cent kosten – doch multiplizieren Sie das mit der Anzahl Ihrer täglichen Anfragen, wird es zum Budgetthema. Wer intensiv mit LLMs arbeitet, kommt irgendwann an den Punkt, wo eine lokale Lösung wirtschaftlich sinnvoller wird als die Cloud-Nutzung.
Der Blick nach vorn
Meine These: Viele Unternehmen werden nach einigen Monaten KI-Nutzung ein Optimierungsprojekt starten. Dann werden Prompts effizienter gestaltet, Prozesse überprüft und Token-Verbräuche reduziert. 🔍 Denn eines ist sicher: KI-Nutzung kann sehr schnell sehr teuer werden, wenn man nicht auf die Zahlen schaut.
Bleiben Sie in FĂĽhrung
Ihr Olaf Kapinski 🙂