Wie Unternehmen die Token-Kosten ihrer KI-Anwendungen unter Kontrolle halten

Was kostet eine einzelne KI-Anfrage? Wie entwickeln sich die Kosten bei Tausenden Nutzern? Und lässt sich überhaupt feststellen, ob die Automatisierung einen finanziellen Nutzen bringt? Nach den ersten KI-Pilotprojekten, bei denen vor allem die technischen Möglichkeiten im Vordergrund standen, stellen sich beim produktiven Einsatz zunehmend wirtschaftliche Fragen. Denn anders als beim Lizenzmodell klassischer Unternehmenssoftware entstehen bei vielen KI-Anwendungen nutzungsabhängige Kosten. Wer KI-Modelle über Programmierschnittstellen (APIs) integriert, bezahlt häufig nach der Menge der verarbeiteten Informationen, die Abrechnungseinheit nennt sich Token.

Und obwohl die Kosten für die Nutzung von KI-Modellen in den vergangenen Jahren laut dem AI Index Report 2025 der Stanford University erheblich gesunken sind, bedeuten die sinkenden Stückkosten nicht zwangsläufig sinkende Gesamtausgaben für die Unternehmen. Mit der zunehmenden Verbreitung und Komplexität von KI-Anwendungen wächst auch der Ressourcenverbrauch.

Der Begriff "KI-Tokenomics", der die wirtschaftlichen Zusammenhänge rund um die Nutzung, Bereitstellung und Abrechnung von KI-Modellen beschreibt, gewinnt für IT-Verantwortliche deshalb immer mehr an Bedeutung. Denn es geht für sie nicht nur darum, möglichst wenige Tokens für KI-gestützte Unternehmensprozesse zu verbrauchen. Entscheidend ist vielmehr, die Kosten einer KI-Anwendung ihrem geschäftlichen Nutzen gegenüberzustellen. Dass sich daraus eine eigene Disziplin entwickelt, zeigt die Gründung der Tokenomics Foundation durch die Linux Foundation im August 2026. Die Initiative will gemeinsam mit Unternehmen und Technologieanbietern Standards und Methoden schaffen, um die tatsächlichen KI-Kosten und ihren wirtschaftlichen Nutzen vergleichbar zu machen.

Was sind Tokens und wie werden sie abgerechnet?

Ein KI-Sprachmodell verarbeitet Texte nicht unmittelbar als Wörter oder Sätze, sondern zerlegt sie in kleinere Verarbeitungseinheiten, die Tokens. Ein Token kann einem ganzen Wort, einem Wortteil oder einem einzelnen Zeichen entsprechen. Wie viele Tokens ein Text umfasst, hängt unter anderem von der Sprache, dem verwendeten Modell und der Art des Inhalts ab.

Bei der Abrechnung unterscheiden die Anbieter in der Regel zwischen zwei Kategorien:

• Input-Tokens: Informationen, die das Modell zur Verarbeitung erhält. Dazu gehören Benutzeranfragen, Systemanweisungen, Dokumente, Gesprächsverläufe und weitere bereitgestellte Kontextinformationen.
• Output-Tokens: Informationen, die das Modell als Antwort erzeugt. Dazu können bei entsprechenden Modellen auch intern erzeugte, abrechenbare sogenannte Reasoning-Tokens gehören. Das sind sogenannte "internal" oder "intermediate Tokens", die ein Modell bei der Bearbeitung einer Aufgabe verwendet, bevor es sein Endergebnis liefert.

Die Preise für Input und Output unterscheiden sich zum Teil erheblich. Viele Anbieter berechnen die generierten Output-Tokens deutlich höher als die eingehenden Informationen. Dies zeigen etwa die API-Preislisten von OpenAI und Google.

Aus den jeweiligen Tokenmengen und den Preisen pro Million Tokens ergeben sich die Kosten eines Modellaufrufs. Bei komplexeren Anwendungen können zusätzliche Positionen hinzukommen, etwa für Websuchen, Datenabrufe, Bildverarbeitung oder andere Werkzeuge.

Wichtig ist zudem die Unterscheidung zwischen API-basierten KI-Anwendungen und kommerziellen KI-Assistenten, die Unternehmen über Benutzerlizenzen beziehen. Bei Produkten wie ChatGPT oder Microsoft 365 Copilot stehen häufig Lizenz- und Nutzungsmodelle im Vordergrund. Die Tokenkosten sind für die Kunden dabei nicht zwangsläufig einzeln ersichtlich. Wer dagegen KI-Funktionen selbst entwickelt und über APIs bereitstellt, muss den tatsächlichen Ressourcenverbrauch wesentlich genauer berücksichtigen.

Warum dieselbe KI-Aufgabe unterschiedlich viel kosten kann

Wie gross der finanzielle Unterschied zwischen einzelnen KI-Modellen ausfallen kann, zeigen die veröffentlichten Preislisten der Anbieter. Die Preismodelle von OpenAI unterscheiden beispielsweise zwischen mehreren Leistungsklassen sowie unterschiedlichen Tarifen für Input-, Output- und gecachte Tokens. Leistungsfähige Modelle für komplexe Aufgaben können ein Vielfaches von kleineren, für einfachere Tätigkeiten optimierten Modellen kosten.

Dass sich mit einer geeigneten Modellwahl erhebliche Einsparungen erzielen lassen, zeigt die wissenschaftliche Arbeit "FrugalGPT: How to Use Large Language Models While Reducing Cost and Improving Performance" von Forschern um Lingjiao Chen, Matei Zaharia und James Zou. Die Autoren untersuchten unter anderem, wie sich verschiedene Sprachmodelle abhängig von der Aufgabenstellung miteinander kombinieren lassen. In ihren Experimenten erreichte das vorgeschlagene Verfahren bei vergleichbarer Leistung gegenüber einem leistungsfähigen Einzelmodell Kosteneinsparungen von bis zu 98 Prozent. Dieses Resultat gilt für die untersuchten Modelle und Aufgaben und lässt sich nicht pauschal auf heutige Unternehmensanwendungen übertragen.

Entscheidend ist allerdings nicht nur der Preis pro Million Tokens. Auch die Anzahl der benötigten Tokens kann je nach Modell und Konfiguration variieren. Ein leistungsfähigeres Modell kann eine Aufgabe möglicherweise mit einer einzigen Anfrage lösen, während ein kleineres Modell mehrere Versuche benötigt. Umgekehrt wäre es unwirtschaftlich, jede einfache Klassifikation oder Textzusammenfassung mit dem teuersten verfügbaren Modell auszuführen. Die relevante Kennzahl lautet deshalb nicht ausschliesslich "Kosten pro Token", sondern zunehmend "Kosten pro erfolgreich erledigter Aufgabe". Diese Betrachtung wird dann besonders wichtig, wenn Unternehmen KI-Anwendungen automatisieren und in grossem Umfang einsetzen.

Die versteckten Kostentreiber

Auf den ersten Blick erscheinen einzelne KI-Anfragen oft ausgesprochen günstig. Im produktiven Betrieb können sich die Kosten jedoch aus mehreren Gründen summieren.

Lange Kontextfenster: Viele KI-Anwendungen übermitteln bei jeder Anfrage umfangreiche Systemanweisungen, Gesprächsverläufe oder Dokumente. Besonders bei Anwendungen, die Informationen aus internen Wissensdatenbanken abrufen, kann der Kontext wesentlich umfangreicher sein als die eigentliche Benutzerfrage. Dabei kann ein umfangreicher Kontext nicht nur höhere Kosten verursachen, sondern auch die Qualität der Antworten beeinträchtigen. Die in der Fachzeitschrift "Transactions of the Association for Computational Linguistics" veröffentlichte Studie "Lost in the Middle" zeigt, dass mehrere untersuchte Sprachmodelle relevante Informationen schlechter verarbeiten, wenn diese in der Mitte längerer Eingabetexte stehen, wie es in der Studie heisst: "In particular, we observe that performance is often highest when relevant information occurs at the beginning or end of the input context, and significantly degrades when models must access relevant information in the middle of long contexts, even for explicitly long-context models." Ein möglichst grosses Kontextfenster ist also nicht automatisch von Vorteil.

Wiederholte Verarbeitung: Wird derselbe Kontext bei jeder Anfrage erneut übermittelt, entstehen zusätzliche Input-Tokens. Techniken wie Prompt Caching ermöglichen es, wiederverwendete Kontextbestandteile unter bestimmten Voraussetzungen günstiger zu verarbeiten. Sowohl OpenAI als auch Google weisen dafür eigene Tarifkategorien aus.

Reasoning und komplexe Aufgaben: KI-Modelle mit erweiterten Fähigkeiten zur Problemlösung können zusätzliche Rechenschritte durchführen. Soweit diese als abrechenbare Tokens erfasst werden, erhöht sich der Ressourcenverbrauch. Unternehmen müssen deshalb prüfen, für welche Aufgaben dieser zusätzliche Aufwand einen messbaren Nutzen bietet.

KI-Agenten: Besonders anspruchsvoll wird die Kostenkontrolle bei agentenbasierten Anwendungen. Ein Agent beantwortet eine Anfrage nicht unbedingt mit einem einzigen Modellaufruf. Stattdessen kann er mehrere Arbeitsschritte ausführen, Informationen beschaffen, externe Werkzeuge aufrufen und Zwischenergebnisse überprüfen. Eine einzelne Benutzeranfrage kann so eine Vielzahl kostenpflichtiger Aktionen auslösen.

Wie gross die Unterschiede ausfallen können, zeigt eine im April 2026 veröffentlichte Untersuchung von Forschern um Longju Bai und Erik Brynjolfsson. Die Autoren analysierten den Tokenverbrauch von acht KI-Modellen bei agentenbasierten Programmieraufgaben. In der untersuchten Versuchsanordnung verbrauchten die Agenten bis zu 1000-mal mehr Tokens als bei einfacheren Programmier- und Chat-Aufgaben. Zudem konnte der Tokenverbrauch bei wiederholter Ausführung derselben Aufgabe um das bis zu 30-Fache variieren. Ein höherer Verbrauch führte nicht zwangsläufig zu besseren Ergebnissen.

Fehler und Wiederholungen: Scheitert ein Arbeitsschritt, muss ein Agent ihn möglicherweise erneut ausführen. Auch ungenügende Antworten, automatisierte Qualitätsprüfungen und wiederholte Generierungsversuche können den Verbrauch erhöhen. Die erwähnte Stanford-Untersuchung zeigt zudem, dass die untersuchten Modelle ihre eigenen Tokenkosten vor der Ausführung nur unzuverlässig abschätzen konnten. Für Unternehmen erschwert dies eine präzise Kostenplanung agentenbasierter Anwendungen.

Zusätzliche Infrastruktur: Die eigentlichen Tokenkosten bilden häufig nur einen Teil der Gesamtrechnung. Hinzu kommen je nach Architektur Ausgaben für Datenhaltung, Vektordatenbanken, Suchdienste, Monitoring, Netzwerkverkehr, Sicherheit und den Betrieb der Anwendung.

Wie sich Tokenkosten berechnen lassen

Die grundlegende Berechnung ist einfach; die Voraussetzung ist, dass die entsprechenden Preise in derselben Währung und bezogen auf eine Million Tokens angegeben sind. Zusatzkosten bleiben in dieser vereinfachten Formel unberücksichtigt:

Kosten = (Input-Tokens × Input-Preis + Output-Tokens × Output-Preis) / 1'000'000

Ein hypothetisches Beispiel: Ein Unternehmen betreibt einen KI-Assistenten für interne Supportanfragen. Jede Anfrage verarbeitet durchschnittlich 3000 Input-Tokens und erzeugt 1000 Output-Tokens. Der angenommene Anbieterpreis beträgt 2 US-Dollar pro Million Input-Tokens und 10 US-Dollar pro Million Output-Tokens.

Damit entstehen pro Anfrage reine Modellkosten von 0,016 US-Dollar. Bei 100'000 Anfragen im Monat entspricht dies 1600 US-Dollar. Steigt die Zahl auf eine Million Anfragen, wachsen die monatlichen Modellkosten bei unverändertem Verbrauch auf 16'000 US-Dollar.

Das Beispiel berücksichtigt weder Caching-Effekte noch zusätzliche Werkzeuge oder Infrastruktur. Es zeigt aber, wie sich kleine Kostenbeträge bei einer hohen Anzahl von Anfragen zu relevanten Ausgaben entwickeln.

Entscheidend ist auch, dass die Kosten nicht unbedingt linear mit der Zahl der Benutzer zunehmen. Verändern sich die Nutzungsmuster, die Kontextlängen oder die Anzahl der ausgeführten Verarbeitungsschritte, kann der Ressourcenverbrauch pro Anfrage ebenfalls zunehmen. Insbesondere bei KI-Agenten spricht die hohe Variabilität des Tokenverbrauchs dafür, neben Durchschnittswerten auch Kostenspitzen und Abweichungen zu berücksichtigen.

Das FinOps-Framework der FinOps-Foundation definiert gemeinsame Prinzipien und Methoden für die Zusammenarbeit von IT, Finanzabteilungen und Geschäftsverantwortlichen. (Source: FinOps Framework by FinOps Foundation)

Von FinOps zu KI-FinOps

Für die Steuerung nutzungsabhängiger IT-Kosten bietet sich ein Ansatz an, den viele Unternehmen bereits aus dem Cloud-Umfeld kennen: FinOps, das Finanzmanagement, Technologie und betriebliche Verantwortung mit dem Ziel verbindet, variable IT-Ausgaben transparent zu machen und wirtschaftlich zu optimieren. Das von der FinOps Foundation veröffentlichte FinOps Framework definiert gemeinsame Prinzipien und Methoden für die Zusammenarbeit zwischen IT, Finanzabteilungen und Geschäftsverantwortlichen. Das Rahmenwerk berücksichtigt mittlerweile ausdrücklich auch KI als Anwendungsbereich des Technologiekostenmanagements.

Während Unternehmen im klassischen Cloud-FinOps beispielsweise Rechenleistung, Speicher und Netzwerkverkehr überwachen, kommen bei generativer KI zusätzliche Verbrauchsgrössen hinzu. Neben den verarbeiteten Tokens müssen etwa Modellwahl, Kontextlänge, Zahl der Modellaufrufe und gegebenenfalls die Nutzung zusätzlicher Werkzeuge erfasst werden. Auf die Notwendigkeit einer übergreifenden Kostenbetrachtung verweist auch die Tokenomics Foundation. Sie will unter anderem herstellerneutrale Methoden zur Ermittlung der Gesamtkosten von KI-Anwendungen sowie Standards zur Messung ihres geschäftlichen Nutzens entwickeln.

Ein aussagekräftiges KI-Kostenmanagement benötigt deshalb Informationen darüber, welche Anwendung, welche Abteilung und welcher Geschäftsprozess die Kosten verursacht. Die zentrale Herausforderung besteht darin, den technischen Verbrauch mit betriebswirtschaftlichen Kennzahlen zu verbinden. So lässt sich etwa ermitteln, wie viel die automatisierte Bearbeitung einer Kundenanfrage kostet oder welcher Aufwand für die Erstellung eines geprüften Berichts anfällt.

Die FinOps Foundation bezeichnet diesen Ansatz als "Unit Economics". Gemeint ist die Messung des Technologieaufwands in Bezug auf den erzeugten geschäftlichen Wert. Dabei unterscheidet die Organisation ausdrücklich zwischen Kennzahlen für die technische Ressourceneffizienz und solchen, die den wirtschaftlichen Nutzen einer Anwendung abbilden. Erst dieser Zusammenhang ermöglicht eine fundierte Bewertung der Wirtschaftlichkeit.

7 Massnahmen für eine wirksame KI-Kostenkontrolle

1. Verbrauch und Kosten transparent erfassen

Unternehmen sollten für ihre API-basierten KI-Anwendungen den Tokenverbrauch, die verwendeten Modelle und die Kosten pro Anwendung überwachen. Ein zentrales Monitoring ermöglicht es, ungewöhnliche Verbrauchsspitzen zu erkennen und Ausgaben einzelnen Verantwortungsbereichen zuzuordnen. Entsprechende Methoden zur Kostenzuordnung, Analyse und Erkennung von Anomalien beschreibt etwa das FinOps Framework.

2. Das passende Modell für jede Aufgabe auswählen

Nicht jede Aufgabe benötigt das leistungsfähigste KI-Modell. Für einfache Klassifikationen, Datenextraktionen oder standardisierte Antworten können kleinere Modelle ausreichend sein. Anspruchsvolle Analysen oder mehrstufige Problemlösungen erfordern dagegen unter Umständen leistungsfähigere Modelle.

Ein intelligentes Model Routing kann Anfragen anhand ihrer Anforderungen an geeignete Modelle weiterleiten. Forscher untersuchten diese Strategie in der Arbeit "RouteLLM". In den durchgeführten Benchmarktests konnten die Forscher die Modellkosten teilweise um mehr als die Hälfte reduzieren, ohne dass die gemessene Antwortqualität darunter litt.

3. Kontext gezielt reduzieren

Je mehr Informationen User einem Modell übergeben, desto mehr Input-Tokens können entstehen. Unternehmen sollten deshalb prüfen, welche Dokumente, Gesprächsverläufe und Anweisungen für die jeweilige Aufgabe tatsächlich erforderlich sind. Bei RAG-Anwendungen (Retrieval-Augmented Generation) hilft eine geeignete Auswahl relevanter Dokumentpassagen, den Kontext zu begrenzen.

Mit den technischen Grundlagen und unterschiedlichen Verfahren beschäftigt sich unter anderem die wissenschaftliche Übersichtsarbeit "Retrieval-Augmented Generation for Natural Language Processing: A Survey". Die Auswahl und Kombination relevanter Informationen ist dabei nicht nur eine Frage der Antwortqualität, sondern beeinflusst auch die Menge der an das Sprachmodell übergebenen Daten.

4. Wiederverwendbare Inhalte zwischenspeichern

Prompt Caching kann die Kosten reduzieren, wenn umfangreiche, unveränderte Anweisungen oder Kontextinformationen wiederholt benötigt werden. Welche Rabatte gelten und unter welchen Voraussetzungen ein Cache-Treffer zustande kommt, hängt vom Anbieter und vom Modell ab. Die Preisdokumentation von Google zeigt ausserdem, dass je nach Caching-Verfahren zusätzliche Speicherkosten entstehen können. Unternehmen müssen daher prüfen, ob sich die Zwischenspeicherung für ihre konkreten Nutzungsmuster rechnet.

5. KI-Agenten mit Grenzen versehen

Agenten sollten nicht beliebig viele Arbeitsschritte ausführen dürfen. Technische Grenzen für die Anzahl der Modellaufrufe, Werkzeugnutzungen, Wiederholungsversuche und maximalen Kosten pro Auftrag können verhindern, dass sich einzelne Vorgänge unkontrolliert ausweiten. Bei kritischen oder teuren Aktionen können Freigaben durch Menschen vorgesehen werden.

Die Stanford-Studie zum Tokenverbrauch von KI-Agenten verdeutlicht, weshalb solche Kontrollmechanismen notwendig sind: Bei den untersuchten Aufgaben schwankte der Ressourcenverbrauch erheblich, ohne dass ein höherer Verbrauch automatisch mit besseren Ergebnissen verbunden war.

6. Budgets und Warnschwellen definieren

Für einzelne Anwendungen, Projekte oder Abteilungen lassen sich Kostenbudgets und Warnschwellen festlegen. Wichtig ist die Unterscheidung zwischen reinen Benachrichtigungen und technisch durchgesetzten Ausgabenobergrenzen. Nicht jedes Abrechnungssystem stoppt die Nutzung automatisch, wenn ein festgelegtes Budget überschritten wird.

7. Den wirtschaftlichen Nutzen messen

Eine kostengünstige KI-Anwendung ist nicht automatisch wirtschaftlich. Entscheidend ist, welchen messbaren Beitrag sie leistet. Geeignete Kennzahlen sind beispielsweise Kosten pro erfolgreich gelöstem Supportfall, eingesparte Bearbeitungszeit, Fehlerquoten oder die Kosten pro fachlich akzeptiertem Ergebnis.

Die FinOps Foundation empfiehlt im Rahmen ihrer Unit-Economics-Methodik, technische Verbrauchsdaten mit Geschäftszielen und betrieblichen Leistungskennzahlen zu verknüpfen. Damit soll erkennbar werden, wie sich Technologieinvestitionen auf die Wirtschaftlichkeit einzelner Produkte, Dienstleistungen und Prozesse auswirken.

Kostenkontrolle vs. Qualität

Eine ausschliesslich auf möglichst geringe Tokenkosten ausgerichtete Optimierung kann kontraproduktiv sein. Liefert ein günstigeres Modell häufiger unvollständige oder fehlerhafte Ergebnisse, entstehen zusätzliche Aufwände für Nachbearbeitung, Wiederholungen und Qualitätskontrollen.

Auch die Forschung zum Model Routing macht deutlich, dass Kosten und Ergebnisqualität gemeinsam betrachtet werden müssen. Sowohl FrugalGPT als auch RouteLLM verfolgen das Ziel, den Einsatz unterschiedlich leistungsfähiger Sprachmodelle so zu steuern, dass die Kosten sinken, ohne die Qualität unnötig zu beeinträchtigen.

Bei der Wahl des Modells spielen zudem Anforderungen an Datenschutz, Informationssicherheit, Verfügbarkeit und Datenstandort eine Rolle. Ein wirtschaftlicher Modellvergleich muss diese Bedingungen mitberücksichtigen. Mit entsprechenden Anforderungen beschäftigt sich unter anderem das Generative AI Profile des US-amerikanischen National Institute of Standards and Technology (NIST). Das Framework beschreibt Risiken generativer KI und Massnahmen für deren Bewertung und Steuerung. Dass auch Datenresidenz zusätzliche Kosten verursachen kann, zeigt etwa die Preisdokumentation von OpenAI, die für bestimmte regionale API-Endpunkte Preisaufschläge ausweist.

Auch die Entscheidung zwischen einem extern bezogenen Modell und selbst betriebener KI-Infrastruktur lässt sich nicht allein anhand der Tokenpreise treffen. Bei selbst gehosteten Modellen fallen unter anderem Investitionen in Hardware, Energie, Betrieb und Wartung an. Die Wirtschaftlichkeit hängt stark davon ab, wie gut die vorhandenen Ressourcen ausgelastet werden. Die Forschung zu vLLM und PagedAttention unterstreicht, dass sich die Effizienz der technischen Infrastruktur erheblich auf den Durchsatz von KI-Systemen auswirken kann.

Tokenomics als Managementaufgabe

Mit der zunehmenden Integration generativer KI in Unternehmensprozesse verändert sich das IT-Kostenmanagement. Während KI-Projekte in der Pilotphase häufig mit überschaubaren Budgets auskommen, können bei einer unternehmensweiten Einführung erhebliche laufende Kosten entstehen. Besonders agentenbasierte Systeme stellen neue Anforderungen an die finanzielle Steuerung. Weil sie selbstständig mehrere Arbeitsschritte ausführen können, reicht es nicht mehr aus, lediglich die Anzahl der Benutzer oder Anfragen zu zählen.

Die aktuelle Forschung zeigt zwei gegenläufige Entwicklungen: Einerseits sinken die Kosten für eine bestimmte KI-Leistung deutlich, wie der AI Index Report der Stanford University dokumentiert. Andererseits können komplexe agentenbasierte Anwendungen einen schwer vorhersehbaren und stark schwankenden Ressourcenverbrauch verursachen, wie die Untersuchung zum Tokenverbrauch von KI-Agenten zeigt.

CIOs müssen deshalb technische und wirtschaftliche Verantwortlichkeiten zusammenführen. Dazu gehören eine transparente Kostenzuordnung, verbindliche Budgets, geeignete Modellstrategien und Kennzahlen für die Bewertung des geschäftlichen Nutzens. Tokenomics ist mehr als die Optimierung von API-Rechnungen. Die Disziplin liefert eine Grundlage, um KI-Anwendungen nicht nur technisch leistungsfähig, sondern auch langfristig wirtschaftlich betreiben zu können.