Das Muster ist in fast jedem Unternehmen gleich: Die erste KI-Integration wird als Experiment gebaut, funktioniert, und wandert in den Dauerbetrieb. Niemand hat dabei über Kosten nachgedacht, weil der Prototyp im Monat zwanzig Euro kostete. Ein Jahr später laufen fünf Workflows über dieselbe API, das Volumen hat sich verzwanzigfacht, und die Rechnung ist ein fester vierstelliger Posten — ohne dass jemand entschieden hätte, so viel auszugeben. LLM-Kosten sind Cloud-Kosten in Zeitraffer.
Wo die Kosten wirklich entstehen
Abgerechnet wird pro Token, also pro verarbeitetem Textbaustein — Eingabe und Ausgabe getrennt. Die drei größten Kostentreiber sind fast nie das Modell selbst, sondern der Umgang damit: aufgeblähte Prompts, die bei jedem Aufruf komplette Dokumente, Beispielsammlungen und Historien mitschicken; überdimensionierte Modelle, die für triviale Aufgaben wie Klassifikation eingesetzt werden; und redundante Aufrufe, die identische Fragen immer wieder neu beantworten lassen. Alle drei sind Architekturprobleme, keine Preisprobleme — und deshalb lösbar, ohne den Anbieter zu wechseln.
Hebel 1: Token-Budgets und Prompt-Hygiene
Jeder Workflow bekommt ein definiertes Token-Budget: eine Obergrenze für Eingabe und Ausgabe pro Vorgang, die im Code durchgesetzt wird. Das zwingt zu sauberen Entscheidungen — welche Kontextteile braucht der Aufruf wirklich, welche Historie darf abgeschnitten werden, wie lang darf die Antwort maximal sein. In der Praxis schrumpfen Prompts bei dieser Übung regelmäßig um 40 bis 70 Prozent, weil sich über Monate Ballast angesammelt hat: alte Beispiele, doppelte Anweisungen, ganze Dokumente, wo drei Absätze reichen. Ein Budget macht Kosten außerdem planbar: Maximalkosten pro Vorgang mal erwartetes Volumen ergibt eine belastbare Monatsprognose statt einer Überraschung.
Hebel 2: Caching statt Wiederholung
Zwei Cache-Ebenen zahlen sich fast immer aus. Prompt-Caching beim Anbieter: Wiederkehrende Prompt-Anteile — Systemanweisungen, Firmenwissen, Beispielblöcke — werden serverseitig zwischengespeichert und bei Folgeaufrufen deutlich günstiger abgerechnet; Voraussetzung ist, dass der statische Teil vorne im Prompt steht und stabil bleibt. Antwort-Caching in der eigenen Anwendung: Wenn hundert Nutzer dieselbe Produktfrage stellen, muss das Modell sie genau einmal beantworten. Ein Cache mit sinnvoller Lebensdauer fängt diese Wiederholungen ab, senkt Kosten und macht die Anwendung nebenbei schneller.
Hebel 3: Model-Routing nach Aufgabe
Kein Mensch lässt den Steuerberater Briefe frankieren — genau das passiert aber, wenn jede Aufgabe auf dem größten Modell läuft. Model-Routing ordnet jeder Aufgabenklasse das kleinste Modell zu, das sie zuverlässig löst:
- Kleine, schnelle Modelle: Klassifikation, Datenextraktion, Formatierung, Routing-Entscheidungen — hoher Anteil am Volumen, minimale Kosten.
- Mittlere Modelle: Zusammenfassungen, Standard-Korrespondenz, strukturierte Auswertungen.
- Große Modelle: komplexe Analysen, heikle Kundenkommunikation, mehrstufige Reasoning-Aufgaben — selten, aber wertkritisch.
- Eskalationspfad: Wenn das kleine Modell unsicher ist, reicht es den Fall automatisch ans größere weiter, statt pauschal teuer zu arbeiten.
Faustregel: Erst messen, dann routen, dann optimieren. Wer Kosten pro Vorgang nicht loggt, optimiert blind — und wer routet, ohne Qualität per Stichprobe zu prüfen, spart an der falschen Stelle.
Kosten pro Vorgang statt pro Monat
Die Monatsrechnung des Anbieters ist zur Steuerung nutzlos, weil sie nicht sagt, welcher Workflow das Geld verbraucht. Die relevante Kennzahl ist der Kostenwert pro Geschäftsvorgang: Was kostet eine beantwortete Kundenanfrage, ein verarbeitetes Dokument, ein erstelltes Angebot? Dafür braucht es ein simples Logging — Workflow, Modell, Tokens, Kosten pro Aufruf — und ein Dashboard, das Ausreißer sichtbar macht. Erst mit dieser Zahl lässt sich auch die Gegenrechnung führen, ob ein KI-Feature seinen Preis wert ist. Wo KI betriebswirtschaftlich überhaupt hingehört, behandelt der Beitrag KI-Integration: wo sie Cash bringt.
Der Nebeneffekt sauberer Kostenarchitektur: Sie diszipliniert das ganze System. Kleinere Prompts sind wartbarer, Routing erzwingt klare Aufgabendefinitionen, und Caching deckt redundante Prozesse auf. Wer seine KI-Kosten im Griff hat, hat meistens auch seine KI-Architektur im Griff.