Der typische Ablauf: Ein KI-Workflow geht live, die ersten Stichproben sehen gut aus, alle sind zufrieden. Wochen später ändert jemand den Prompt, der Anbieter aktualisiert das Modell, ein neuer Datentyp taucht in den Eingaben auf — und die Qualität kippt leise. Kein Fehler-Alarm, kein Absturz, nur Antworten, die schleichend ungenauer werden. Bemerkt wird das erst, wenn ein Kunde sich beschwert oder ein Mitarbeiter zufällig hinschaut. Genau diese Lücke schließen Evals: automatisierte Qualitätstests für nicht-deterministische Systeme.
Warum klassische Tests hier versagen
Unit-Tests prüfen exakte Ergebnisse: Eingabe A muss Ausgabe B liefern. Ein Sprachmodell liefert aber auf dieselbe Eingabe zehn verschiedene, teils gleichwertige Formulierungen. Ein Test auf Textgleichheit schlägt ständig fehl, obwohl die Antwort gut ist — oder er wird so weich formuliert, dass er nie fehlschlägt und nichts mehr aussagt. Die Konsequenz vieler Teams: Es wird gar nicht getestet, sondern gehofft. Hoffnung ist keine Qualitätssicherung — schon gar nicht bei Workflows, die Kundenkommunikation, Dokumente oder Entscheidungsvorlagen produzieren.
Das Golden Set: die Referenz für jeden Lauf
Grundlage jeder Messung ist ein Golden Set: eine feste, versionierte Sammlung realer Eingaben mit dokumentierten Erwartungen. Für einen Triage-Workflow sind das echte Kundenanfragen samt korrekter Kategorie, für einen Dokumenten-Workflow echte Belege samt korrekt extrahierter Felder. Dreißig bis fünfzig sorgfältig gewählte Fälle reichen für den Start — entscheidend ist die Mischung aus Standardfällen, Grenzfällen und bekannten Stolperstellen. Und eine eiserne Regel: Jeder Fehler, der in Produktion auffällt, wird als neuer Testfall ins Set übernommen. So wächst die Referenz genau dort, wo das System nachweislich schwach war.
Drei Arten zu bewerten
Nicht jede Ausgabe braucht denselben Prüfmechanismus. In der Praxis kombinieren robuste Setups drei Ebenen:
- Regelbasierte Checks: Ist die Ausgabe valides JSON? Ist die Kategorie eine der erlaubten? Steht der Pflichthinweis am Ende? Billig, schnell, hart — sie fangen die groben Ausfälle.
- Referenzvergleiche: Für Aufgaben mit eindeutiger Lösung — Klassifikation, Extraktion, Zuordnung — wird gegen die hinterlegte Soll-Antwort geprüft und eine Trefferquote berechnet.
- LLM-as-Judge: Für offene Texte bewertet ein zweites Modell die Ausgabe entlang einer präzisen Rubrik: Faktentreue gegenüber der Quelle, Tonalität, Vollständigkeit. Wichtig ist die Rubrik — „Ist das gut?" liefert Rauschen, „Enthält die Antwort alle drei Pflichtangaben aus dem Quelldokument?" liefert ein Urteil.
Evals als Gate, nicht als Report
Ihren Wert entfalten Evals erst, wenn sie in den Änderungsprozess eingebaut sind. Jede Prompt-Änderung, jeder Modellwechsel, jedes Routing-Update läuft vor dem Deployment gegen das Golden Set — genau wie eine Testsuite vor dem Merge. Fällt der Score unter die definierte Schwelle, wird nicht ausgerollt. Das verwandelt die Frage „Fühlt sich der neue Prompt besser an?" in „Der neue Prompt hebt die Extraktionsquote von 91 auf 96 Prozent, verschlechtert aber die Tonalitätsbewertung — wollen wir das?“. Dieselbe Mechanik schützt vor stillen Modell-Updates des Anbieters: Ein nächtlicher Eval-Lauf gegen das Live-System meldet Drift, bevor Kunden ihn bemerken.
Faustregel: Kein KI-Workflow ohne Golden Set, kein Prompt-Update ohne Eval-Lauf. Wer Qualität nicht misst, merkt Verschlechterungen erst am Kunden — und das ist der teuerste Testlauf, den es gibt.
Aufwand und Einstieg
Ein erstes Eval-Setup ist kein Großprojekt: ein Skript, das das Golden Set durch den Workflow schickt, die drei Prüfebenen anwendet und einen Score pro Kriterium in eine Tabelle schreibt — an einem Tag gebaut, ab dann bei jeder Änderung nutzbar. Wer die Ergebnisse zusätzlich in ein Dashboard legt, sieht Qualität als Zeitreihe statt als Momentaufnahme. Und weil Eval-Läufe Tokens kosten, gehört ihr Verbrauch in dasselbe Kosten-Monitoring wie der Produktivbetrieb — wie das aufgebaut wird, zeigt der Beitrag KI-Kosten senken: Token-Budgets und Model-Routing. Sinnvoll ergänzt wird das Ganze durch menschliche Kontrollpunkte an kritischen Stellen, wie in Human-in-the-Loop beschrieben.
Der eigentliche Gewinn liegt über der Technik: Evals machen KI-Qualität verhandelbar. Statt Meinungen über Prompts gibt es Zahlen über Ergebnisse — und damit eine Grundlage, auf der ein Unternehmen KI-Workflows genauso professionell weiterentwickeln kann wie den Rest seiner Software.