Der typische Verlauf sieht so aus: Ein Agent wird gebaut, im Test läuft er gut, er geht live. Zwei Wochen später wird der Prompt angepasst, weil ein Kunde sich beschwert hat. Der beschwerte Fall ist jetzt gelöst. Ob dabei fünf andere Fälle kaputtgegangen sind, weiß niemand — es wurde ja nur der eine getestet. Nach drei Monaten dieser Praxis ist der Agent ein Flickwerk, dessen tatsächliche Qualität niemand benennen kann.
Was eine Eval ist
Eine Eval ist nichts anderes als ein Testfall für ein KI-System: eine Eingabe, eine Erwartung an die Ausgabe, ein Kriterium, wann die Ausgabe als korrekt gilt. Der Unterschied zu klassischen Software-Tests: Die Ausgabe ist nicht deterministisch. Derselbe Prompt liefert nicht zweimal exakt denselben Text. Das macht Evals schwieriger — aber nicht unmöglich.
Die drei Bewertungsarten
- Exakter Abgleich: Funktioniert überall dort, wo die Ausgabe strukturiert ist — extrahierte Rechnungsnummer, Klassifikation in eine Kategorie, Ja/Nein-Entscheidung. Der einfachste und verlässlichste Fall.
- Regelbasierte Prüfung: Die Ausgabe muss bestimmte Bedingungen erfüllen: enthält eine Quelle, überschreitet eine Länge nicht, nennt keinen Preis. Prüfbar per Code, ohne dass der exakte Wortlaut feststehen muss.
- LLM-as-Judge: Ein zweites Modell bewertet die Ausgabe gegen ein Kriterium — etwa "beantwortet die Frage vollständig" oder "bleibt im vorgegebenen Ton". Skaliert gut, muss aber selbst kalibriert werden, sonst misst man die Meinung des Prüfers statt die Qualität des Agenten.
Ein Eval-Set ist keine akademische Übung. Es ist die Bremse, die verhindert, dass ein Prompt-Fix drei stille Regressionen erzeugt.
Woher die Testfälle kommen
Die produktivste Quelle ist der Betrieb selbst. Jeder Fall, bei dem der Agent falsch lag, wird zum Testfall — mit der korrekten Antwort daneben. Nach wenigen Wochen entsteht so ein Set, das exakt die Schwachstellen dieses konkreten Systems abbildet. Ergänzt wird es um Fälle, die den Normalbetrieb repräsentieren, und um bewusst schwierige Kanten: unvollständige Eingaben, mehrdeutige Fragen, Versuche, den Agenten aus seiner Rolle zu holen.
Fünfzig gut gewählte Fälle sind wertvoller als fünfhundert generierte. Entscheidend ist, dass jeder Fall eine Entscheidung repräsentiert, die im Betrieb tatsächlich vorkommt.
Was gemessen werden sollte
Neben der reinen Korrektheit gibt es drei Dimensionen, die im Unternehmenskontext regelmäßig wichtiger sind:
- Verweigerungsverhalten: Sagt der Agent "das weiß ich nicht", wenn er es nicht weiß? Ein Agent, der halluziniert statt zu passen, ist gefährlicher als einer, der zu oft eskaliert.
- Konsistenz: Liefert derselbe Fall bei mehrfacher Ausführung dasselbe Ergebnis? Hohe Streuung bedeutet, dass der Agent nicht produktionsreif ist.
- Kosten und Latenz: Eine Antwort, die 40 Sekunden braucht, ist im Kundenchat wertlos, egal wie gut sie ist.
Evals gehören in die Pipeline
Der Wert entsteht erst, wenn das Eval-Set bei jeder Änderung automatisch läuft — neuer Prompt, neues Modell, neues Tool. Das Ergebnis ist eine Zahl, die sich vergleichen lässt: vorher 87 Prozent, nachher 91 Prozent. Ohne diese Zahl ist jede Modellumstellung ein Sprung ins Dunkle, und genau deshalb bleiben viele Unternehmen auf einem veralteten Modell sitzen: Sie können nicht beurteilen, ob der Wechsel etwas verbessert oder verschlechtert.
Der eigentliche Punkt
Evals sind das, was aus einem beeindruckenden Demo einen belastbaren Betriebsbestandteil macht. Sie sind der Grund, warum ein Agent nach zwölf Monaten noch verlässlich arbeitet — und warum man ihn zu ändern wagt, ohne beten zu müssen.
Der Unterschied zwischen Demo und Betrieb
Eine KI-Demo überzeugt mit fünf handverlesenen Beispielen. Der Betrieb konfrontiert dasselbe System mit tausend Fällen, von denen achtzig Prozent unsauber, unvollständig oder mehrdeutig sind. Genau diese achtzig Prozent entscheiden über den ROI — und genau sie tauchen in keiner Demo auf. Ein Eval-Set, das bewusst die hässlichen Fälle enthält, ist deshalb der einzige belastbare Indikator dafür, ob ein Agent produktionstauglich ist. Wer nur die schönen Fälle testet, misst die eigene Erwartung, nicht das System.
Wer die Evals besitzt
Eine Frage, die selten gestellt und teuer beantwortet wird: Wem gehört das Eval-Set? Wenn eine externe Agentur den Agenten baut und die Testfälle bei sich behält, ist das Unternehmen abhängig — es kann weder das Modell wechseln noch den Dienstleister, ohne die Qualitätsgrundlage zu verlieren. Das Eval-Set ist das eigentliche Asset des KI-Projekts, wertvoller als der Prompt selbst, weil es das gesammelte Wissen über die tatsächlichen Anforderungen enthält. Es gehört in die Hand des Unternehmens, nicht des Dienstleisters.