Die neue Definition of Done für KI-Agenten
Ein KI-Feature ist nicht fertig, weil der Code kompiliert und der Prompt überzeugend klingt. „Done“ ist es erst, wenn eine automatisierte Evaluation stabil läuft – vor dem Ausrollen und im Betrieb.
Warum klassische Tests nicht mehr reichen
Klassische Software ist vorhersagbar: Eingabe A und Funktion B ergeben Ausgabe C. Dieser Determinismus macht robuste Tests möglich. Generative KI arbeitet stochastisch – derselbe Prompt kann am Montag ein anderes Ergebnis liefern als am Dienstag. Unit-Tests, wie man sie aus der Softwareentwicklung kennt, decken das nicht ab.
Wer KI-Agenten verlässlich einsetzen will, kann sich deshalb nicht auf „Vibe Checks“ verlassen, die heute funktionieren und morgen beim Kunden scheitern. Es braucht eine eigene Schicht für Evaluation – gerade dort, wo Halluzinationen ein Compliance-Risiko sind.
Das neue Evaluationsparadigma
Klassische Tests sind meist binär: bestanden oder nicht bestanden. KI-Evaluationen enthalten ebenfalls binäre Prüfungen, bewerten aber oft auf einem Spektrum. Eine Evaluation ist deshalb kein einzelnes Skript, sondern eine Pipeline aus Prüfungen – von strikten Syntaxchecks bis zu semantischen Qualitätsurteilen.
- Schicht 1: deterministische Prüfungen
- Code, reguläre Ausdrücke und Schema-Prüfungen sichern die Struktur: Wurde gültiges JSON im richtigen Schema erzeugt? Wurde das richtige Tool mit den nötigen Argumenten aufgerufen? Ist ein Feld wie eine E-Mail-Adresse korrekt befüllt? Diese Schicht kommt zuerst (Fail-Fast) – ist die Struktur defekt, sind teure semantische Prüfungen überflüssig.
- Schicht 2: modellbasierte Prüfungen
- Ob eine Antwort hilfreich, passend oder frei von Halluzinationen ist, lässt sich mit Code kaum prüfen. Hier bewertet ein Sprachmodell als LLM-as-a-Judge anhand einer Rubrik. Menschen können das ebenfalls, aber nicht über Tausende Fälle bei jeder Änderung.
Was einen verlässlichen LLM-Judge ausmacht
- Ein leistungsfähiges Modell als Judge – idealerweise stärker als das Produktivmodell, besonders wenn dieses aus Latenzgründen kleiner gewählt ist.
- Eine strikte Rubrik mit klaren Abstufungen von Fehlschlag bis Erfolg; vage Prüfanweisungen erzeugen Rauschen.
- Referenzantworten (Golden Outputs), die Menschen geprüft haben, damit der Judge gegen einen verifizierten Maßstab vergleicht.
- Eine Begründung je Kriterium, damit sich Fehlschläge nachvollziehen und beheben lassen.
Offline-Evaluation: das Gate vor dem Ausrollen
Die Offline-Pipeline dient der Regressionsprüfung: Fehler, Drift und Latenzprobleme werden erkannt, bevor eine Änderung in Produktion geht. Grundlage ist ein versioniertes Golden Dataset, das den realen Einsatz abbildet – Standardfälle, Grenzfälle und gezielte Manipulationsversuche. Die Größe richtet sich nach der Breite der Aufgaben; einige hundert Fälle sind ein mögliches Beispiel. Synthetische Fälle können die Kuratierung beschleunigen, Fachleute müssen sie aber prüfen und freigeben.
Bewertet wird hybrid und gewichtet. Beispiel für einen Agenten, der E-Mails versendet: Ein Teil der Punkte entfällt auf Schicht 1 (richtiger Tool-Aufruf, gültiges Schema), ein Teil auf Schicht 2 (Betreff passend zur Absicht, Inhalt ohne Halluzination, Empfänger korrekt). Scheitert eine deterministische Prüfung, gilt der Fall sofort als nicht bestanden.
Die Pipeline läuft als blockierender Schritt vor dem Zusammenführen einer Änderung. Welche Bestehensquote gilt, legen Sie je Risiko fest – in regulierten Bereichen höher als bei internen Hilfsaufgaben. Nach jeder Korrektur folgt ein vollständiger Durchlauf, weil ein Fix an einer Stelle anderswo neue Fehler auslösen kann.
Online-Evaluation: Signale aus dem Betrieb
Nach dem Ausrollen wird die Evaluation zur Telemetrie. Deterministische Prüfungen sind schnell genug, um auf dem gesamten Verkehr zu laufen. Ein LLM-Judge prüft dagegen asynchron eine Stichprobe, zum Beispiel einige Prozent der Fälle – sofern der Datenschutzrahmen es erlaubt –, damit Latenz und Kosten im kritischen Pfad nicht steigen.
- Explizite Signale: positive oder negative Bewertungen und Freitext-Feedback der Nutzer
- Implizite Signale: häufiges Neu-Generieren, auffällig viele Entschuldigungen oder Ablehnungen
- Deterministische Prüfungen in Produktion: Schema und Tool-Konformität, um Drift oder API-Änderungen früh zu erkennen
- Asynchrone Judge-Bewertungen auf einer Stichprobe
Der Kreislauf kontinuierlicher Verbesserung
Evaluation ist kein Set-and-Forget. Datensätze altern, weil sich Fragen und Rahmenbedingungen ändern: Ein Agent, der bei bekannten Themen gut abschneidet, kann bei einem neuen Thema sofort scheitern. Ohne Rückkopplung entsteht eine trügerische Lage – gute Werte im Testlabor bei sinkender Qualität für echte Nutzer.
- Erfassen: ein negatives Signal im Betrieb
- Sichten: den Vorgang zur menschlichen Prüfung markieren
- Ursache finden: Lücke analysieren und System verbessern
- Datensatz erweitern: Fall mit korrigierter Zielantwort ins Golden Dataset aufnehmen
- Absichern: den neuen Grenzfall in alle künftigen Durchläufe übernehmen
Definition of Done und das Ergebnis
Die neue Definition of Done verschiebt den Maßstab: messen statt raten, iterieren statt hoffen, Qualität als laufenden Betrieb verstehen. Ein Agent ist nie fertig – er ist so gut wie seine Evaluation und die Menschen, die auf ihre Signale reagieren.
Für Agenten im Vertrieb heißt das: Die Prüfmaßstäbe leiten sich aus dem Geschäftsziel und dem Mandat ab, also daraus, was ein Agent vorbereiten, empfehlen oder mit Freigabe ausführen darf. Im AI-first-Coaching klären Sie Ziele, Mandat und Ihr KI-first Operating Model. Sie zahlen für Ergebnisse – nicht für Aktivität.
Vom Tool zum Ergebnis
Im AI-first-Coaching klären Sie, welche Ergebnisse KI-Agenten in Ihrer Marktbearbeitung verantworten sollen und in welchem Rahmen. Danach gestaltet, entwickelt und betreibt REVAGO Ihr System. Sie zahlen für Ergebnisse – nicht für Aktivität.
Häufige Fragen
Was ist die Definition of Done bei KI-Agenten?
Bei KI-Agenten ist ein Feature erst fertig, wenn eine automatisierte Evaluation stabil läuft: gegen ein kuratiertes Golden Dataset vor dem Ausrollen und mit Signalen aus dem Betrieb danach. Kompilierender Code und ein überzeugend klingender Prompt reichen nicht.
Warum reichen Unit-Tests für KI-Agenten nicht aus?
Unit-Tests setzen deterministisches Verhalten voraus. Sprachmodelle antworten stochastisch, und Qualität wie Hilfsbereitschaft oder Faktentreue lässt sich nicht allein per Code prüfen. Deshalb ergänzen modellbasierte Prüfungen und menschlich validierte Referenzantworten die klassischen Tests.
Was ist ein Golden Dataset?
Ein Golden Dataset ist eine versionierte Sammlung von Testfällen mit exakter Eingabe und von Menschen geprüfter Zielantwort. Es bildet den realen Einsatz ab, einschließlich Grenzfällen und Manipulationsversuchen, und wird mit neuen Fällen aus dem Betrieb laufend erweitert.
Was ist der Unterschied zwischen Offline- und Online-Evaluation?
Die Offline-Evaluation prüft Änderungen vor dem Ausrollen gegen das Golden Dataset und blockiert bei Regressionen. Die Online-Evaluation beobachtet den laufenden Betrieb mit Nutzer- und Verhaltenssignalen, deterministischen Prüfungen und Judge-Bewertungen auf einer Stichprobe.
Weiterlesen im Wiki
Neutrale Einordnung, keine Empfehlung einzelner Anbieter. REVAGO ist mit den aufgeführten Projekten nicht verbunden. Beschreibungen beruhen auf den öffentlichen Angaben der Projekte; Funktionsumfang und Lizenzen können sich ändern. Auswahl nach awesome-agents (kyrolabs).
