Evaluation: wie man weiß, dass sich das System verbesserte
Woraus ein guter Satz besteht
Reale Fälle aus dem Feld, in Kategorien eingeteilt, inklusive Randfällen und solchen ohne gute Antwort. Für jeden Fall: Eingabe und eine gewünschte Antwort oder ein Abnahmekriterium.
Jeder in der Produktion gefundene Vorfall fügt eine Zeile hinzu. So wächst der Satz an den richtigen Stellen.
Drei Bewertungsmethoden
Automatische Regeln — korrekte Struktur, richtige Zahl, Quelle zitiert. Günstig und genau, wo möglich.
Modellbasierte Evaluation gegen geschriebene Kriterien — schnell und günstig, und braucht Kalibrierung gegen menschliches Urteil.
Menschliche Prüfung einer Stichprobe — teuer, und der Anker der Wahrheit.
Wie man Ergebnisse liest
Vergleichen Sie mit der Vorversion, nicht mit einem absoluten Wert. Und prüfen Sie nach Kategorie aufgeschlüsselt — ein stabiler Durchschnitt verbirgt oft einen Rückgang in einer Kategorie, die genau der wichtige Fall ist.
Im Detail
Führen Sie den Satz in der Bau-Pipeline aus und blockieren Sie einen Merge, wenn eine Schlüsselkennzahl fällt. Und fügen Sie eine Stichprobe des Live-Verkehrs zur wöchentlichen menschlichen Prüfung hinzu — ein fester Satz altert, und das Feld erzeugt stets Fälle, an die Sie nicht dachten.