הערכה: איך יודעים שהמערכת השתפרה

ממה מורכב סט טוב

מקרים אמיתיים מהשטח, מסווגים לקטגוריות, כולל מקרי קצה וכאלה שאין להם תשובה טובה. לכל מקרה: קלט, ותשובה רצויה או קריטריון קבלה.

כל תקלה שהתגלתה בפרודקשן מוסיפה שורה. כך הסט גדל במקומות הנכונים.

שלוש שיטות ניקוד

כללים אוטומטיים — מבנה תקין, מספר נכון, מקור צוין. זול ומדויק היכן שאפשר.

הערכה על ידי מודל לפי קריטריונים כתובים — מהיר וזול, ודורש כיול מול שיפוט אנושי.

בדיקה אנושית של מדגם — יקרה, והיא עוגן האמת.

איך לקרוא תוצאות

השוו לגרסה הקודמת, לא לציון מוחלט. ובדקו בחתך קטגוריה — ממוצע יציב מסתיר לעיתים קרובות נפילה בקטגוריה אחת שהיא בדיוק המקרה החשוב.