בינה מלאכותית בפועל · מעורב

הזיות: למה זה קורה ומה באמת עוזר

בשורה אחת: מודל שנשאל שאלה שאין לו עליה תשובה ייצר תשובה סבירה — הפתרון אינו לבקש ממנו לא לטעות אלא לתת לו מקור ודרך לומר לא.

מקור הבעיה

המודל מייצר את ההמשך הסביר ביותר, לא את האמת. כשאין לו בסיס, הפלט עדיין ייראה בטוח — וזו בדיוק הסכנה: הטעות אינה נראית כטעות.

ארבע פעולות שעוזרות

לצרף מקור רלוונטי לפנייה במקום להסתמך על זיכרון המודל.

לדרוש ציטוט של המקור לכל טענה, ולאמת בקוד שהמקור אכן קיים בחומר שסופק.

לתת דרך מפורשת לומר "אין תשובה בחומר", ולתגמל אותה בדוגמאות.

לאמת עובדות בדידות — מספרים, תאריכים, מזהים — מול מקור אמת מובנה ולא מול טקסט.

מה לא עוזר

לכתוב בהנחיה "אל תמציא". זו בקשה, לא מנגנון. גם הבטחות ביטחון עצמי מהמודל אינן מדד אמין — הן חלק מהפלט, לא מדידה שלו.

לעומק

בנו קטגוריית בדיקה ייעודית של שאלות שאין להן תשובה בחומר, ומדדו כמה פעמים המערכת אמרה זאת נכון. זה המדד שנשכח כמעט תמיד, והוא זה שקובע אם אפשר לסמוך על המערכת בשימוש אמיתי.