מודלים קטנים, מקומיים ועיבוד בקצה

מתי זה משתלם

משימה צרה וחוזרת עם פורמט קבוע; דרישת פרטיות או רגולציה; נפח שהופך תשלום לפי שימוש ליקר; או צורך בתגובה מיידית בלי תלות ברשת.

מה משלמים בתמורה

תפעול: חומרה, זמינות, עדכונים, ניטור, וצוות שיודע לתחזק. וגם: הפער באיכות במשימות פתוחות עדיין קיים, גם אם הצטמצם.

דרך ביניים

ניתוב לפי קושי: המודל הקטן מטפל ברוב הפניות, והקשות עוברות למודל חזק. זו לרוב נקודת האופטימום — עלות נמוכה ואיכות שנשמרת היכן שהיא חשובה.

ואפשר גם לזקק: להשתמש במודל חזק כדי לייצר דוגמאות איכותיות שעליהן מכווננים מודל קטן למשימה ספציפית.