Modelos pequeños, locales y en el borde
Cuándo compensa
Una tarea estrecha y recurrente con un formato fijo; un requisito de privacidad o normativo; un volumen que hace caro el pago por uso; o la necesidad de una respuesta inmediata sin dependencia de red.
Qué pagas a cambio
Operaciones: hardware, disponibilidad, actualizaciones, monitorización, y un equipo que sepa mantenerlo. Y: la brecha de calidad en las tareas abiertas sigue existiendo, aunque se haya reducido.
Un camino intermedio
Enrutar por dificultad: el modelo pequeño gestiona la mayoría de las peticiones, y las difíciles van a un modelo potente. Ese suele ser el óptimo: bajo coste con calidad preservada donde importa.
También puedes destilar: usar un modelo potente para generar ejemplos de calidad sobre los que ajustar un modelo pequeño para una tarea específica.
En profundidad
Mide el rendimiento en peticiones concurrentes, no solo un tiempo de respuesta individual. Un modelo local se comporta de forma del todo distinta bajo carga, y la planificación de capacidad basada en una prueba de usuario único lleva siempre a una sorpresa en el lanzamiento.