Operar un sistema de IA a lo largo del tiempo
Un ritmo de mantenimiento
Ejecutar el conjunto de evaluación una vez al mes aunque no haya cambios; una revisión semanal de una muestra de conversaciones reales; y actualizar la base de conocimiento al ritmo en que cambian las fuentes.
Cambiar entre versiones del modelo
Los proveedores cambian y retiran modelos. Mantén una capa de abstracción, ejecuta el conjunto de evaluación sobre la nueva versión antes del cambio, y pasa de forma gradual con una comparación en vivo.
No asumas que una versión nueva es siempre mejor en tu tarea: a veces cambia el estilo de salida y rompe un análisis que depende de él.
Qué observar
El porcentaje de respuestas marcadas negativamente, la tasa de derivación a una persona, la tasa de 'sin respuesta', el coste por petición y el tiempo de respuesta. Cinco números en un panel.
En profundidad
Asigna un propietario a cada sistema basado en modelos, como a cualquier servicio. Esos sistemas tienden a quedarse sin propietario tras el fin del proyecto, y entonces el deterioro continúa durante meses hasta que alguien se queja, y la investigación empieza desde cero.