Clasificación y extracción: las tareas que más devuelven
Por qué precisamente estas
La clasificación y la extracción tienen una respuesta correcta que se puede comprobar, una salida corta y barata, e integración sencilla con los sistemas existentes. También son los casos donde un modelo reemplaza el trabajo manual repetitivo: enrutar consultas, leer facturas, etiquetar contactos.
Por el contrario, una interfaz de chat abierta es difícil de medir, cara, e invita a expectativas que el sistema no siempre cumple.
Cómo construir bien
Define categorías cerradas con una definición escrita para cada una, incluyendo una categoría de 'no está claro'. Sin ella, el modelo empujará cada caso a la categoría más cercana y te mentirá en los números.
En la extracción: define un esquema estricto, valida en el código, y devuelve un valor vacío en vez de una suposición. Un campo alucinado es más peligroso que uno que falta.
Persona en el bucle
Enruta los casos de baja confianza a una persona, y usa sus decisiones para ampliar el conjunto de evaluación. Así el sistema mejora con el uso, sin ningún proyecto de entrenamiento.
En profundidad
Mide cada categoría por separado: una exactitud global del 92 por ciento puede ocultar una categoría crítica al 60. Y construye una matriz de confusión: muestra no solo cuántos errores hay sino qué categorías se intercambian, lo que suele ser un defecto de definición, no del modelo.