La producción se califica, no se demuestra
Todos los agentes de IA lucen bien en una demo. La demo es una escena fija: el proveedor eligió la entrada, ensayó el flujo y escogió el momento. La pregunta que separa un despliegue de un juguete es otra: cualquier martes, sin el proveedor en la sala, cómo sabes que el agente sigue haciendo bien su trabajo. La respuesta honesta, para cualquier cosa que opere un flujo real, es una suite de evaluación: un banco de pruebas que califica al agente de forma continua, integrado en la ruta de publicación, de modo que nada cambia hasta que pasa.
Qué es realmente una suite de evaluación
Cuatro piezas, ninguna opcional:
Casos reales. Un conjunto curado de entradas reales y sus salidas correctas, extraídas de decisiones del flujo, no de ejemplos inventados. Para un agente de cotizaciones: las solicitudes de tarifa reales del último trimestre con las cotizaciones que tu equipo aprobó.
Conjuntos de regresión. Cada defecto detectado se convierte en un caso que falla si vuelve a ocurrir. El conjunto solo crece, y ese es exactamente el objetivo: es la memoria de todo lo que ha salido mal.
Puertas de calidad en la ruta de publicación. Los resultados no viven en un panel que alguien quizá lea. Bloquean la publicación. Un cambio sale cuando pasan las evaluaciones, no cuando la demo luce bien.
Medición de desviación. El flujo para el que se construyó el agente cambia, y también el mundo que lee. La desviación se mide contra la línea base del día cero, así que las afirmaciones de calidad siguen siendo verificables meses después de la puesta en producción, en lugar de descansar en anécdotas del día del lanzamiento.
Por qué la atención se mueve aquí ahora
Los agentes de programación se hicieron mainstream, y su salida ahora es código: pull requests, migraciones, configuración. Eso obligó a la industria a poner la revisión y la evaluación dentro del camino de entrega, porque el código sin revisar, de cualquier autor, es un pasivo. La misma lógica aplica a los agentes operativos. Un agente que cotiza fletes, tramita solicitudes o persigue facturas toma decisiones trascendentales muchas veces por hora. Necesita la misma disciplina que el código, con una diferencia: su banco de pruebas califica criterio, no solo sintaxis.
Cómo se ve un buen sistema, en cinco comprobaciones
- La suite de evaluación vive en tu repositorio, versionada junto al código, no en el portátil del proveedor.
- Los casos reales vienen de tus decisiones, y puedes leer cada uno.
- Las puertas de calidad bloquean las publicaciones de forma mecánica, incluidos los cambios del propio proveedor.
- La desviación se informa contra la línea base medida que financió tu consejo.
- La reversión está ensayada, porque una evaluación en rojo debe ser un martes rutinario, no un incidente.
Cinco preguntas para cualquier proveedor de IA
Quién es dueño de la suite de evaluación si dejamos de trabajar juntos. Qué pasa cuando una evaluación falla a las dos de la mañana. De dónde salieron los casos reales y cuántos hay. Cómo se mide la desviación contra la línea base con el paso del tiempo. Enséñame una publicación que tus propias evaluaciones hayan bloqueado. Un proveedor que nunca ha bloqueado una no está evaluando nada.
El enfoque de Nugawi
Nugawi, una consultoría de IA aplicada en Londres, entrega la suite de evaluación como parte de cada construcción en producción de 90 días: casos reales de tu flujo, un conjunto de regresión que nace antes de la puesta en producción, puertas de calidad en la ruta de publicación y una lectura final que re mide el flujo contra la línea base del día cero. Si tus agentes ya están en producción y las cinco preguntas de arriba incomodan, ese hueco es exactamente lo que cubre la auditoría de agentes. Si partes de cero, el camino es la construcción en producción de 90 días, suite de evaluación incluida.