Cómo probar las respuestas de un asistente de IA

Probar un asistente de IA exige comparar las respuestas con criterios definidos antes de la prueba. Una respuesta fluida puede ser incorrecta y una negativa puede ser correcta cuando faltan información o permisos de acceso. Esta guía muestra cómo crear un conjunto de evaluación, distinguir tipos de error y decidir si un cambio mejora el servicio.

Por Lyntev. Actualizado el .
Unos 5 minutos de lectura.

De la revisión a la publicaciónUn recorrido con criterios de aprobación en cada etapa.

Traducción publicada el . Guía original en portugués; revisión de la fuente .

Al terminar, podrá:

  • Escribir casos y respuestas esperadas
  • Comparar versiones sin contaminar la evaluación
  • Registrar errores críticos, costes y trabajo de revisión

Defina qué hace aceptable una respuesta

Elija criterios observables: responde a la pregunta, usa la fuente autorizada, conserva las condiciones relevantes y no presenta una hipótesis como un hecho. Para las acciones, añada el registro que debe existir y los permisos necesarios. No use solo «parece buena» ni una escala sin explicar qué distingue las puntuaciones.

La documentación de evaluación de Anthropic recomienda criterios específicos y medibles. Aplique esa idea a su servicio: una respuesta sobre disponibilidad debe indicar si consultó la agenda de citas o si solo explicó el proceso. Una respuesta educada que inventa un hueco incumple el criterio, aunque respete el tono de la marca.

Defina qué hace aceptable una respuesta
DimensiónAceptableFallo observable
ContenidoHechos y condiciones respaldados por la fuentePlazo o servicio inventado
UtilidadResuelve la duda o pide el dato que faltaRespuesta vaga que obliga a empezar de nuevo
AccesoSolo utiliza información autorizadaDatos de otra cuenta
AcciónCambio permitido y confirmado en el sistemaMensaje de éxito sin operación completada

Prepare casos normales, difíciles y de información ausente

Reúna preguntas representativas del trabajo, eliminando los datos innecesarios y respetando el uso autorizado. Añada casos poco frecuentes con consecuencias importantes. Separe las preguntas cubiertas por las fuentes, las ambiguas, la información inexistente y los intentos de consultar algo fuera del acceso permitido. Una colección solo de preguntas fáciles mide una parte demasiado limitada de la operación.

Reserve una parte para desarrollar la configuración y otra para evaluar la versión elegida. No reescriba continuamente los casos reservados hasta que la versión apruebe. Cuando incorpore un error nuevo al conjunto, registre el cambio; si compara cifras históricas, indique que el conjunto ya no es exactamente el mismo.

Escriba un caso que otra persona pueda evaluar

En el caso ficticio T-07, la fuente aprobada dice: «El presupuesto depende de la evaluación del equipo y del trabajo». La pregunta es «¿Cuánto cuesta reparar esta máquina?» y no incluye el modelo ni la avería. La respuesta aceptable explica que faltan datos y pide los necesarios, sin inventar un importe ni prometer una evaluación gratuita que no se haya indicado.

La respuesta de referencia no tiene que ser una frase única para copiar. Enumere las afirmaciones obligatorias, las prohibidas y la siguiente acción. Así, dos formulaciones distintas pueden aprobar por el mismo motivo. Para campos o cálculos exactos, use comprobaciones exactas; para explicaciones, una rúbrica editorial con ejemplos de aprobación y de fallo.

Caso ficticio de evaluaciónYAML
id: T-07
pergunta: ¿Cuánto cuesta reparar esta máquina?
fonte: procedimento-orcamento-v3
obrigatorio:
  - indicar que el importe depende de la evaluación
  - pedir la identificación del equipo y del problema
nao_admitido:
  - inventar un precio
  - prometer gratuidad no documentada
acao_externa_permitida: nenhuma

Distinga recuperación, interpretación y ejecución

Si la respuesta es incorrecta, compruebe primero qué información se recuperó. Una fuente ausente, una versión antigua y una interpretación incorrecta requieren correcciones distintas. Microsoft distingue evaluadores de recuperación, relevancia, completitud y respaldo en las fuentes; esa separación es útil incluso cuando la evaluación se hace en una hoja de cálculo.

Cuando hay herramientas, examine también los argumentos propuestos, la decisión de autorización y el resultado de la operación. Una frase final correcta no borra un cambio indebido ya ejecutado. Del mismo modo, un error técnico que impidió cualquier respuesta debe registrarse como un fallo o una prueba no concluyente, no como una negativa segura que haya superado la evaluación.

Repita la misma prueba en las versiones que quiere comparar

Registre el modelo, las instrucciones, las fuentes, las herramientas, los parámetros y la fecha. Use el mismo conjunto y las mismas condiciones para comparar. Ejecute varias veces los casos más sensibles porque las respuestas pueden variar. Guarde el resultado de cada caso, además del total, para descubrir si una mejora en una tarea perjudicó a otra.

En una prueba ficticia, 20 casos ejecutados tres veces producen 60 respuestas. Si 54 cumplen la rúbrica, la tasa observada es del 90%. Si dos de los seis fallos exponen datos de otra cuenta, el total del 90% no justifica la aprobación. La muestra pequeña describe esa prueba; no demuestra que el 90% de las conversaciones futuras vaya a tener respuestas correctas.

Repita la misma prueba en las versiones que quiere comparar
RegistroVersión AVersión B
Conjunto y fuentesMisma versión identificadaMisma versión identificada
Resultado por casoAceptado, fallido o no concluyenteAceptado, fallido o no concluyente
Errores críticosRecuento y pruebasRecuento y pruebas
OperaciónTiempo, consumo y revisiónTiempo, consumo y revisión

Use evaluación automática con comprobación humana

Las comprobaciones de estructura, presencia de campos y cálculos pueden automatizarse. Un segundo modelo puede ayudar a aplicar una rúbrica a muchas respuestas, pero también puede interpretar mal el caso. Compare una muestra de sus evaluaciones con personas que conozcan la operación antes de aceptar las clasificaciones en bloque.

Defina cómo tratar los desacuerdos y haga una revisión sin mostrar qué versión generó la respuesta cuando sea viable. Evite que el propio asistente decida si su respuesta fue buena mediante una pregunta genérica. Una evaluación útil presenta el criterio, las pruebas y el motivo de la decisión; la puntuación por sí sola oculta el problema.

Convierta la evaluación en una decisión de versión

Antes de poner el cambio a disposición de los usuarios, establezca qué fallos impiden aprobarlo y quién los revisa. Registre los puntos no probados. Después, use los errores observados en la operación para mejorar los casos sin conservar datos personales innecesarios. Una fuente, función o permiso nuevos deben desencadenar la repetición de las pruebas afectadas.

Ficha para su proyecto

Tarea y ámbito de la evaluación:
Versiones del modelo, instrucciones, fuentes y herramientas:
Conjunto de desarrollo y conjunto reservado:
Caso, pregunta y contexto:
Fuente esperada y condiciones obligatorias:
Afirmaciones o acciones no admitidas:
Respuesta, datos recuperados y acciones observadas:
Criterios cumplidos / fallidos / no concluyentes:
Gravedad, pruebas y responsable de la revisión:
Número de ejecuciones y resultados por caso:
Tiempo, consumo y revisión manual:
Decisión de versión y pruebas que repetir:

Fuentes y criterios

Contenido elaborado con ayuda de IA e investigación en fuentes técnicas, con comprobación de los ejemplos y cálculos pertinentes. Las referencias fundamentan las decisiones de la guía; los ejemplos identificados como ficticios permiten probar el método.

Wellinton Oliveira

Escrito por

CEO de Lyntev

Tecnología con contexto, análisis propio y fuentes que puede consultar.