Un asistente puede encontrar un procedimiento en segundos y, aun así, recomendar una versión que ya no está vigente. También puede redactar una respuesta convincente sin que los documentos consultados la respalden. En una empresa, esa diferencia importa: la utilidad depende de que la respuesta sea adecuada para la tarea y para la persona que la recibe.
Evaluar un asistente de IA con conocimiento corporativo consiste en comprobar qué resuelve, con qué evidencias y dentro de qué límites. La decisión de ponerlo en producción necesita algo más que una demostración con preguntas preparadas.
Qué hay que evaluar además del modelo
Un asistente documental combina varias piezas: las fuentes, su actualización, los permisos de acceso, el sistema de búsqueda, las instrucciones y el modelo que redacta la respuesta. Si una de ellas falla, mejorar únicamente el modelo puede dejar el problema sin resolver.
En una arquitectura RAG, el sistema recupera información de una base documental para utilizarla como contexto al generar una respuesta. Conviene evaluar por separado la recuperación y el resultado final: esa distinción está recogida en la documentación técnica de evaluación RAG de Microsoft.
Disponer de una base de conocimiento organizada es el punto de partida. La evaluación debe demostrar que el asistente la utiliza correctamente en situaciones concretas.
Cómo preparar una evaluación útil para el negocio
1. Delimita la tarea y la respuesta esperada
Antes de elegir métricas, define qué puede hacer el asistente. Consultar procedimientos internos, localizar documentación técnica o ayudar a preparar una propuesta son tareas distintas. Tampoco tienen el mismo impacto un error de formato y una indicación incorrecta sobre un proceso crítico.
Para cada tarea, acuerda qué información debe incluir una respuesta útil, qué fuente tiene prioridad y cuándo corresponde derivar la consulta a una persona. Los criterios de aceptación deben fijarse antes de revisar los resultados, para evitar adaptarlos a lo que el sistema ya hace bien.
2. Construye un conjunto de preguntas representativas
Recoge consultas reales con las personas que utilizarán el asistente y prepara una respuesta de referencia o una lista de elementos verificables. Registra también los documentos autorizados, su versión y el perfil de acceso del usuario de prueba.
Conviene incluir situaciones diferentes:
- Preguntas habituales, con una respuesta clara en una fuente vigente.
- Consultas ambiguas, que requieren pedir una aclaración.
- Información repartida entre varios documentos compatibles.
- Versiones contradictorias, donde es necesario identificar cuál está aprobada.
- Preguntas sin respuesta documental, en las que el asistente debe reconocer el límite.
- Consultas fuera de los permisos del usuario, aunque exista información relacionada en el repositorio.
Reserva una parte de las preguntas para la validación final. Si se ajusta continuamente el sistema con los mismos ejemplos, el resultado puede parecer mejor sin demostrar que funcionará ante consultas nuevas.
3. Separa los fallos de búsqueda de los fallos de respuesta
Cuando una respuesta sea incorrecta, revisa primero qué documentos se recuperaron. ¿Apareció la fuente necesaria? ¿Era la versión vigente? ¿El fragmento incluía la condición o excepción relevante?
Después analiza la redacción: ¿responde a lo preguntado, mantiene los matices y permite comprobar de dónde procede la información? Así puedes distinguir entre un problema del índice, de la documentación o de la generación, y decidir dónde intervenir.
Mostrar una cita no demuestra por sí solo que la respuesta sea correcta. Hay que abrir la fuente y comprobar que respalda la afirmación. Una respuesta puede ajustarse a un documento y seguir siendo inadecuada si ese documento está desactualizado.
Qué indicadores conviene registrar
Un cuadro de evaluación breve puede combinar:
- Corrección y cobertura: si la respuesta resuelve la tarea y recoge las condiciones esenciales.
- Respaldo documental: si las afirmaciones se sostienen en las fuentes recuperadas y las citas son pertinentes.
- Gestión de la incertidumbre: si pide contexto, reconoce que falta información o deriva la consulta cuando corresponde.
- Respeto de permisos: si evita revelar información no autorizada.
- Experiencia operativa: tiempo de respuesta, errores técnicos, necesidad de corrección humana y coste del flujo completo.
No conviene reducirlo todo a una media. Un resultado general favorable puede ocultar un fallo grave en una tarea concreta. Define criterios por tipo de consulta y trata los fallos críticos como bloqueos de despliegue hasta resolverlos.
Las evaluaciones automáticas pueden ayudar a ampliar la cobertura. Deben contrastarse con revisión humana, especialmente cuando el impacto del error sea relevante. El perfil de IA generativa de NIST sitúa las pruebas previas al despliegue y la gestión de riesgos dentro del ciclo de vida del sistema, no como una comprobación aislada.
Prueba también lo que el asistente no debe hacer
En un entorno de pruebas, utiliza documentos preparados para comprobar cómo responde ante instrucciones maliciosas incluidas en las fuentes. Por ejemplo, un texto que intente cambiar la tarea o provocar una revelación de información. La prueba debe utilizar datos ficticios y cuentas con permisos controlados.
OWASP advierte de que RAG no elimina las vulnerabilidades de prompt injection. Conectar el asistente a documentación corporativa no convierte automáticamente todo su contenido en instrucciones fiables.
Comprueba los controles de acceso en la recuperación de información y verifica lo que llega a la respuesta. Escribir «no muestres datos confidenciales» en las instrucciones del modelo no sustituye esos controles. Si el asistente también ejecuta acciones, necesitará una evaluación adicional de herramientas, autorizaciones y efectos; este artículo se centra en consulta documental.
Cómo decidir si está preparado para producción
La decisión debería apoyarse en evidencias revisables: resultados por tarea, incidencias abiertas, responsables y condiciones de uso. Puede ser razonable autorizar un alcance limitado y mantener otras funciones fuera del despliegue.
Antes de dar ese paso, confirma que existe una persona responsable de la documentación, un canal para comunicar errores y un procedimiento para suspender el asistente o volver a una configuración anterior. El enfoque Human in the Loop necesita responsables y capacidad de intervención, además de una aprobación inicial.
Después del despliegue, repite las pruebas relevantes cuando cambien el modelo, las instrucciones, el buscador, las fuentes o los permisos. Conserva la versión evaluada y registra las incidencias reales para ampliar el conjunto de pruebas.
Del prototipo a un asistente que el equipo pueda utilizar con criterio
La evaluación conecta la tecnología con el gobierno de IA de la organización: permite decidir qué usos se autorizan, qué riesgos siguen abiertos y quién debe resolverlos.
En Panel IALab planteamos la adopción de IA desde las necesidades del negocio, los datos y la coordinación entre equipos. Si estás preparando un asistente corporativo, el siguiente paso es concretar qué debe demostrar antes de desplegarlo. Cuéntanos el caso de uso que quieres evaluar.
