Lab · benchmark reproducible
RAG Benchmark: recuperación, abstención y evidencia
Una respuesta con cita puede seguir siendo incorrecta. Este Lab separa tres decisiones: recuperar la fuente esperada, abstenerse cuando el corpus no responde y detenerse cuando dos resultados quedan demasiado próximos.
Prueba la regla de recuperación
9 de 9 decisiones correctas en esta prueba preparada
6/6 fuentes respondibles recuperadas3/3 abstenciones correctas0 respuestas falsas
Ninguna pregunta sin respuesta recibió una fuente como si fuera válida.
| Pregunta | Resultado esperado | Primera fuente | Puntuación / margen | Decisión |
|---|---|---|---|---|
| q01¿Qué debe hacer un RAG cuando los fragmentos recuperados no respaldan la respuesta? | ¿Cómo construir un RAG que se abstenga y enseñe la evidencia?Recuperar la guía sobre abstención y evidencia. | ¿Cómo construir un RAG que se abstenga y enseñe la evidencia? | 0.3071Margen: 0.2800 | Recupera fuente · correcto |
| q02¿Dónde deben aplicarse los permisos de una herramienta y cuándo hace falta aprobación humana? | ¿Cómo definir permisos y aprobaciones para las herramientas de un agente?Recuperar la guía sobre permisos y aprobación. | ¿Cómo definir permisos y aprobaciones para las herramientas de un agente? | 0.2799Margen: 0.1846 | Recupera fuente · correcto |
| q03¿Cómo se evita usar información futura durante una validación temporal? | ¿Cómo detectar data leakage y validar un modelo en el tiempo?Recuperar la guía sobre data leakage y corte temporal. | ¿Cómo detectar data leakage y validar un modelo en el tiempo? | 0.0869Margen: 0.0103 | Recupera fuente · correcto |
| q04¿Cómo impedir que una instrucción dentro de un documento active una herramienta? | ¿Cómo limitar un ataque de prompt injection en un agente con herramientas?Recuperar la guía sobre prompt injection. | ¿Cómo limitar un ataque de prompt injection en un agente con herramientas? | 0.1963Margen: 0.1130 | Recupera fuente · correcto |
| q05¿Qué señales permiten detectar drift y pérdida de calibración en un modelo? | ¿Cómo vigilar drift y calibración después del despliegue?Recuperar la guía sobre deriva y calibración. | ¿Cómo vigilar drift y calibración después del despliegue? | 0.2251Margen: 0.1287 | Recupera fuente · correcto |
| q06¿Cómo distinguir un sensor bloqueado de un proceso que permanece estable? | ¿Cómo detectar sensores defectuosos y expresar confianza en el dato?Recuperar la guía sobre sensores defectuosos. | ¿Cómo detectar sensores defectuosos y expresar confianza en el dato? | 0.2528Margen: 0.2045 | Recupera fuente · correcto |
| q07¿Cuál es el precio mensual del servicio y qué descuento tiene el plan anual? | AbstenciónAbstenerse: el corpus no contiene precios ni planes. | ¿Cómo definir permisos y aprobaciones para las herramientas de un agente? | 0.0430Margen: 0.0015 | Se abstiene · correcto |
| q08¿Cuántas personas trabajan en cada oficina de Ordantis? | AbstenciónAbstenerse: el corpus no contiene plantilla por oficinas. | ¿Cómo definir permisos y aprobaciones para las herramientas de un agente? | 0.0791Margen: 0.0251 | Se abstiene · correcto |
| q09¿Cómo revisar permisos de herramientas, aprobación humana, fragmentos, citas y evidencia? | AbstenciónAbstenerse por ambigüedad entre las guías de permisos y evidencia. | ¿Cómo construir un RAG que se abstenga y enseñe la evidencia? | 0.1991Margen: 0.0069 | Se abstiene · correcto |
Un acierto solo indica que esta regla eligió la fuente esperada o se abstuvo. No demuestra que una respuesta generada sea fiel ni que el método funcione en otro corpus.
Cómo se calcula
- Normaliza mayúsculas y tildes, elimina signos y palabras funcionales frecuentes, y conserva términos de al menos tres caracteres.
- Representa pregunta y documentos con frecuencia de término e IDF suavizado; ordena por similitud coseno.
- Solo devuelve una fuente cuando la primera puntuación supera el umbral y mantiene una distancia mínima respecto a la segunda.
- Una pregunta respondible es correcta si recupera el documento esperado. Una pregunta sin respuesta o deliberadamente ambigua es correcta si el sistema se abstiene.
- Esta versión publica los parámetros junto con el resultado. Se ajustaron sobre este conjunto preparado, de modo que no estiman rendimiento fuera de la muestra; la interfaz permite cambiarlos para observar el intercambio entre recuperación y falsas respuestas.
Corpus controlado
La prueba utiliza el texto público de estas seis guías. No consulta Internet, documentación privada ni una base vectorial externa.
- ¿Cómo construir un RAG que se abstenga y enseñe la evidencia?
- ¿Cómo definir permisos y aprobaciones para las herramientas de un agente?
- ¿Cómo detectar data leakage y validar un modelo en el tiempo?
- ¿Cómo limitar un ataque de prompt injection en un agente con herramientas?
- ¿Cómo vigilar drift y calibración después del despliegue?
- ¿Cómo detectar sensores defectuosos y expresar confianza en el dato?
Qué no demuestra esta prueba
- El corpus es pequeño y fue preparado por Ordantis; no representa documentos de clientes, PDF escaneados ni permisos reales.
- La coincidencia léxica no detecta por sí sola paráfrasis, contradicciones, vigencia ni si una cita respalda cada afirmación generada.
- Las preguntas forman parte del benchmark y no son una muestra aleatoria de consultas de producción.
- Un resultado correcto identifica una fuente esperada; no demuestra que una respuesta posterior sea fiel, completa o segura.
- No existe un conjunto de calibración separado en esta demo. Los umbrales no se recomiendan para otro corpus y una evaluación real necesita preguntas representativas que no hayan servido para ajustarlos.
Para seguir con esta decisión
- RAG con abstención y evidencia
- Prompt injection en agentes y herramientas
- Document Intelligence: alcance y entregables
Método 1.0.0
Primera conversación