Contexto
Recuperar pasajes mejora el acceso a una colección, pero no demuestra que respondan la pregunta. El modelo puede completar huecos con conocimiento previo o unir dos fragmentos incompatibles.
La abstención no es un mensaje genérico de error. Debe indicar qué falta y permitir reformular, ampliar la búsqueda o escalar a una persona.
Ejemplo didáctico · situación inventada
La convocatoria existe; la prórroga no aparece
El corpus contiene una convocatoria y sus bases, pero ninguna resolución de ampliación. La pregunta es si se ha prorrogado el plazo.
Qué decisión cambia. La respuesta debe indicar que la colección consultada no permite confirmar una prórroga. Citar las bases originales y responder que no existe sería convertir una ausencia de evidencia en un hecho negativo.
Qué comprobar antes de empezar
- Unidad de indexación, versión documental y permisos por fragmento.
- Preguntas sin respuesta, ambiguas y con fuentes contradictorias.
- Criterio que relaciona cada afirmación con una cita suficiente.
- Umbral de recuperación y regla de abstención por tipo de consulta.
- Tiempo necesario para que una persona verifique la respuesta.
Método de trabajo
Construir el conjunto
Incluimos preguntas respondibles, no respondibles, temporales y adversariales con evidencia esperada.
Evaluar recuperación
Medimos si el fragmento necesario aparece antes de evaluar la redacción final.
Verificar afirmaciones
Cada proposición sustantiva se compara con la cita y su versión documental.
Calibrar abstención
Ajustamos umbrales con el coste de inventar, omitir y escalar en el proceso real.
Señales para detener la prueba
- Las citas son próximas al tema, pero no sostienen la afirmación.
- Documentos sin permiso aparecen en resultados o trazas.
- La respuesta mantiene seguridad verbal cuando las fuentes se contradicen.
- El sistema no puede diferenciar una ausencia en el corpus de una respuesta negativa.
Fuentes
Para seguir con esta decisión
- ¿Por qué OCR no es lo mismo que inteligencia documental?
- ¿Qué hace que un expediente sea computable?
- ¿Qué necesita un RAG además de un chat sobre PDF?
Servicio de Document Intelligence: alcance y entregables
Publicado por Ordantis el .