Contexto
La respuesta puede sonar correcta aunque proceda de un documento derogado o combine fragmentos incompatibles. El problema aparece antes de generar: en el inventario, los metadatos y la recuperación.
Para comprobar esta arquitectura, empieza por preguntas con pasajes esperados y observa si aparecen en la recuperación. La evaluación de respuestas y abstención es una prueba posterior, descrita en la guía específica de RAG con evidencia.
Ejemplo didáctico · situación inventada
Una tabla que el fragmentado rompe
Una condición está en el encabezado de una tabla y sus excepciones en una nota al pie. Al dividir el PDF por longitud, el índice separa la fila, el encabezado y la nota.
Qué decisión cambia. Prueba una unidad de recuperación que conserve esas relaciones antes de cambiar de modelo. Una interfaz de chat no puede compensar que los pasajes recuperados hayan perdido las condiciones que dan sentido al dato.
Qué comprobar antes de empezar
- Propietario, vigencia, versión y nivel de acceso de cada documento.
- Unidad de fragmentación que conserva tablas, referencias y contexto suficiente.
- Preguntas que requieren una fila de tabla, una excepción o un anexo completo.
- Regla de sustitución y borrado de documentos que dejan de estar vigentes.
- Sincronización entre los permisos de la fuente y los del índice.
Método de trabajo
Gobernar el corpus
Registramos fuente, versión, vigencia, permisos y motivo de inclusión de cada documento.
Evaluar recuperación
Medimos si los pasajes necesarios aparecen antes de valorar la redacción del modelo.
Probar estructura
Comparamos fragmentos por longitud y por estructura documental con preguntas que dependen de tablas y notas.
Ensayar cambios
Sustituimos un documento y revocamos un permiso para comprobar que la búsqueda deja de devolver los fragmentos anteriores.
Señales para detener la prueba
- Los permisos documentales no se aplican antes de recuperar fragmentos.
- El sistema mezcla versiones sin mostrar cuál utilizó.
- El fragmentado separa una regla de sus condiciones y excepciones.
- Borrar o restringir un documento no actualiza los resultados de recuperación.
Fuentes
Para seguir con esta decisión
- ¿Cómo construir un RAG que se abstenga y enseñe la evidencia?
- ¿Por qué OCR no es lo mismo que inteligencia documental?
- ¿Qué hace que un expediente sea computable?
Servicio de Document Intelligence: alcance y entregables
Publicado por Ordantis el .