Contexto
Las fuentes públicas cambian encabezados, formatos, códigos y calendarios sin que todas las modificaciones aparezcan como una nueva versión formal. Un proceso automático puede aceptar el archivo y perder silenciosamente parte de los registros.
La vigencia también depende de la decisión. Un catálogo anual puede servir para un análisis histórico y ser insuficiente para una alerta diaria. La frecuencia necesaria debe derivarse del uso, no de la disponibilidad de la fuente.
Ejemplo didáctico · situación inventada
El CSV sigue disponible, pero cambió el código territorial
Una fuente reemplaza los códigos de distrito sin cambiar la URL. La descarga termina correctamente y el cruce con la tabla histórica pierde registros.
Qué decisión cambia. Compara cobertura y claves sin correspondencia antes de actualizar el informe. Conserva la versión anterior hasta disponer de una tabla de equivalencias revisada; un HTTP 200 no confirma que el dato siga siendo compatible.
Qué comprobar antes de empezar
- Organismo responsable, licencia, URL canónica y canal de cambios de cada fuente.
- Fecha de observación, fecha de publicación y periodo al que se refiere cada registro.
- Identificadores que permiten relacionar versiones, territorios y entidades sin usar solo el nombre.
- Cambios de esquema, unidades, cobertura y definiciones a lo largo del tiempo.
- Tolerancia de la decisión a retrasos, huecos y revisiones retroactivas.
Método de trabajo
Inventariar
Registramos responsable, licencia, cobertura, frecuencia, esquema e identificadores antes de integrar.
Contratar el dato
Convertimos tipos, unidades, claves y mínimos de calidad en pruebas reproducibles.
Versionar
Conservamos la fecha de captura, el original y las transformaciones para reconstruir cada resultado.
Monitorizar
Alertamos sobre retrasos, cambios de esquema, caídas de cobertura y valores físicamente incompatibles.
Señales para detener la prueba
- La fuente no permite identificar el periodo o la versión de los registros.
- Un cambio de esquema elimina datos sin provocar un fallo visible.
- Los nombres se usan como única clave y mezclan entidades distintas.
- La actualización disponible llega después de la decisión que pretende apoyar.
Para seguir con esta decisión
- ¿Cómo distinguir un cambio operativo de un cambio en los datos?
- ¿Cómo detectar sensores defectuosos y expresar confianza en el dato?
- ¿Puede un documento convertirse en una geometría?
Servicio de Ciencia e ingeniería de datos: alcance y entregables
Probar las reglas en Data Quality Lab
Publicado por Ordantis el .