Contexto
Predecir una cifra y describir cuánto puede fallar son tareas distintas. Dos situaciones con la misma estimación central pueden necesitar decisiones diferentes si una se apoya en observaciones recientes y la otra en fuentes incompletas o en un régimen apenas representado en el histórico.
Conviene distinguir el intervalo para un resultado futuro del intervalo de confianza de una métrica de evaluación. El primero expresa dispersión de la variable que se quiere anticipar. El segundo expresa incertidumbre al estimar, por ejemplo, el error medio con una muestra finita. No son intercambiables.
La regresión por cuantiles permite construir bandas cuyo ancho varía con las entradas. La calibración conformal puede ajustar esos intervalos bajo determinados supuestos. El trabajo de Romano, Patterson y Candès presenta ese enfoque; aplicarlo a una serie temporal obliga a revisar los supuestos, no basta con trasladar la receta de un conjunto de filas intercambiables.
Ejemplo didáctico · situación inventada
La misma cifra, dos decisiones de capacidad
Dos instalaciones reciben una previsión central similar. En una, las entradas históricas son regulares; en la otra hay un evento excepcional y falta una fuente de conteo. El panel muestra la misma etiqueta de confianza en ambas.
Qué decisión cambia. La etiqueta necesita una comprobación. Se revisa si los intervalos reflejan esa diferencia y mantienen cobertura en condiciones comparables. Si el segundo caso está fuera del dominio evaluado, se informa de esa limitación y se aplica la política de revisión acordada, sin inventar un porcentaje individual de certeza.
Qué comprobar antes de empezar
- Qué resultado futuro debe contener el intervalo y con qué horizonte.
- Cómo se distinguen datos de entrenamiento, calibración y prueba final.
- Qué cobertura y anchura resultarían útiles para la decisión concreta.
- Qué dependencia temporal, cambios de régimen y retrasos en las etiquetas existen.
- Qué actuación corresponde a una banda demasiado amplia o a una fuente crítica ausente.
Método de trabajo
Construir una referencia de incertidumbre
Compara una banda sencilla basada en errores históricos con una alternativa condicionada por las entradas. Evalúa ambas sobre los mismos periodos futuros. Si la banda compleja no distingue condiciones difíciles ni reduce anchura manteniendo una cobertura adecuada, no hay evidencia para conservarla. No conviertas la puntuación interna de un modelo en un porcentaje de fiabilidad sin calibración.
Separar ajuste y comprobación
Ajusta el predictor con el conjunto de entrenamiento y utiliza datos distintos para calibrar. Reserva un periodo posterior para comprobar el resultado sin retocar los umbrales con sus errores. Mantén la fecha de disponibilidad de cada etiqueta: una corrección que llega semanas después no puede haber servido para recalibrar una predicción anterior.
Leer cobertura y anchura juntas
Publica la proporción de resultados incluidos, el número de observaciones y la distribución de la anchura. Desglosa por horizonte, régimen y calidad de las fuentes cuando haya muestra suficiente. Una cobertura global aceptable no implica cobertura condicional en cada grupo. En grupos pequeños, declara que la evidencia es insuficiente en vez de presentar diferencias mínimas como conclusiones firmes.
Comprobar qué ocurre cuando cambia el entorno
La conformalización clásica se apoya en condiciones como la intercambiabilidad; la autocorrelación y los cambios de distribución pueden invalidar su aplicación directa. Los métodos adaptativos estudian otras garantías, como frecuencias de cobertura a largo plazo. Eso no equivale a acertar cada caso, cada tramo corto o cada población. Evalúa explícitamente las ventanas donde el sistema debe operar.
Vincular la banda a una actuación
Define con el responsable si una incertidumbre alta exige revisión, una reserva adicional o suspender el uso de la recomendación. Guarda la versión del calibrador junto al modelo y supervisa la cobertura cuando llegue el resultado observado. El valor de la banda se demuestra en esa decisión, no en que el gráfico parezca más informativo.
Señales para detener la prueba
- El porcentaje mostrado al usuario no corresponde a ninguna comprobación de calibración.
- Se consigue cobertura ampliando la banda hasta hacerla inútil para decidir.
- La media oculta infracobertura persistente en un régimen relevante.
- Se promete cobertura fuera de distribución sin comprobar las condiciones del método.
Fuentes
- Romano, Patterson y Candès — Conformalized Quantile Regression — Método de intervalos adaptados a la variabilidad de los datos y condiciones de cobertura.
- Gibbs y Candès — Adaptive Conformal Inference Under Distribution Shift — Estudia cobertura a largo plazo en un entorno cambiante; no ofrece certeza por predicción individual.
Para seguir con esta decisión
- ¿Cómo validar mantenimiento predictivo cuando hay pocas averías?
- ¿Cómo evaluar un modelo predictivo cuando el servicio se satura?
- ¿Por qué predecir demanda no basta para asignar recursos?
Servicio de Machine learning y modelos predictivos: alcance y entregables
Publicado por Ordantis el .