Contexto
Puede cambiar la distribución sin afectar a la decisión, o mantenerse estable mientras cambia la relación entre variables y resultado. Por eso la monitorización necesita señales de datos, rendimiento y negocio.
Una probabilidad del 80 % solo es útil si, en casos comparables, el evento ocurre aproximadamente ocho de cada diez veces. Ordenar bien no implica estar calibrado.
Ejemplo didáctico · situación inventada
Cambió la población; aún no conocemos los resultados
Un servicio empieza a recibir más solicitudes de un grupo antes minoritario. La distribución cambia, pero la etiqueta final tarda semanas en llegar.
Qué decisión cambia. Comprueba cobertura y calidad de entrada, y conserva una cohorte para evaluar cuando maduren las etiquetas. La alerta justifica investigar; todavía no demuestra que reentrenar vaya a mejorar el modelo.
Qué comprobar antes de empezar
- Variables cuyo cambio afecta realmente a la decisión.
- Retraso y calidad de las etiquetas usadas para confirmar rendimiento.
- Calibración global y por segmentos operativos.
- Baseline, versión activa y población de referencia.
- Acción prevista ante alerta, degradación o fallo de datos.
Método de trabajo
Registrar la referencia
Guardamos distribución, métricas, curvas de calibración y segmentos de la versión aceptada.
Vigilar el dato
Controlamos esquema, nulos, rangos, mezcla de población y antigüedad de las fuentes.
Confirmar con resultados
Cuando llegan etiquetas, calculamos error, calibración y coste por ventana y segmento.
Aplicar la regla
Recalibrar, reentrenar, degradar o retirar son respuestas distintas con condiciones explícitas.
Señales para detener la prueba
- Se activa un reentrenamiento sin comprobar calidad de etiquetas ni causa del cambio.
- La media permanece estable, pero falla un segmento crítico.
- Las probabilidades deciden umbrales y nunca se comprueba su calibración.
- No se puede comparar la versión activa con la anterior sobre la misma ventana.
Fuentes
Para seguir con esta decisión
- ¿Cómo validar mantenimiento predictivo cuando hay pocas averías?
- ¿Cómo evaluar un modelo predictivo cuando el servicio se satura?
- ¿Cómo saber si el intervalo de una predicción es fiable?
Servicio de Machine learning y modelos predictivos: alcance y entregables
Publicado por Ordantis el .