Contexto
Un sistema puede reducir su error medio y proponer un plan peor. Esto ocurre si los errores que evita tienen poca consecuencia mientras aumenta la infraestimación en puntos sin alternativa. La evaluación del predictor y la evaluación del plan necesitan medidas distintas.
La optimización combina decisiones posibles, una función objetivo y restricciones. Unas restricciones son obligatorias, como no asignar un equipo inexistente. Otras preferencias admiten compensaciones, como reducir desplazamientos o repartir carga. La organización debe aprobar esas prioridades: no deben quedar escondidas en pesos elegidos durante el desarrollo.
Las explicaciones de un modelo describen cómo utiliza sus entradas. La documentación de SHAP advierte de que esto no convierte asociaciones en efectos causales. Que la presencia de refuerzos se asocie a más incidencias puede reflejar que se enviaron a lugares difíciles; no demuestra que retirarlos reduzca las incidencias.
Ejemplo didáctico · situación inventada
La demanda aumenta donde el equipo no llega a tiempo
Un operador dispone de equipos móviles para atender varias zonas. El predictor sitúa la mayor demanda en una de ellas, pero trasladar todos los equipos dejaría otra zona sin cobertura mínima y algunos llegarían después del pico.
Qué decisión cambia. El plan incorpora tiempos de traslado, cobertura mínima y recursos realmente disponibles. Se compara una asignación parcial con mantener la política actual, usando escenarios de demanda. La cifra prevista alimenta el cálculo; no sustituye las restricciones ni la aprobación de quien coordina el servicio.
Qué comprobar antes de empezar
- Decisiones disponibles y plazo en el que todavía se pueden ejecutar.
- Capacidad, ubicación, disponibilidad y compatibilidad de los recursos.
- Restricciones obligatorias, preferencias y persona responsable de aprobarlas.
- Coste de traslado, espera, déficit de servicio y cambios de última hora.
- Política actual contra la que comparar, incluidos sus ajustes manuales.
Método de trabajo
Separar pronóstico, plan y ejecución
Guarda tres objetos distintos: previsión con su horizonte, propuesta de asignación con restricciones y decisión finalmente ejecutada. Así puede saberse si un fallo procede del modelo, de una capacidad mal registrada o de una recomendación que no llegó a aplicarse. Conserva también los motivos de rechazo; contar únicamente planes aceptados sesgaría la evaluación.
Construir una política de referencia
Reproduce el procedimiento actual con los datos disponibles en cada fecha, no con el histórico ya corregido. Compara esa política con reglas sencillas y con la alternativa optimizada. La programación matemática o por restricciones es una herramienta posible; el tamaño y estructura del problema determinan qué método merece probarse. No hace falta introducir aprendizaje por refuerzo para justificar que existe planificación.
Comprobar factibilidad antes de valorar el ahorro
Prueba límites de capacidad, incompatibilidades, tiempos de traslado y prioridades. Incluye casos sin solución factible. El sistema debe comunicar el conflicto, no relajar una condición obligatoria en silencio. Una solución encontrada bajo un límite de tiempo puede ser utilizable sin tener demostrada optimalidad; el informe debe indicar el estado y las condiciones del cálculo.
Ensayar demanda incierta
Evalúa el plan bajo escenarios plausibles, incluyendo errores concentrados en un mismo territorio o periodo. Compara déficit de servicio, recursos ociosos y coste de cambiar el plan. Si una pequeña revisión del pronóstico reorganiza toda la operación, estudia penalizaciones de cambio o una reserva operativa. No presentes el resultado de una simulación como ahorro observado.
Medir el uso antes de ampliar
Una primera prueba puede emitir recomendaciones sin ejecutarlas y revisar su viabilidad con el equipo. Ese modo sombra aporta información sobre el plan, pero no demuestra qué habría ocurrido al aplicarlo. Para medir impacto hace falta un despliegue autorizado y un diseño de evaluación adecuado. Registra la política utilizada: cuando las decisiones cambian la demanda observada, el futuro entrenamiento ya no recibe datos del mismo proceso.
Señales para detener la prueba
- El objetivo premia ahorro ignorando un mínimo de servicio que la organización considera obligatorio.
- Los planes propuestos dependen de recursos no disponibles o llegan fuera de plazo.
- La recomendación atribuye efectos causales a una importancia de variables.
- Se comunican beneficios simulados como resultados realmente obtenidos.
Fuentes
- Google OR-Tools — modelos y métodos de optimización — Herramientas para representar asignaciones, objetivos y restricciones; no acreditan el impacto de una política concreta.
- SHAP — precauciones al interpretar modelos predictivos como explicaciones causales — Explica por qué describir una predicción y estimar el efecto de una intervención son problemas diferentes.
Para seguir con esta decisión
- ¿Cómo validar mantenimiento predictivo cuando hay pocas averías?
- ¿Cómo evaluar un modelo predictivo cuando el servicio se satura?
- ¿Cómo saber si el intervalo de una predicción es fiable?
Servicio de Machine learning y modelos predictivos: alcance y entregables
Publicado por Ordantis el .