Definir la decisión
Antes de modelar fijamos el horizonte, la variable que se quiere estimar y la decisión que utilizará el resultado.
Capacidad
Machine learning y modelos predictivos
Desarrollo y evaluación de modelos de machine learning para demanda, riesgo y mantenimiento: validación temporal, incertidumbre e integración en sistemas operativos.
¿Qué hace que una predicción sea útil para decidir?
La predicción debe llegar antes de la decisión y mejorar una referencia conocida en los periodos y condiciones relevantes. Definimos el horizonte, el coste de infraestimar o sobreestimar y cómo comprobar la incertidumbre. Desarrollamos el modelo junto a su evaluación temporal y a los contratos de datos necesarios para integrarlo.
Encaje
Cuándo tiene sentido investigarlo
- Existe una decisión recurrente que depende de lo que puede ocurrir después.
- Hay histórico suficiente y se conoce cómo se generó.
- El coste de anticiparse se puede comparar con el coste de equivocarse.
- La organización puede revisar el modelo cuando cambian los datos.
- La predicción debe integrarse en un servicio continuo con límites de latencia y carga.
Alcance de una primera prueba
Qué necesitamos y qué entregamos
Este es el punto de partida para acordar el alcance. Datos, entregables y aceptación se concretan antes de iniciar la prueba.
Para empezar
- Histórico con variable objetivo, entidades y fechas de observación y disponibilidad.
- Regla actual de decisión, horizonte de predicción y coste de actuar tarde o equivocarse.
- Restricciones de frecuencia, carga, latencia y tratamiento de entradas que llegan tarde.
Entregables propuestos
- Dataset versionado y particiones temporales que reproducen la información disponible al decidir.
- Baseline y backtest por horizonte, periodo y régimen de carga, con número de episodios y límites de la muestra.
- Artefacto reproducible del modelo, contrato de entrada/salida y pruebas de latencia del servicio.
- Criterios para detectar deterioro, usar una alternativa sencilla y retirar una versión.
Cómo se acepta la prueba
La comparación utiliza un periodo reservado. Acordamos por separado error, calibración cuando proceda y plazo de respuesta: una buena métrica offline no compensa llegar después de la decisión.
Qué queda fuera
No fijamos una mejora porcentual antes de revisar el histórico. La puesta en producción depende de superar la referencia y las pruebas de operación acordadas.
Trabajo
De la pregunta al sistema
Construir una referencia
Comparamos contra reglas simples, medias históricas o el método actual. Si un modelo complejo no mejora esa referencia, no se industrializa.
Validar en el tiempo
Reconstruimos la información disponible en cada instante y reservamos episodios completos. El análisis separa horizontes, periodos de saturación y cambios de régimen: una media mejor no basta si empeora una condición crítica.
Comparar representaciones
Contrastamos variables tabulares con historia temporal y relaciones entre entidades cuando el problema lo requiere. Las secuencias, los grafos o el aprendizaje compartido continúan solo si aportan mejora frente a controles con información equivalente.
Cuantificar incertidumbre
Evaluamos cobertura y anchura de los intervalos en periodos no usados para calibrar. Diferenciamos una observación poco fiable, un régimen poco representado y una situación con varios futuros plausibles; no les asignamos una confianza genérica.
Vigilar el deterioro
Definimos alertas para cambios de distribución, errores por segmento y pérdida de calibración.
Preparar la operación
Probamos concurrencia, latencia, entradas tardías, estados degradados y reproducción de cada predicción antes de integrar el servicio.
Decisiones
Qué debe quedar acordado
- Horizonte y unidad de predicción.
- Métrica vinculada al coste del error.
- Intervalos o probabilidades que acompañan la estimación.
- Presupuesto de latencia y comportamiento en regímenes de alta carga.
- Regla de reentrenamiento o retirada.
Preguntas
Qué preguntamos antes de construir
- ¿Hay suficiente histórico para la decisión concreta?
- ¿Qué baseline debe superar el modelo?
- ¿Cómo cambia el error entre periodos o grupos?
- ¿Qué información estaba disponible en el instante exacto de cada predicción?
- ¿Qué haría que dejáramos de confiar en la predicción?
Guías relacionadas
Decisiones técnicas sobre machine learning
Respuestas breves, controles y criterios de parada para comprobar el encaje antes de construir.
¿Cómo validar mantenimiento predictivo cuando hay pocas averías?
Evaluación de modelos de mantenimiento predictivo: eventos escasos, seguimiento incompleto, separación por activo y anticipación útil de las alertas.
Leer guía¿Cómo evaluar un modelo predictivo cuando el servicio se satura?
Validación de modelos en picos de demanda: episodios independientes, errores extremos, horizontes de decisión y degradación de fuentes.
Leer guía¿Cómo saber si el intervalo de una predicción es fiable?
Incertidumbre en modelos predictivos: cobertura, anchura, calibración temporal y límites de la predicción conformal cuando cambia el entorno.
Leer guía¿Por qué predecir demanda no basta para asignar recursos?
De modelos predictivos a decisiones de planificación: restricciones, optimización, incertidumbre y evaluación del coste de actuar.
Leer guía¿Cómo detectar data leakage y validar un modelo en el tiempo?
Una reconstrucción del instante de decisión para impedir que el entrenamiento vea datos futuros o consecuencias del resultado.
Leer guía¿Cómo vigilar drift y calibración después del despliegue?
Separar cambios de datos, pérdida de calidad y probabilidades mal calibradas antes de decidir un reentrenamiento.
Leer guíaPrimera conversación