Contexto
En Task 2.3, GEMF obtuvo la posición 10 de 118 en soft y 132 de 187 en hard. Esa diferencia está publicada y apunta a sobreajuste de umbrales, no a un rendimiento uniforme.
Ocultar el resultado débil impediría aprender la decisión experimental más útil: la capa que discretiza probabilidades puede arruinar una representación razonable.
Ejemplo didáctico · situación inventada
La probabilidad apenas cambia; la etiqueta sí
Con un umbral ilustrativo de 0,5, una salida de 0,49 queda negativa y otra de 0,51 queda positiva. Las dos predicciones están muy próximas, pero desencadenan decisiones opuestas.
Qué decisión cambia. Evalúa la estabilidad de esa decisión alrededor del umbral y el coste de cada error. No elijas el corte con el mismo conjunto que después usarás para informar del resultado final.
Qué comprobar antes de empezar
- Calibración y prevalencia por etiqueta.
- Métrica usada para escoger cada umbral.
- Conjunto reservado que no intervino en el ajuste.
- Número de etiquetas esperado y combinaciones imposibles.
- Sensibilidad del ranking ante pequeñas variaciones del umbral.
Método de trabajo
Separar capas
Evaluamos representación, probabilidad y binarización como decisiones distintas.
Trazar curvas
Medimos precisión, exhaustividad y calibración por etiqueta en un rango de umbrales.
Validar externamente
Los umbrales se aceptan en una partición o evaluación que no los optimizó.
Publicar la divergencia
Informamos resultados soft y hard junto a la regla de conversión.
Señales para detener la prueba
- El mismo conjunto elige y evalúa los umbrales.
- Se usa 0,5 para todas las etiquetas sin comprobar prevalencia ni coste.
- La métrica agregada oculta etiquetas sin detecciones.
- Solo se comunica el régimen favorable y se omite el resultado hard.
Fuentes
Para seguir con esta decisión
- ¿Cómo validar mantenimiento predictivo cuando hay pocas averías?
- ¿Cómo evaluar un modelo predictivo cuando el servicio se satura?
- ¿Cómo saber si el intervalo de una predicción es fiable?
Servicio de Machine learning y modelos predictivos: alcance y entregables
Publicado por Ordantis el .