# ¿Cómo puede un buen resultado soft fallar al convertirlo en etiquetas hard?

El caso de Task 2.3 en EXIST 2026 muestra por qué calibración, umbrales y ranking deben analizarse por separado.

Canonical: https://www.ordantis.com/insights/exist-umbrales-soft-hard
Updated: 2026-08-27

## Respuesta breve

Un modelo puede ordenar bien y aproximar distribuciones, pero fallar al aplicar un umbral fijo a cada clase. La conversión hard necesita validación independiente por etiqueta, restricciones de cardinalidad y una prueba que no haya participado en el ajuste.

## Contexto

En Task 2.3, GEMF obtuvo la posición 10 de 118 en soft y 132 de 187 en hard. Esa diferencia está publicada y apunta a sobreajuste de umbrales, no a un rendimiento uniforme.

Ocultar el resultado débil impediría aprender la decisión experimental más útil: la capa que discretiza probabilidades puede arruinar una representación razonable.

## Ejemplo didáctico: La probabilidad apenas cambia; la etiqueta sí

Situación inventada; no representa un resultado de clientes.

Con un umbral ilustrativo de 0,5, una salida de 0,49 queda negativa y otra de 0,51 queda positiva. Las dos predicciones están muy próximas, pero desencadenan decisiones opuestas.

Qué decisión cambia: Evalúa la estabilidad de esa decisión alrededor del umbral y el coste de cada error. No elijas el corte con el mismo conjunto que después usarás para informar del resultado final.

## Qué comprobar

- Calibración y prevalencia por etiqueta.
- Métrica usada para escoger cada umbral.
- Conjunto reservado que no intervino en el ajuste.
- Número de etiquetas esperado y combinaciones imposibles.
- Sensibilidad del ranking ante pequeñas variaciones del umbral.

## Método

### Separar capas

Evaluamos representación, probabilidad y binarización como decisiones distintas.

### Trazar curvas

Medimos precisión, exhaustividad y calibración por etiqueta en un rango de umbrales.

### Validar externamente

Los umbrales se aceptan en una partición o evaluación que no los optimizó.

### Publicar la divergencia

Informamos resultados soft y hard junto a la regla de conversión.

## Señales para detener la prueba

- El mismo conjunto elige y evalúa los umbrales.
- Se usa 0,5 para todas las etiquetas sin comprobar prevalencia ni coste.
- La métrica agregada oculta etiquetas sin detecciones.
- Solo se comunica el régimen favorable y se omite el resultado hard.

## Fuentes

- [Paper GEMF](https://clef-staging.pages.dev/paper174.pdf)
- [Resultados oficiales de EXIST 2026](https://clef-staging.pages.dev/paper152.pdf)
- [Código y guía de reproducción](https://github.com/ordantis-projects/exist2026-ordantis)

## Para seguir con esta decisión

- [¿Cómo validar mantenimiento predictivo cuando hay pocas averías?](https://www.ordantis.com/insights/mantenimiento-predictivo-pocas-averias)
- [¿Cómo evaluar un modelo predictivo cuando el servicio se satura?](https://www.ordantis.com/insights/modelos-predictivos-picos-demanda)
- [¿Cómo saber si el intervalo de una predicción es fiable?](https://www.ordantis.com/insights/incertidumbre-prediccion-series-temporales)
- [Servicio y entregables](https://www.ordantis.com/capacidades/modelos-predictivos)
