Contexto
EXIST 2026 proporciona evaluaciones soft y hard. GEMF entrenó con soft labels para conservar la distribución de respuestas de los anotadores en lugar de tratar la mayoría como una verdad sin matices.
El desacuerdo también puede revelar instrucciones ambiguas, grupos con criterios distintos o ejemplos defectuosos. No siempre debe atribuirse a incertidumbre del fenómeno.
Ejemplo didáctico · situación inventada
Dos mayorías que ocultan desacuerdos distintos
En un ejemplo inventado, cuatro de seis personas eligen una categoría. En otro, las seis la eligen. Una etiqueta mayoritaria convierte ambos casos en la misma salida.
Qué decisión cambia. Conserva los recuentos: el primer ejemplo necesita una probabilidad y una revisión distintas del segundo. Investiga además si el desacuerdo procede del contenido o de instrucciones de anotación poco claras.
Qué comprobar antes de empezar
- Número y procedencia de anotadores por ejemplo.
- Instrucciones, opciones y condiciones de anotación.
- Separación entre ambigüedad, error y falta de contexto.
- Métrica compatible con distribuciones y objetivo de uso.
- Consecuencia de convertir una probabilidad en decisión hard.
Método de trabajo
Conservar recuentos
Guardamos votos y metadatos permitidos antes de calcular una etiqueta agregada.
Modelar distribución
La función objetivo compara probabilidades previstas y distribución observada.
Evaluar dos regímenes
Soft y hard se analizan por separado para no ocultar el efecto del umbral.
Revisar desacuerdos
Una muestra se clasifica por ambigüedad, instrucción, contexto y posible error.
Señales para detener la prueba
- Las anotaciones se agregan sin conservar los votos originales.
- La distribución refleja un fallo de instrucciones no corregido.
- Se interpreta desacuerdo como sesgo sin analizar su causa.
- La salida probabilística se presenta como consenso humano.
Fuentes
Para seguir con esta decisión
- ¿Cuándo necesita un problema un modelo temporal o un grafo?
- ¿Qué debe demostrar un piloto de IA en una administración pública?
- ¿Cuándo ayuda Edge AI a la privacidad por diseño?
Servicio de I+D en inteligencia artificial: alcance y entregables
Publicado por Ordantis el .