# ¿Cómo saber si una modalidad adicional mejora un modelo multimodal? Una lectura experimental de EXIST 2026 sobre ablaciones, coste de modalidades y mejoras que no se repiten en todas las subtareas. Canonical: https://www.ordantis.com/insights/exist-modalidades-aportan-valor Updated: 2026-08-28 ## Respuesta breve Una modalidad aporta valor cuando mejora de forma consistente frente al mismo baseline, en las particiones y métricas que representan la tarea, y cuando esa ganancia compensa coste, latencia y fragilidad. La combinación completa no debe asumirse superior por defecto. ## Contexto GEMF combinó texto OCR, representación visual, enriquecimiento semántico y señales fisiológicas. Las ablaciones permitieron observar contribuciones distintas según subtarea y régimen de evaluación. La decisión útil no es qué modalidad parece más sofisticada, sino cuál cambia el error relevante y si ese cambio se mantiene fuera de la muestra usada para diseñarla. ## Ejemplo didáctico: Una señal mejora la media y empeora la clase prioritaria Situación inventada; no representa un resultado de clientes. En una comparación hipotética, añadir visión mejora el resultado agregado, pero aumenta los errores de una clase poco frecuente que tiene prioridad operativa. Qué decisión cambia: Revisa esos ejemplos y repite la comparación con la misma partición y semillas. La aceptación depende de la tarea prioritaria; una media mejor no resuelve ese compromiso. Este ejemplo no representa las cifras de GEMF. ## Qué comprobar - Baseline idéntico para cada comparación. - Variación entre semillas, folds o periodos. - Ganancia por subtarea, clase y régimen de evaluación. - Coste de obtención, inferencia y mantenimiento de la modalidad. - Casos donde la nueva señal contradice al resto. ## Método ### Congelar el protocolo Datos, particiones, métrica y seeds quedan fijados antes de comparar modalidades. ### Retirar una señal Retiramos una señal cada vez y conservamos el resto de la configuración. Esta comparación, llamada ablación, permite medir qué aporta esa señal. ### Analizar errores Revisamos qué ejemplos cambian, no solo la media agregada. ### Valorar operación La mejora se compara con latencia, dependencia externa y capacidad de reproducción. ## Señales para detener la prueba - La ganancia desaparece al repetir semillas o cambiar de partición. - Una modalidad mejora la media, pero daña la subtarea prioritaria. - El coste o la dependencia impiden reproducir el resultado. - La comparación cambia a la vez arquitectura, datos y modalidad. ## Fuentes - [Paper GEMF](https://clef-staging.pages.dev/paper174.pdf) - [Resultados oficiales de EXIST 2026](https://clef-staging.pages.dev/paper152.pdf) - [Código y guía de reproducción](https://github.com/ordantis-projects/exist2026-ordantis) ## Para seguir con esta decisión - [¿Cuándo necesita un problema un modelo temporal o un grafo?](https://www.ordantis.com/insights/elegir-modelo-tabular-temporal-grafo) - [¿Qué debe demostrar un piloto de IA en una administración pública?](https://www.ordantis.com/insights/evaluar-piloto-ia-administracion-publica) - [¿Cuándo ayuda Edge AI a la privacidad por diseño?](https://www.ordantis.com/insights/responsible-ai-privacidad-edge-ai) - [Servicio y entregables](https://www.ordantis.com/capacidades/investigacion-desarrollo)