Pregunta de investigación

¿Cuándo usar un LLM como mediador semántico offline?

Qué aporta una representación estructurada generada antes del entrenamiento y qué dependencia introduce en un sistema multimodal.

Respuesta breve

Un LLM puede convertir una entrada compleja en atributos semánticos útiles cuando ese enriquecimiento se genera de forma versionada y se evalúa como una modalidad más. No debe tratarse como verdad de referencia ni invocarse sin control dentro del bucle de decisión.

Contexto

GEMF usó Gemini offline para producir una representación estructurada del contenido visual y pragmático de los memes. El clasificador supervisado consumió después ese artefacto junto a otras modalidades.

El diseño facilita congelar entradas y repetir el entrenamiento, pero mantiene una dependencia: cambiar el modelo, el prompt o la política del proveedor cambia el dataset derivado.

Ejemplo didáctico · situación inventada

El enriquecimiento cambió entre dos entrenamientos

Se repite un entrenamiento con el mismo clasificador, pero parte de las descripciones auxiliares se ha regenerado con otra versión del intérprete multimodal.

Qué decisión cambia. Trata la nueva colección de descripciones como una versión diferente del dataset. Compara ambos artefactos antes de atribuir la variación al clasificador; guardar solo su código no reproduce todo el experimento.

Qué comprobar antes de empezar

  • Versión del modelo, prompt, parámetros y fecha de generación.
  • Tasa de fallos, contenido bloqueado y salidas inválidas.
  • Información añadida, omitida o inventada por el mediador.
  • Ganancia frente a OCR, visión o texto sin enriquecer.
  • Licencia, privacidad, coste y posibilidad de regenerar el artefacto.

Método de trabajo

Definir el esquema

La salida tiene campos, valores permitidos y validaciones independientes del texto libre.

Congelar la generación

Prompt, modelo, respuestas y errores se versionan antes de entrenar el clasificador.

Comparar sin enriquecimiento

Comparamos con sistemas de referencia que no reciben el enriquecimiento semántico. El resto de la configuración debe mantenerse para no atribuir a ese cambio el efecto de otro.

Auditar ejemplos

Revisamos una muestra de aciertos, fallos, alucinaciones y contenido no procesado.

Señales para detener la prueba

  • Las salidas auxiliares se usan como etiquetas verdaderas.
  • El artefacto no puede regenerarse con una configuración identificable.
  • La mejora desaparece al retirar información que filtra la etiqueta.
  • El coste, la política o la latencia impiden mantener la modalidad.

Fuentes

Para seguir con esta decisión

Servicio de I+D en inteligencia artificial: alcance y entregables

Publicado por Ordantis el .

Primera conversación

Trae el problema, los datos disponibles y la condición que no puede fallar.

Iniciar diagnóstico