Contexto
Un agente puede leer una instrucción maliciosa en una web, un correo o un PDF y confundirla con el objetivo de la tarea. El atacante no necesita hablar directamente con el sistema.
Los filtros de texto ayudan a detectar patrones conocidos, pero no constituyen una frontera de seguridad. Esa frontera debe estar en permisos, validaciones y aislamiento.
Ejemplo didáctico · situación inventada
Una instrucción escondida en un anexo
Un PDF recuperado incluye una frase que pide enviar el expediente a una dirección externa para completar la revisión. El usuario solo había solicitado un resumen.
Qué decisión cambia. El contenido del PDF sigue siendo material de consulta. Una política externa al modelo rechaza el envío porque la tarea no lo autoriza, aunque el agente interprete la frase como una instrucción legítima.
Qué comprobar antes de empezar
- Fuentes externas que el agente incorpora a su contexto.
- Herramientas capaces de enviar, modificar, comprar, borrar o revelar datos.
- Validaciones que se ejecutan fuera del modelo.
- Información sensible visible en prompts, resultados y trazas.
- Casos de prueba con instrucciones ocultas, codificadas o contradictorias.
Método de trabajo
Marcar procedencia
Cada fragmento mantiene origen y nivel de confianza; el contenido recuperado nunca se eleva a instrucción del sistema.
Aplicar políticas
Un componente determinista autoriza herramienta, destino y parámetros antes de ejecutar.
Reducir exposición
El agente recibe solo los datos necesarios para la tarea y no puede leer secretos por defecto.
Atacar la prueba
La suite incluye inyección directa e indirecta, evasiones, herramientas comprometidas y exfiltración.
Señales para detener la prueba
- Un documento puede cambiar el objetivo o habilitar una herramienta.
- El modelo decide por sí mismo si puede revelar un secreto.
- La aprobación muestra una descripción generada pero no los parámetros reales.
- La evaluación solo prueba prompts del usuario y omite fuentes recuperadas.
Fuentes
Para seguir con esta decisión
- ¿Cuándo no conviene utilizar un agente de IA?
- ¿Cuándo utilizar MCP y cuándo integrar una API directamente?
- ¿Cómo definir permisos y aprobaciones para las herramientas de un agente?
Servicio de Agent Engineering: alcance y entregables
Publicado por Ordantis el .