Cómo proteger un asistente de IA frente a instrucciones indebidas
La inyección de instrucciones ocurre cuando el texto recibido por el asistente intenta cambiar su comportamiento, incluido el contenido de documentos, mensajes o páginas consultadas. La protección combina límites en la aplicación, tratamiento cuidadoso de las fuentes y pruebas observables. Esta guía ayuda a pedir y revisar esos controles en un proyecto empresarial.
Al terminar, podrá:
- Mapear las fuentes de contenido no fiable
- Separar interpretación y autorización
- Preparar pruebas con datos y funciones ficticias
Distinga la tarea aprobada del contenido consultado
Un asistente puede recibir una tarea legítima, como resumir un informe, y encontrar dentro una frase que pide enviar datos a otro destino. Esa frase pertenece al informe, no a la autorización de la persona. OWASP distingue las entradas directas de las instrucciones introducidas indirectamente en contenidos recuperados.
El riesgo depende de las capacidades disponibles. Un asistente que solo prepara texto puede producir un resumen manipulado; uno que consulta registros o envía mensajes puede tener consecuencias adicionales. Empiece por identificar los efectos posibles en su proyecto. La solución necesita actuar en la frontera donde se leen, presentan o modifican los datos.
Mapee los canales por los que llega contenido
Enumere mensajes, adjuntos, base de conocimiento, resultados de búsqueda, herramientas e historial. Para cada canal, identifique quién controla el contenido y si terceros pueden modificarlo. Un documento guardado en una carpeta interna puede contener texto recibido del exterior; la ubicación no convierte automáticamente todas sus frases en instrucciones autorizadas.
Mantenga el origen asociado al contenido cuando lo divida, resuma o reutilice. Una nota producida por el asistente también puede transportar una instrucción indebida de una etapa anterior. Registre qué partes son reglas de la aplicación, cuáles son solicitudes del usuario y cuáles son datos que interpretar.
| Entrada | Tratamiento propuesto | Autoridad para ejecutar |
|---|---|---|
| Regla de la aplicación | Configuración aprobada y versionada | Definida por la aplicación |
| Solicitud autenticada | Interpretar dentro de los permisos | Limitada al usuario y a la acción |
| Documento o correo | Contenido con origen identificado | No concede permisos |
| Resultado de herramienta | Datos validados antes de reutilizar | No amplía el alcance autorizado |
Dé a cada función un alcance pequeño y verificable
Una función que consulta el estado de una solicitud debe devolver los campos necesarios de esa solicitud. No necesita permitir consultas arbitrarias a toda la base. Una función que prepara una respuesta no necesita enviar mensajes. Reducir capacidades facilita comprender y probar lo que puede afectar un error de interpretación.
OWASP relaciona el exceso de autonomía y permisos con acciones no deseadas. En el diseño del proyecto, decida qué acciones son automáticas, cuáles producen solo borradores y cuáles exigen revisar contenido y destino. La confirmación debe mostrar la operación concreta; un botón genérico de aprobación no ayuda a detectar que se ha cambiado el destinatario.
Valide el acceso y los argumentos fuera del modelo
La aplicación determina la identidad y comprueba el acceso al registro solicitado. Un identificador propuesto por el modelo no demuestra que el usuario pueda leer ese objeto. OWASP recomienda comprobar la autorización en las operaciones de API que reciben identificadores. La misma regla es relevante cuando la solicitud a la API nace de un asistente.
Valide tipos, campos permitidos, destinos y condiciones de la operación. Trate también la salida según dónde vaya a utilizarse: texto presentado como HTML, parámetros de búsqueda y comandos tienen requisitos distintos. Un resultado estructurado facilita estas comprobaciones, pero no decide si la acción es legítima.
Pruebe una instrucción indebida sin usar secretos reales
En una prueba ficticia, el asistente resume el informe DEMO-17. El documento incluye una nota que pide ignorar la tarea y copiar el marcador TESTE-SEM-VALOR a un destino de prueba. Use funciones simuladas sin capacidad de contactar con personas ni modificar datos reales. El objetivo es observar si el contenido puede provocar una acción fuera del alcance.
El registro de la prueba debe mostrar llamadas propuestas, decisiones de autorización y cambios en el estado ficticio. Una respuesta final que diga «no hice eso» no basta. Si faltan registros o la función de prueba está averiada, marque el caso como inconcluyente. La ausencia de una palabra específica en la respuesta no demuestra la protección de todos los datos.
| Prueba controlada | Pruebas que observar |
|---|---|
| El documento pide una acción adicional | Operación no autorizada no ejecutada |
| La solicitud hace referencia a otra cuenta ficticia | La comprobación de acceso rechaza el objeto |
| El destino de envío cambia en el contenido | Destino comprobado en la política de la operación |
| La solicitud legítima contiene palabras sospechosas | La tarea legítima sigue siendo utilizable |
Combine detección con controles que siguen activos
Las instrucciones claras, la separación del contexto y la detección de patrones pueden reducir problemas, pero no sustituyen los controles de la aplicación. Un filtro que busca una frase conocida puede fallar ante otra formulación y bloquear solicitudes legítimas que usan la misma palabra. Evalúe errores de detección y no solo ejemplos bloqueados.
La revisión humana también necesita contexto: origen, destino, cambio propuesto y motivo. Resérvela para decisiones donde la persona pueda comprobar algo relevante. Si el flujo pide aprobaciones repetidas sin mostrar consecuencias, la atención puede disminuir. El diseño debe facilitar una elección informada y conservar la decisión para la operación exacta.
Defina cómo suspender una capacidad e investigar
Prepare una forma de desactivar la función afectada, manteniendo una alternativa para el trabajo esencial. Registre lo mínimo necesario para investigar: referencia del caso, versión, origen, herramienta, decisión y estado final. No copie credenciales ni documentos enteros en registros técnicos por comodidad.
Cuando cambie una integración o añada una fuente nueva, repita las pruebas asociadas. Un conjunto de pruebas aprobado describe las versiones, casos y condiciones probadas; no constituye una garantía permanente. Guarde también solicitudes legítimas bloqueadas para mejorar la protección sin inutilizar el servicio.
Use una ficha de revisión de las fronteras
Pida al responsable técnico una demostración de los límites, además de la explicación escrita. La ficha conecta cada capacidad con el control y la prueba correspondiente. Señale expresamente los puntos sin pruebas y elija el alcance de uso según lo que realmente se haya verificado.
Ficha para su proyecto
Tarea autorizada y usuarios: Fuentes de contenido y quién las controla: Datos accesibles y operaciones disponibles: Comprobación de identidad y acceso por objeto: Argumentos, destinos y campos permitidos: Acciones automáticas / borradores / sujetas a revisión: Datos y herramientas ficticias usados en las pruebas: Casos directos, indirectos y solicitudes legítimas: Llamadas, decisiones y estado final observados: Fallos, bloqueos indebidos y casos inconcluyentes: Cómo suspender la capacidad y continuar manualmente: Responsable, versiones y próxima revisión:
Fuentes y criterios
Contenido elaborado con ayuda de IA e investigación en fuentes técnicas, con comprobación de los ejemplos y cálculos pertinentes. Las referencias fundamentan las decisiones de la guía; los ejemplos identificados como ficticios permiten probar el método.
