La forma más común en que un sistema de inteligencia artificial expone información confidencial no es un ataque sofisticado: es un empleado haciendo una pregunta legítima y recibiendo una respuesta que no debería poder ver. El sistema no ha fallado técnicamente. Ha hecho su trabajo con los permisos que se le dieron, que eran más amplios que los de la persona que preguntaba.
OWASP recoge este riesgo como LLM02, divulgación de información sensible, en su Top 10 para aplicaciones con modelos de lenguaje de 2025. Y es el que más se materializa en entornos empresariales, precisamente porque no requiere que nadie actúe con mala intención.
El permiso heredado. El asistente consulta el repositorio documental con una cuenta de servicio que tiene acceso completo. Cualquier usuario que hable con el asistente accede, de hecho, a todo lo que ve esa cuenta. Es la vía más frecuente y la más fácil de introducir sin darse cuenta.
El índice indiscriminado. Al construir la base de conocimiento se indexa una carpeta entera «para que tenga contexto». Dentro había nóminas, un acuerdo de confidencialidad o el informe de una operación en curso. El sistema no distingue: recupera lo que encaja con la pregunta.
La salida al exterior. Alguien pega en una herramienta pública el borrador de un contrato o un fragmento de código propietario para que se lo mejore. Es la vía del shadow AI, que hemos tratado en shadow AI, el riesgo que entra por la tarjeta corporativa.
La inferencia acumulada. Ninguna respuesta individual revela nada crítico, pero la combinación de varias permite reconstruir información que no debería ser accesible: la estructura salarial a partir de fragmentos, el margen de un cliente a partir de comparaciones.
La cuarta es la más difícil de controlar y la que menos se anticipa, porque no hay un momento concreto donde se pueda decir que se filtró algo.
Enfoque | Cómo se comporta | Riesgo |
|---|---|---|
Permisos en la aplicación | El sistema accede a todo y la interfaz filtra lo que muestra | Cualquier vía alternativa esquiva el filtro |
Permisos en la consulta | Se restringe qué documentos se recuperan según quién pregunta | Correcto, pero depende de metadatos bien mantenidos |
Permisos en el dato | El acceso se resuelve en el origen, con la identidad del usuario | El único robusto ante nuevas formas de acceso |
La mayoría de los sistemas empresariales se construyó con permisos en la aplicación, porque durante veinte años el único camino hacia el dato pasaba por la pantalla. Un asistente de IA es un camino nuevo hacia el mismo dato, y ese camino no pasa por la pantalla.
De ahí la regla que aplicamos: el sistema de IA debe consultar con la identidad del usuario, no con la suya. Si eso obliga a rehacer el modelo de permisos, es que el modelo de permisos ya era frágil y el asistente simplemente lo ha hecho visible.
Construir una base de conocimiento es una decisión de seguridad disfrazada de tarea técnica. Cuatro preguntas antes de empezar:
La cuarta suele omitirse por preocupación sobre privacidad de los empleados. Es una preocupación legítima que se resuelve con política de retención y acceso restringido al registro, no eliminando el registro.
Cuando se contrata una herramienta que va a leer documentación interna, hay tres preguntas que no admiten respuesta vaga:
¿Se usan nuestros datos para entrenar modelos? La respuesta debe estar en el contrato, no en una página de marketing, y debe cubrir tanto los contenidos como las consultas.
¿Cómo se resuelven los permisos? Si la respuesta es que la herramienta se conecta con una cuenta de administrador, hay un problema de diseño, no de configuración.
¿Dónde se almacenan los embeddings y los registros? Los vectores derivados de un documento confidencial siguen conteniendo información de ese documento. OWASP dedica una categoría específica —LLM08, debilidades en vectores y embeddings— a este punto.
No hace falta apagar nada. El orden que funciona:
Hay una prueba que cuesta cinco minutos y ordena la conversación mejor que cualquier auditoría formal: pídele al asistente algo que tú no deberías poder ver.
El salario medio de un departamento. Las condiciones de un contrato con un cliente que no gestionas. El contenido de una carpeta de dirección. Si responde, ya sabes que el modelo de permisos está en la aplicación y no en el dato, y sabes cuál es el primer trabajo.
Si se niega correctamente, comprueba además que no responda a la misma pregunta formulada de otra manera. La consistencia ante la reformulación es lo que distingue un control real de una instrucción en el prompt.
Por cuatro vías: permisos heredados de una cuenta de servicio con acceso total, indexación indiscriminada de carpetas que contienen documentos sensibles, salida de información hacia herramientas externas no autorizadas, e inferencia acumulada a partir de varias respuestas individualmente inocuas.
Con la del usuario que pregunta, nunca con una cuenta de servicio propia con acceso amplio. Si el sistema consulta con permisos superiores a los del usuario y la interfaz filtra lo que muestra, cualquier vía alternativa de acceso esquiva ese filtro.
Qué fuentes se incluyen explícitamente y cuáles no, si cada documento lleva asociado su nivel de acceso, cómo se retira contenido del índice cuando cambia su clasificación, y qué se registra de cada consulta para poder detectar e investigar una filtración.
Si los datos y las consultas se utilizan para entrenar modelos, cómo se resuelven los permisos de acceso y dónde se almacenan los embeddings y los registros. Los vectores derivados de un documento confidencial siguen conteniendo información de ese documento.
Pidiéndole información que quien pregunta no debería poder ver: datos salariales, condiciones de contratos ajenos o contenido de carpetas de dirección. Si responde, el control de acceso reside en la aplicación y no en el dato. Conviene además repetir la pregunta reformulada.
Es la reconstrucción de información sensible a partir de varias respuestas que, por separado, no revelan nada crítico. Es difícil de controlar porque no existe un momento concreto identificable en el que se produzca la filtración, y por eso el registro de consultas es la única vía de detección.
¿Sabes qué puede ver tu asistente de IA? Revisamos identidad de consulta, alcance del índice, permisos y registro, y te decimos qué información está expuesta hoy. Solicita la revisión →