La manière la plus courante dont un système d'IA expose des informations sensibles n'est pas par le biais d'une attaque sophistiquée : il s'agit d'un employé posant une question légitime et recevant une réponse à laquelle il ne devrait pas avoir accès. Le système n'a pas techniquement failli. Il a simplement fonctionné conformément aux autorisations qui lui ont été accordées, lesquelles étaient plus larges que celles de la personne ayant posé la question.
OWASP identifie ce risque comme LLM02, divulgation d'informations sensibles, Elle figure dans son Top 10 des applications de modélisation du langage d'ici 2025. Et c'est celle qui se concrétise le plus dans les environnements d'entreprise, précisément parce qu'elle ne nécessite aucune intention malveillante.
Le permis hérité. L'assistant interroge le référentiel de documents à l'aide d'un compte de service disposant de tous les droits d'accès. Tout utilisateur interagissant avec l'assistant obtient de fait un accès complet à toutes les ressources accessibles via ce compte. Il s'agit du moyen le plus courant et le plus simple d'obtenir un accès non autorisé.
L'indice indiscriminé. Lors de la constitution de la base de connaissances, un dossier entier est indexé « pour contextualiser ». Il peut contenir des fiches de paie, un accord de confidentialité ou un rapport sur une transaction en cours. Le système ne fait aucune distinction : il récupère tout élément correspondant à la requête.
La sortie vers l'extérieur. Quelqu'un colle un projet de contrat ou un extrait de code propriétaire dans un outil public pour le faire améliorer. C'est le chemin de l'IA parallèle, dont nous avons parlé dans L'IA fantôme, le risque qui passe par la carte de crédit de l'entreprise.
L'inférence cumulative. Aucune réponse isolée ne révèle d'information cruciale, mais la combinaison de plusieurs permet de reconstituer des informations qui ne devraient pas être accessibles : la structure salariale à partir de fragments, la marge d'un client à partir de comparaisons.
Le quatrième est le plus difficile à contrôler et le moins anticipé, car il n'y a pas de moment précis où l'on peut dire qu'il y a eu une fuite.
Approche | Son comportement | Risque |
|---|---|---|
Autorisations de l'application | Le système a accès à tout, et l'interface filtre ce qu'elle affiche. | Tout itinéraire alternatif contourne le filtre. |
Autorisations dans la requête | Les documents récupérés sont soumis à des restrictions qui dépendent de la personne qui en fait la demande. | C'est exact, mais cela dépend de métadonnées bien tenues à jour. |
Autorisations sur les données | L'accès est résolu à l'origine, en utilisant l'identité de l'utilisateur. | La seule qui résiste efficacement aux nouvelles formes d'accès |
La plupart des systèmes d'entreprise ont été conçus avec des autorisations d'application car, pendant vingt ans, l'accès aux données se faisait exclusivement par l'écran. Un assistant IA offre un nouvel accès à ces mêmes données, un accès qui ne passe pas par l'écran.
D'où la règle que nous appliquons : Le système d'IA devrait consulter l'identité de l'utilisateur, et non la sienne.. Si cela oblige à repenser le modèle d'autorisations, cela signifie que ce modèle était déjà fragile et que l'assistant n'a fait que le rendre visible.
Constituer une base de connaissances est une décision de sécurité déguisée en tâche technique. Quatre questions à se poser avant de commencer :
Le quatrième point est souvent omis par crainte de représailles contre les abus de la part des employés. Il s'agit d'une préoccupation légitime qui peut être prise en compte par une politique de conservation des données et un accès restreint aux dossiers, et non par leur suppression.
Lors du choix d'un outil capable de lire la documentation interne, trois questions ne tolèrent aucune réponse vague :
Nos données sont-elles utilisées pour entraîner des modèles ? La réponse doit figurer dans le contrat, et non sur une page marketing, et elle doit couvrir à la fois le contenu et les demandes de renseignements.
Comment les permis sont-ils traités ? Si la réponse est que l'outil se connecte à un compte administrateur, il s'agit d'un problème de conception et non d'un problème de configuration.
Où sont stockés les données embarquées et les journaux ? Les vecteurs dérivés d'un document confidentiel contiennent toujours des informations provenant de ce document. L'OWASP consacre une catégorie spécifique à ce phénomène : LLM08, faiblesses des vecteurs et des plongements.
Il n'est pas nécessaire d'éteindre quoi que ce soit. Voici la procédure qui fonctionne :
Il existe un test qui prend cinq minutes et qui permet d'organiser la conversation mieux que n'importe quel audit formel : Demandez à l'assistant quelque chose que vous ne devriez pas pouvoir voir..
Le salaire moyen d'un service. Les termes d'un contrat avec un client que vous ne gérez pas. Le contenu d'un carnet d'adresses. Si l'application répond, vous savez déjà que le modèle de permissions se trouve dans l'application et non dans les données, et vous savez quelle est la première tâche à accomplir.
Si la négation est correcte, vérifiez également qu'elle ne répond pas à la même question formulée différemment. La cohérence face à une reformulation est ce qui distingue un véritable contrôle d'une simple instruction.
Par quatre voies : les autorisations héritées d’un compte de service disposant d’un accès complet, l’indexation indiscriminée de dossiers contenant des documents sensibles, la transmission d’informations à des outils externes non autorisés et l’inférence cumulative à partir de plusieurs réponses individuellement inoffensives.
Utilisez le compte de l'utilisateur, jamais votre propre compte de service disposant de droits d'accès étendus. Si le système effectue une requête avec des autorisations supérieures à celles de l'utilisateur et que l'interface filtre les informations affichées, toute autre méthode d'accès permettra de contourner ce filtre.
Quelles sources sont explicitement incluses et lesquelles ne le sont pas, si chaque document possède un niveau d'accès associé, comment le contenu est supprimé de l'index lorsque sa classification change, et ce qui est enregistré pour chaque requête afin de détecter et d'enquêter sur une fuite.
Si les données et les requêtes servent à entraîner des modèles, comment les autorisations d'accès sont-elles gérées et où sont stockés les vecteurs et les journaux ? Les vecteurs dérivés d'un document confidentiel contiennent toujours des informations provenant de ce document.
Demandez des informations auxquelles la personne qui les demande ne devrait pas avoir accès : détails des salaires, clauses des contrats d’autrui ou contenu des dossiers de gestion. Si elle répond, le contrôle d’accès se situe au niveau de l’application, et non au niveau des données elles-mêmes. Il est également conseillé de reformuler la question.
Il s'agit de la reconstitution d'informations sensibles à partir de plusieurs réponses qui, prises individuellement, ne révèlent rien de critique. Ce phénomène est difficile à contrôler car il n'existe pas de moment précis et identifiable où la fuite se produit ; par conséquent, la journalisation des requêtes est le seul moyen de détection.
Savez-vous ce que votre assistant IA peut voir ? Nous examinons l'identité de la requête, la portée de l'index, les autorisations et l'enregistrement, et nous vous indiquons quelles informations sont exposées aujourd'hui. Demander un avis →
Español Español 
English
Français
العربية
Português
Deutsch
Italiano
