La sécurité d'un système basé sur l'IA est décidée dès sa conception, ou bien elle n'est pas décidée du tout : les ajouts ultérieurs ne sont que des solutions partielles pour atténuer les conséquences de décisions déjà prises. Un filtre de réponses ne corrige pas un modèle d'autorisations mal conçu, tout comme une rambarde ne répare pas les fondations.
La différence entre les deux méthodes de travail ne réside pas dans la sécurité, mais dans le coût, et il est considérable : le coût d’une conversation de deux heures avant le début d’un projet peut représenter le coût total de ce dernier par la suite.
Décision | Si pris au début | Si vous essayez de l'ajouter plus tard |
|---|---|---|
Quelle identité le système utilise-t-il pour y accéder ? | Configuration | Refaire les intégrations et le modèle d'autorisations |
Quelles actions pouvez-vous entreprendre ? | Liste fermée dès le début | Auditer et limiter le code déjà en production |
Qu'est-ce qui est enregistré pour chaque exécution ? | L'instrumentation dès le premier jour | Le passé ne peut être reconstitué. |
Séparation des environnements | structure du projet | Migration menacée de perturbation |
Où ils résident et qui traite les données | Choix de l'architecture | Renégociation de contrats et migration |
La troisième rangée possède une caractéristique qui la rend particulièrement chère : C'est irréversible.. Si le système n'a pas été enregistré, il n'existe pas. Lorsqu'un client, un auditeur ou un tribunal demandera ce que le système a fait il y a trois mois, la réponse ne dépendra pas d'une volonté de coopérer, mais d'une décision technique prise — ou non — avant le démarrage.
Il est important d'être précis, car cet article pourrait être interprété comme une critique des garde-fous, ce qui n'est pas le cas. Filtrer les contenus inappropriés, détecter les schémas de manipulation connus et limiter la longueur des réponses sont autant de mesures utiles.
Ce qu'ils ne parviennent pas à faire, c'est contenir les dommages structurels. Un garde-fou agit sur le texte qui entre et sort ; il n'agit pas sur les capacités du système. Si le système est autorisé à traiter un paiement, aucun filtre de contenu n'empêchera ce paiement d'être traité lorsqu'un événement quelconque amène le système à le faire.
La hiérarchie correcte est la suivante :
L'ordre est important. Commencer par le point 4 est la méthode habituelle car c'est ce que l'on trouve dans le commerce ; commencer par le point 1 est la méthode la plus efficace car c'est ce que l'on conçoit.
Voici les questions que nous nous posons avant d'écrire du code dans tout projet comportant des composants d'IA :
Avec quelle identité le système accède-t-il à chaque source ? La bonne réponse est presque toujours : avec celle de l'utilisateur, propagée.
Quelle est la liste exhaustive des actions qui peuvent être effectuées ? Liste non décrite. Ce qui n'est pas listé n'existe pas.
Quelles actions sont irréversibles et qui les valide ? Paiements, communications externes, modifications de production et tout ce qui affecte les données de tiers.
Qu’est-ce qui est enregistré, où et pendant combien de temps ? Avec suffisamment de détails pour permettre de reconstituer un cas précis des mois plus tard.
Quelles données sont intégrées au système et quelles données sont exclues par décision explicite ? Le principe du « au cas où vous en auriez besoin » est à l'origine de la plupart des expositions.
Comment l'arrêter et comment l'inverser ? Un mécanisme qui ne nécessite pas le déploiement de code ni la dépendance vis-à-vis d'un fournisseur.
Six questions, une réunion. C'est l'intervention qui présente le meilleur rapport coût-bénéfice de tout le projet, et c'est celle qu'on néglige le plus souvent car, en semaine, tout le monde veut voir quelque chose qui fonctionne.
L'argument contraire est toujours le même et il est raisonnable : il y a une pression pour obtenir des résultats et la sécurité ralentit les choses.
La réponse utile n'est pas de faire appel à un risque abstrait, mais de proposer une alternative concrète : une portée plus réduite avec la conception complète. Autrement dit, il ne s'agit pas de réduire la sécurité pour respecter les délais, mais de réduire le périmètre fonctionnel tout en préservant les six décisions.
Un système qui excelle dans trois domaines, avec des permissions et une traçabilité limitées, peut être étendu. Un système qui en gère trente sans aucun contrôle doit être entièrement reconstruit avant de pouvoir être étendu, et à ce moment-là, des utilisateurs en dépendent déjà.
La précipitation n'est pas l'ennemie de la sécurité. C'est la prévoyance qui l'est.
Il s'agit de prendre des décisions de sécurité (identité d'accès, actions autorisées, journalisation, séparation des environnements et localisation des données) dès la phase de conception, et non après la construction. Ces décisions sont peu coûteuses à prendre initialement, mais très onéreuses à modifier une fois le système en production.
Pour filtrer les contenus inappropriés, détecter les schémas de manipulation connus et limiter les formats de réponse, ces filtres ne permettent pas d'empêcher les dommages structurels : ils agissent sur les textes entrants et sortants, et non sur les actions que le système peut exécuter avec les autorisations qui lui sont accordées.
Six : avec quelle identité le système accède-t-il à chaque source, quelle est la liste fermée des actions autorisées, quelles actions sont irréversibles et qui les valide, qu'est-ce qui est enregistré et pendant combien de temps, quelles données sont exclues par décision explicite et comment le système est-il arrêté et inversé ?.
Car c'est irréversible : si l'opération n'a pas été enregistrée, l'information n'existe pas. Lorsqu'un client, un auditeur ou un tribunal demandera ce que le système a fait il y a plusieurs mois, la capacité de répondre dépendra d'une décision technique prise avant même sa mise en service.
Le cadre de gestion des risques en matière d'IA du NIST structure la gestion des risques en fonction de la capacité à identifier, mesurer et contrôler ; la norme ISO/IEC 42001 exige la preuve d'un contrôle continu pour la certification ; et le règlement européen sur l'IA impose la consignation des événements, la documentation technique et une supervision humaine démontrable pour certaines catégories.
Il faut réduire le périmètre fonctionnel, pas les choix de conception. Un système qui remplit bien trois fonctions avec des permissions et une traçabilité limitées peut être étendu ; un système qui en gère trente sans contrôle doit être repensé avant toute extension, surtout si les utilisateurs en dépendent déjà.
Allez-vous lancer un projet d'IA ? Cette discussion de deux heures sur l'identité, les autorisations, les actions et l'inscription est l'investissement le plus rentable de tout le projet. Nous la ferons avec vous, sans aucune obligation. Parlons-en → |
Español Español 
English
Français
العربية
Português
Deutsch
Italiano
