La sicurezza di un sistema basato sull'intelligenza artificiale viene definita in fase di progettazione, oppure non viene definita affatto: ciò che viene aggiunto alla fine sono solo soluzioni parziali per mitigare decisioni già prese. Un sistema di protezione che filtra le risposte non risolve un modello di permessi mal progettato, così come una ringhiera non rinforza le fondamenta.
La differenza tra i due metodi di lavoro non è una questione di sicurezza. È una questione di costi, ed è enorme: ciò che costa una conversazione di due ore prima di iniziare può costare l'intero progetto in seguito.
Decisione | Se preso all'inizio | Se provi ad aggiungerlo in seguito |
|---|---|---|
Quale identità utilizza il sistema per accedervi? | Configurazione | Modello di integrazioni e autorizzazioni di Redo |
Quali azioni puoi compiere? | Lista chiusa fin dall'inizio | Codice di controllo e limitazione già in produzione |
Cosa viene registrato per ogni esecuzione | Strumentazione fin dal primo giorno | Il passato non può essere ricostruito. |
Separazione degli ambienti | Struttura del progetto | Migrazione a rischio di interruzione |
Dove risiedono e chi elabora i dati | Scelta dell'architettura | Rinegoziazione e migrazione del contratto |
La terza fila possiede una caratteristica che la rende particolarmente costosa: È irreversibile.. Se non è stato registrato, non esiste. Quando un cliente, un revisore dei conti o un tribunale chiedono cosa ha fatto il sistema tre mesi fa, la risposta non dipenderà dalla disponibilità a collaborare, ma da una decisione tecnica presa – o non presa – prima dell'avvio.
È importante essere precisi, perché questo articolo potrebbe essere interpretato come una critica ai meccanismi di protezione, cosa che non è. Filtrare i contenuti inappropriati, individuare schemi di manipolazione noti e limitare la lunghezza delle risposte sono tutte misure utili.
Ciò che non riescono a fare è contenere i danni strutturali. Un sistema di protezione agisce sul testo in entrata e in uscita; non agisce su ciò che il sistema è in grado di fare. Se il sistema ha l'autorizzazione a elaborare un pagamento, nessun filtro di contenuto impedisce che tale pagamento venga elaborato quando qualcosa induce il sistema a decidere di farlo.
La gerarchia corretta è questa:
L'ordine è importante. Iniziare dal punto 4 è la cosa più comune perché è ciò che si può acquistare; iniziare dall'1 è invece la soluzione ideale perché è ciò che si progetta.
Queste sono le domande che ci poniamo prima di scrivere codice in qualsiasi progetto con componenti di intelligenza artificiale:
Con quale identità il sistema accede a ciascuna fonte? La risposta corretta è quasi sempre: con l'utente, propagato.
Qual è l'elenco completo delle azioni che possono essere eseguite? Elencato, non descritto. Ciò che non è elencato non esiste.
Quali azioni sono irreversibili e chi le convalida? Pagamenti, comunicazioni esterne, modifiche alla produzione e qualsiasi elemento che influisca sui dati di terzi.
Cosa viene registrato, dove e per quanto tempo? Con sufficienti dettagli per ricostruire un caso specifico anche mesi dopo.
Quali dati entrano nel sistema e quali vengono esclusi per esplicita decisione? La frase "nel caso in cui ne abbiate bisogno" è all'origine della maggior parte delle mostre.
Come si ferma e come si inverte il processo? Un meccanismo che non richiede l'installazione di codice né la dipendenza da un fornitore.
Sei domande, un incontro. È l'intervento con il miglior rapporto costi-benefici dell'intero progetto, ed è quello che viene più spesso saltato perché durante la settimana tutti vogliono vedere qualcosa che funziona.
L'argomentazione contraria è sempre la stessa ed è ragionevole: c'è pressione per mostrare risultati e la sicurezza rallenta le cose.
La risposta utile non è quella di appellarsi a un rischio astratto, ma di offrire un'alternativa concreta: una portata minore con il design completo. In altre parole, non si tratta di ridurre la sicurezza per rispettare la scadenza, bensì di ridurre l'ambito funzionale e mantenere intatte le sei decisioni.
Un sistema che svolge bene tre funzioni, con permessi e tracciabilità limitati, può essere ampliato. Un sistema che ne svolge trenta senza alcun controllo deve essere ricostruito da zero prima di poter essere ampliato, e a quel punto ci saranno già utenti che ne dipendono.
La fretta non è nemica della sicurezza. Lo è la portata del progetto.
Si tratta di prendere decisioni in materia di sicurezza – identità di accesso, azioni consentite, registrazione degli eventi, separazione degli ambienti e residenza dei dati – durante la fase di progettazione, non dopo la realizzazione. Queste decisioni sono poco costose da prendere inizialmente, ma molto costose da modificare una volta che il sistema è in produzione.
Per filtrare i contenuti inappropriati, rilevare schemi di manipolazione noti e limitare i formati di risposta. Ciò che non fanno è contenere i danni strutturali: agiscono sul testo in entrata e in uscita, non su ciò che il sistema può eseguire con le autorizzazioni concesse.
Sei: con quale identità il sistema accede a ciascuna fonte, qual è l'elenco chiuso delle azioni consentite, quali azioni sono irreversibili e chi le convalida, cosa viene registrato e per quanto tempo, quali dati vengono esclusi per decisione esplicita e come viene arrestato e ripristinato il sistema.
Perché è irreversibile: se non è stata registrata, l'informazione non esiste. Quando un cliente, un revisore dei conti o un tribunale chiedono cosa ha fatto il sistema mesi prima, la capacità di rispondere dipenderà da una decisione tecnica presa prima ancora che il sistema iniziasse.
Il quadro di riferimento NIST per l'IA (NAR) struttura la gestione del rischio sulla capacità di identificare, misurare e controllare; la norma ISO/IEC 42001 richiede la dimostrazione di un controllo continuo per la certificazione; e il Regolamento europeo sull'IA impone la registrazione degli eventi, la documentazione tecnica e la supervisione umana dimostrabile per determinate categorie.
Ridurre l'ambito funzionale, non le decisioni di progettazione. Un sistema che svolge bene tre funzioni con permessi e tracciabilità limitati può essere ampliato; uno che ne svolge trenta senza alcun controllo deve essere riprogettato prima di essere ampliato, soprattutto quando gli utenti ne dipendono già.
Hai intenzione di avviare un progetto di intelligenza artificiale? La conversazione di due ore su identità, autorizzazioni, azioni e registrazione è l'investimento più prezioso dell'intero progetto. La faremo insieme, senza alcun impegno. Parliamone → |
Español Español 
English
Français
العربية
Português
Deutsch
Italiano
