Il modo più comune in cui un sistema di intelligenza artificiale espone informazioni sensibili non è attraverso un attacco sofisticato: si tratta di un dipendente che pone una domanda legittima e riceve una risposta che non dovrebbe poter visualizzare. Il sistema non ha tecnicamente fallito. Ha semplicemente svolto il suo compito entro i limiti delle autorizzazioni che gli erano state concesse, che erano più ampie di quelle della persona che ha posto la domanda.
OWASP identifica questo rischio come LLM02, divulgazione di informazioni sensibili, nella sua Top 10 delle applicazioni di modellazione linguistica entro il 2025. Ed è quella che si concretizza maggiormente negli ambienti aziendali, proprio perché non richiede alcuna intenzione malevola da parte di nessuno.
Il permesso ereditato. L'assistente interroga il repository dei documenti utilizzando un account di servizio con accesso completo. Qualsiasi utente che interagisca con l'assistente ottiene di fatto l'accesso a tutto ciò che quell'account può visualizzare. Questo è il modo più comune e semplice per ottenere l'accesso involontariamente.
L'indice indiscriminato. Durante la creazione della base di conoscenza, un'intera cartella viene indicizzata "per fornire contesto". Al suo interno potrebbero esserci registri delle buste paga, un accordo di riservatezza o un rapporto su una transazione in corso. Il sistema non fa distinzioni: recupera tutto ciò che corrisponde alla query.
L'uscita verso l'esterno. Qualcuno incolla una bozza di contratto o un pezzo di codice proprietario in uno strumento pubblico per farlo migliorare. Questo è il percorso dell'IA ombra, di cui abbiamo discusso in Intelligenza artificiale ombra, il rischio che arriva tramite la carta aziendale.
L'inferenza cumulativa. Nessuna singola risposta rivela elementi cruciali, ma la combinazione di diverse risposte permette di ricostruire informazioni che altrimenti non sarebbero accessibili: la struttura salariale a partire da frammenti, il margine di profitto di un cliente tramite confronti.
Il quarto è il più difficile da controllare e il meno prevedibile, perché non c'è un momento preciso in cui si possa dire che qualcosa sia trapelato.
Approccio | Come si comporta | Rischio |
|---|---|---|
Autorizzazioni dell'applicazione | Il sistema ha accesso a tutto e l'interfaccia filtra ciò che visualizza. | Qualsiasi percorso alternativo aggira il filtro. |
Permessi nella query | L'accesso ai documenti recuperati è soggetto a restrizioni a seconda di chi effettua la richiesta. | Esatto, ma dipende da metadati ben gestiti. |
Autorizzazioni sui dati | L'accesso viene risolto all'origine, utilizzando l'identità dell'utente. | L'unico robusto contro le nuove forme di accesso |
La maggior parte dei sistemi aziendali è stata progettata con autorizzazioni applicative perché, per vent'anni, l'unico modo per accedere ai dati è stato attraverso lo schermo. Un assistente basato sull'intelligenza artificiale rappresenta un nuovo percorso per accedere agli stessi dati, e questo percorso non passa attraverso lo schermo.
Pertanto, applichiamo la seguente regola: Il sistema di intelligenza artificiale dovrebbe consultare l'identità dell'utente, non la propria.. Se ciò impone una riprogettazione del modello di autorizzazioni, significa che il modello di autorizzazioni era già fragile e la procedura guidata si è limitata a renderlo evidente.
La creazione di una knowledge base è una decisione di sicurezza mascherata da attività tecnica. Quattro domande prima di iniziare:
Il quarto punto viene spesso omesso per timori relativi alla privacy dei dipendenti. Si tratta di una preoccupazione legittima che può essere affrontata con una politica di conservazione dei dati e un accesso limitato alle informazioni, non cancellando i dati stessi.
Quando si assume uno strumento per leggere la documentazione interna, ci sono tre domande a cui non sono ammesse risposte vaghe:
I nostri dati vengono utilizzati per addestrare i modelli? La risposta dovrebbe essere inclusa nel contratto, non in una pagina di marketing, e dovrebbe riguardare sia il contenuto che le richieste di informazioni.
Come vengono elaborate le autorizzazioni? Se la risposta è che lo strumento si connette con un account amministratore, si tratta di un problema di progettazione, non di configurazione.
Dove vengono memorizzati gli embedding e i log? I vettori derivati da un documento riservato contengono ancora informazioni provenienti da tale documento. OWASP dedica una categoria specifica a questo problema: LLM08, relativa alle vulnerabilità nei vettori e negli embedding.
Non c'è bisogno di spegnere nulla. L'ordine che funziona è il seguente:
Esiste un test che dura cinque minuti e organizza la conversazione meglio di qualsiasi audit formale: Chiedi all'assistente qualcosa che non dovresti essere in grado di vedere..
Lo stipendio medio di un reparto. I termini di un contratto con un cliente che non gestisci. Il contenuto di una rubrica. Se risponde, sai già che il modello di autorizzazioni risiede nell'applicazione, non nei dati, e sai qual è il primo compito.
Se la negazione è corretta, verifica anche che non risponda alla stessa domanda formulata in modo diverso. La coerenza di fronte a una riformulazione è ciò che distingue il vero controllo da una semplice istruzione.
Attraverso quattro vie: autorizzazioni ereditate da un account di servizio con accesso completo, indicizzazione indiscriminata di cartelle contenenti documenti sensibili, invio di informazioni a strumenti esterni non autorizzati e inferenze cumulative da diverse risposte singolarmente innocue.
Utilizzate l'account dell'utente, mai il vostro account di servizio con ampi privilegi. Se il sistema effettua una query con autorizzazioni superiori a quelle dell'utente e l'interfaccia filtra i risultati visualizzati, qualsiasi metodo di accesso alternativo aggirerà tale filtro.
Quali fonti sono esplicitamente incluse e quali no, se a ciascun documento è associato un livello di accesso, come viene rimosso un contenuto dall'indice quando cambia la sua classificazione e cosa viene registrato da ogni query al fine di rilevare e indagare su una fuga di dati.
Se i dati e le query vengono utilizzati per addestrare i modelli, come vengono risolti i permessi di accesso e dove vengono archiviati gli embedding e i log? I vettori derivati da un documento riservato contengono ancora informazioni provenienti da tale documento.
Richiedete informazioni che la persona che le pone non dovrebbe poter visualizzare: dettagli sugli stipendi, termini dei contratti di altri dipendenti o il contenuto dei file di gestione. Se rispondono, il controllo degli accessi risiede nell'applicazione, non nei dati stessi. È inoltre consigliabile riformulare la domanda in modo appropriato.
Si tratta della ricostruzione di informazioni sensibili a partire da diverse risposte che, singolarmente, non rivelano nulla di critico. È difficile da controllare perché non esiste un momento specifico e identificabile in cui si verifica la fuga di dati e, pertanto, la registrazione delle query è l'unico mezzo per rilevarla.
Sai cosa può vedere il tuo assistente virtuale basato sull'intelligenza artificiale? Analizziamo l'identità delle query, l'ambito degli indici, le autorizzazioni e la registrazione, e ti comunichiamo quali informazioni sono attualmente esposte. Richiedi una recensione →
Español Español 
English
Français
العربية
Português
Deutsch
Italiano
