Mantenere una persona coinvolta nel processo decisionale non significa che l'automazione abbia fallito; significa che è stata ben progettata. La maggior parte dei risparmi derivanti da un processo automatizzato si ottiene nella fase preparatoria – raccolta, confronto, stesura e proposta – non con il clic di approvazione finale. Eliminare quel clic comporta quasi tutti i rischi a fronte di un risparmio pressoché nullo.
Il dibattito sulla piena autonomia viene spesso inquadrato come una questione di maturità tecnologica. È più utile inquadrarlo come una questione economica: dove si concentra la manodopera costosa e dove si annidano i rischi onerosi?.
Consideriamo un tipico processo di risoluzione degli incidenti. Il tempo è distribuito approssimativamente come segue:
Un sistema che automatizza il primo e il terzo passaggio permette di ottenere la maggior parte dei risparmi. La decisione, dove risiede il rischio, è ora nelle mani di una sola persona che ha tutto il necessario e impiega un minuto anziché venti.
Ecco perché il modello più redditizio che abbiamo misurato non è l'autonomia: è il Preparazione completa con approvazione umana.
Modello | Come funziona | Quando è conveniente? |
|---|---|---|
Approvazione preventiva | Nulla viene eseguito senza convalida. | Azioni irreversibili: pagamenti, comunicazioni esterne |
Eccezione | Viene eseguito salvo nei casi definiti | Elevato volume, rischio limitato |
Campionamento | Tutto viene eseguito, una parte viene rivista | Rischio basso, necessità di controllo qualità |
Revisione successiva | Viene eseguito e poi sottoposto a verifica. | Solo se l'azione è reversibile |
L'errore comune è scegliere il modello in base al livello di fiducia nel sistema, quando invece dovrebbe essere scelto a causa della reversibilità dell'azione. Un modello eccellente che esegue i pagamenti senza convalida rappresenta comunque una cattiva scelta progettuale; un modello mediocre che classifica i biglietti con revisione a campione è invece perfettamente ragionevole.
L'obiezione legittima è che la validazione umana annulla i risparmi se è mal progettata. Quattro regole lo impediscono:
Il sistema fornisce il caso già preparato, non la domanda. La persona dovrebbe poter visionare la proposta, le informazioni su cui si basa e le alternative; non dovrebbe essere costretta a cercare nulla.
L'approvazione è l'azione predefinita. Se la convalida richiede più clic rispetto all'esecuzione manuale, il processo verrà interrotto.
Le convalide sono raggruppate insieme. Venti approvazioni consecutive costano molto meno di venti interruzioni nell'arco della giornata.
Viene registrato ciò che viene corretto. Questo è il punto chiave, e quello che quasi nessuno implementa: ogni correzione è un dato sulla qualità effettiva del sistema, come abbiamo spiegato in L'automazione senza osservabilità è irresponsabile
La decisione di eliminare la validazione umana dovrebbe basarsi sui dati, non sulla fiducia. Tre condizioni cumulative:
Se tutte e tre le condizioni sono soddisfatte, ha senso passare dall'approvazione preventiva alla supervisione per eccezione nei casi a basso rischio, mantenendo la validazione negli altri.
E una regola che dovrebbe essere messa per iscritto: La supervisione non viene interrotta a causa di problemi di programmazione.. È la causa più comune di incidenti nei sistemi automatizzati e si tratta di una decisione che di solito viene presa in una riunione senza verbale.
Dal 2025 in poi, si aggiunge un ulteriore requisito che non è soggetto al giudizio di nessuno. Il Regolamento europeo sull'IA richiede una supervisione umana dimostrabile per determinate categorie di sistemi, e non in astratto: deve essere possibile provare chi ha effettuato la revisione, cosa ha visto e quando.
Questo rende la registrazione della validazione un requisito, non una buona prassi. E ha un'implicazione a livello di progettazione: il monitoraggio che avviene ma non viene registrato non dimostra nulla.
Quando qualcuno propone di eliminare la validazione umana per aumentare l'efficienza, la domanda utile non è se il modello sia sufficientemente valido. È: Quanto risparmiamo esattamente eliminando questo passaggio e qual è il costo di un errore che nessuno rileva?
Nella maggior parte dei processi con impatto economico, il primo numero è piccolo e il secondo è grande. Quando entrambi sono sul tavolo, la discussione si risolve da sola.
Questo modello prevede l'intervento umano nel processo decisionale di un sistema automatizzato. Ciò non indica un fallimento dell'automazione stessa: la maggior parte dei risparmi deriva dalla fase di preparazione dei casi, non dall'approvazione finale, pertanto il mantenimento della validazione preserva quasi tutti i vantaggi ed elimina quasi tutti i rischi.
Quattro: approvazione preventiva, in cui nulla viene eseguito senza convalida; supervisione per eccezione, in cui viene eseguita salvo in casi definiti; campionamento, in cui tutto viene eseguito e solo una parte viene esaminata; e revisione successiva, applicabile solo se l'azione è reversibile.
Poiché l'automazione tradizionale era deterministica e quindi prevedibile,
La reversibilità dell'azione è il fattore determinante, non il livello di fiducia nel sistema. Un modello eccellente che elabora i pagamenti senza convalida rappresenta comunque una scelta progettuale inadeguata, mentre un modello mediocre che classifica i biglietti con una revisione basata su campioni è ragionevole.
Ciò ha permesso la coesistenza con la mancanza di documentazione. Incorporando componenti decisionali, lo stesso caso può essere risolto in modo diverso e, senza una registrazione, non c'è modo di ricostruire il perché.
Con quattro regole: che il sistema fornisca il caso preparato con proposta, prove e alternative; che l'approvazione sia l'azione predefinita e non richieda più clic rispetto all'esecuzione manuale; che le convalide siano raggruppate anziché interrompono il processo; e che venga registrato ciò che viene corretto in ogni revisione.
Quando vengono soddisfatte tre condizioni cumulative: un tasso di approvazione elevato e stabile senza variazioni nei casi reali, errori a basso impatto con una distribuzione nota e azioni reversibili o azioni di entità limitata. Mai a causa di pressioni di calendario.
Sì. Il Regolamento europeo sull'IA richiede una supervisione umana dimostrabile per determinate categorie di sistemi, il che significa essere in grado di provare chi ha esaminato il sistema, a quali informazioni aveva accesso e quando. Una supervisione che avviene ma non viene documentata non consente di dimostrare la conformità.
In quali punti del processo automatizzato dovrebbe intervenire una persona? Abbiamo progettato il punto di controllo, l'interfaccia di validazione e la registrazione richiesti dalla normativa, senza trasformare la supervisione in un collo di bottiglia. Parliamone →
Español Español 
English
Français
العربية
Português
Deutsch
Italiano
