Un sistema automatizzato di cui è impossibile sapere cosa abbia fatto, quando, con quali dati e perché, non è in funzione, ma viene semplicemente supportato. La differenza diventa evidente il giorno in cui qualcosa va storto e, a quel punto, non c'è modo di ricostruire l'accaduto: i dati necessari non sono stati salvati perché nessuno ha deciso di farlo.
Questo è probabilmente il difetto di progettazione più diffuso nei sistemi basati su componenti di intelligenza artificiale che verifichiamo, ed è anche il più economico da evitare se affrontato tempestivamente.
Il monitoraggio consiste nel verificare che il sistema sia attivo: che risponda, non produca errori e che la latenza sia accettabile. È necessario, ma non sufficiente.
L'osservazione permette di rispondere a domande che non si erano previste. Perché questo caso specifico si è risolto in questo modo? Quale versione del modello è stata utilizzata martedì scorso? Quante volte il sistema ha dovuto riprovare prima di rispondere? Qual è la percentuale di suggerimenti dell'agente che vengono corretti prima dell'approvazione?.
La distinzione è particolarmente importante con le componenti probabilistiche, perché un sistema di intelligenza artificiale può essere perfettamente funzionante in termini di infrastruttura (zero errori, bassa latenza, piena disponibilità) eppure produrre risultati progressivamente peggiori. Un pannello di monitoraggio tradizionale non lo rileva. Mostra tutto in verde.
Lo abbiamo sviluppato in modo più dettagliato in Osservabilità LLM, la metrica che nessuno sta misurando
|
Strato |
Cosa viene registrato |
A cosa serve? |
|
Entrata |
Quali dati e in quale contesto ha ricevuto il sistema? |
Riproduci il caso e rileva i dati anomali |
|
Decisione |
Quali risultati ha prodotto il modello, con quale versione e con quale configurazione? |
Spiegare il risultato e rilevare la deriva |
|
Azione |
Cosa è stato effettivamente eseguito su quale sistema? |
Audit, storno e responsabilità |
|
Validazione |
Chi l'ha revisionato, cosa è cambiato e quando? |
Misurare la qualità effettiva e garantire la supervisione umana |
|
Costo |
Consumo per esecuzione e per caso aziendale |
Controllo dei costi unitari su larga scala |
Il livello di validazione è quello più spesso trascurato, eppure è il più prezioso. Registrare le correzioni apportate prima dell'approvazione trasforma la supervisione umana in un flusso di dati sulla qualità del sistema. Senza questa registrazione, l'unico segnale disponibile è il reclamo del cliente, che arriva tardi e può essere parziale.
La componente dei costi è la seconda più trascurata. Un sistema di intelligenza artificiale ha un costo variabile per esecuzione, cosa insolita per un software aziendale. Se questo costo non viene monitorato per ogni singolo caso d'uso, è impossibile sapere se il processo automatizzato è redditizio, e questa domanda si pone sempre, di solito durante la revisione del budget del trimestre successivo.
Gli indicatori tecnici (latenza, token, tasso di errore API) sono utili al team operativo. Solo quattro di questi sono rilevanti per un comitato direttivo:
Il tasso di accettazione è rimasto invariato. Delle proposte generate dal sistema, quale percentuale viene approvata così com'è? Questo è l'indicatore di qualità più affidabile disponibile, perché si basa sull'utilizzo reale e non su test di laboratorio.
Tasso di scala umano. Qual è la percentuale di casi che il sistema non riesce a risolvere? Dovrebbe esserci un valore obiettivo: se è troppo alto, il sistema non sta dando il suo contributo; se è pari a zero, probabilmente sta risolvendo casi che non dovrebbe.
Costo per caso risolto. Il costo totale diviso per il numero di casi effettivamente chiusi, non per il numero di tentativi. Questo è il dato che viene confrontato con il costo del processo precedente.
Tempo di rilevamento del guasto. Quanto tempo ci vuole perché un'organizzazione si renda conto che il sistema sta producendo risultati errati? Se nessuno lo ha misurato, la risposta reale è solitamente "quando un cliente si lamenta".
Questi quattro parametri possono essere presentati in un'unica diapositiva e rispondere all'unica domanda che conta per un consiglio di amministrazione: funziona? Quanto costa? Quanto tempo ci vuole per scoprire se smette di funzionare?
Fino a poco tempo fa, la tracciabilità veniva difesa su basi ingegneristiche. Dal 2025, è emerso un secondo argomento, più difficile da confutare in sede di commissione.
Il Regolamento europeo sull'IA richiede, per determinate categorie di sistemi, la registrazione degli eventi, la documentazione tecnica e una supervisione umana dimostrabile. Il framework NIST per la gestione del rischio nell'IA struttura la gestione del rischio attorno alla capacità di misurare e monitorare. Lo standard ISO/IEC 42001 richiede la prova di un controllo continuo per certificare un sistema di gestione dell'IA.
Tutti e tre i framework richiedono la stessa cosa, seppur con terminologie diverse: la capacità di dimostrare cosa ha fatto il sistema. Un sistema che non ha registrato le proprie azioni non può dimostrarle, e l'aggiunta di queste informazioni in un secondo momento richiede la modifica dell'architettura.
È importante dirlo chiaramente perché cambia l'ordine delle priorità: L'osservabilità ha cessato di essere un compito operativo ed è diventata un requisito di progettazione..
Non c'è bisogno di riscriverlo. Il percorso usuale si compone di tre fasi e può essere eseguito senza interrompere l'operazione:
L'errore da evitare è cercare di implementare tutto in una volta. Un sistema con due livelli ben allineati è infinitamente più gestibile di uno con cinque livelli parzialmente allineati.
Prima di considerare concluso un progetto di automazione, è consigliabile effettuare un test concreto: Scegliete un caso a caso risalente a tre settimane fa e chiedete loro di spiegare esattamente cosa è successo..
Se il team è in grado di ricostruire il sistema – quali dati sono stati inseriti, quale versione del modello è stata utilizzata, cosa è stato eseguito e chi lo ha validato – allora il sistema è operativo. Se la risposta inizia con "dovremmo controllare i log, anche se non so se li conserviamo", il sistema è in produzione ma non è ancora completo.
Si tratta della capacità di rispondere a domande impreviste sul comportamento del sistema: perché un caso specifico è stato risolto in un certo modo, quale versione del modello è stata utilizzata, quanti tentativi sono stati effettuati o quale percentuale di proposte viene corretta. Si differenzia dal monitoraggio, che si limita a verificare che il sistema sia disponibile e reattivo.
Cinque livelli: input (dati e contesto ricevuti), decisione (output del modello, versione e configurazione), azione (cosa è stato eseguito e su quale sistema), convalida (cosa ha corretto il revisore) e costo per esecuzione e per caso aziendale.
Quattro: tasso di accettazione invariato, tasso di escalation all'intervento umano, costo per caso risolto e tempo di rilevamento del guasto. Le metriche tecniche come la latenza o il consumo di token sono utili al team operativo, non alle decisioni aziendali.
Sì. Il Regolamento europeo sull'IA richiede la registrazione degli eventi, la documentazione tecnica e una supervisione umana dimostrabile per determinate categorie di sistemi. Il quadro di riferimento NIST per la gestione del rischio nell'IA (AI RMF) struttura la gestione del rischio attorno alla capacità di misurare e monitorare, e la norma ISO/IEC 42001 richiede la prova di un controllo continuo per la certificazione.
Sì, senza riscriverlo. L'ordine corretto è prima implementare l'input e l'azione, che consentono di ricostruire un incidente, poi aggiungere il record di convalida umana e definire le soglie di allerta prima di avere i dati, non dopo.
Perché gli indicatori dell'infrastruttura (disponibilità, latenza, errori) possono essere verdi mentre la qualità dei risultati si degrada. La qualità di un componente probabilistico non viene misurata con i tradizionali strumenti di monitoraggio, ma con metriche di prestazione basate sull'utilizzo effettivo.
|
Saresti in grado di ricostruire oggi ciò che il tuo sistema di intelligenza artificiale ha fatto tre settimane fa? Se la risposta non è chiara, è meglio rivederla prima che un cliente o un revisore dei conti ponga la domanda. Analizzeremo il tuo caso in due ore, senza alcun impegno. Parliamone → |
Español Español 
English
Français
العربية
Português
Deutsch
Italiano
