Quando le autorità di vigilanza chiedono «perché il vostro sistema ha approvato questo sinistro?», non vogliono sentir parlare di pesi di attenzione o valori SHAP. Vogliono cliccare su un campo e vedere esattamente da dove proviene. Vogliono rieseguire una decisione di sei mesi fa e ottenere la stessa risposta. Vogliono sapere quando un essere umano è intervenuto e perché.
Questo riflette la nostra esperienza di deployment. Nel nostro lavoro con NSA Services SA, ogni decisione registra il documento di origine, la pagina e la clausola di polizza su cui si fonda. Le sezioni che seguono descrivono l’architettura che lo consente e i requisiti normativi che soddisfa.
Cosa vogliono davvero le autorità di vigilanza
Traduciamo il linguaggio normativo in specifiche tecniche.
Comunicazione FINMA 08/2024 (Svizzera)
La Svizzera non ha una legge specifica sull’IA. La FINMA applica invece ai sistemi di IA requisiti di governance tecnologicamente neutrali, inquadrando i rischi dell’IA come rischi operativi:
- •Rischi di modello: robustezza, correttezza, bias, spiegabilità
- •Rischi IT/cyber: sicurezza, disponibilità, integrità
- •Rischi di dipendenza da terzi: lock-in del fornitore, concentrazione
La FINMA rileva esplicitamente che i «risultati dell’IA spesso non possono essere compresi, spiegati o riprodotti». Questo è il problema che dovete risolvere.
AI Act europeo
L’AI Act europeo (il regolamento sull’IA) classifica la valutazione del rischio e la determinazione dei prezzi nell’assicurazione vita e salute come ad alto rischio. L’automazione dei sinistri non è esplicitamente elencata come ad alto rischio, ma si applicano obblighi di trasparenza. L’EIOPA sottolinea governance e gestione dei rischi allineate alla regolamentazione assicurativa esistente.
Cosa significa in pratica
- Ogni decisione deve avere una catena delle prove tracciabile
- Gli interventi umani devono essere registrati con motivazione
- Dovete poter riprodurre una decisione di 6 mesi fa
- «Lo ha detto il modello» non è una spiegazione accettabile
Punto chiave: alle autorità di vigilanza non interessa l’architettura del vostro modello. Interessa la vostra catena delle prove.
L’architettura della catena delle prove
Usiamo tre livelli di tracciabilità. Ogni livello risponde a una domanda di audit diversa.
Livello 1: provenienza dal campo alla fonte
«Da dove viene questo numero?»
Ogni campo estratto deve essere collegato a: documento di origine, numero di pagina, posizione (coordinate) e confidenza di estrazione.
Field: [extracted_field_name] Value: [extracted_value] Source: [document.pdf], Page X Location: [bounding box coordinates] Confidence: [high/medium/low]
Quando un revisore chiede «da dove viene questo valore?», cliccate e gli mostrate la posizione esatta nel documento di origine. Niente supposizioni, niente ricerche.
Livello 2: audit trail delle decisioni
«Perché questo sinistro è stato approvato?»
Ogni decisione deve registrare: hash degli input, versione del modello, punteggio di confidenza, timestamp e livello decisionale.
Decision: [APPROVED/DENIED/REVIEW] Input hash: [reproducibility hash] Model version: [version identifier] Confidence: [score] Decision method: [deterministic/AI/hybrid] Timestamp: [ISO timestamp]
Il nostro sistema usa una cascata decisionale a più livelli, che parte da regole deterministiche e ricorre all’IA solo quando necessario. Ogni livello viene registrato, così sapete esattamente quale metodo ha preso la decisione.
Livello 3: registrazione degli interventi umani
«Perché un essere umano ha cambiato questa decisione?»
Ogni intervento umano deve registrare: decisione originale dell’IA, decisione umana, motivo dell’intervento (campo obbligatorio), identità del revisore e timestamp.
Original decision: [AI decision with confidence] Override decision: [human decision] Reason: [required justification text] Reviewer: [authenticated user ID] Timestamp: [ISO timestamp]
Questo crea un ciclo di feedback: gli schemi degli interventi rivelano le lacune del sistema. Se i liquidatori annullano sistematicamente i rifiuti per lo stesso motivo, è un segnale per migliorare il sistema.
Quality gate: il checkpoint di audit
Usiamo un quality gate a tre stati che determina quando l’automazione procede e quando devono intervenire le persone.
Procedere automaticamente. Registrare la decisione con la catena delle prove completa. Nessuna revisione umana richiesta.
Procedere con segnalazione. Inviare alla coda di campionamento. Una persona può revisionare o saltare.
Bloccare l’automazione. Inviare a un liquidatore. Richiedere una decisione umana esplicita.
Asimmetria della confidenza
Usiamo soglie asimmetriche:
- Per le approvazioni: richiesta una soglia di confidenza più alta
- Per i rifiuti: accettabile una soglia di confidenza più bassa
- Sotto le soglie: invio alla revisione umana
Perché asimmetriche? Le false approvazioni costano di più: perdita finanziaria più rischio normativo. I falsi rifiuti possono essere contestati dal cliente. Non è bias, è gestione del rischio.
Risultato: abbiamo ridotto il nostro tasso di REFER_TO_HUMAN dal 60% a meno del 5%.
Le modalità di errore che spezzano gli audit trail
Gli errori seguenti, individuati nei nostri stessi test, sono quelli che le autorità di vigilanza hanno più probabilità di rilevare:
Cosa non funziona per la spiegabilità
- Valori SHAP/LIME: Tecnicamente interessanti, privi di significato per i liquidatori. «La variabile X ha contribuito per 0,3 alla decisione» non è una spiegazione.
- Pesi di attenzione: «Il modello si è concentrato su queste parole» non spiega PERCHÉ la decisione è stata presa.
- Punteggi di confidenza da soli: «Confidenza dell’87%» non è una spiegazione. Serve: «confidenza dell’87% PERCHÉ [prova]».
- Motivazioni a posteriori: Generare spiegazioni dopo la decisione rischia di creare uno scostamento tra spiegazione e logica reale. I revisori lo metteranno alla prova.
Punto chiave: spiegabilità significa mostrare il proprio lavoro, non descrivere ciò che si prova riguardo alla risposta.
Mappatura normativa in sintesi
| Requisito | FINMA 08/2024 | AI Act europeo | Come rispondere |
|---|---|---|---|
| Documentazione | Applicazioni rilevanti | Obblighi di trasparenza | Model card, log delle decisioni, controllo di versione |
| Tracciabilità | I risultati devono essere spiegabili | Conservazione dei registri per impatto elevato | Provenienza dal campo alla fonte |
| Riproducibilità | «Spesso non riproducibili» (il problema) | Implicita | Hashing degli input, versionamento dei modelli |
| Sorveglianza umana | Richiesta per le decisioni rilevanti | Richiesta per l’alto rischio | Quality gate, registrazione degli interventi |
| Meccanismi di fallback | Esplicitamente richiesti | Attesi | Cascata a livelli, coda umana |
| Classificazione del rischio | Atteso un inventario centralizzato | Alto rischio per la tariffazione vita/salute | Registro dei casi d’uso con tag di rischio |
Principi fondamentali per un’IA verificabile
Costruire sistemi di IA pronti per l’audit richiede l’impegno su quattro principi fondamentali. L’implementazione specifica varia da organizzazione a organizzazione, ma questi principi restano costanti.
Provenienza completa
Ogni valore estratto deve essere tracciabile fino al documento di origine e alla posizione.
Riproducibilità delle decisioni
Dati gli stessi input e la stessa versione del modello, dovete poter riprodurre qualsiasi decisione storica.
Responsabilità umana
Ogni intervento umano deve essere registrato con motivazione obbligatoria e identità del revisore.
Validazione continua
Test regolari delle decisioni storiche per verificare che il vostro audit trail resti intatto.
Prossimi passi
Verificate la vostra attuale catena delle prove
Potete risalire da qualsiasi campo alla sua fonte?
Testate la riproducibilità
Rieseguite una decisione di 3 mesi fa. Stesso output?
Documentate i criteri del vostro quality gate
Cosa attiva una revisione umana?
Mappate la vostra architettura su FINMA e AI Act
Usate la tabella sopra come punto di partenza.
L’obiettivo non è un’IA perfetta. È un’IA difendibile: sistemi in cui ogni decisione può essere spiegata, ogni campo tracciato e ogni intervento umano documentato. È ciò che vogliono le autorità di vigilanza. È ciò che i revisori accettano.
Basato sull’esperienza di deployment di True Aim nei sinistri di garanzia auto e sull’analisi normativa della comunicazione FINMA 08/2024, dell’AI Act europeo e dei quadri di governance dell’EIOPA.
Punti chiave
- Architettura della catena delle prove a tre livelli
- Tracciamento della provenienza dal campo alla fonte
- Audit trail delle decisioni con hashing degli input
- Registrazione degli interventi umani con motivazione obbligatoria
- Quality gate che soddisfano i revisori
- Mappatura di conformità FINMA e AI Act