Vai al contenuto principale
Tutti gli articoli

Verificabilità dell’IA per i sinistri: costruire catene delle prove che i revisori accettano davvero

Tutti dicono che la loro IA è spiegabile. Pochi sanno dimostrarlo a un revisore. Ecco l’architettura che lo rende possibile.

12 min di lettura
Approfondimento tecnico
Sull’autore

Quando le autorità di vigilanza chiedono «perché il vostro sistema ha approvato questo sinistro?», non vogliono sentir parlare di pesi di attenzione o valori SHAP. Vogliono cliccare su un campo e vedere esattamente da dove proviene. Vogliono rieseguire una decisione di sei mesi fa e ottenere la stessa risposta. Vogliono sapere quando un essere umano è intervenuto e perché.

Questo riflette la nostra esperienza di deployment. Nel nostro lavoro con NSA Services SA, ogni decisione registra il documento di origine, la pagina e la clausola di polizza su cui si fonda. Le sezioni che seguono descrivono l’architettura che lo consente e i requisiti normativi che soddisfa.

Cosa vogliono davvero le autorità di vigilanza

Traduciamo il linguaggio normativo in specifiche tecniche.

Comunicazione FINMA 08/2024 (Svizzera)

La Svizzera non ha una legge specifica sull’IA. La FINMA applica invece ai sistemi di IA requisiti di governance tecnologicamente neutrali, inquadrando i rischi dell’IA come rischi operativi:

  • •Rischi di modello: robustezza, correttezza, bias, spiegabilità
  • •Rischi IT/cyber: sicurezza, disponibilità, integrità
  • •Rischi di dipendenza da terzi: lock-in del fornitore, concentrazione

La FINMA rileva esplicitamente che i «risultati dell’IA spesso non possono essere compresi, spiegati o riprodotti». Questo è il problema che dovete risolvere.

AI Act europeo

L’AI Act europeo (il regolamento sull’IA) classifica la valutazione del rischio e la determinazione dei prezzi nell’assicurazione vita e salute come ad alto rischio. L’automazione dei sinistri non è esplicitamente elencata come ad alto rischio, ma si applicano obblighi di trasparenza. L’EIOPA sottolinea governance e gestione dei rischi allineate alla regolamentazione assicurativa esistente.

Cosa significa in pratica

  • Ogni decisione deve avere una catena delle prove tracciabile
  • Gli interventi umani devono essere registrati con motivazione
  • Dovete poter riprodurre una decisione di 6 mesi fa
  • «Lo ha detto il modello» non è una spiegazione accettabile

Punto chiave: alle autorità di vigilanza non interessa l’architettura del vostro modello. Interessa la vostra catena delle prove.

L’architettura della catena delle prove

Usiamo tre livelli di tracciabilità. Ogni livello risponde a una domanda di audit diversa.

Livello 1: provenienza dal campo alla fonte

«Da dove viene questo numero?»

Ogni campo estratto deve essere collegato a: documento di origine, numero di pagina, posizione (coordinate) e confidenza di estrazione.

Field: [extracted_field_name]
Value: [extracted_value]
Source: [document.pdf], Page X
Location: [bounding box coordinates]
Confidence: [high/medium/low]

Quando un revisore chiede «da dove viene questo valore?», cliccate e gli mostrate la posizione esatta nel documento di origine. Niente supposizioni, niente ricerche.

Livello 2: audit trail delle decisioni

«Perché questo sinistro è stato approvato?»

Ogni decisione deve registrare: hash degli input, versione del modello, punteggio di confidenza, timestamp e livello decisionale.

Decision: [APPROVED/DENIED/REVIEW]
Input hash: [reproducibility hash]
Model version: [version identifier]
Confidence: [score]
Decision method: [deterministic/AI/hybrid]
Timestamp: [ISO timestamp]

Il nostro sistema usa una cascata decisionale a più livelli, che parte da regole deterministiche e ricorre all’IA solo quando necessario. Ogni livello viene registrato, così sapete esattamente quale metodo ha preso la decisione.

Livello 3: registrazione degli interventi umani

«Perché un essere umano ha cambiato questa decisione?»

Ogni intervento umano deve registrare: decisione originale dell’IA, decisione umana, motivo dell’intervento (campo obbligatorio), identità del revisore e timestamp.

Original decision: [AI decision with confidence]
Override decision: [human decision]
Reason: [required justification text]
Reviewer: [authenticated user ID]
Timestamp: [ISO timestamp]

Questo crea un ciclo di feedback: gli schemi degli interventi rivelano le lacune del sistema. Se i liquidatori annullano sistematicamente i rifiuti per lo stesso motivo, è un segnale per migliorare il sistema.

Quality gate: il checkpoint di audit

Usiamo un quality gate a tre stati che determina quando l’automazione procede e quando devono intervenire le persone.

PASSTutti i campi obbligatori presenti, confidenza sopra la soglia.

Procedere automaticamente. Registrare la decisione con la catena delle prove completa. Nessuna revisione umana richiesta.

WARNConfidenza sotto la soglia OPPURE campo non critico mancante.

Procedere con segnalazione. Inviare alla coda di campionamento. Una persona può revisionare o saltare.

FAILCampo critico mancante OPPURE confidenza molto bassa OPPURE violazione di una regola.

Bloccare l’automazione. Inviare a un liquidatore. Richiedere una decisione umana esplicita.

Asimmetria della confidenza

Usiamo soglie asimmetriche:

  • Per le approvazioni: richiesta una soglia di confidenza più alta
  • Per i rifiuti: accettabile una soglia di confidenza più bassa
  • Sotto le soglie: invio alla revisione umana

Perché asimmetriche? Le false approvazioni costano di più: perdita finanziaria più rischio normativo. I falsi rifiuti possono essere contestati dal cliente. Non è bias, è gestione del rischio.

Risultato: abbiamo ridotto il nostro tasso di REFER_TO_HUMAN dal 60% a meno del 5%.

Le modalità di errore che spezzano gli audit trail

Gli errori seguenti, individuati nei nostri stessi test, sono quelli che le autorità di vigilanza hanno più probabilità di rilevare:

Errori di estrazione senza provenienza
SintomoUn valore è stato estratto in modo errato, ma non c’è alcun collegamento alla fonte
Impatto sull’auditSenza provenienza non potete spiegare l’errore
CorrezioneOgni valore estratto è collegato alla posizione nella fonte
Decisioni basate su dati non disponibili
SintomoIl sistema ha preso una decisione, ma un’informazione chiave non era nel set di documenti
Impatto sull’auditIl sistema aveva ragione sulla base dei dati disponibili, ma il revisore non lo sa
CorrezioneDocumentare quali informazioni erano disponibili al momento della decisione
Logica di approvazione per default
SintomoAccuratezza complessiva elevata, ma decisioni sbagliate per i motivi sbagliati
Impatto sull’auditNon si può spiegare perché è stato approvato, solo «nessun errore trovato»
CorrezioneRichiedere una conferma esplicita della copertura, non l’assenza di un rifiuto

Cosa non funziona per la spiegabilità

  • Valori SHAP/LIME: Tecnicamente interessanti, privi di significato per i liquidatori. «La variabile X ha contribuito per 0,3 alla decisione» non è una spiegazione.
  • Pesi di attenzione: «Il modello si è concentrato su queste parole» non spiega PERCHÉ la decisione è stata presa.
  • Punteggi di confidenza da soli: «Confidenza dell’87%» non è una spiegazione. Serve: «confidenza dell’87% PERCHÉ [prova]».
  • Motivazioni a posteriori: Generare spiegazioni dopo la decisione rischia di creare uno scostamento tra spiegazione e logica reale. I revisori lo metteranno alla prova.

Punto chiave: spiegabilità significa mostrare il proprio lavoro, non descrivere ciò che si prova riguardo alla risposta.

Mappatura normativa in sintesi

RequisitoFINMA 08/2024AI Act europeoCome rispondere
DocumentazioneApplicazioni rilevantiObblighi di trasparenzaModel card, log delle decisioni, controllo di versione
TracciabilitàI risultati devono essere spiegabiliConservazione dei registri per impatto elevatoProvenienza dal campo alla fonte
Riproducibilità«Spesso non riproducibili» (il problema)ImplicitaHashing degli input, versionamento dei modelli
Sorveglianza umanaRichiesta per le decisioni rilevantiRichiesta per l’alto rischioQuality gate, registrazione degli interventi
Meccanismi di fallbackEsplicitamente richiestiAttesiCascata a livelli, coda umana
Classificazione del rischioAtteso un inventario centralizzatoAlto rischio per la tariffazione vita/saluteRegistro dei casi d’uso con tag di rischio

Principi fondamentali per un’IA verificabile

Costruire sistemi di IA pronti per l’audit richiede l’impegno su quattro principi fondamentali. L’implementazione specifica varia da organizzazione a organizzazione, ma questi principi restano costanti.

Provenienza completa

Ogni valore estratto deve essere tracciabile fino al documento di origine e alla posizione.

Riproducibilità delle decisioni

Dati gli stessi input e la stessa versione del modello, dovete poter riprodurre qualsiasi decisione storica.

Responsabilità umana

Ogni intervento umano deve essere registrato con motivazione obbligatoria e identità del revisore.

Validazione continua

Test regolari delle decisioni storiche per verificare che il vostro audit trail resti intatto.

Prossimi passi

1

Verificate la vostra attuale catena delle prove

Potete risalire da qualsiasi campo alla sua fonte?

2

Testate la riproducibilità

Rieseguite una decisione di 3 mesi fa. Stesso output?

3

Documentate i criteri del vostro quality gate

Cosa attiva una revisione umana?

4

Mappate la vostra architettura su FINMA e AI Act

Usate la tabella sopra come punto di partenza.

L’obiettivo non è un’IA perfetta. È un’IA difendibile: sistemi in cui ogni decisione può essere spiegata, ogni campo tracciato e ogni intervento umano documentato. È ciò che vogliono le autorità di vigilanza. È ciò che i revisori accettano.

Basato sull’esperienza di deployment di True Aim nei sinistri di garanzia auto e sull’analisi normativa della comunicazione FINMA 08/2024, dell’AI Act europeo e dei quadri di governance dell’EIOPA.

Punti chiave

  • Architettura della catena delle prove a tre livelli
  • Tracciamento della provenienza dal campo alla fonte
  • Audit trail delle decisioni con hashing degli input
  • Registrazione degli interventi umani con motivazione obbligatoria
  • Quality gate che soddisfano i revisori
  • Mappatura di conformità FINMA e AI Act

State costruendo un’IA verificabile?

Possiamo aiutarvi a progettare architetture della catena delle prove che soddisfano autorità di vigilanza e revisori.