Questo schema è comune in tutto il mercato. Raramente è causato da mancanza di budget o di sostegno della direzione. Nella maggior parte dei casi la causa di fondo sta nella disciplina di misurazione e nel realismo rispetto alla produzione.
Nei primi progetti pilota l’accuratezza riportata viene spesso calcolata su dati di sviluppo. Si tratta di sinistri su cui il sistema è già stato messo a punto durante la configurazione. Valutata su dati di produzione mai visti, l’accuratezza scende spesso al 70-80%. La differenza tra questi due numeri determina se un sistema può essere messo in produzione in sicurezza.
L’illusione dell’accuratezza
Quando qualcuno riporta un’accuratezza del 95%, la prima domanda dovrebbe essere semplice: misurata su quale set di dati?
La maggior parte dei progetti pilota si basa su set di sviluppo selezionati. Questi set sono utili per mettere a punto prompt, regole e pipeline di estrazione. Non sono rappresentativi dell’intera variabilità della produzione.
La produzione comprende varianti di polizza, formati di fattura sconosciuti, differenze linguistiche, casi limite rari e qualità dei dati incoerente. Un modello che funziona bene su dati selezionati può fallire silenziosamente sui sinistri reali.
Ciò che conta è la prestazione su un set di holdout: sinistri che il sistema non ha mai visto, estratti direttamente dagli archivi di produzione, stratificati per approvazione e rifiuto, importo del sinistro, lingua, marca del veicolo e complessità dei documenti.
Il divario nella pratica
Quel divario non era dovuto al caso. Ha messo in luce logiche di copertura mancanti, lacune di vocabolario e debolezze strutturali dell’estrazione.
Un progetto pilota misurato solo su dati di sviluppo crea fiducia. Un progetto pilota misurato su un set di holdout crea chiarezza.
Cosa cambia tra demo e produzione
Il passaggio dalla demo alla produzione introduce uno spostamento della distribuzione. Le caratteristiche dei sinistri reali differiscono in modo significativo dai dati di test.
Complessità della copertura
Inizialmente avevamo modellato meno categorie di copertura di quante la produzione richiedesse. Quando nuove categorie sono entrate nella pipeline, il sistema ha prodotto risultati ad alta confidenza ma errati. Dopo l’estensione della logica di copertura, l’accuratezza è migliorata sensibilmente in una sola iterazione.
Il modello non era instabile. Il modello di dominio era incompleto.
Complessità linguistica
Tedesco e francese richiedono una gestione separata
I sinistri in tedesco e in francese hanno richiesto vocabolari e logiche di gestione separati. Le parole composte tedesche si comportano diversamente dalla terminologia francese. Senza una modellazione esplicita, intere classi di sinistri validi venivano respinte.
Struttura dei documenti
Le variazioni di layout causano errori di estrazione
Fatture a più colonne, interruzioni di pagina, voci di fattura duplicate e differenze di layout hanno portato a importi mancanti o contati due volte quando la logica di estrazione non teneva conto del formato.
Sono realtà operative ordinarie, non casi limite rari. Se un progetto pilota non è stato messo alla prova in queste condizioni, l’accuratezza riportata è solo parzialmente informativa.
Le tre metriche che contano
Un singolo valore di accuratezza nasconde compromessi operativi. Tre metriche offrono una visibilità migliore sulla prontezza per la produzione.
Misura l’esposizione finanziaria. Una falsa approvazione significa che un sinistro è stato pagato per errore. Anche una piccola percentuale può incidere in modo rilevante su leakage ed esposizione agli audit.
Ridurre il tasso di false approvazioni a un livello accettabile ha richiesto un’estensione strutturata del dominio, un affinamento del vocabolario e una calibrazione delle soglie.
Misura l’impatto sui clienti e sulle operazioni. I rifiuti errati generano reclami, rilavorazioni, escalation e rischio reputazionale.
Misura la profondità dell’automazione. Se una grande percentuale di sinistri viene rinviata a revisori umani, il sistema non ha ridotto il carico di lavoro in modo sostanziale.
Prima di avviare le discussioni sulla produzione, chiedete ai fornitori queste tre metriche, misurate su un set di holdout correttamente definito e suddivise per tipo di sinistro e lingua. Se non sono in grado di fornire questo livello di dettaglio, il progetto pilota non ha ancora raggiunto la maturità operativa.
Cosa fa avanzare un progetto pilota
I progressi non sono arrivati sostituendo la tecnologia. Sono arrivati da cicli di valutazione disciplinati.
Abbiamo costruito un set di holdout stratificato per esito, importo, lingua e complessità strutturale. Un liquidatore senior ha etichettato ogni sinistro. Quel set è stato messo in quarantena e mai usato per la messa a punto.
Il ciclo di iterazione
Ogni iterazione ha seguito lo stesso ciclo. Un’architettura ibrida si è rivelata necessaria. Regole deterministiche hanno gestito le definizioni di copertura chiare e la logica strutturata. I modelli linguistici hanno gestito le descrizioni ambigue e l’interpretazione contestuale. Ogni componente è stato limitato al ruolo che svolge meglio.
Soglie di confidenza per scelta progettuale
Le soglie di confidenza erano asimmetriche per scelta. Le approvazioni richiedevano una confidenza più alta dei rifiuti. Le decisioni a bassa confidenza venivano indirizzate alla revisione umana per proteggersi dall’esposizione finanziaria.
Risultati
Il singolo miglioramento più grande è derivato dall’estensione delle categorie di copertura, non dal cambio di modelli. La modellazione del dominio e la disciplina di misurazione sono state i principali fattori di stabilità.
Conclusione operativa
Molti progetti pilota di IA per i sinistri si bloccano perché vengono misurati con ottimismo e sviluppati in modo incrementale senza una valutazione strutturata. Superare il plateau del 70-80% richiede:
L’automazione dei sinistri è realizzabile. Richiede misurazioni oneste, metriche chiare e un’ingegneria del dominio deliberata.
Se state valutando un progetto pilota o preparando la messa in produzione e volete confrontare il vostro approccio con un quadro di holdout strutturato, siamo disponibili a condividere come strutturiamo valutazione e iterazione.
Punti chiave
- L’accuratezza sul set di sviluppo nasconde i divari in produzione
- I set di holdout rivelano le prestazioni reali
- Monitorare false approvazioni, falsi rifiuti e tasso di rinvio
- La modellazione del dominio porta più miglioramenti dei cambi di modello
- Soglie di confidenza asimmetriche proteggono dal rischio finanziario