La domanda sbagliata
«Dobbiamo sviluppare o acquistare la nostra IA per i sinistri?»
È la domanda sbagliata. I fornitori vi mostreranno demo impeccabili. I vostri sviluppatori prometteranno di poter «usare semplicemente GPT-4». Nessuna delle due prospettive coglie la realtà.
La domanda giusta: Cosa deve essere vero perché funzioni in produzione, e chi può davvero renderlo vero?
Nel nostro deployment presso NSA Services SA, True Aim è passata dal primo test a un sistema funzionante in sette giorni e ha ridotto dell’86% il tempo degli esperti sui sinistri complessi. Il quadro che segue illustra come valutare i fornitori di IA per i sinistri sulla base di evidenze anziché di dimostrazioni.
Quando sviluppare
Sviluppare è un investimento in competenze, non un risparmio sui costi. Sceglietelo per ragioni strategiche, non per timore dei fornitori.
Sviluppare ha senso quando:
- La logica delle vostre polizze è davvero unica. Se le vostre regole di copertura non si possono configurare in un prodotto di mercato, combatterete per sempre contro il loro sistema.
- Avete capacità di ingegneria ML, e sapete trattenerla. L’uscita di un ingegnere non dovrebbe paralizzare il vostro sistema.
- La gestione dei sinistri è il vostro vantaggio competitivo. Alcuni assicuratori si differenziano per la rapidità nella gestione dei sinistri. La maggior parte no.
- I requisiti normativi impongono il pieno controllo. Residenza dei dati in Svizzera e nell’UE, audit trail, spiegabilità: alcune autorità di vigilanza vogliono tutto in-house.
- Siete pronti ad aspettare 12-18 mesi prima della produzione. È una tempistica realistica per uno sviluppo interno.
Trappole dello sviluppo da evitare:
Vi scontrerete con lo stesso tetto di accuratezza di tutti gli altri. Un modello linguistico generalista non applicherà in modo affidabile le vostre condizioni di polizza senza un insieme di regole definito.
Il dominio dei sinistri è profondo. Parole composte tedesche come Abgasrückführungsventil (valvola di ricircolo dei gas di scarico) richiedono un vocabolario automobilistico che non si trova su Stack Overflow.
La scambierete con una dipendenza interna: dagli ingegneri che capiscono il vostro sistema su misura.
Il costo reale dello sviluppo:
- • 2-4 ingegneri ML per oltre 12 mesi
- • Tempo degli esperti di dominio per etichettatura e validazione (circa 20 ore-persona per una ground truth di 50 sinistri)
- • Manutenzione continua: i modelli vanno in deriva, i formati dei documenti cambiano
- • Costo opportunità di non rilasciare prima
Quando acquistare
Acquistare è un compromesso a favore del time-to-market. Sceglietelo perché date valore al tempo, non perché lo ritenete «più facile».
Acquistare ha senso quando:
- Vi servono risultati in produzione in 3-6 mesi. I fornitori hanno risolto problemi che non avete ancora incontrato.
- Non avete (o non volete costruire) capacità ML. Assumere e trattenere ingegneri ML è difficile.
- I vostri tipi di sinistro sono relativamente standard. Auto, property, salute: i fornitori li hanno già visti.
- Volete un IT concentrato sull’integrazione, non sulla costruzione di modelli. Il vostro vantaggio competitivo probabilmente non sta nella ricerca sull’IA.
Trappole dell’acquisto da evitare:
I dati delle demo sono selezionati. Il nostro sistema era impeccabile sui documenti tedeschi finché non abbiamo elaborato sinistri francesi. Tutti i 25 sinistri approvati sono stati respinti erroneamente.
Chiedete: accuratezza su cosa? Sul loro set di test o sui vostri documenti? Accuratezza delle decisioni ≠ accuratezza di business.
L’integrazione è sempre più difficile del promesso. I formati dei documenti variano. I nomi dei campi differiscono. La struttura delle vostre polizze ha le sue particolarità.
Il costo reale dell’acquisto:
- • Canoni di licenza (per sinistro, per documento o per piattaforma)
- • Sforzo di integrazione (di norma 3-6 mesi, non 3-6 settimane)
- • Ottimizzazione continua (dovrete comunque fare tuning)
- • Dipendenza dal fornitore (e se cambia strategia, fallisce o viene acquisito?)
Il quadro di valutazione dei fornitori
Un approccio sistematico per confrontare i fornitori. Pesate le categorie in base alle vostre priorità.
Categoria 1: accuratezza e valutazione
Peso 30%| Domanda | Cosa cercare |
|---|---|
| Qual è la vostra accuratezza sul set di holdout? | Percentuale specifica, metodologia spiegata |
| Qual è il vostro tasso di false approvazioni? | Monitorato separatamente, inferiore al 5% |
| Potete mostrare le categorie di errore? | Esiste una tassonomia, il miglioramento è monitorato |
| Quante iterazioni per raggiungere l’accuratezza attuale? | Mostra disciplina, non fortuna |
Segnali d’allarme: «La nostra accuratezza è del 99%» senza spiegare la metodologia di holdout. Noi abbiamo tracciato 14 modalità di errore distinte tra abbinamento, estrazione, logica di copertura e calcolo.
Categoria 2: verificabilità
Peso 25%| Domanda | Cosa cercare |
|---|---|
| Posso risalire da qualsiasi campo al documento di origine? | A livello di pagina e di carattere |
| Registrate versione del modello e confidenza? | Audit trail completo |
| Potete riprodurre una decisione di sei mesi fa? | Piena riproducibilità |
| Come registrate gli interventi umani che modificano la decisione? | Con motivazione obbligatoria |
Per i processi regolamentati in Svizzera e nell’UE, la verificabilità non è negoziabile.
Categoria 3: architettura
Peso 20%| Domanda | Cosa cercare |
|---|---|
| Quale percentuale è deterministica e quale è ML? | Più deterministico = meno rischio |
| Quali sono le vostre soglie di confidenza? | Asimmetriche, configurabili |
| Come rilevate gli spostamenti di distribuzione? | Monitoraggio attivo |
| Qual è il vostro workflow human-in-the-loop? | Console QA completa |
La nostra architettura: il 57% delle voci è gestito da regole deterministiche (costo LLM zero). Una percentuale deterministica più alta = costi più bassi e maggiore spiegabilità.
Costi e operazioni
15%- • Dettaglio del costo per sinistro
- • Limiti di token, circuit breaker
- • Latenze P50, P95, P99
- • Gestione nella lingua nativa
Rischio e sicurezza
10%- • Modalità di errore documentate
- • Test di regressione automatizzati
- • Passaggio controllato all’operatore umano
- • Residenza dei dati UE/Svizzera
La checklist per la demo
Cosa esigere quando i fornitori presentano.
Prima della demo
- • Inviate 10-20 dei VOSTRI sinistri
- • Includete casi limite: multilingue, scansioni di scarsa qualità
- • Definite in anticipo i criteri di successo
Durante la demo
- • Fate girare il sistema sui VOSTRI documenti
- • Chiedete di vedere un errore
- • Navigate fino alla provenienza di un campo
- • Richiedete i punteggi di confidenza
Dopo la demo
- • Confrontate l’accuratezza dichiarata con quella reale
- • Contate le risposte del tipo «lo sistemiamo con il tuning»
- • Valutate: il vostro team potrebbe usarlo ogni giorno?
Lo stress test da 5 minuti
Prendete il vostro sinistro più strano. Una parola composta tedesca come Zylinderkopfdichtung (guarnizione della testata) con un formato di fattura francese e una decisione di copertura al limite. Se non riescono a elaborarlo in diretta, il loro «99% di accuratezza» non vale per la vostra realtà.
La via ibrida
Considerate la via di mezzo. Sviluppate una parte, acquistate il resto.
Acquistare
Estrazione dei documenti, OCR, classificazione: i fornitori sono bravi nella comprensione generica dei documenti
Sviluppare
Regole di business specifiche delle polizze, logica di copertura: nel vostro dominio siete voi i più bravi
Mantenere il controllo
Quadro di valutazione, ground truth, monitoraggio della qualità. Mantenete il controllo del livello decisionale
Perché funziona: I fornitori gestiscono le parti standard. Voi gestite le parti differenzianti. Potete cambiare fornitore senza riscrivere le regole. Mantenete il controllo di audit sulle decisioni finali.
Prossimi passi
Distinguere gli indispensabili dai desiderabili
La verificabilità non è negoziabile. L’ottimizzazione automatica sì.
Preparare il vostro set di sinistri per la demo
Venti sinistri, inclusi i vostri casi limite e documenti multilingue.
Costruire la vostra scorecard prima della prima chiamata con un fornitore
Non lasciate che le demo ancorino i vostri criteri di valutazione.
Decidere: cosa volete controllare nel lungo periodo?
Il livello decisionale? Il livello di estrazione? L’intero stack?
L’obiettivo non è evitare i fornitori né evitare di sviluppare. È prendere una decisione informata in base alla vostra situazione, alle vostre tempistiche e alle vostre capacità.
True Aim AG costruisce sistemi di IA verificabili per i mercati regolamentati svizzeri e dell’UE. Questo quadro riflette la nostra esperienza di deployment.
Punti chiave
- Sviluppare per una capacità strategica, non per risparmiare
- Acquistare per il time-to-market, non per la semplicità
- Quadro di valutazione dei fornitori in 5 categorie
- Checklist per la demo: prima, durante, dopo
- La via ibrida: acquistare lo standard, sviluppare la differenziazione
- La verificabilità non è negoziabile