Vai al contenuto principale
Tutti gli articoli

Sviluppare o acquistare: cosa esigere dai fornitori di IDP

Un quadro di valutazione pratico per i team assicurativi che valutano soluzioni di automazione dei sinistri

15 min di lettura
Guida strategica
Sull’autore

La domanda sbagliata

«Dobbiamo sviluppare o acquistare la nostra IA per i sinistri?»

È la domanda sbagliata. I fornitori vi mostreranno demo impeccabili. I vostri sviluppatori prometteranno di poter «usare semplicemente GPT-4». Nessuna delle due prospettive coglie la realtà.

La domanda giusta: Cosa deve essere vero perché funzioni in produzione, e chi può davvero renderlo vero?

Nel nostro deployment presso NSA Services SA, True Aim è passata dal primo test a un sistema funzionante in sette giorni e ha ridotto dell’86% il tempo degli esperti sui sinistri complessi. Il quadro che segue illustra come valutare i fornitori di IA per i sinistri sulla base di evidenze anziché di dimostrazioni.

Quando sviluppare

Sviluppare è un investimento in competenze, non un risparmio sui costi. Sceglietelo per ragioni strategiche, non per timore dei fornitori.

Sviluppare ha senso quando:

  • La logica delle vostre polizze è davvero unica. Se le vostre regole di copertura non si possono configurare in un prodotto di mercato, combatterete per sempre contro il loro sistema.
  • Avete capacità di ingegneria ML, e sapete trattenerla. L’uscita di un ingegnere non dovrebbe paralizzare il vostro sistema.
  • La gestione dei sinistri è il vostro vantaggio competitivo. Alcuni assicuratori si differenziano per la rapidità nella gestione dei sinistri. La maggior parte no.
  • I requisiti normativi impongono il pieno controllo. Residenza dei dati in Svizzera e nell’UE, audit trail, spiegabilità: alcune autorità di vigilanza vogliono tutto in-house.
  • Siete pronti ad aspettare 12-18 mesi prima della produzione. È una tempistica realistica per uno sviluppo interno.

Trappole dello sviluppo da evitare:

«Useremo semplicemente GPT-4.»

Vi scontrerete con lo stesso tetto di accuratezza di tutti gli altri. Un modello linguistico generalista non applicherà in modo affidabile le vostre condizioni di polizza senza un insieme di regole definito.

«I nostri sviluppatori ci arriveranno.»

Il dominio dei sinistri è profondo. Parole composte tedesche come Abgasrückführungsventil (valvola di ricircolo dei gas di scarico) richiedono un vocabolario automobilistico che non si trova su Stack Overflow.

«Non vogliamo dipendere da un fornitore.»

La scambierete con una dipendenza interna: dagli ingegneri che capiscono il vostro sistema su misura.

Il costo reale dello sviluppo:

  • • 2-4 ingegneri ML per oltre 12 mesi
  • • Tempo degli esperti di dominio per etichettatura e validazione (circa 20 ore-persona per una ground truth di 50 sinistri)
  • • Manutenzione continua: i modelli vanno in deriva, i formati dei documenti cambiano
  • • Costo opportunità di non rilasciare prima

Quando acquistare

Acquistare è un compromesso a favore del time-to-market. Sceglietelo perché date valore al tempo, non perché lo ritenete «più facile».

Acquistare ha senso quando:

  • Vi servono risultati in produzione in 3-6 mesi. I fornitori hanno risolto problemi che non avete ancora incontrato.
  • Non avete (o non volete costruire) capacità ML. Assumere e trattenere ingegneri ML è difficile.
  • I vostri tipi di sinistro sono relativamente standard. Auto, property, salute: i fornitori li hanno già visti.
  • Volete un IT concentrato sull’integrazione, non sulla costruzione di modelli. Il vostro vantaggio competitivo probabilmente non sta nella ricerca sull’IA.

Trappole dell’acquisto da evitare:

«Hanno fatto una demo fantastica.»

I dati delle demo sono selezionati. Il nostro sistema era impeccabile sui documenti tedeschi finché non abbiamo elaborato sinistri francesi. Tutti i 25 sinistri approvati sono stati respinti erroneamente.

«Dicono 99% di accuratezza.»

Chiedete: accuratezza su cosa? Sul loro set di test o sui vostri documenti? Accuratezza delle decisioni ≠ accuratezza di business.

«È plug and play.»

L’integrazione è sempre più difficile del promesso. I formati dei documenti variano. I nomi dei campi differiscono. La struttura delle vostre polizze ha le sue particolarità.

Il costo reale dell’acquisto:

  • • Canoni di licenza (per sinistro, per documento o per piattaforma)
  • • Sforzo di integrazione (di norma 3-6 mesi, non 3-6 settimane)
  • • Ottimizzazione continua (dovrete comunque fare tuning)
  • • Dipendenza dal fornitore (e se cambia strategia, fallisce o viene acquisito?)

Il quadro di valutazione dei fornitori

Un approccio sistematico per confrontare i fornitori. Pesate le categorie in base alle vostre priorità.

Categoria 1: accuratezza e valutazione

Peso 30%
DomandaCosa cercare
Qual è la vostra accuratezza sul set di holdout?Percentuale specifica, metodologia spiegata
Qual è il vostro tasso di false approvazioni?Monitorato separatamente, inferiore al 5%
Potete mostrare le categorie di errore?Esiste una tassonomia, il miglioramento è monitorato
Quante iterazioni per raggiungere l’accuratezza attuale?Mostra disciplina, non fortuna

Segnali d’allarme: «La nostra accuratezza è del 99%» senza spiegare la metodologia di holdout. Noi abbiamo tracciato 14 modalità di errore distinte tra abbinamento, estrazione, logica di copertura e calcolo.

Categoria 2: verificabilità

Peso 25%
DomandaCosa cercare
Posso risalire da qualsiasi campo al documento di origine?A livello di pagina e di carattere
Registrate versione del modello e confidenza?Audit trail completo
Potete riprodurre una decisione di sei mesi fa?Piena riproducibilità
Come registrate gli interventi umani che modificano la decisione?Con motivazione obbligatoria

Per i processi regolamentati in Svizzera e nell’UE, la verificabilità non è negoziabile.

Categoria 3: architettura

Peso 20%
DomandaCosa cercare
Quale percentuale è deterministica e quale è ML?Più deterministico = meno rischio
Quali sono le vostre soglie di confidenza?Asimmetriche, configurabili
Come rilevate gli spostamenti di distribuzione?Monitoraggio attivo
Qual è il vostro workflow human-in-the-loop?Console QA completa

La nostra architettura: il 57% delle voci è gestito da regole deterministiche (costo LLM zero). Una percentuale deterministica più alta = costi più bassi e maggiore spiegabilità.

Costi e operazioni

15%
  • • Dettaglio del costo per sinistro
  • • Limiti di token, circuit breaker
  • • Latenze P50, P95, P99
  • • Gestione nella lingua nativa

Rischio e sicurezza

10%
  • • Modalità di errore documentate
  • • Test di regressione automatizzati
  • • Passaggio controllato all’operatore umano
  • • Residenza dei dati UE/Svizzera

La checklist per la demo

Cosa esigere quando i fornitori presentano.

Prima della demo

  • • Inviate 10-20 dei VOSTRI sinistri
  • • Includete casi limite: multilingue, scansioni di scarsa qualità
  • • Definite in anticipo i criteri di successo

Durante la demo

  • • Fate girare il sistema sui VOSTRI documenti
  • • Chiedete di vedere un errore
  • • Navigate fino alla provenienza di un campo
  • • Richiedete i punteggi di confidenza

Dopo la demo

  • • Confrontate l’accuratezza dichiarata con quella reale
  • • Contate le risposte del tipo «lo sistemiamo con il tuning»
  • • Valutate: il vostro team potrebbe usarlo ogni giorno?

Lo stress test da 5 minuti

Prendete il vostro sinistro più strano. Una parola composta tedesca come Zylinderkopfdichtung (guarnizione della testata) con un formato di fattura francese e una decisione di copertura al limite. Se non riescono a elaborarlo in diretta, il loro «99% di accuratezza» non vale per la vostra realtà.

La via ibrida

Considerate la via di mezzo. Sviluppate una parte, acquistate il resto.

Acquistare

Estrazione dei documenti, OCR, classificazione: i fornitori sono bravi nella comprensione generica dei documenti

Sviluppare

Regole di business specifiche delle polizze, logica di copertura: nel vostro dominio siete voi i più bravi

Mantenere il controllo

Quadro di valutazione, ground truth, monitoraggio della qualità. Mantenete il controllo del livello decisionale

Perché funziona: I fornitori gestiscono le parti standard. Voi gestite le parti differenzianti. Potete cambiare fornitore senza riscrivere le regole. Mantenete il controllo di audit sulle decisioni finali.

Prossimi passi

1

Distinguere gli indispensabili dai desiderabili

La verificabilità non è negoziabile. L’ottimizzazione automatica sì.

2

Preparare il vostro set di sinistri per la demo

Venti sinistri, inclusi i vostri casi limite e documenti multilingue.

3

Costruire la vostra scorecard prima della prima chiamata con un fornitore

Non lasciate che le demo ancorino i vostri criteri di valutazione.

4

Decidere: cosa volete controllare nel lungo periodo?

Il livello decisionale? Il livello di estrazione? L’intero stack?

L’obiettivo non è evitare i fornitori né evitare di sviluppare. È prendere una decisione informata in base alla vostra situazione, alle vostre tempistiche e alle vostre capacità.

True Aim AG costruisce sistemi di IA verificabili per i mercati regolamentati svizzeri e dell’UE. Questo quadro riflette la nostra esperienza di deployment.

Punti chiave

  • Sviluppare per una capacità strategica, non per risparmiare
  • Acquistare per il time-to-market, non per la semplicità
  • Quadro di valutazione dei fornitori in 5 categorie
  • Checklist per la demo: prima, durante, dopo
  • La via ibrida: acquistare lo standard, sviluppare la differenziazione
  • La verificabilità non è negoziabile

State valutando fornitori di IA per i sinistri?

Possiamo aiutarvi a costruire un quadro di valutazione su misura per i vostri requisiti e a condurre confronti oggettivi tra fornitori.