La mauvaise question
« Faut-il développer ou acheter notre IA sinistres ? »
C’est la mauvaise question. Les fournisseurs vous montreront des démos soignées. Vos développeurs promettront qu’ils peuvent « simplement utiliser GPT-4 ». Aucune des deux perspectives ne reflète la réalité.
La bonne question : Qu’est-ce qui doit être vrai pour que cela fonctionne en production, et qui peut réellement le rendre vrai ?
Dans notre déploiement chez NSA Services SA, True Aim est passé du premier test à un système opérationnel en sept jours et a réduit de 86 % le temps d’expert sur les sinistres complexes. Le cadre ci-dessous explique comment évaluer les fournisseurs d’IA sinistres sur des preuves plutôt que sur des démonstrations.
Quand développer
Développer est un investissement en capacités, pas une économie. Choisissez-le pour des raisons stratégiques, pas par crainte des fournisseurs.
Développer a du sens quand :
- Votre logique de police est réellement unique. Si vos règles de couverture ne peuvent pas être configurées dans un produit du marché, vous vous battrez éternellement contre leur système.
- Vous avez des capacités en ingénierie ML, et savez les retenir. Le départ d’un ingénieur ne doit pas paralyser votre système.
- Le traitement des sinistres est votre avantage concurrentiel. Certains assureurs se différencient par la rapidité de règlement des sinistres. La plupart, non.
- Les exigences réglementaires imposent un contrôle total. Localisation des données en Suisse et dans l’UE, pistes d’audit, explicabilité : certaines autorités de contrôle veulent tout en interne.
- Vous êtes prêt à attendre 12 à 18 mois avant la production. C’est un calendrier réaliste pour un développement interne.
Pièges du développement à éviter :
Vous atteindrez le même plafond de précision que tout le monde. Un modèle de langage généraliste n’appliquera pas vos conditions de la police de façon fiable sans un ensemble de règles défini.
Le domaine des sinistres est profond. Des mots composés allemands comme Abgasrückführungsventil (vanne de recirculation des gaz d’échappement) exigent un vocabulaire automobile qui ne vient pas de Stack Overflow.
Vous l’échangerez contre une dépendance interne : envers les ingénieurs qui comprennent votre système sur mesure.
Le coût réel du développement :
- • 2 à 4 ingénieurs ML pendant plus de 12 mois
- • Du temps d’experts métier pour l’annotation et la validation (environ 20 heures-personne pour une vérité terrain de 50 sinistres)
- • Une maintenance continue : les modèles dérivent, les formats de documents changent
- • Le coût d’opportunité de ne pas livrer plus tôt
Quand acheter
Acheter est un arbitrage en faveur du délai de mise sur le marché. Choisissez-le parce que vous valorisez le temps, pas parce que vous pensez que c’est « plus facile ».
Acheter a du sens quand :
- Vous avez besoin de résultats en production en 3 à 6 mois. Les fournisseurs ont résolu des problèmes que vous n’avez pas encore rencontrés.
- Vous n’avez pas (ou ne voulez pas construire) de capacité ML. Recruter et retenir des ingénieurs ML est difficile.
- Vos types de sinistres sont relativement standards. Auto, dommages aux biens, santé : les fournisseurs ont déjà vu cela.
- Vous voulez une DSI concentrée sur l’intégration, pas sur la construction de modèles. Votre avantage concurrentiel ne se situe probablement pas dans la recherche en IA.
Pièges de l’achat à éviter :
Les données de démo sont sélectionnées. Notre système était impeccable sur des documents allemands jusqu’à ce que nous traitions des sinistres français. Les 25 sinistres acceptés ont tous été rejetés à tort.
Demandez : précision sur quoi ? Leur jeu de test ou vos documents ? Précision des décisions ≠ précision métier.
L’intégration est toujours plus difficile que promis. Les formats de documents varient. Les noms de champs diffèrent. Votre structure de polices a ses particularités.
Le coût réel de l’achat :
- • Frais de licence (par sinistre, par document ou par plateforme)
- • Effort d’intégration (généralement 3 à 6 mois, pas 3 à 6 semaines)
- • Réglage continu (vous devrez encore ajuster)
- • Dépendance au fournisseur (et s’il pivote, échoue ou se fait racheter ?)
Le cadre d’évaluation des fournisseurs
Une approche systématique pour comparer les fournisseurs. Pondérez les catégories selon vos priorités.
Catégorie 1 : précision et évaluation
Pondération 30 %| Question | Ce que vous recherchez |
|---|---|
| Quelle est votre précision sur jeu de test isolé ? | Un % précis, une méthodologie expliquée |
| Quel est votre taux de fausses approbations ? | Suivi séparément, inférieur à 5 % |
| Pouvez-vous montrer les catégories d’erreurs ? | Une taxonomie existe, l’amélioration est suivie |
| Combien d’itérations pour atteindre la précision actuelle ? | Révèle la discipline, pas la chance |
Signaux d’alerte : « Notre précision est de 99 % » sans explication de la méthodologie de test. Nous avons suivi 14 modes de défaillance distincts dans l’appariement, l’extraction, la logique de couverture et le calcul.
Catégorie 2 : auditabilité
Pondération 25 %| Question | Ce que vous recherchez |
|---|---|
| Puis-je retracer n’importe quel champ jusqu’à son document source ? | Au niveau de la page et du caractère |
| Journalisez-vous la version du modèle et la confiance ? | Piste d’audit complète |
| Pouvez-vous reproduire une décision vieille de six mois ? | Reproductibilité totale |
| Comment capturez-vous les interventions humaines ? | Avec justification obligatoire |
Pour les processus réglementés en Suisse et dans l’UE, l’auditabilité n’est pas négociable.
Catégorie 3 : architecture
Pondération 20 %| Question | Ce que vous recherchez |
|---|---|
| Quelle part est déterministe, quelle part est du ML ? | Plus de déterminisme = moins de risque |
| Quels sont vos seuils de confiance ? | Asymétriques, configurables |
| Comment détectez-vous les décalages de distribution ? | Une surveillance est en place |
| Quel est votre flux de travail avec intervention humaine ? | Console QA complète |
Notre architecture : 57 % des éléments sont traités par des règles déterministes (coût LLM nul). Plus la part déterministe est élevée, plus le coût baisse et plus l’explicabilité augmente.
Coûts et exploitation
15 %- • Détail du coût par sinistre
- • Limites de tokens, coupe-circuits
- • Latences P50, P95, P99
- • Traitement en langue native
Risque et sécurité
10 %- • Modes de défaillance documentés
- • Tests de régression automatisés
- • Repli contrôlé vers l’humain
- • Localisation des données UE/Suisse
La liste de contrôle de la démo
Ce qu’il faut exiger quand les fournisseurs présentent.
Avant la démo
- • Envoyez 10 à 20 de VOS sinistres
- • Incluez des cas limites : multilingues, scans de mauvaise qualité
- • Définissez les critères de succès à l’avance
Pendant la démo
- • Faites tourner le système sur VOS documents
- • Demandez à voir un échec
- • Remontez jusqu’à la provenance d’un champ
- • Demandez les scores de confiance
Après la démo
- • Comparez la précision annoncée et la précision réelle
- • Comptez les réponses du type « on ajustera ça »
- • Évaluez : votre équipe pourrait-elle l’utiliser au quotidien ?
Le test de résistance en 5 minutes
Prenez votre sinistre le plus étrange. Un mot composé allemand comme Zylinderkopfdichtung (joint de culasse) avec un format de facture français et une décision de couverture limite. S’ils ne peuvent pas le traiter en direct, leurs « 99 % de précision » ne s’appliquent pas à votre réalité.
La voie hybride
Envisagez la voie du milieu. Développez une partie, achetez le reste.
Acheter
Extraction de documents, OCR, classification : les fournisseurs sont bons en compréhension générique de documents
Développer
Règles métier propres à vos polices, logique de couverture : vous êtes meilleur dans votre domaine spécifique
Garder la maîtrise
Cadre d’évaluation, vérité terrain, suivi de la qualité. Gardez le contrôle de la couche de décision
Pourquoi cela fonctionne : Les fournisseurs gèrent les briques standard. Vous gérez les briques différenciantes. Vous pouvez changer de fournisseur sans réécrire vos règles. Vous gardez le contrôle d’audit sur les décisions finales.
Prochaines étapes
Distinguer l’indispensable du souhaitable
L’auditabilité n’est pas négociable. Le réglage automatique, si.
Préparer votre jeu de sinistres de démo
Vingt sinistres, y compris vos cas limites et vos documents multilingues.
Construire votre grille d’évaluation avant le premier appel fournisseur
Ne laissez pas les démos ancrer vos critères d’évaluation.
Décider : que voulez-vous maîtriser sur le long terme ?
La couche de décision ? La couche d’extraction ? Toute la pile ?
L’objectif n’est pas d’éviter les fournisseurs ni d’éviter de développer. C’est de prendre une décision éclairée en fonction de votre situation, de votre calendrier et de vos capacités.
True Aim AG construit des systèmes d’IA auditables pour les marchés réglementés suisses et européens. Ce cadre reflète notre expérience de déploiement.
Points clés
- Développer pour une capacité stratégique, pas pour des économies
- Acheter pour la rapidité de mise sur le marché, pas pour la simplicité
- Un cadre d’évaluation des fournisseurs en 5 catégories
- Liste de contrôle de démo : avant, pendant, après
- La voie hybride : acheter le standard, développer la différenciation
- L’auditabilité n’est pas négociable