Aller au contenu principal
Tous les articles

Auditabilité de l’IA sinistres : construire des chaînes de preuves que les auditeurs acceptent vraiment

Tout le monde dit que son IA est explicable. Peu peuvent le prouver à un auditeur. Voici l’architecture qui le rend possible.

12 min de lecture
Analyse technique approfondie
À propos de l’auteur

Quand les autorités de contrôle demandent « pourquoi votre système a-t-il approuvé ce sinistre ? », ils ne veulent pas entendre parler de poids d’attention ou de valeurs SHAP. Ils veulent cliquer sur un champ et voir exactement d’où il vient. Ils veulent réexécuter une décision d’il y a six mois et obtenir la même réponse. Ils veulent savoir quand un humain est intervenu et pourquoi.

Cela reflète notre propre expérience de déploiement. Dans notre travail avec NSA Services SA, chaque décision enregistre le document source, la page et la clause de police sur lesquels elle repose. Les sections ci-dessous décrivent l’architecture qui le permet et les exigences réglementaires qu’elle satisfait.

Ce que veulent vraiment les autorités de contrôle

Traduisons le langage réglementaire en spécifications techniques.

Communication FINMA 08/2024 (Suisse)

La Suisse n’a pas de loi spécifique à l’IA. La FINMA applique plutôt des exigences de gouvernance technologiquement neutres aux systèmes d’IA, en cadrant les risques de l’IA comme des risques opérationnels:

  • •Risques de modèle : robustesse, exactitude, biais, explicabilité
  • •Risques IT/cyber : sécurité, disponibilité, intégrité
  • •Risques de dépendance à des tiers : verrouillage fournisseur, concentration

La FINMA note explicitement que les « résultats de l’IA ne peuvent souvent pas être compris, expliqués ou reproduits ». C’est le problème que vous devez résoudre.

AI Act européen

L’AI Act européen (le règlement sur l’IA) classe l’évaluation des risques et la tarification en assurance vie et santé comme à haut risque. L’automatisation des sinistres n’est pas explicitement listée comme à haut risque, mais des obligations de transparence s’appliquent. L’EIOPA insiste sur une gouvernance et une gestion des risques alignées sur la réglementation existante de l’assurance.

Ce que cela signifie en pratique

  • Chaque décision doit avoir une chaîne de preuves traçable
  • Les interventions humaines doivent être consignées avec leur justification
  • Vous devez pouvoir reproduire une décision d’il y a 6 mois
  • « Le modèle l’a dit » n’est pas une explication acceptable

Point clé : les autorités de contrôle ne s’intéressent pas à l’architecture de votre modèle. Ils s’intéressent à votre chaîne de preuves.

L’architecture de la chaîne de preuves

Nous utilisons trois couches de traçabilité. Chaque couche répond à une question d’audit différente.

Couche 1 : provenance du champ à la source

« D’où vient ce chiffre ? »

Chaque champ extrait doit être lié à : document source, numéro de page, emplacement (coordonnées) et confiance d’extraction.

Field: [extracted_field_name]
Value: [extracted_value]
Source: [document.pdf], Page X
Location: [bounding box coordinates]
Confidence: [high/medium/low]

Quand un auditeur demande « d’où vient cette valeur ? », vous cliquez et lui montrez l’emplacement exact dans le document source. Pas de supposition, pas de recherche.

Couche 2 : piste d’audit des décisions

« Pourquoi ce sinistre a-t-il été approuvé ? »

Chaque décision doit enregistrer : hash des entrées, version du modèle, score de confiance, horodatage et niveau de décision.

Decision: [APPROVED/DENIED/REVIEW]
Input hash: [reproducibility hash]
Model version: [version identifier]
Confidence: [score]
Decision method: [deterministic/AI/hybrid]
Timestamp: [ISO timestamp]

Notre système utilise une cascade de décision à plusieurs niveaux, qui commence par des règles déterministes et ne recourt à l’IA qu’en cas de besoin. Chaque niveau est journalisé, de sorte que vous savez exactement quelle méthode a pris la décision.

Couche 3 : capture des interventions humaines

« Pourquoi un humain a-t-il changé cette décision ? »

Chaque intervention humaine doit consigner : décision initiale de l’IA, décision humaine, motif de l’intervention (champ obligatoire), identité du réviseur et horodatage.

Original decision: [AI decision with confidence]
Override decision: [human decision]
Reason: [required justification text]
Reviewer: [authenticated user ID]
Timestamp: [ISO timestamp]

Cela crée une boucle de rétroaction : les schémas d’intervention révèlent les lacunes du système. Si les gestionnaires annulent régulièrement des refus pour la même raison, c’est un signal pour améliorer le système.

Points de contrôle qualité : le point de contrôle d’audit

Nous utilisons un point de contrôle qualité à trois états qui détermine quand l’automatisation se poursuit et quand des humains doivent intervenir.

PASSTous les champs requis présents, confiance au-dessus du seuil.

Poursuivre automatiquement. Journaliser la décision avec la chaîne de preuves complète. Aucune revue humaine requise.

WARNConfiance sous le seuil OU champ non critique manquant.

Poursuivre avec un marqueur. Orienter vers la file d’échantillonnage. Un humain peut examiner ou passer.

FAILChamp critique manquant OU confiance très faible OU violation de règle.

Bloquer l’automatisation. Orienter vers un gestionnaire. Exiger une décision humaine explicite.

Asymétrie de confiance

Nous utilisons des seuils asymétriques :

  • Pour les approbations : seuil de confiance plus élevé requis
  • Pour les refus : seuil de confiance plus bas acceptable
  • Sous les seuils : orientation vers une revue humaine

Pourquoi asymétrique ? Les fausses approbations coûtent plus cher : perte financière plus risque réglementaire. Les faux refus peuvent faire l’objet d’un recours du client. Ce n’est pas un biais, c’est de la gestion des risques.

Résultat : nous avons ramené notre taux de REFER_TO_HUMAN de 60 % à moins de 5 %.

Les modes de défaillance qui brisent les pistes d’audit

Les défaillances suivantes, identifiées lors de nos propres tests, sont celles que les autorités de contrôle sont les plus susceptibles de détecter :

Erreurs d’extraction sans provenance
SymptômeUne valeur a été mal extraite, mais rien ne renvoie à la source
Impact en auditSans provenance, vous ne pouvez pas expliquer l’erreur
CorrectifChaque valeur extraite est liée à son emplacement source
Décisions fondées sur des données indisponibles
SymptômeLe système a pris une décision, mais une information clé ne figurait pas dans le jeu de documents
Impact en auditLe système avait raison au vu des données disponibles, mais l’auditeur ne le sait pas
CorrectifDocumenter quelles informations étaient disponibles au moment de la décision
Logique d’approbation par défaut
SymptômePrécision globale élevée, mais des décisions erronées pour de mauvaises raisons
Impact en auditImpossible d’expliquer l’approbation, juste « aucune défaillance trouvée »
CorrectifExiger une confirmation explicite de couverture, pas l’absence de rejet

Ce qui ne fonctionne pas pour l’explicabilité

  • Valeurs SHAP/LIME : Techniquement intéressantes, sans signification pour les gestionnaires. « La variable X a contribué pour 0,3 à la décision » n’est pas une explication.
  • Poids d’attention : « Le modèle s’est concentré sur ces mots » n’explique pas POURQUOI la décision a été prise.
  • Scores de confiance seuls : « Confiance de 87 % » n’est pas une explication. Il vous faut : « confiance de 87 % PARCE QUE [preuve] ».
  • Justifications a posteriori : Générer des explications après la décision risque de créer un décalage entre l’explication et la logique réelle. Les auditeurs le testeront.

Point clé : l’explicabilité, c’est montrer son travail, pas décrire ce que l’on ressent à propos de la réponse.

Correspondance réglementaire en bref

ExigenceFINMA 08/2024AI Act européenComment y répondre
DocumentationApplications significativesObligations de transparenceFiches de modèle, journaux de décision, contrôle de version
TraçabilitéLes résultats doivent être explicablesTenue de registres pour fort impactProvenance du champ à la source
Reproductibilité« Souvent impossible à reproduire » (le problème)ImpliciteHachage des entrées, versionnage des modèles
Contrôle humainRequis pour les décisions significativesRequis pour le haut risquePoints de contrôle qualité, capture des interventions
Mécanismes de repliExplicitement requisAttenduCascade de niveaux, file humaine
Classification des risquesInventaire centralisé attenduHaut risque pour la tarification vie/santéRegistre des cas d’usage avec étiquettes de risque

Principes fondamentaux d’une IA auditable

Construire des systèmes d’IA prêts pour l’audit exige de s’engager sur quatre principes fondamentaux. La mise en œuvre varie selon l’organisation, mais ces principes restent constants.

Provenance complète

Chaque valeur extraite doit être traçable jusqu’à son document source et son emplacement.

Reproductibilité des décisions

Avec les mêmes entrées et la même version du modèle, vous devez pouvoir reproduire toute décision historique.

Responsabilité humaine

Chaque intervention humaine doit être capturée avec une justification obligatoire et l’identité du réviseur.

Validation continue

Tester régulièrement des décisions historiques pour vérifier que votre piste d’audit reste intacte.

Prochaines étapes

1

Auditez votre chaîne de preuves actuelle

Pouvez-vous retracer n’importe quel champ jusqu’à sa source ?

2

Testez la reproductibilité

Réexécutez une décision vieille de 3 mois. Même sortie ?

3

Documentez vos critères de point de contrôle qualité

Qu’est-ce qui déclenche une revue humaine ?

4

Faites correspondre votre architecture à la FINMA et à l’AI Act

Utilisez le tableau ci-dessus comme point de départ.

L’objectif n’est pas une IA parfaite. C’est une IA défendable : des systèmes où chaque décision peut être expliquée, chaque champ retracé et chaque intervention humaine documentée. C’est ce que veulent les autorités de contrôle. C’est ce que les auditeurs acceptent.

D’après l’expérience de déploiement de True Aim dans les sinistres de garantie automobile et l’analyse réglementaire de la communication FINMA 08/2024, de l’AI Act européen et des cadres de gouvernance de l’EIOPA.

Points clés

  • Architecture de chaîne de preuves à trois couches
  • Suivi de la provenance du champ à la source
  • Piste d’audit des décisions avec hachage des entrées
  • Capture des interventions humaines avec justification obligatoire
  • Des points de contrôle qualité qui satisfont les auditeurs
  • Correspondance de conformité FINMA et AI Act

Vous construisez une IA auditable ?

Nous pouvons vous aider à concevoir des architectures de chaîne de preuves qui satisfont autorités de contrôle et auditeurs.