Quand les autorités de contrôle demandent « pourquoi votre système a-t-il approuvé ce sinistre ? », ils ne veulent pas entendre parler de poids d’attention ou de valeurs SHAP. Ils veulent cliquer sur un champ et voir exactement d’où il vient. Ils veulent réexécuter une décision d’il y a six mois et obtenir la même réponse. Ils veulent savoir quand un humain est intervenu et pourquoi.
Cela reflète notre propre expérience de déploiement. Dans notre travail avec NSA Services SA, chaque décision enregistre le document source, la page et la clause de police sur lesquels elle repose. Les sections ci-dessous décrivent l’architecture qui le permet et les exigences réglementaires qu’elle satisfait.
Ce que veulent vraiment les autorités de contrôle
Traduisons le langage réglementaire en spécifications techniques.
Communication FINMA 08/2024 (Suisse)
La Suisse n’a pas de loi spécifique à l’IA. La FINMA applique plutôt des exigences de gouvernance technologiquement neutres aux systèmes d’IA, en cadrant les risques de l’IA comme des risques opérationnels:
- •Risques de modèle : robustesse, exactitude, biais, explicabilité
- •Risques IT/cyber : sécurité, disponibilité, intégrité
- •Risques de dépendance à des tiers : verrouillage fournisseur, concentration
La FINMA note explicitement que les « résultats de l’IA ne peuvent souvent pas être compris, expliqués ou reproduits ». C’est le problème que vous devez résoudre.
AI Act européen
L’AI Act européen (le règlement sur l’IA) classe l’évaluation des risques et la tarification en assurance vie et santé comme à haut risque. L’automatisation des sinistres n’est pas explicitement listée comme à haut risque, mais des obligations de transparence s’appliquent. L’EIOPA insiste sur une gouvernance et une gestion des risques alignées sur la réglementation existante de l’assurance.
Ce que cela signifie en pratique
- Chaque décision doit avoir une chaîne de preuves traçable
- Les interventions humaines doivent être consignées avec leur justification
- Vous devez pouvoir reproduire une décision d’il y a 6 mois
- « Le modèle l’a dit » n’est pas une explication acceptable
Point clé : les autorités de contrôle ne s’intéressent pas à l’architecture de votre modèle. Ils s’intéressent à votre chaîne de preuves.
L’architecture de la chaîne de preuves
Nous utilisons trois couches de traçabilité. Chaque couche répond à une question d’audit différente.
Couche 1 : provenance du champ à la source
« D’où vient ce chiffre ? »
Chaque champ extrait doit être lié à : document source, numéro de page, emplacement (coordonnées) et confiance d’extraction.
Field: [extracted_field_name] Value: [extracted_value] Source: [document.pdf], Page X Location: [bounding box coordinates] Confidence: [high/medium/low]
Quand un auditeur demande « d’où vient cette valeur ? », vous cliquez et lui montrez l’emplacement exact dans le document source. Pas de supposition, pas de recherche.
Couche 2 : piste d’audit des décisions
« Pourquoi ce sinistre a-t-il été approuvé ? »
Chaque décision doit enregistrer : hash des entrées, version du modèle, score de confiance, horodatage et niveau de décision.
Decision: [APPROVED/DENIED/REVIEW] Input hash: [reproducibility hash] Model version: [version identifier] Confidence: [score] Decision method: [deterministic/AI/hybrid] Timestamp: [ISO timestamp]
Notre système utilise une cascade de décision à plusieurs niveaux, qui commence par des règles déterministes et ne recourt à l’IA qu’en cas de besoin. Chaque niveau est journalisé, de sorte que vous savez exactement quelle méthode a pris la décision.
Couche 3 : capture des interventions humaines
« Pourquoi un humain a-t-il changé cette décision ? »
Chaque intervention humaine doit consigner : décision initiale de l’IA, décision humaine, motif de l’intervention (champ obligatoire), identité du réviseur et horodatage.
Original decision: [AI decision with confidence] Override decision: [human decision] Reason: [required justification text] Reviewer: [authenticated user ID] Timestamp: [ISO timestamp]
Cela crée une boucle de rétroaction : les schémas d’intervention révèlent les lacunes du système. Si les gestionnaires annulent régulièrement des refus pour la même raison, c’est un signal pour améliorer le système.
Points de contrôle qualité : le point de contrôle d’audit
Nous utilisons un point de contrôle qualité à trois états qui détermine quand l’automatisation se poursuit et quand des humains doivent intervenir.
Poursuivre automatiquement. Journaliser la décision avec la chaîne de preuves complète. Aucune revue humaine requise.
Poursuivre avec un marqueur. Orienter vers la file d’échantillonnage. Un humain peut examiner ou passer.
Bloquer l’automatisation. Orienter vers un gestionnaire. Exiger une décision humaine explicite.
Asymétrie de confiance
Nous utilisons des seuils asymétriques :
- Pour les approbations : seuil de confiance plus élevé requis
- Pour les refus : seuil de confiance plus bas acceptable
- Sous les seuils : orientation vers une revue humaine
Pourquoi asymétrique ? Les fausses approbations coûtent plus cher : perte financière plus risque réglementaire. Les faux refus peuvent faire l’objet d’un recours du client. Ce n’est pas un biais, c’est de la gestion des risques.
Résultat : nous avons ramené notre taux de REFER_TO_HUMAN de 60 % à moins de 5 %.
Les modes de défaillance qui brisent les pistes d’audit
Les défaillances suivantes, identifiées lors de nos propres tests, sont celles que les autorités de contrôle sont les plus susceptibles de détecter :
Ce qui ne fonctionne pas pour l’explicabilité
- Valeurs SHAP/LIME : Techniquement intéressantes, sans signification pour les gestionnaires. « La variable X a contribué pour 0,3 à la décision » n’est pas une explication.
- Poids d’attention : « Le modèle s’est concentré sur ces mots » n’explique pas POURQUOI la décision a été prise.
- Scores de confiance seuls : « Confiance de 87 % » n’est pas une explication. Il vous faut : « confiance de 87 % PARCE QUE [preuve] ».
- Justifications a posteriori : Générer des explications après la décision risque de créer un décalage entre l’explication et la logique réelle. Les auditeurs le testeront.
Point clé : l’explicabilité, c’est montrer son travail, pas décrire ce que l’on ressent à propos de la réponse.
Correspondance réglementaire en bref
| Exigence | FINMA 08/2024 | AI Act européen | Comment y répondre |
|---|---|---|---|
| Documentation | Applications significatives | Obligations de transparence | Fiches de modèle, journaux de décision, contrôle de version |
| Traçabilité | Les résultats doivent être explicables | Tenue de registres pour fort impact | Provenance du champ à la source |
| Reproductibilité | « Souvent impossible à reproduire » (le problème) | Implicite | Hachage des entrées, versionnage des modèles |
| Contrôle humain | Requis pour les décisions significatives | Requis pour le haut risque | Points de contrôle qualité, capture des interventions |
| Mécanismes de repli | Explicitement requis | Attendu | Cascade de niveaux, file humaine |
| Classification des risques | Inventaire centralisé attendu | Haut risque pour la tarification vie/santé | Registre des cas d’usage avec étiquettes de risque |
Principes fondamentaux d’une IA auditable
Construire des systèmes d’IA prêts pour l’audit exige de s’engager sur quatre principes fondamentaux. La mise en œuvre varie selon l’organisation, mais ces principes restent constants.
Provenance complète
Chaque valeur extraite doit être traçable jusqu’à son document source et son emplacement.
Reproductibilité des décisions
Avec les mêmes entrées et la même version du modèle, vous devez pouvoir reproduire toute décision historique.
Responsabilité humaine
Chaque intervention humaine doit être capturée avec une justification obligatoire et l’identité du réviseur.
Validation continue
Tester régulièrement des décisions historiques pour vérifier que votre piste d’audit reste intacte.
Prochaines étapes
Auditez votre chaîne de preuves actuelle
Pouvez-vous retracer n’importe quel champ jusqu’à sa source ?
Testez la reproductibilité
Réexécutez une décision vieille de 3 mois. Même sortie ?
Documentez vos critères de point de contrôle qualité
Qu’est-ce qui déclenche une revue humaine ?
Faites correspondre votre architecture à la FINMA et à l’AI Act
Utilisez le tableau ci-dessus comme point de départ.
L’objectif n’est pas une IA parfaite. C’est une IA défendable : des systèmes où chaque décision peut être expliquée, chaque champ retracé et chaque intervention humaine documentée. C’est ce que veulent les autorités de contrôle. C’est ce que les auditeurs acceptent.
D’après l’expérience de déploiement de True Aim dans les sinistres de garantie automobile et l’analyse réglementaire de la communication FINMA 08/2024, de l’AI Act européen et des cadres de gouvernance de l’EIOPA.
Points clés
- Architecture de chaîne de preuves à trois couches
- Suivi de la provenance du champ à la source
- Piste d’audit des décisions avec hachage des entrées
- Capture des interventions humaines avec justification obligatoire
- Des points de contrôle qualité qui satisfont les auditeurs
- Correspondance de conformité FINMA et AI Act