Zum Hauptinhalt springen
Alle Artikel

Prüfbarkeit von Schaden-KI: Nachweisketten, die Prüfer tatsächlich akzeptieren

Alle sagen, ihre KI sei erklärbar. Wenige können es einem Prüfer beweisen. Hier ist die Architektur, die es möglich macht.

12 Min. Lesezeit
Technische Vertiefung
Über den Autor

Wenn Aufsichtsbehörden fragen: „Warum hat Ihr System diesen Schadenfall genehmigt?“, wollen sie nichts über Attention-Gewichte oder SHAP-Werte hören. Sie wollen auf ein Feld klicken und genau sehen, woher es stammt. Sie wollen eine Entscheidung von vor sechs Monaten erneut durchlaufen lassen und dieselbe Antwort erhalten. Sie wollen wissen, wann ein Mensch eingegriffen hat und warum.

Das entspricht unserer eigenen Erfahrung aus dem Einsatz. In unserer Arbeit mit NSA Services SA hält jede Entscheidung das Quelldokument, die Seite und die Policenklausel fest, auf denen sie beruht. Die folgenden Abschnitte beschreiben die Architektur dahinter und die regulatorischen Anforderungen, die sie erfüllt.

Was Aufsichtsbehörden wirklich wollen

Übersetzen wir die Sprache der Aufsicht in technische Spezifikationen.

FINMA-Aufsichtsmitteilung 08/2024 (Schweiz)

Die Schweiz hat kein KI-spezifisches Gesetz. Stattdessen wendet die FINMA technologieneutrale Governance-Anforderungen auf KI-Systeme an und ordnet KI-Risiken ein als operationelle Risiken:

  • •Modellrisiken: Robustheit, Korrektheit, Verzerrung, Erklärbarkeit
  • •IT-/Cyberrisiken: Sicherheit, Verfügbarkeit, Integrität
  • •Risiken aus Drittabhängigkeiten: Anbieterbindung, Konzentration

Die FINMA hält ausdrücklich fest, dass die Ergebnisse von KI „oft nicht verstanden, erklärt oder reproduziert werden können“. Das ist das Problem, das Sie lösen müssen.

EU AI Act

Nach dem EU AI Act (der KI-Verordnung) gelten Risikobewertung und Preisbildung in der Lebens- und Krankenversicherung als hochriskant. Die Schadenautomatisierung ist nicht ausdrücklich als hochriskant aufgeführt, Transparenzpflichten gelten aber. Die EIOPA betont Governance und Risikomanagement im Einklang mit der bestehenden Versicherungsregulatorik.

Was das in der Praxis bedeutet

  • Jede Entscheidung muss eine nachvollziehbare Nachweiskette haben
  • Menschliche Übersteuerungen müssen mit Begründung erfasst werden
  • Sie müssen eine Entscheidung von vor 6 Monaten reproduzieren können
  • „Das Modell hat es so gesagt“ ist keine akzeptable Erklärung

Kernaussage: Aufsichtsbehörden interessiert nicht Ihre Modellarchitektur. Sie interessiert Ihre Nachweiskette.

Die Nachweisketten-Architektur

Wir verwenden drei Ebenen der Nachvollziehbarkeit. Jede Ebene beantwortet eine andere Prüffrage.

Ebene 1: Herkunftsnachweis vom Feld zur Quelle

„Woher kommt diese Zahl?“

Jedes extrahierte Feld muss verknüpft sein mit: Quelldokument, Seitenzahl, Position (Koordinaten) und Extraktionskonfidenz.

Field: [extracted_field_name]
Value: [extracted_value]
Source: [document.pdf], Page X
Location: [bounding box coordinates]
Confidence: [high/medium/low]

Fragt ein Prüfer: „Woher kommt dieser Wert?“, klicken Sie und zeigen ihm die exakte Stelle im Quelldokument. Kein Raten, kein Suchen.

Ebene 2: Entscheidungs-Prüfpfad

„Warum wurde dieser Schadenfall genehmigt?“

Jede Entscheidung muss festhalten: Eingabe-Hash, Modellversion, Konfidenzwert, Zeitstempel und Entscheidungsstufe.

Decision: [APPROVED/DENIED/REVIEW]
Input hash: [reproducibility hash]
Model version: [version identifier]
Confidence: [score]
Decision method: [deterministic/AI/hybrid]
Timestamp: [ISO timestamp]

Unser System nutzt eine mehrstufige Entscheidungskaskade, die mit deterministischen Regeln beginnt und nur bei Bedarf auf KI zurückgreift. Jede Stufe wird protokolliert, sodass Sie genau wissen, welche Methode die Entscheidung getroffen hat.

Ebene 3: Erfassung von Übersteuerungen

„Warum hat ein Mensch diese Entscheidung geändert?“

Jede menschliche Übersteuerung muss erfassen: ursprüngliche KI-Entscheidung, menschliche Entscheidung, Grund der Übersteuerung (Pflichtfeld), Identität des Prüfers und Zeitstempel.

Original decision: [AI decision with confidence]
Override decision: [human decision]
Reason: [required justification text]
Reviewer: [authenticated user ID]
Timestamp: [ISO timestamp]

So entsteht eine Rückkopplungsschleife: Übersteuerungsmuster zeigen Systemlücken auf. Übersteuern Sachbearbeiter Ablehnungen immer wieder aus demselben Grund, ist das ein Signal, das System zu verbessern.

Qualitätsschranken: der Prüf-Checkpoint

Wir verwenden eine Qualitätsschranke mit drei Zuständen, die bestimmt, wann die Automatisierung fortfährt und wann Menschen eingreifen müssen.

PASSAlle Pflichtfelder vorhanden, Konfidenz über dem Schwellenwert.

Automatisch fortfahren. Entscheidung mit vollständiger Nachweiskette protokollieren. Keine menschliche Prüfung erforderlich.

WARNKonfidenz unter dem Schwellenwert ODER unkritisches Feld fehlt.

Mit Kennzeichnung fortfahren. In die Stichprobenwarteschlange leiten. Ein Mensch kann prüfen oder überspringen.

FAILKritisches Feld fehlt ODER Konfidenz sehr niedrig ODER Regelverstoß.

Automatisierung blockieren. An einen Sachbearbeiter leiten. Explizite menschliche Entscheidung verlangen.

Asymmetrische Konfidenz

Wir verwenden asymmetrische Schwellenwerte:

  • Für Genehmigungen: höherer Konfidenzschwellenwert erforderlich
  • Für Ablehnungen: niedrigerer Konfidenzschwellenwert akzeptabel
  • Unterhalb der Schwellenwerte: Weiterleitung an die menschliche Prüfung

Warum asymmetrisch? Falsche Genehmigungen kosten mehr: finanzieller Verlust plus regulatorisches Risiko. Gegen falsche Ablehnungen kann der Kunde Einspruch erheben. Das ist keine Verzerrung, das ist Risikomanagement.

Ergebnis: Wir haben unsere REFER_TO_HUMAN-Quote von 60 % auf unter 5 % gesenkt.

Fehlermodi, die Prüfpfade zerstören

Die folgenden Fehler, die wir in unseren eigenen Tests identifiziert haben, sind diejenigen, die Aufsichtsbehörden am ehesten entdecken:

Extraktionsfehler ohne Herkunftsnachweis
SymptomEin Wert wurde falsch extrahiert, aber es gibt keinen Verweis zurück zur Quelle
Auswirkung auf die PrüfungOhne Herkunftsnachweis können Sie den Fehler nicht erklären
BehebungJeder extrahierte Wert verweist auf die Position in der Quelle
Entscheidungen auf Basis nicht verfügbarer Daten
SymptomDas System hat entschieden, aber eine zentrale Information war nicht im Dokumentensatz
Auswirkung auf die PrüfungDas System lag angesichts der verfügbaren Daten richtig, aber der Prüfer weiß das nicht
BehebungDokumentieren, welche Informationen zum Entscheidungszeitpunkt verfügbar waren
Standardmäßige Genehmigung
SymptomInsgesamt hohe Genauigkeit, aber falsch aus den falschen Gründen
Auswirkung auf die PrüfungWarum genehmigt wurde, lässt sich nicht erklären, nur „keine Fehler gefunden“
BehebungExplizite Deckungsbestätigung verlangen, nicht das Ausbleiben einer Ablehnung

Was für Erklärbarkeit nicht funktioniert

  • SHAP-/LIME-Werte: Technisch interessant, für Sachbearbeiter bedeutungslos. „Merkmal X hat 0,3 zur Entscheidung beigetragen“ ist keine Erklärung.
  • Attention-Gewichte: „Das Modell hat sich auf diese Wörter konzentriert“ erklärt nicht, WARUM die Entscheidung getroffen wurde.
  • Konfidenzwerte allein: „87 % sicher“ ist keine Erklärung. Sie brauchen: „87 % sicher, WEIL [Nachweis]“.
  • Nachträgliche Begründungen: Erklärungen nach der Entscheidung zu erzeugen, birgt das Risiko, dass Erklärung und tatsächliche Logik auseinanderfallen. Prüfer werden das testen.

Kernaussage: Erklärbarkeit heißt, den Rechenweg zu zeigen, nicht, Gefühle zur Antwort zu beschreiben.

Regulatorische Zuordnung auf einen Blick

AnforderungFINMA 08/2024EU AI ActUmsetzung
DokumentationWesentliche AnwendungenTransparenzpflichtenModel Cards, Entscheidungsprotokolle, Versionskontrolle
NachvollziehbarkeitErgebnisse müssen erklärbar seinAufzeichnungspflichten bei hoher AuswirkungHerkunftsnachweis vom Feld zur Quelle
Reproduzierbarkeit„Oft nicht reproduzierbar“ (das Problem)ImplizitEingabe-Hashing, Modellversionierung
Menschliche AufsichtErforderlich bei wesentlichen EntscheidungenErforderlich bei HochrisikoQualitätsschranken, Erfassung von Übersteuerungen
RückfallmechanismenAusdrücklich verlangtErwartetStufenkaskade, menschliche Warteschlange
RisikoklassifizierungZentrales Inventar erwartetHochrisiko für Lebens-/Kranken-PreisbildungAnwendungsfall-Register mit Risiko-Tags

Grundprinzipien prüfbarer KI

Prüfbereite KI-Systeme zu bauen, verlangt die Verpflichtung auf vier Grundprinzipien. Die konkrete Umsetzung variiert je nach Organisation, die Prinzipien bleiben gleich.

Vollständiger Herkunftsnachweis

Jeder extrahierte Wert muss bis zu seinem Quelldokument und seiner Position nachvollziehbar sein.

Reproduzierbarkeit der Entscheidung

Bei gleichen Eingaben und gleicher Modellversion müssen Sie jede historische Entscheidung reproduzieren können.

Menschliche Verantwortung

Jede menschliche Übersteuerung muss mit Pflichtbegründung und Identität des Prüfers erfasst werden.

Kontinuierliche Validierung

Regelmäßige Tests historischer Entscheidungen, um sicherzustellen, dass Ihr Prüfpfad intakt bleibt.

Nächste Schritte

1

Prüfen Sie Ihre aktuelle Nachweiskette

Können Sie jedes Feld bis zu seiner Quelle zurückverfolgen?

2

Testen Sie die Reproduzierbarkeit

Lassen Sie eine 3 Monate alte Entscheidung erneut laufen. Gleiche Ausgabe?

3

Dokumentieren Sie Ihre Kriterien für die Qualitätsschranke

Was löst eine menschliche Prüfung aus?

4

Ordnen Sie Ihre Architektur FINMA und EU AI Act zu

Nutzen Sie die Tabelle oben als Ausgangspunkt.

Das Ziel ist nicht perfekte KI. Es ist belastbare KI: Systeme, in denen jede Entscheidung erklärt, jedes Feld zurückverfolgt und jeder menschliche Eingriff dokumentiert werden kann. Das wollen Aufsichtsbehörden. Das akzeptieren Prüfer.

Basierend auf der Einsatzerfahrung von True Aim bei Fahrzeuggarantie-Schadenfällen und der regulatorischen Analyse der FINMA-Aufsichtsmitteilung 08/2024, des EU AI Act und der EIOPA-Governance-Rahmenwerke.

Das Wichtigste in Kürze

  • Dreistufige Nachweisketten-Architektur
  • Herkunftsnachweis vom Feld zur Quelle
  • Entscheidungs-Prüfpfad mit Eingabe-Hashing
  • Erfassung menschlicher Übersteuerungen mit Pflichtbegründung
  • Qualitätsschranken, die Prüfer überzeugen
  • Zuordnung zu FINMA & EU AI Act

Sie bauen prüfbare KI?

Wir helfen Ihnen, Nachweisketten-Architekturen zu entwerfen, die Aufsichtsbehörden und Prüfer überzeugen.