Dieses Muster ist im Markt weit verbreitet. Es liegt selten an fehlendem Budget oder fehlender Unterstützung der Geschäftsleitung. In den meisten Fällen liegt die Ursache in der Messdisziplin und im Produktionsrealismus.
In frühen Piloten wird die gemeldete Genauigkeit oft auf Entwicklungsdaten berechnet. Das sind Schadenfälle, auf die das System bei der Konfiguration bereits abgestimmt wurde. Bei der Bewertung auf ungesehenen Produktionsdaten fällt die Genauigkeit häufig in den 70er-Bereich. Die Differenz zwischen diesen beiden Zahlen entscheidet, ob ein System sicher eingeführt werden kann.
Die Genauigkeitsillusion
Wenn jemand 95 Prozent Genauigkeit meldet, sollte die erste Frage einfach sein: Gemessen auf welchem Datensatz?
Die meisten Piloten stützen sich auf kuratierte Entwicklungsdatensätze. Diese sind nützlich, um Prompts, Regeln und Extraktionspipelines abzustimmen. Die volle Variabilität der Produktion bilden sie nicht ab.
Die Produktion umfasst Policenvarianten, unbekannte Rechnungsformate, Sprachunterschiede, seltene Sonderfälle und uneinheitliche Datenqualität. Ein Modell, das auf kuratierten Daten gut abschneidet, kann bei echten Schadenfällen unbemerkt versagen.
Entscheidend ist die Leistung auf einem Holdout-Datensatz: Schadenfälle, die das System noch nie gesehen hat, direkt aus den Produktionsarchiven gezogen, stratifiziert nach Genehmigung und Ablehnung, Schadenhöhe, Sprache, Fahrzeugmarke und Dokumentkomplexität.
Die Lücke in der Praxis
Diese Lücke war kein Zufall. Sie legte fehlende Deckungslogik, Vokabularlücken und strukturelle Schwächen der Extraktion offen.
Ein Pilot, der nur auf Entwicklungsdaten gemessen wird, erzeugt Zuversicht. Ein Pilot, der auf einem Holdout-Datensatz gemessen wird, erzeugt Klarheit.
Was sich zwischen Demo und Produktion ändert
Der Übergang von der Demo zur Produktion bringt eine Verteilungsverschiebung mit sich. Echte Schadenfälle unterscheiden sich in wesentlichen Punkten von Testdaten.
Komplexität der Deckung
Anfangs modellierten wir weniger Deckungskategorien, als die Produktion verlangte. Als weitere Kategorien in die Pipeline kamen, lieferte das System selbstsichere, aber falsche Ergebnisse. Nach dem Ausbau der Deckungslogik verbesserte sich die Genauigkeit innerhalb einer einzigen Iteration deutlich.
Das Modell war nicht instabil. Das Domänenmodell war unvollständig.
Sprachliche Komplexität
Deutsch und Französisch brauchen eine getrennte Behandlung
Deutsche und französische Schadenfälle verlangten getrennte Vokabulare und Verarbeitungslogik. Deutsche Komposita verhalten sich anders als französische Fachbegriffe. Ohne explizite Modellierung wurden ganze Klassen gültiger Schadenfälle abgelehnt.
Dokumentstruktur
Layoutvarianten verursachen Extraktionsfehler
Mehrspaltige Rechnungen, Seitenumbrüche, doppelte Rechnungspositionen und Layoutunterschiede führten zu fehlenden oder doppelt gezählten Beträgen, wenn die Extraktionslogik das Format nicht berücksichtigte.
Das sind normale betriebliche Realitäten, keine seltenen Sonderfälle. Wurde ein Pilot nicht unter diesen Bedingungen auf Belastbarkeit getestet, ist die gemeldete Genauigkeit nur bedingt aussagekräftig.
Die drei Kennzahlen, die zählen
Eine einzelne Genauigkeitszahl verdeckt operative Zielkonflikte. Drei Kennzahlen geben einen besseren Einblick in die Produktionsreife.
Sie misst das finanzielle Risiko. Eine falsche Genehmigung bedeutet, dass ein Schadenfall zu Unrecht bezahlt wurde. Schon ein kleiner Prozentsatz kann Leakage (vermeidbare Mehrzahlungen) und Prüfungsrisiken spürbar beeinflussen.
Um die Falsch-Genehmigungsquote auf ein akzeptables Niveau zu senken, brauchte es einen strukturierten Ausbau der Domäne, eine Verfeinerung des Vokabulars und eine Kalibrierung der Schwellenwerte.
Sie misst die Auswirkungen auf Kunden und Betrieb. Falsche Ablehnungen führen zu Beschwerden, Nacharbeit, Eskalationen und Reputationsrisiken.
Sie misst die Automatisierungstiefe. Wird ein großer Teil der Schadenfälle an menschliche Prüfer weitergeleitet, hat das System die Arbeitslast nicht wesentlich reduziert.
Fragen Sie Anbieter vor Gesprächen über den Produktivbetrieb nach diesen drei Kennzahlen, gemessen auf einem sauber definierten Holdout-Datensatz und aufgeschlüsselt nach Schadenart und Sprache. Können sie diesen Detailgrad nicht liefern, hat der Pilot die operative Reife noch nicht erreicht.
Was einen Piloten voranbringt
Der Fortschritt kam nicht durch den Austausch der Technologie. Er kam durch disziplinierte Bewertungszyklen.
Wir bauten einen Holdout-Datensatz auf, stratifiziert nach Ergebnis, Schadenhöhe, Sprache und struktureller Komplexität. Ein erfahrener Schadensachbearbeiter kennzeichnete jeden Schadenfall. Dieser Datensatz wurde unter Verschluss gehalten und nie zur Abstimmung verwendet.
Die Iterationsschleife
Jede Iteration folgte derselben Schleife. Eine hybride Architektur erwies sich als notwendig. Deterministische Regeln übernahmen klare Deckungsdefinitionen und strukturierte Logik. Sprachmodelle übernahmen mehrdeutige Beschreibungen und die Interpretation im Kontext. Jede Komponente war auf die Rolle beschränkt, die sie am besten erfüllt.
Konfidenzschwellen mit Absicht gesetzt
Die Konfidenzschwellen waren bewusst asymmetrisch. Genehmigungen verlangten eine höhere Konfidenz als Ablehnungen. Entscheidungen mit niedriger Konfidenz gingen zur Absicherung gegen finanzielle Risiken in die menschliche Prüfung.
Ergebnisse
Die größte einzelne Verbesserung ergab sich aus dem Ausbau der Deckungskategorien, nicht aus dem Wechsel der Modelle. Domänenmodellierung und Messdisziplin waren die wichtigsten Treiber der Stabilität.
Operative Schlussfolgerung
Viele KI-Piloten in der Schadenbearbeitung bleiben stecken, weil sie optimistisch gemessen und ohne strukturierte Bewertung schrittweise weiterentwickelt werden. Um das Plateau von 70 bis 80 Prozent zu durchbrechen, braucht es:
Die Automatisierung der Schadenbearbeitung ist machbar. Sie verlangt ehrliche Messung, klare Kennzahlen und gezieltes Domänen-Engineering.
Wenn Sie einen Piloten bewerten oder die Produktionseinführung vorbereiten und Ihren Ansatz an einem strukturierten Holdout-Rahmen messen möchten, zeigen wir Ihnen gern, wie wir Bewertung und Iteration strukturieren.
Das Wichtigste in Kürze
- Die Genauigkeit auf dem Entwicklungsdatensatz verdeckt Lücken in der Produktion
- Holdout-Datensätze zeigen die tatsächliche Leistung
- Falsche Genehmigungen, falsche Ablehnungen und Weiterleitungsquote getrennt verfolgen
- Domänenmodellierung bringt mehr Verbesserung als Modellwechsel
- Asymmetrische Konfidenzschwellen schützen vor finanziellen Risiken