Die falsche Frage
„Sollen wir unsere Schaden-KI selbst entwickeln oder kaufen?“
Das ist die falsche Frage. Anbieter zeigen Ihnen polierte Demos. Ihre Entwickler versprechen, sie könnten „einfach GPT-4 nehmen“. Keine der beiden Perspektiven trifft die Realität.
Die richtige Frage: Was muss gegeben sein, damit das in der Produktion funktioniert, und wer kann das tatsächlich sicherstellen?
In unserem Einsatz bei NSA Services SA kam True Aim in sieben Tagen vom ersten Test zu einem funktionierenden System und reduzierte die Expertenzeit bei komplexen Schadenfällen um 86 %. Das folgende Raster zeigt, wie Sie Anbieter von Schaden-KI anhand von Belegen statt Demonstrationen bewerten.
Wann selbst entwickeln
Eigenentwicklung ist eine Investition in Fähigkeiten, keine Kosteneinsparung. Wählen Sie sie aus strategischen Gründen, nicht aus Angst vor Anbietern.
Eigenentwicklung ist sinnvoll, wenn:
- Ihre Policenlogik wirklich einzigartig ist. Lassen sich Ihre Deckungsregeln in einem Anbieterprodukt nicht konfigurieren, kämpfen Sie für immer gegen dessen System.
- Sie ML-Engineering-Kapazität haben und halten können. Ein kündigender Entwickler darf Ihr System nicht lahmlegen.
- Die Schadenbearbeitung Ihr Wettbewerbsvorteil ist. Manche Versicherer differenzieren sich über die Geschwindigkeit der Schadenbearbeitung. Die meisten nicht.
- Regulatorische Anforderungen volle Kontrolle verlangen. Schweizer und EU-Datenresidenz, Prüfpfade, Erklärbarkeit: Manche Aufsichtsbehörden wollen alles im Haus.
- Sie auf 12 bis 18 Monate bis zur Produktion vorbereitet sind. Das ist ein realistischer Zeitrahmen für eine Eigenentwicklung.
Fallen bei der Eigenentwicklung:
Sie stoßen an dieselbe Genauigkeitsgrenze wie alle anderen. Ein allgemeines Sprachmodell wendet Ihre Versicherungsbedingungen ohne definiertes Regelwerk nicht zuverlässig an.
Die Schadendomäne ist tief. Deutsche Komposita wie Abgasrückführungsventil verlangen ein Automobilvokabular, das nicht von Stack Overflow kommt.
Sie tauschen sie gegen interne Abhängigkeit: von den Entwicklern, die Ihr maßgeschneidertes System verstehen.
Die tatsächlichen Kosten der Eigenentwicklung:
- • 2 bis 4 ML-Entwickler für mehr als 12 Monate
- • Zeit der Fachexperten für Kennzeichnung und Validierung (ca. 20 Personenstunden für eine Ground Truth aus 50 Schadenfällen)
- • Laufende Wartung: Modelle driften, Dokumentformate ändern sich
- • Opportunitätskosten, weil Sie später live gehen
Wann kaufen
Kaufen ist ein Tausch zugunsten der Markteinführungszeit. Wählen Sie es, weil Ihnen Zeit wichtig ist, nicht weil Sie es für „einfacher“ halten.
Kaufen ist sinnvoll, wenn:
- Sie in 3 bis 6 Monaten Ergebnisse in der Produktion brauchen. Anbieter haben Probleme gelöst, auf die Sie noch gar nicht gestoßen sind.
- Sie keine ML-Kapazität haben (oder aufbauen wollen). ML-Entwickler zu gewinnen und zu halten ist schwer.
- Ihre Schadenarten relativ standardisiert sind. Kfz, Sach, Kranken: Das haben Anbieter schon gesehen.
- Ihre IT sich auf Integration konzentrieren soll, nicht auf Modellentwicklung. Ihr Wettbewerbsvorteil liegt wahrscheinlich nicht in der KI-Forschung.
Fallen beim Kauf:
Demodaten sind kuratiert. Unser System sah auf deutschen Dokumenten großartig aus, bis wir französische Schadenfälle durchlaufen ließen. Alle 25 genehmigten Schadenfälle wurden fälschlich abgelehnt.
Fragen Sie: Genauigkeit worauf? Auf ihrem Testdatensatz oder auf Ihren Dokumenten? Entscheidungsgenauigkeit ≠ Geschäftsgenauigkeit.
Integration ist immer schwieriger als versprochen. Dokumentformate variieren. Feldnamen unterscheiden sich. Ihre Policenstruktur hat ihre Eigenheiten.
Die tatsächlichen Kosten des Kaufs:
- • Lizenzgebühren (pro Schadenfall, pro Dokument oder pro Plattform)
- • Integrationsaufwand (typischerweise 3 bis 6 Monate, nicht 3 bis 6 Wochen)
- • Laufende Optimierung (abstimmen müssen Sie trotzdem)
- • Abhängigkeit vom Anbieter (was, wenn er die Strategie wechselt, scheitert oder übernommen wird?)
Das Bewertungsraster für Anbieter
Ein systematischer Ansatz für den Anbietervergleich. Gewichten Sie die Kategorien nach Ihren Prioritäten.
Kategorie 1: Genauigkeit & Evaluation
Gewichtung 30 %| Frage | Worauf Sie achten sollten |
|---|---|
| Wie hoch ist Ihre Genauigkeit auf dem Holdout-Datensatz? | Konkrete Prozentzahl, Methodik erklärt |
| Wie hoch ist Ihre Falsch-Genehmigungsquote? | Separat erfasst, unter 5 % |
| Können Sie Fehlerkategorien zeigen? | Taxonomie vorhanden, Verbesserung nachverfolgt |
| Wie viele Iterationen bis zur heutigen Genauigkeit? | Zeigt Disziplin, nicht Glück |
Warnsignale: „Unsere Genauigkeit liegt bei 99 %“ ohne Erklärung der Holdout-Methodik. Wir haben 14 verschiedene Fehlermodi über Zuordnung, Extraktion, Deckungslogik und Berechnung hinweg erfasst.
Kategorie 2: Prüfbarkeit
Gewichtung 25 %| Frage | Worauf Sie achten sollten |
|---|---|
| Kann ich jedes Feld bis zum Quelldokument zurückverfolgen? | Auf Seiten- und Zeichenebene |
| Protokollieren Sie Modellversion und Konfidenz? | Vollständiger Prüfpfad |
| Können Sie eine sechs Monate alte Entscheidung reproduzieren? | Volle Reproduzierbarkeit |
| Wie erfassen Sie menschliche Übersteuerungen? | Mit Begründungspflicht |
Für regulierte Abläufe in der Schweiz und der EU ist Prüfbarkeit nicht verhandelbar.
Kategorie 3: Architektur
Gewichtung 20 %| Frage | Worauf Sie achten sollten |
|---|---|
| Welcher Anteil ist deterministisch, welcher ML? | Höherer deterministischer Anteil = geringeres Risiko |
| Wie lauten Ihre Konfidenzschwellen? | Asymmetrisch, konfigurierbar |
| Wie erkennen Sie Verteilungsverschiebungen? | Monitoring vorhanden |
| Wie sieht Ihr Human-in-the-Loop-Workflow aus? | Vollständige QA-Konsole |
Unsere Architektur: 57 % der Positionen werden von deterministischen Regeln bearbeitet (null LLM-Kosten). Ein höherer deterministischer Anteil = niedrigere Kosten und höhere Erklärbarkeit.
Kosten & Betrieb
15 %- • Aufschlüsselung der Kosten pro Schadenfall
- • Token-Limits, Circuit Breaker
- • P50-, P95-, P99-Latenzen
- • Verarbeitung in der Landessprache
Risiko & Sicherheit
10 %- • Dokumentierte Fehlermodi
- • Automatisierte Regressionstests
- • Kontrollierte Übergabe an den Menschen
- • Datenresidenz in der EU/Schweiz
Die Demo-Checkliste
Was Sie verlangen sollten, wenn Anbieter präsentieren.
Vor der Demo
- • Senden Sie 10 bis 20 IHRER Schadenfälle
- • Nehmen Sie Sonderfälle auf: mehrsprachig, schlechte Scanqualität
- • Definieren Sie Erfolgskriterien vorab
Während der Demo
- • Auf IHREN Dokumenten laufen lassen
- • Bitten Sie darum, einen Fehlschlag zu sehen
- • Klicken Sie sich bis zur Feldherkunft durch
- • Fordern Sie Konfidenzwerte an
Nach der Demo
- • Behauptete und tatsächliche Genauigkeit vergleichen
- • Zählen Sie die Antworten „das stimmen wir noch ab“
- • Bewerten Sie: Könnte Ihr Team das täglich nutzen?
Der 5-Minuten-Stresstest
Nehmen Sie Ihren seltsamsten Schadenfall. Ein deutsches Kompositum wie Zylinderkopfdichtung mit einem französischen Rechnungsformat und einer Grenzfall-Deckungsentscheidung. Können sie das nicht live verarbeiten, gilt ihre „99 % Genauigkeit“ nicht für Ihre Realität.
Der hybride Weg
Ziehen Sie den Mittelweg in Betracht. Einiges entwickeln, einiges kaufen.
Kaufen
Dokumentenextraktion, OCR, Klassifizierung: Anbieter sind gut im generischen Dokumentverständnis
Entwickeln
Policenspezifische Geschäftsregeln, Deckungslogik: In Ihrer eigenen Domäne sind Sie besser
Selbst besitzen
Bewertungsrahmen, Ground Truth, Qualitätsmonitoring. Behalten Sie die Kontrolle über die Entscheidungsebene
Warum das funktioniert: Anbieter übernehmen die Standardteile. Sie übernehmen die differenzierenden Teile. Sie können Anbieter wechseln, ohne Regeln neu zu schreiben. Sie behalten die Prüfkontrolle über die endgültigen Entscheidungen.
Nächste Schritte
Muss-Kriterien von Kann-Kriterien trennen
Prüfbarkeit ist nicht verhandelbar. Automatische Optimierung schon.
Ihren Demo-Schadenfallsatz vorbereiten
Zwanzig Schadenfälle, einschließlich Ihrer Sonderfälle und mehrsprachigen Dokumente.
Ihre Scorecard vor dem ersten Anbietergespräch erstellen
Lassen Sie sich Ihre Bewertungskriterien nicht von Demos vorgeben.
Entscheiden: Was wollen Sie langfristig selbst besitzen?
Die Entscheidungsebene? Die Extraktionsebene? Den gesamten Stack?
Das Ziel ist nicht, Anbieter oder Eigenentwicklung zu vermeiden. Es ist eine fundierte Entscheidung auf Basis Ihrer konkreten Situation, Ihres Zeitplans und Ihrer Fähigkeiten.
Die True Aim AG entwickelt prüfbare KI-Systeme für regulierte Märkte in der Schweiz und der EU. Dieses Raster spiegelt unsere Erfahrung aus Einführungen wider.
Das Wichtigste in Kürze
- Entwickeln für strategische Fähigkeiten, nicht für Kosteneinsparungen
- Kaufen für die Markteinführungszeit, nicht für Einfachheit
- Bewertungsraster für Anbieter mit 5 Kategorien
- Demo-Checkliste: vorher, während, nachher
- Der hybride Weg: Standard kaufen, Differenzierung entwickeln
- Prüfbarkeit ist nicht verhandelbar