Chancen und Risiken zu analysieren und die richtige Balance zwischen beiden zu finden, gehört zum Kerngeschäft von Versicherungen. Vor dieser Herausforderung stehen sie auch beim Einsatz von Künstlicher Intelligenz. Sie bietet ihnen ein riesiges Innovationspotenzial, birgt aber auch einige Gefahren. Mit analytischer und prädiktiver KI haben Versicherer ja bereits reichlich Erfahrungen gesammelt, das ist aber nur ein Vorgeschmack auf den Qualitätssprung, der mit GenAI und Agentic AI möglich ist.
Mit generativer KI können Assekuranzen beispielsweise echte Avatare implementieren und damit ihren Kundenservice auf ein ganz neues Niveau heben. Agentische KI ermöglicht ihnen eine weitere und bessere Automatisierung von Geschäftsprozessen. Autonome KI-Agenten, die auf bestimmte Teilaufgaben spezialisiert sind, arbeiten zusammen, um gemeinsam komplexe Aufgaben zu erledigen. Dadurch können sie etwa Versicherungsangebote und Vertragsabschlüsse komplett eigenständig abwickeln.
Diesen großen Chancen steht eine ganze Bandbreite an Risiken gegenüber – von Verstößen gegen rechtliche Vorgaben und ethische Standards über Cybercrime-Gefahren bis hin zu den systemimmanenten Risiken von Künstlicher Intelligenz.
Verstöße gegen EU AI Act und DSGVO drohen
Ein zentrales regulatorisches Rahmenwerk für KI ist der EU AI Act. Die KI-Systeme von Assekuranzen zählen im Bereich der Lebens- und Krankenversicherungen zur Kategorie der Hochrisikosysteme dieses Gesetzeswerks. Dadurch gelten strenge Auflagen für sie, unter anderem hinsichtlich der Qualität der Trainingsdaten, den Dokumentationspflichten, dem Risikomanagement und den Sicherheitsmaßnahmen. Bei Verstößen drohen empfindliche Geldbußen und Reputationsschäden.
Zudem unterliegen die KI-Systeme von Assekuranzen natürlich auch der DSGVO. Eine Herausforderung stellen dabei die großen Sprachmodelle (Large Language Models, LLMs) der generativen KI dar. Werden LLMs mit versicherungsspezifischen Daten trainiert, können diese personengezogene Kundendaten enthalten. Dann besteht die Gefahr, dass diese Informationen vom Modell „gelernt“ und später in Antworten unbeabsichtigt reproduziert werden. Dies würde gegen DSGVO-Grundsätze wie Datensparsamkeit, Zweckbindung und Speicherbegrenzung verstoßen. Zudem stellen viele LLMs eine „Black Box“ dar. Das macht es Versicherern schwer, die Anforderungen der DSGVO an Transparenz und Nachweispflicht zu erfüllen.
Darüber hinaus sind viele große Sprachmodelle nur auf Hyperscaler-Plattformen wie AWS, Microsoft Azure oder Google Cloud verfügbar. Die DSGVO verbietet die Verarbeitung personenbezogener Versicherungsdaten außerhalb der EU zwar grundsätzlich nicht, verlangt aber angemessene Schutzmaßnahmen. Bei Cloud-basierten KI-Lösungen ist die Einhaltung dieser Vorgaben sehr komplex, besonders dann, wenn Trainingsdaten oder Inferenzprozesse über verschiedene Rechenzentren verteilt sind. Bei internationalen Rückversicherungsanalysen oder grenzüberschreitender Schadensregulierung beispielsweise ist die Datenhoheit nur schwer kontrollierbar.
Ein ähnliches Risiko besteht bei agentischer KI. Da die KI-Agenten autonom agieren, könnte es passieren, dass sie selbstständig Daten über Ländergrenzen hinweg verarbeiten oder in andere Länder weiterleiten. Handelt es sich dabei um personenbezogene Daten und Länder, die ein niedrigeres Datenschutzniveau als die Europäische Union aufweisen, würde dies einen Verstoß gegen die DSGVO bedeuten.
KI: Neue Einfallstore für Cyberkriminelle
Generative und agentische KI bieten zahlreiche potenzielle Einfallstore für Cyberattacken. Bei der so genannten Prompt Injection beispielsweise bringen Angreifer große Sprachmodelle durch raffinierte Eingaben dazu, vertrauliche Daten preiszugeben. Die Angriffstechnik der Adversarial Attacks zielt darauf ab, durch leicht veränderte Worte oder Zeichenketten ein Modell zu täuschen, damit es toxische oder illegale Inhalte generiert. Beim Data Poisioning setzten Kriminelle an den Trainingsdaten der Sprachmodelle an. Diese werden so manipuliert, dass das Modell falsche oder gefährliche Ergebnisse liefert.
Agentische KI schafft mit ihrer großen Autonomie und ihren Architekturen weitere Angriffsflächen. Komplexe System, die über das Unternehmensnetzwerk integriert sind und über Schnittstellen selbstständig interagieren, schaffen dadurch per se Sicherheitslücken, die Angreifer ausnutzen könnten. Sie könnten sich beispielsweise Zugriff auf autonome Agenten verschaffen und diese für die Verbreitung von Phishing-Mails und Schadsoftware oder für die Erstellung von Deepfakes nutzen.
KI halluziniert, trifft Fehlentscheidungen und altert
Daneben bringen generative und agentische KI auch einige systemimmanente Gefahren mit sich. So neigen LLMs systembedingt zu Halluzinationen – dem Generieren überzeugend klingender, aber faktisch falscher Informationen. Es kann etwa zu halluzinierten Vertragsbedingungen in der Kundenberatung oder fiktiven Präzedenzfällen bei Schadensbeurteilungen kommen, die zu falschen Entscheidungen führen und deshalb erhebliche Compliance-Risiken bergen.
Sowohl generative als auch agentische KI unterliegen außerdem dem Risiko des „Data Bias“. Nicht repräsentative Trainingsdaten, selektiv ausgewählte Datenquellen, fehlerhafte Annotationsprozesse, das Algorithmusdesign und die gewählten Evaluationsmethoden können dazu führen, dass KI diskriminierende Entscheidungen trifft. Ein Beispiel dafür ist ein Underwriting-Algorithmus, der bestimmte Postleitzahlen überproportional mit höheren Prämien bewertet und damit indirekt sozioökonomische oder ethnische Gruppen benachteiligt.
Die zunehmende Integration von KI in versicherungskritische Entscheidungsprozesse schafft außerdem ein Explainability-Paradoxon: Je leistungsfähiger die Modelle werden, desto undurchschaubarer wird ihre Entscheidungsfindung. Für die Versicherungsbranche, die zur Transparenz verpflichtet ist, stellt das ein fundamentales Problem dar. Ein weiteres Risiko sind Modellalterung und Drift. Versicherungs-KI-Systeme basieren auf Trainingsdaten bis zu einem bestimmten Zeitpunkt und spiegeln die damalige Markt- und Regulierungslage wider. In der dynamischen Versicherungslandschaft führt dies unvermeidlich zu wachsenden Diskrepanzen zwischen Modellverhalten und aktueller Realität.
Was können Versicherungen tun?
Wie also können Assekuranzen trotz dieser vielen Risiken von generativer und agentischer KI profitieren? Ein effektives KI-Risikomanagement erfordert ein umfassendes Framework mit technisch spezifischen Maßnahmen statt allgemeiner Kontrollmechanismen. Neben grundlegenden Governance-Strukturen sollten Versicherer folgendes implementieren: ein kontinuierliches RLHF (Reinforcement Learning from Human Feedback) zur Modellkalibrierung, automatisierte Bias-Erkennungssysteme mit demographischen Fairness-Metriken, robuste Testverfahren gegen adversariale Angriffe und formale Verifizierungsmethoden für sicherheitskritische Anwendungen. Ein konkretes Beispiel für eine solche Verifizierungsmethode ist die systematische Überprüfung von KI-gestützten Prämienkalkulationen durch parallele menschliche Kontrollprozesse mit definierten Abweichungstoleranzen.
Als zentrale Governance-Lösung können dabei Orchestrierungsplattformen dienen. Diese Plattformen orchestrieren nicht nur technische Workflows, sondern implementieren auch regulatorische Kontrollmechanismen durchgängig in allen KI-Anwendungen. So können Versicherer damit etwa automatisierte Compliance-Checks, Audit-Trails und Transparenzberichte zentral steuern. Die Plattform überwacht die gesamte KI-Wertschöpfungskette und greift bei Risiken automatisch ein – etwa durch die Blockierung nicht-konformer Prozesse oder die Auslösung menschlicher Überprüfungen bei ungewöhnlichen Modellergebnissen.
Elischa Göttmann ist Principal Solution Consultant bei Pegasystems
