Human-in-the-Loop ist kein Sicherheitsnetz — sondern ein Designprinzip
Unter BaFin und EU AI Act entscheidet das Design über Konformität. Human-in-the-Loop gehört in die Architektur, nicht an den Rand.
SIFAMO Redaktion — SIFAMO GmbH
Was Banken und Versicherungen jetzt technisch und organisatorisch umsetzen müssen.
Agentic AI Governance unter dem EU AI Act wird für Banken und Versicherungen ab 2026 zum entscheidenden Prüfstein für den produktiven Einsatz von KI.
Mit dem Inkrafttreten des EU AI Act und der zunehmenden aufsichtsrechtlichen Konkretisierung durch die BaFin wird klar: KI-Systeme dürfen nicht nur leistungsfähig sein – sie müssen erklärbar, kontrollierbar und haftungsfähig betrieben werden. Gerade agentische KI-Systeme, die Entscheidungen vorbereiten oder autonom handeln, verschieben die regulatorischen Anforderungen deutlich über klassische AI-Governance hinaus.
Regulatorischer Rahmen: EU AI Act + BaFin-Praxis
Der EU AI Act unterscheidet KI-Systeme nach Risikoklassen. Für Banken und Versicherungen sind insbesondere High-Risk-AI-Systeme relevant, etwa in den Bereichen:
- Kreditwürdigkeitsprüfung
- Underwriting
- Schadenregulierung
- Fraud Detection
- Compliance- & Risikoanalysen
Agentic AI fällt in diesen Kontext, sobald sie Entscheidungen vorbereitet oder beeinflusst, eigenständig Maßnahmen vorschlägt oder Prozesse ohne unmittelbare menschliche Kontrolle steuert. Damit wird sie faktisch zur Pflichtdisziplin.
Warum klassische AI-Governance nicht mehr ausreicht
Viele Institute setzen aktuell auf Modellvalidierung, Bias-Tests und Dokumentation einzelner KI-Komponenten. Das ist notwendig – aber nicht ausreichend.
Agentic AI ist kein einzelnes Modell, sondern ein System aus mehreren Komponenten: Planung, Reasoning, Tool-Nutzung, Memory und Feedback-Loops.
Die Aufsicht fragt daher nicht mehr: „Ist das Modell korrekt?“ Sondern: „Wie kommt das System zu dieser Entscheidung – über Zeit?“
BaFin-relevante Kernanforderungen an Agentic AI
Aus aktueller Aufsichtspraxis lassen sich vier zentrale Governance-Anforderungen ableiten:
1. Nachvollziehbarkeit & Erklärbarkeit
Institute müssen nachweisen können, welche Schritte ein Agent durchgeführt hat, welche Daten verwendet wurden und welche Annahmen getroffen wurden. Technisch erforderlich:
- Decision Logs
- Reasoning Traces
- Versionierung von Prompts, Policies und Modellen
Ohne diese Mechanismen ist eine aufsichtsrechtliche Prüfung kaum möglich.
2. Human-in-the-Loop (wirksam, nicht pro forma)
Der EU AI Act fordert wirksame menschliche Aufsicht. Für Agentic AI bedeutet das:
- klare Eskalationsschwellen
- definierte Freigabepunkte
- dokumentierte Eingriffe
Ein „Notfall-Button“ reicht nicht. Human-in-the-Loop muss architektonisch verankert sein.
3. Verantwortlichkeit & Haftung
BaFin-Prüfungen fokussieren zunehmend auf klare Rollenzuordnung, Verantwortliche pro Entscheidungsklasse und dokumentierte Governance-Strukturen.
Zentrale Frage: Wer trägt die Verantwortung, wenn ein Agent eine falsche Entscheidung vorbereitet? Ohne klare Agent Governance ist diese Frage nicht beantwortbar.
4. Betrieb & Kontrolle (Operational Governance)
Agentic AI muss wie kritische Infrastruktur betrieben werden: Monitoring, Incident-Management, Rollbacks sowie Change- & Release-Prozesse. Damit wird Agent Governance funktional zum neuen DevOps – mit regulatorischem Fokus.