Hochrisiko‑KI‑Systeme
Konzept zur Identifikation und Governance von KI-Anwendungen mit erheblichem Risiko für Rechte, Sicherheit oder Gesundheit.
Klassifikation
- KomplexitätHoch
- AuswirkungOrganisatorisch
- EntscheidungstypOrganisation
- OrganisationsreifeFortgeschritten
Technischer Kontext
Prinzipien & Ziele
Use Cases & Szenarien
Kompromisse
- Fehlklassifikation sensibler Systeme trotz Konformität
- Compliance als Scheinsicherheit statt echter Risikoreduktion
- Übermäßige Bürokratie und Verzögerungen im Betrieb
- Regelmäßige Impact-Assessments während des gesamten Lebenszyklus
- Model Cards und Dokumentation für Transparenz
- Kontinuierliches Monitoring und Retraining bei Drift
I/O & Ressourcen
- Modellartefakte und Trainings- / Testdaten
- Impact- und Risikoanalysen
- Rechtliche Vorgaben und Compliance-Kriterien
- Konformitätsdossier und Audit-Reports
- Monitoring-Dashboards und Alarme
- Risikominderungs- und Betriebsanweisungen
Beschreibung
Hochrisiko‑KI‑Systeme sind KI-Anwendungen, die erhebliche Risiken für Grundrechte, Sicherheit oder Gesundheit bergen. Das Konzept umfasst Klassifikation, Governance, Risikobewertung und Auflagen zur Konformität. Ziel ist, Belastbarkeit, Transparenz und menschenrechtsschonende Einsatzregeln über den gesamten Lebenszyklus sicherzustellen. Organisationen müssen Prozesse, technische Maßnahmen und Nachweisführung kombinieren, um Risiken zu minimieren.
✔Vorteile
- Schutz von Grundrechten und Sicherheit
- Klarere Verantwortlichkeiten und Nachweisführung
- Reduziertes Haftungs- und Reputationsrisiko
✖Limitationen
- Regulatorische Anforderungen können je nach Region variieren
- Hoher Implementations- und Wartungsaufwand
- Einschränkungen für agile Produktentwicklung möglich
Trade-offs
Metriken
- False Positive Rate (FPR)
Anteil falsch positiver Entscheidungen, relevant für Fehlalarme und Nutzerbelastung.
- Modell-Drift-Rate
Geschwindigkeit, mit der Modellleistung über Zeit abnimmt und Nachkalibrierung nötig wird.
- Zeit bis zur Vorfallbehebung
Durchschnittliche Dauer von Entdeckung bis Behebung eines sicherheits- oder funktionsrelevanten Vorfalls.
Beispiele & Implementierungen
Europäische KI-Regulierung - Klassifikationsbeispiel
Der Entwurf des EU AI Acts führt Beispiele für Systeme mit hohem Risiko auf, z. B. Bewerberauswahl oder medizinische Diagnosesysteme.
Klinische Bildanalyse mit regulatorischen Auflagen
Ein Krankenhaus validierte ein Modell klinisch und führte zusätzliche Überwachungs- und Dokumentationsprozesse ein.
Banken-Implementierung für Kreditentscheidungen
Eine Bank erarbeitete ein Kontroll- und Beschwerdeverfahren, um Risiken und Diskriminierung zu reduzieren.
Implementierungsschritte
System identifizieren und hochrisiko‑Relevanz prüfen
Impact Assessment durchführen und Risiken priorisieren
Technische und organisatorische Maßnahmen definieren
Monitoring, Reporting und Nachweisführung einrichten
⚠️ Technische Schulden & Engpässe
Tech Debt
- Fehlende Reproduzierbarkeit von Trainingsläufen
- Unvollständige Modell- und Datendokumentation
- Monolithische Pipelines ohne Versionierung
Bekannte Engpässe
Beispiele für Missbrauch
- Nutzung sensibler Gesundheitsdaten ohne Impact Assessment
- Sofortige Produktionnahme ohne Robustheitstests
- Überschätzung von Explainability-Tools als alleinige Schutzmaßnahme
Typische Fallen
- Unterschätzung von Datenverschiebung (drift)
- Verwechslung von Compliance mit tatsächlicher Sicherheit
- Mangelnde Einbindung der Fachdomäne bei Bewertung
Erforderliche Fähigkeiten
Drivers (Architectural Drivers)
Constraints
- • Rechtliche Vorgaben und Aufbewahrungsfristen
- • Begrenzter Zugang zu annotierten Trainingsdaten
- • Budget- und Ressourceneinschränkungen