Katalog
concept#Analytik#Governance#Daten#Zuverlässigkeit

Modellrisiko

Konzept zur Identifikation, Bewertung und Steuerung von Risiken aus dem Einsatz quantitativer Modelle.

Model Risk beschreibt die Gefahr, dass analytische oder statistische Modelle falsche, verzerrte oder unzuverlässige Vorhersagen liefern und dadurch finanzielle, regulatorische oder operative Schäden verursachen.
Etabliert
Hoch

Klassifikation

  • Hoch
  • Geschäftlich
  • Organisation
  • Fortgeschritten

Technischer Kontext

Model-Repository und CI/CD-Pipeline.Monitoring- und Observability-Systeme (Metriken, Logs).Governance- und Ticketing-Systeme für Prüfpfade.

Prinzipien & Ziele

Transparente Dokumentation aller Modellannahmen und Datenquellen.Unabhängige Validierung und regelmäßiges Monitoring im Betrieb.Risikobasierte Priorisierung von Prüfungen und Kontrollen.
Umsetzung
Unternehmen, Domäne, Team

Use Cases & Szenarien

Kompromisse

  • False Sicherheit durch unvollständige Tests oder Overfitting.
  • Regulatorische Sanktionen bei mangelhafter Modellführung.
  • Operationaler Schaden durch fehlerhafte Implementierung im Produktivsystem.
  • Versionierung und Reproduzierbarkeit aller Modellartefakte.
  • Risikobasierte Validierungstiefe und automatisierte Checks.
  • Klare Verantwortlichkeiten und unabhängige Reviews.

I/O & Ressourcen

  • Modellartefakte: Code, Parameter, Trainingsverfahren.
  • Daten: Trainings-, Validierungs- und Produktionsdaten.
  • Risikokriterien und Governance-Richtlinien.
  • Validierungs- und Monitoring-Berichte.
  • Freigabe- oder Rückstellungsentscheidungen.
  • Maßnahmenpläne zur Risikominderung.

Beschreibung

Model Risk beschreibt die Gefahr, dass analytische oder statistische Modelle falsche, verzerrte oder unzuverlässige Vorhersagen liefern und dadurch finanzielle, regulatorische oder operative Schäden verursachen. Das Konzept umfasst Modellvalidierung, Datenqualität, Governance, Monitoring und Dokumentation, um Unsicherheiten, Überanpassung und Implementierungsfehler systematisch zu identifizieren und zu steuern.

✔

  • Reduziert finanzielle Verluste durch fehlerhafte Modellentscheidungen.
  • Verbessert regulatorische Compliance und Nachvollziehbarkeit.
  • Erhöht Vertrauen in automatisierte Entscheidungen und Produkte.

✖

  • Nicht alle Unsicherheiten lassen sich vollständig quantifizieren.
  • Aufwändige Validierung erfordert Ressourcen und Expertise.
  • Governance-Prozesse können Release-Geschwindigkeit verlangsamen.

  • Performance Drift Rate

    Anteil der Zeit, in der Modellleistung signifikant von der Baseline abweicht.

  • Prediction Error / Loss

    Quantitative Fehlermaße wie RMSE, AUC oder Log-Loss in Produktion.

  • Validierungsabdeckungsgrad

    Anteil der Modelle und Use-Cases, die formalen Validierungsprozessen unterliegen.

Finanzinstitut: Modellvalidierungsprogramm

Ein großes Institut etabliert ein zentrales Validierungsteam, Standardtests und Reporting an das Risikomanagement.

Plattformanbieter: Monitoring-Pipeline

Automatisierte Pipeline überwacht Drift, Performance und erzeugt Alerts für Modelle im Produktivbetrieb.

Regulatorische Prüfung nach SR 11-7

Prüfung zeigt Lücken in Dokumentation und Validierungsumfang; Nachbesserungen werden gefordert.

1

Definieren von Governance- und Validierungsrichtlinien.

2

Aufbauen einer Validierungs- und Monitoringinfrastruktur.

3

Etablierung regelmäßiger Prüfungen, Reporting und Eskalationswege.

⚠️ Technische Schulden & Engpässe

  • Manuelle Prüfprozesse ohne Automatisierung oder Schnittstellen.
  • Fehlende Reproduzierbarkeit durch nicht versionierte Trainingsdaten.
  • Inkompatible Toolchains zwischen Entwicklung und Betrieb.
Datenzugang: Verzögerte oder unvollständige Datenlieferung.Fachwissen: Mangel an Validierungs- oder Risikokompetenz.Tooling: Fehlende Automatisierung für Monitoring und Tests.
  • Nur minimale Checks vor Release, später hohe Fehlerraten.
  • Ignorieren von Datenverschiebung bei Rollout in neue Regionen.
  • Fehlende Archivierung von Modellausprägungen und Parametern.
  • Verwechslung von Modell-Performance auf Testdaten mit Produktionsverhalten.
  • Unterschätzung der Kosten für kontinuierliches Monitoring.
  • Unvollständige Dokumentation erschwert Audits und Nachvollziehbarkeit.
Statistische Modellvalidierung und Modellbewertung.Datenqualität, Feature-Engineering und Datensourcing.Regulatorisches Verständnis und Risikomanagement.
Nachvollziehbarkeit von Entscheidungen und Inputs.Skalierbares Monitoring und Alerting für Modellleistung.Sichere und reproduzierbare Bereitstellungsprozesse.
  • • Regulatorische Anforderungen und Prüfpfade.
  • • Beschränkter Zugang zu sensiblen oder historischen Trainingsdaten.
  • • Budget- und Personalrestriktionen für Validierungsteams.