Katalog
concept#Beobachtbarkeit#Zuverlässigkeit#DevOps#Sicherheit

Logging

Erfassung strukturierter Ereignis‑ und Zustandsdaten zur Fehlersuche, Überwachung und Compliance.

Logging bezeichnet das strukturierte Erfassen von Ereignissen, Zuständen und Metriken in Software- und Infrastrukturkomponenten.
Etabliert
Mittel

Klassifikation

  • Mittel
  • Technisch
  • Architektur
  • Fortgeschritten

Technischer Kontext

Log Forwarder wie Fluentd, Logstash oder Vector.Indexierungs‑ und Suchsysteme wie Elasticsearch oder Loki.Monitoring‑ und Alerting‑Systeme (Prometheus, Grafana).

Prinzipien & Ziele

Standardisiere Format und Feldnamen über alle Dienste.Trenne Ereignisdaten von Metriken; nutze strukturierte Formate.Definiere Retention und Zugriffskontrolle nach Risiko und Compliance.
Betrieb
Team, Domäne, Unternehmen

Use Cases & Szenarien

Kompromisse

  • Exponieren sensibler Daten in Logs ohne Maskierung.
  • Übermäßige Logging‑Last beeinträchtigt Systemperformance.
  • Inkorrekte Zeitstempel oder fehlende Korrelation erschweren Analysen.
  • Nutze strukturierte Formate (z. B. JSON) und feste Feldnamen.
  • Führe Korrelations‑IDs ein und propagier diese im Request‑Pfad.
  • Maskiere oder vermeide PII vor zentraler Speicherung.

I/O & Ressourcen

  • Quellcode‑Instrumentierung für strukturierte Logausgaben.
  • Zentrale Pipeline (Forwarder, Ingest, Indexer).
  • Definition von Retention, Maskierung und Zugriffsrechten.
  • Durchsuchbare zentrale Logdatenbank oder Index.
  • Dashboards, Alerts und Audit‑Reports.
  • Anonymisierte Export‑Artefakte für Analysen.

Beschreibung

Logging bezeichnet das strukturierte Erfassen von Ereignissen, Zuständen und Metriken in Software- und Infrastrukturkomponenten. Es dient Fehlersuche, Monitoring, Compliance und forensischer Analyse. Gute Logpraktiken definieren Format, Kontext, Aufbewahrung und Zugriffskontrolle, um Nutzbarkeit, Performance und Datenschutz auszubalancieren. Sie erfordert Entscheidungen zu Volumen, Retention und zentraler vs. dezentraler Speicherung.

  • Verbesserte Fehlerdiagnose und schnellere Problembehebung.
  • Fundament für Monitoring, KPIs und SLA‑Überwachung.
  • Unterstützung von Compliance, Audits und forensischer Analyse.

  • Hohe Datenmengen können Speicher- und Kostenprobleme verursachen.
  • Unstrukturierte Logs sind schwer zu durchsuchen und zu korrelieren.
  • Falsche Retention kann Datenschutzverletzungen oder Datenverlust verursachen.

  • Log‑Durchsatz (Einträge/s)

    Anzahl der pro Sekunde erzeugten oder indexierten Logeinträge.

  • Median‑Latenz beim Schreiben

    Zeitspanne, bis Logeinträge persistent und verfügbar sind.

  • Kosten pro GB pro Monat

    Monatliche Speicherungskosten relativ zum Volumen.

Zentralisiertes JSON‑Logging

Alle Dienste senden strukturierte JSON‑Logs an eine zentrale Pipeline für Suche und Alerting.

Korrelations‑IDs für verteilte Traces

Request‑IDs werden durch Services durchgereicht, um Ereignisse über Systemgrenzen zu verknüpfen.

Retention Policy für Compliance

Logs werden gemäß regulatorischen Anforderungen revisionssicher archiviert und nach Ablauf gelöscht.

1

Audit vorhandener Logs und Formate durchführen.

2

Schema und Feldkonventionen definieren, Instrumentierung anpassen.

3

Zentrale Pipeline aufbauen, Retention und Zugriff regeln, Alerting einbinden.

⚠️ Technische Schulden & Engpässe

  • Alte unstrukturierte Logformate, die Migration erschweren.
  • Fehlende Redaktionsregeln für Feldnamen und Schemaversionen.
  • Monolithische, nicht skalierbare zentrale Logspeicher.
Log‑VolumenIndexierungsrateNetzwerkdurchsatz
  • Speichern von Passwörtern oder Kreditkartendaten im Klartext.
  • Übermäßiges Debug‑Logging in Produktivsystemen ohne Sampling.
  • Verwendung unterschiedlicher Feldnamen für dieselben Konzepte.
  • Annahme, dass Logs automatisch durchsuchbar sind ohne Indexierung.
  • Nichtbeachtung von Zeitzonen und Timestamp‑Genauigkeit.
  • Fehlende Zugriffsprotokollierung auf Logdaten selbst.
Kenntnisse in strukturierter Logformatierung und Schema‑Design.Operationales Know‑how für Pipeline, Skalierung und Kostenmanagement.Verständnis von Datenschutzanforderungen und Maskierungsverfahren.
Fehlersuche und Time‑to‑ResolutionObservability und AlertingCompliance und Datenaufbewahrung
  • Kostenbudget für Storage und Retention
  • Datenschutzrechtliche Vorgaben (GDPR, Aufbewahrungsfristen)
  • Leistungseinbußen bei synchronem Logging