Loading content
Apache Airflow ist eine Plattform zur Programmierung, Planung und Überwachung von Batch-Workflows und Data-Pipelines. Tasks werden als DAGs in Python definiert und zentral ausgeführt, überwacht und wiederholt. Airflow eignet sich für ETL, Datenintegration und wiederkehrende Automatisierung in verteilten Umgebungen. Es unterstützt Skalierung und Integrationen…
Nutze diesen Steckbrief, um den Baustein kurz zu verstehen, ihn im Modell einzuordnen und verwandte Bausteine zu öffnen.
Technischer Baustein: kann automatisiert, integriert oder betrieben werden.
Konkretes Rädchen im System, das in größeren Zusammenhängen wirkt.
Apache Airflow ist eine Plattform, mit der Batch-Workflows und Data-Pipelines als Python-DAGs beschrieben, geplant und überwacht werden.
Apache Airflow entstand 2014 bei Airbnb, als Maxime Beauchemin eine Lösung für die wachsende Komplexität der dortigen Workflows entwickelte. Die Abläufe wurden von Anfang an in Python beschrieben, zentral geplant und über eine Benutzeroberfläche überwacht. 2016 kam das Projekt in den Apache Incubator; 2019 wurde es ein Top-Level-Projekt der Apache Software Foundation.
Stell dir Airflow als Leitstand mit drei Ebenen vor: Python-Code beschreibt den DAG als Netz von Aufgaben, der Scheduler macht daraus konkrete Läufe, und die Ausführung liefert Status, Logs und Fehler zurück. Fällt ein Schritt aus, kann Airflow ihn nach Regeln erneut starten. So bleiben Reihenfolge, Abhängigkeiten und Betriebssicht verbunden, aber klar getrennt.
Ein gerichteter, azyklischer Graph legt Abhängigkeiten und Ausführungsreihenfolge fest.
Der Scheduler startet Läufe zeitgesteuert oder auf Basis von Triggern.
Eine Task ist die kleinste ausführbare Einheit mit eigener Logik und eigenem Status.
Fehlschläge können nach einer definierten Anzahl von Versuchen erneut ausgeführt werden.
Koordination von Datenflüssen, Verarbeitungsschritten und Abhängigkeiten über mehrere Systeme hinweg.
Zusatzpakete verbinden Airflow mit externen Diensten und Plattformen.
Apache Airflow ist nützlich, wenn Workflows geplant sind, mehrere Systeme koordinieren und Ausfälle nachvollziehbar bleiben sollen. Typische Fälle sind ETL, Lade- und Validierungsläufe sowie wiederkehrende Automatisierung. Der Trade-off: Du betreibst Workflow-Code, Abhängigkeiten und Plattform selbst; Airflow steuert den Ablauf, ersetzt aber weder Verarbeitung noch Datenqualität.
Wo dieser Baustein im Themenmodell verortet ist.
Erkunde, wie dieser Wissensbaustein mit Konzepten, Methoden, Technologien und Tools verbunden ist.
Diese Quellen belegen den Begriff und seine fachliche Bedeutung.
Alle direkten Verbindungen des aktuellen Wissensbausteins in einer kompakten, textuellen Darstellung.
Diese Einordnung zeigt, in welchem Kontext der Baustein typischerweise relevant wird, wie anspruchsvoll er ist und welche Wirkung er im Modell hat.
Die Ebene innerhalb der Organisation (Unternehmen, Domäne, Team), auf der der AssetBlock angewendet wird.