Logo el.boatexistence.com

Τι είναι οι κραδασμοί στη ροή αέρα;

Πίνακας περιεχομένων:

Τι είναι οι κραδασμοί στη ροή αέρα;
Τι είναι οι κραδασμοί στη ροή αέρα;

Βίντεο: Τι είναι οι κραδασμοί στη ροή αέρα;

Βίντεο: Τι είναι οι κραδασμοί στη ροή αέρα;
Βίντεο: Πώς πετάνε τα αεροπλάνα; 2024, Ενδέχεται
Anonim

DAG. Στο Airflow, ένα DAG - ή a Directed Acyclic Graph - είναι μια συλλογή όλων των εργασιών που θέλετε να εκτελέσετε, οργανωμένη με τρόπο που αντικατοπτρίζει τις σχέσεις και τις εξαρτήσεις τους.

Πώς φτιάχνετε DAG στο Airflow;

Για να δημιουργήσετε ένα DAG στο Airflow, πρέπει πάντα να εισάγετε την κατηγορία DAG Μετά την κατηγορία DAG, ακολουθούν οι εισαγωγές των χειριστών. Βασικά, για κάθε Operator που θέλετε να χρησιμοποιήσετε, πρέπει να κάνετε την αντίστοιχη εισαγωγή. Για παράδειγμα, θέλετε να εκτελέσετε μια συνάρτηση Python, πρέπει να εισαγάγετε τον PythonOperator.

Πού αναζητά το Airflow για DAG;

Το

Η ροή αέρα αναζητά στο το DAGS_FOLDER για λειτουργικές μονάδες που περιέχουν αντικείμενα DAG στον καθολικό τους χώρο ονομάτων και προσθέτει τα αντικείμενα που βρίσκει στο DagBag.

Πώς αποθηκεύει το Airflow τα DAG;

Βάση δεδομένων μεταδεδομένων Apache Airflow:

Η βάση δεδομένων μεταδεδομένων αποθηκεύει διαμορφώσεις, όπως μεταβλητές και συνδέσεις Αποθηκεύει επίσης πληροφορίες χρήστη, ρόλους και πολιτικές. Τέλος, το Scheduler αναλύει όλα τα DAG και αποθηκεύει σχετικά μεταδεδομένα, όπως διαστήματα χρονοδιαγράμματος, στατιστικά από κάθε εκτέλεση και τις εργασίες τους.

Είναι το Airflow εργαλείο ETL;

Η ροή αέρα δεν είναι ένα εργαλείο ETL από μόνο του. Αλλά διαχειρίζεται, δομεί και οργανώνει αγωγούς ETL χρησιμοποιώντας κάτι που ονομάζεται Κατευθυνόμενα Ακυκλικά Γραφήματα (DAGs). … Η βάση δεδομένων μεταδεδομένων αποθηκεύει ροές εργασίας/εργασίες (DAG).

Συνιστάται: