Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
Schița de curs
Recapitularea Apache Airflow Fundamente
- Concepte de bază: DAG-uri, operatori și fluxul de execuție
- Arhitectura și componentele Airflow
- Înțelegerea cazurilor de utilizare și a fluxurilor de lucru avansate
Crearea de operatori personalizați
- Înțelegerea anatomiei unui operator Airflow
- Dezvoltarea de operatori personalizați pentru sarcini specifice
- Testarea și depanarea operatorilor personalizați
Cârlige și senzori personalizați
- Implementarea cârligelor pentru integrarea sistemelor externe
- Crearea de senzori pentru monitorizarea declanșatoarelor externe
- Îmbunătățirea interactivității fluxului de lucru cu ajutorul senzorilor personalizați
Dezvoltarea pluginurilor Airflow
- Înțelegerea arhitecturii plugin-urilor
- Proiectarea de pluginuri pentru extinderea funcționalității Airflow
- Cele mai bune practici pentru gestionarea și implementarea plugin-urilor
Integrarea Airflow cu sisteme externe
- Conectarea Airflow la baze de date, API-uri și servicii cloud
- Utilizarea Airflow pentru fluxuri de lucru ETL și procesarea datelor în timp real
- Gestionarea dependențelor dintre Airflow și sistemele externe
Debugging și monitorizare avansate
- Utilizarea jurnalelor și a metricilor Airflow pentru depanare
- Configurarea alertelor și notificărilor pentru problemele legate de fluxul de lucru
- Utilizarea instrumentelor externe de monitorizare cu Airflow
Optimizarea performanței și a Scalabilității
- Scalarea Airflow cu Celery și Kubernetes Executori
- Optimizarea utilizării resurselor în fluxuri de lucru complexe
- Strategii pentru disponibilitate ridicată și toleranță la erori
Studii de caz și aplicații din lumea reală
- Explorarea cazurilor avansate de utilizare în ingineria datelor și DevOps
- Studiu de caz: Implementarea operatorului personalizat pentru ETL la scară largă
- Cele mai bune practici pentru gestionarea fluxurilor de lucru la nivel de întreprindere
Rezumat și pași următori
Cerințe
- Înțelegere solidă a noțiunilor de bază Apache Airflow, inclusiv DAG, operatori și arhitectura de execuție
- Competențe în programarea Python
- Experiență în integrarea sistemelor de date și orchestrarea fluxurilor de lucru
Audiență
- Ingineri de date
- DevOps ingineri
- Arhitecți software
21 ore
