Thank you for sending your enquiry! One of our team members will contact you shortly.
Thank you for sending your booking! One of our team members will contact you shortly.
Schița de curs
Fundamentele datelor intensive Platform Engineering
- Introducere în aplicațiile cu utilizare intensivă a datelor
- Provocări în ingineria platformei pentru date mari
- Prezentare generală a arhitecturilor de procesare a datelor
Modelarea datelor și Management
- Principii de modelare a datelor pentru scalabilitate
- Opțiuni de stocare a datelor și optimizare
- Gestionarea ciclului de viață al datelor într-un mediu distribuit
Big Data Cadre de prelucrare
- Prezentare generală a instrumentelor de procesare a datelor mari (Hadoop, Spark, Flink)
- Procesare pe loturi vs. procesare în flux
- Configurarea unui pipeline de procesare a datelor mari
Platforme de analiză în timp real
- Arhitectura pentru analiza în timp real
- Motoare de procesare în flux (Kafka Streams, Apache Storm)
- Crearea de tablouri de bord și vizualizări în timp real
Orchestrarea conductelor de date
- Gestionarea fluxurilor de lucru cu Apache Airflow și altele
- Automatizarea conductelor de date pentru eficiență
- Monitorizarea și alertarea pentru conductele de date
Securitatea și conformitatea platformei
- Cele mai bune practici de securitate pentru platformele de date
- Asigurarea confidențialității datelor și a conformității cu reglementările
- Implementarea unor controale sigure ale accesului la date
Reglarea și optimizarea performanței
- Tehnici de optimizare a randamentului și a latenței datelor
- Strategii de scalare pentru platformele cu utilizare intensivă a datelor
- Evaluarea comparativă și monitorizarea performanțelor
Studii de caz și bune practici
- Analiza implementărilor de succes ale platformelor de date
- Lecții învățate de la liderii din industrie
- Tendințe emergente în ingineria platformelor de date intensive
Proiect Capstone
- Proiectarea unei soluții de platformă pentru o aplicație cu utilizare intensivă a datelor
- Implementarea unui prototip al conductei de procesare a datelor
- Evaluarea performanței și a scalabilității platformei
Rezumat și etape următoare
Cerințe
- Înțelegerea structurilor de date și a algoritmilor de bază
- Experiență cu programarea Java, Scala sau Python.
- Familiaritate cu conceptele de bază ale bazelor de date și SQL
Audiență
- Dezvoltatorii de software
- Inginerii de date
- Responsabili tehnici
21 ore
