May 9, 2023 6:00 PM
Historikus adatok nyomonkövetése Airflow-val
Előadónk, Polgár Ákos Apache Airflow-ban fog bemutatni egy általa implementált Python kódot (DAG-et), amely a gyakorlatban képes az adatok historizálására. A kód egy egyszerű MS SQL adatbázis adatait historizálja. Az előadás végén pedig gyakorlatban is megnézhetitek a kódot futás közben.
Az előadás a következő kérdésekre ad választ:
- Miért hasznos a historikus adatok tárolása?
- Hogyan lehet az Airflow-t használni historikus adatok tárolására?
- Milyen előnyei vannak, ha Ariflow-ban implementáljuk a megoldásunkat?
Neked szól az előadás, ha
van egy minimális Python ismereted, és érdekel az adatok historizálása. Mindenkinek ajánljuk, aki foglalkozik adattárházakkal vagy adat menedzsmenttel, vagy érdeklődik ezen témák iránt.
Előadásunkban megvizsgáljuk, hogy miért fontos a historikus adatok tárolása.
Ákos karrierje során rengeteg szerepkörben dolgozott már, a full-stack fejlesztéstől a térinformatikáig, szakterülete az információs rendszerek. Az elmúlt időszakban data engineerként dolgozott az e-kereskedelemben, elsősorban olyan technológiákra fókuszálva, mint a Python, Scala, Google Cloud Platform, Airflow, Nifi, Spark, Impala, Hive és Terraform.
