Data Engineer (m/k)
POLENERGIA S.A. · Warszawa, Poland ·
- Category
- Data engineering
Builds and maintains ETL/ELT processes and data pipelines in Azure for Polenergia, working daily on the Databricks platform with Delta Lake medallion architecture (bronze/silver/gold), Unity Catalog governance, and Data Products. Requires 3+ years as a Data Engineer with strong SQL, Python, and PySpark skills.
Budowa i utrzymanie procesów ETL/ELT oraz pipeline'ów danych w środowisku Azure dla Polenergii. Będziesz pracować na platformie Databricks, projektować rozwiązania zgodne z medallion architecture (bronze/silver/gold) z Delta Lake, zarządzać danymi i uprawnieniami w Unity Catalog oraz tworzyć Data Products. To oferta dla doświadczonego Data Engineera, który samodzielnie porusza się w Databricks i Azure, a także chętnie wykorzystuje narzędzia AI do wspomagania pracy.
- min. 3 lata doświadczenia jako Data Engineer
- bardzo dobra, praktyczna znajomość Databricks (architektura platformy, samodzielna praca)
- znajomość Delta Lake (formaty danych, ACID, time travel, MERGE/upsert)
- doświadczenie z Unity Catalog (zarządzanie danymi, uprawnieniami, governance)
- znajomość i praktyczne zastosowanie medallion architecture
- bardzo dobra znajomość SQL
- znajomość Pythona oraz PySpark, Pandas, Polars
- doświadczenie z Azure Data Factory i Azure Functions