GCP Data Engineer
AtlantisJobs · Warszawa, Poland ·
- Category
- Data engineering
GCP Data Engineer role at Xebia in Warsaw, building and maintaining Gold and Platinum Lakehouse layers and optimizing BigQuery data pipelines. Day to day: dbt and PySpark transformations, Airflow pipeline design/monitoring, Terraform infrastructure, GitHub Actions CI/CD, plus cloud security and data governance (IAM, DLP, Dataplex).
Rola w Xebia dla GCP Data Engineera przy budowie i utrzymaniu warstw Gold i Platinum Lakehouse oraz optymalizacji pipeline'ów danych w BigQuery. Będziesz budować transformacje w dbt i PySpark, projektować i monitorować pipeline'y w Airflow, zarządzać infrastrukturą przez Terraform oraz wdrażać CI/CD w GitHub Actions. Zakres obejmuje też bezpieczeństwo chmury i governance danych (IAM, DLP, Dataplex).
- praktyczne doświadczenie z dbt
- doświadczenie z Apache Airflow
- mocne umiejętności programowania w Pythonie
- doświadczenie z przetwarzaniem danych w PySpark
- praktyczne doświadczenie z BigQuery
- doświadczenie z GitHub Actions i wdrażaniem CI/CD
- doświadczenie z Infrastructure as Code w Terraform