Data Engineer – Python / Airflow / Azure Databricks (m/w/d)
PROSTAFF Schweiz GmbH · Basel, Switzerland ·
- Category
- Data engineering
PROSTAFF Schweiz GmbH · Basel, Switzerland ·
Synergie Effekt · Köln, Germany
The Brains GmbH · Wettingen, Switzerland
Arvato Systems
accantec · Köln, Germany
Für ein anspruchsvolles Data-Engineering-Projekt bei einem etablierten Unternehmen in der Schweiz suchen wir einen erfahrenen Data Engineer. Im Fokus stehen die Weiterentwicklung einer bestehenden On-Premise-Datenplattform sowie die laufende Transformation in eine moderne Azure-Databricks- und Lakehouse-Architektur.
Entwicklung und Weiterentwicklung von Data Products
Aufbau und Pflege von Ingestion- und Transformationspipelines
Sicherstellung von Datenqualität und Performance
Entwicklung und Verwaltung von Apache-Airflow-DAGs
Mitarbeit bei Architekturentscheidungen rund um die Data Platform
Unterstützung der Migration in Richtung Azure Databricks
Zusammenarbeit mit Data Architect, DevOps Engineer und Product Owner
Unterstützung interner Nutzer bei Data-, Plattform- und Python-Themen
Mehrjährige Erfahrung als Data Engineer
Sehr gute Kenntnisse in Python, insbesondere pandas, polars und Poetry
Fundierte Erfahrung mit Apache Airflow
Sehr gute SQL- und PostgreSQL-Kenntnisse
Erfahrung mit Azure Databricks
Kenntnisse in Docker, Kubernetes oder OpenShift
Erfahrung mit Azure DevOps / CI/CD
Verständnis von Data Mesh, Data Contracts und Lakehouse-Architekturen
Idealerweise Erfahrung mit JupyterHub, Acryl DataHub und MinIO S3
Selbständige und proaktive Arbeitsweise mit hoher Kommunikationsfähigkeit
accantec · Berlin, Germany