(Senior) Data Engineer - Azure Databricks / Lakehouse (m/w/d)
ALD AutoLeasing D GmbH · Hamburg, DE ·
- Seniority
- Senior
- Category
- Data engineering
ALD AutoLeasing D GmbH · Hamburg, DE ·
Bist du ein Daten-Enthusiast, der gern auf der sprichwörtlichen "grünen Wiese" baut?Dann erwartet dich bei uns ein spannendes Data-Engineering-Projekte: Wir planen den vollständigen Neuaufbau einer cloud-nativen Datenplattform – Greenfield, langfristig, strategisch und mit modernsten Technologien umgesetzt. Gestalte gemeinsam mit uns eine State-of-the-Art-Architektur, die unsere Data-Landschaft nachhaltig prägen wird., Konzeption und Migration: Du arbeitest am Design und der Umsetzung eines innovativen DWH, das mit Tools wie Databricks und IDMC auf Basis eines Lakehouse-Modells realisiert wird. Prozess- & Pipeline-Entwicklung: Du definierst Prozesse zur Anbindung von Quellsystemen und entwickelst robuste ETL/ELT-Pipelines – von der Raw-Ingest bis zum Gold-Layer. CI/CD- Pipelines: Du baust und betreibst CI/CD-Pipelines zur Automatisierung von Deployments und Tests, um schnelle und zuverlässige Releases zu ermöglichen. DevOps-Kollaboration: Du arbeitest eng mit den Entwicklungsteams zusammen, um stabile, skalierbare und sichere Cloud-Lösungen zu gewährleisten. Monitoring und Optimierung: Du überwachst den Betrieb der Cloud-Umgebungen, optimierst Performance, Kosten und Sicherheit kontinuierlich und reagierst proaktiv auf Herausforderungen. Security und Compliance: Du setzt Sicherheits- und Compliance-Anforderungen in der Cloud um und stellst deren Einhaltung sicher. Interdisziplinäre Zusammenarbeit: Du arbeitest eng mit verschiedenen Fachabteilungen (etwa BI, IT-Sicherheit, ...
Git, Spark, ADF, Databricks, Big Data, CI/CD, Azure DevOps, Microsoft Power BI, Cloud Architecture, Terraform, Microsoft Azure, ETL, Python, SQL, Data Engineering