Senior Databricks / Data Engineer | Azure Databricks (m/w/d)

Overview

In dieser Rolle arbeiten Sie als hands-on Senior Databricks/Data Engineer an der Entwicklung moderner Data & Analytics-Lösungen auf Basis von Azure Databricks. Sie arbeiten eng in einem Engineering-Team an der Optimierung von Datenpipelines, Leistungsfähigkeit und Lakehouse-Plattformen. Sie tauchen tief in Code, Pipelines und Performance-Tuning ein und tragen zur Qualität und Skalierbarkeit der Data-Architektur bei. Die Position bietet die Chance, Ihre Expertise in einer globalen Tech-Umgebung zu nutzen und signifikanten Einfluss auf produktive Datensysteme zu haben.

Verantwortungsbereiche

• Entwicklung und Weiterentwicklung von Data-& Analytics-Lösungen auf Basis von Azure Databricks
• Aufbau, Optimierung und Betrieb komplexer Datenpipelines
• Entwicklung performanter Datenprozesse mit Python, PySpark und Spark SQL
• Mitarbeit beim Aufbau und der Weiterentwicklung von Lakehouse-Plattformen
• Testing, Monitoring und Performance-Tuning produktiver Datenlösungen
• Troubleshooting und Fehleranalyse in Databricks-Umgebungen
• Mitarbeit in einem agilen Engineering-Team mit hohem Qualitätsanspruch

Zentrale Anforderungen

• Mehrjährige praktische Erfahrung mit Azure Databricks
• Sehr gute Kenntnisse in Python, PySpark und Spark SQL
• Erfahrung in der Entwicklung und Optimierung komplexer Datenpipelines
• Fundierte Kenntnisse im Aufbau von Data-& Analytics- oder Lakehouse-Plattformen
• Erfahrung mit Delta Lake
• Erfahrung mit Databricks Jobs & Workflows
• Erfahrung mit Azure Data Lake
• CI/CD und Git

• Ausgeprägte Software-Engineering-Mentalität
• sauberer, performanter Code
• Teamfähigkeit
• Azure Databricks
• Python
• PySpark