Senior Data Engineer in Dresden designing an on-premises data platform: building orchestration, deployment automation, and batch/streaming pipelines on Kubernetes and S3-compatible storage, with PoCs using AI agent tooling. Core stack includes Python, Golang, SQL, Kafka, Spark, Flink, Airflow, Dagster, and GitOps.
Overview
In this role you shape an on-premises data platform by designing and integrating components for data orchestration, deployment, and platform automation. You’ll build PoCs with AI agent tooling and implement batch and streaming pipelines, while aligning workloads with Kubernetes and S3-compatible storage. Collaboration with lead architects, and infra/security teams, ensures robust data catalogs and versioning. You’ll explore edge data-management concepts, delivering impactful, practical solutions.
Leistungen / Benefits- faire Vergütung inkl. Arbeitszeitkonto
- Zuschuss zur betrieblichen Altersvorsorge
- flexible Arbeitsmodelle (Gleitzeit, Homeoffice)
- Networking-Events
- Corporate Benefits (Fitness, Markenprodukte, Freizeit)
- Berufliche Weiterentwicklungsmöglichkeiten
Verantwortungsbereiche- Konzeption und Entwicklung einer On-Premises-Datenplattform
- Entwicklung/Integration von Komponenten für Datenorchestrierung, Deployment und Plattformautomatisierung
- Erstellung von Proofs of Concept (PoCs), ggf. mit Cursor.ai
- Implementierung von Batch- und Streaming-Datenpipelines
- Integration von Workloads auf Kubernetes und S3-kompatiblen Storage-Lösungen
- Untersuchung von Datenkatalogen, Datenversionierung und deren Plattformintegration
- Zusammenarbeit mit Lead-Architekten, Infrastruktur- und Security-Teams
Zentrale Anforderungen- Abgeschlossenes Informatikstudium oder vergleichbare Qualifikation
- Mehrjährige Erfahrung mit Kubernetes und Linux
- Kenntnisse moderner Datenplattform-Architekturen (Kappa/Medallion) sowie Batch- und Low-Latency-Streaming-Pipelines
- Praktische Kenntnisse in Python, Golang, SQL (MPP), Bash und Java
- Erfahrung mit Tools wie S3, Apache Iceberg, GitOps, , RisingWave, Dagster, Spark, Kafka, Flink, Airflow; idealerweise Cursor.ai; Kenntnisse zu NUMA und Core Pinning
- Cloud Native, Linux, Kubernetes-Expertise; Ideen zu Edge-Lösungen ohne Public-Cloud-Services
- Sehr gute Deutsch- und Englischkenntnisse
- analytisches Denken
- Lösungsorientierung
- strukturierte Arbeitsweise
- Kubernetes
- Linux-Containeren
- Python