Senior Data Engineer – NVWA

Functieomschrijving

Wij zoeken een Senior Data Engineer voor een pilot waarin wordt onderzocht of een open source, Kubernetes-gebaseerd dataplatform de huidige analyse- en rapportageomgeving kan vervangen. De pilot omvat een vastgesteld aantal casussen die de keten van bronontsluiting tot en met ontsluiting naar de business dekken. Als Senior Data Engineer bouw je de casussen daadwerkelijk en maak je betrokken ontwikkelaars uit verschillende teams zelfstandig productief. Werkzaamheden vinden plaats binnen de kaders van het pilotplan en in afstemming met de projectleider.

Hoofdverantwoordelijkheden & realisatie casussen

• Inrichten en uitwerken van pilotcasussen op een open source dataplatform met componenten als Apache NiFi, Apache Spark, Trino, Apache Iceberg, dbt, Apache Airflow, Superset, OpenMetadata en OPA op Kubernetes.
• Bouwen van data-ingestie, transformatie en ontsluiting op basis van bestaande databronnen.
• Vertalen van bestaande functionaliteit uit de huidige analyse- en rapportageomgeving naar equivalenten in de nieuwe stack en vastleggen van verschillen en beperkingen.
• Bewaken van het tempo: casussen binnen afgesproken doorlooptijd opleveren met reproduceerbare resultaten.

Samenwerking en kennisoverdracht

• Ontwikkelaars uit verschillende teams meenemen volgens het principe ‘voordoen > samendoen > zelf doen’ zodat kennis binnen de organisatie blijft.
• Faciliteren in plaats van sturen: ruimte laten aan teams, maar voortgang houden op afgesproken mijlpalen.

Onderbouwing en oplevering

• Vastleggen van bevindingen per casus (functionaliteit, performance, beheerlast, beveiliging, kosten) als input voor vervolgbesluitvorming.
• Opleveren van herbruikbare bouwblokken, configuratie als code en documentatie.
• Signaleren van risico’s en knelpunten richting de projectleiding, tijdig en onderbouwd.

Profiel

Eisen

• Afgeronde HBO- of WO-opleiding.
• Minimaal 5 jaar aantoonbare werkervaring met SQL en Python.
• Minimaal 3 jaar aantoonbare werkervaring met CI/CD, versiebeheer en configuratie als code.
• Minimaal 10 jaar aantoonbare werkervaring in de IT.
• Minimaal 5 jaar werkervaring als data engineer en met het bouwen en beheren van dataplatformen en datapijplijnen.

Wensen

• Minimaal 3 jaar werkervaring met gedistribueerde dataverwerking op een modern platform zoals Spark/PySpark, Databricks, Fabric of gelijkwaardig.
• Aantoonbare ervaring met inrichting van security, rechten en toegangsbeheer in dataomgevingen.
• Aantoonbare ervaring met migratie of vervanging van een bestaand dataplatform en het overzetten van functionaliteit.
• Aantoonbare ervaring met het bouwen van dataplatformen en datapijplijnen op schaal en het snel eigen maken van een nieuwe (open source) stack.
• Aantoonbaar vermogen om ontwikkelaars uit meerdere teams mee te nemen en kennis over te dragen.
• Ervaring binnen de (semi-)publieke sector in een politiek-bestuurlijk gevoelige omgeving is een pre.
• Passende aansluiting op de opdracht en organisatie.

Competenties

• Objectief & pragmatisch
• Politiek-bestuurlijke sensitiviteit
• Verbindend vermogen & didactisch
• Resultaatgericht & passie

Eisen

• Kandidaat heeft minimaal een afgeronde HBO opleiding of WO opleiding
• Kandidaat heeft minimaal 5 jaar aantoonbaar werkervaring met SQL en Python
• Kandidaat heeft minimaal 3 jaar aantoonbare werkervaring met CI/ CD, versiebeheer en configuratie als code
• Kandidaat heeft minimaal 10 jaar aantoonbare werkervaring in de IT
• Kandidaat heeft minimaal 5 jaar werkervaring als data engineer en met het bouwen en beheren van dataplatformen en datapijplijnen

Gunningscriteria

• Kandidaat heeft minimaal 3 jaar werkervaring met gedistribueerde dataverwerking op een modern platform zoals spark/pyspark, databricks, fabric of gelijkwaardig
• Kandidaat heeft aantoonbaar ervaring met dataomgevingen, inclusief inrichting van security, rechten en toegangsbeheer
• Kandidaat heeft aantoonbaar ervaring met de migratie of vervanging van een bestaand dataplatform, inclusief het aantoonbaar overzetten van functionaliteit
• Kandidaat heeft aantoonbare werkervaring met het bouwen van dataplatformen en datapijplijnen op schaal, en aantoonbaar vermogen om zich een nieuwe (open source (o.a. Spark, Trino, dbt, Airflow, NiFi)) stack snel eigen te maken
• Kandidaat heeft aantoonbaar vermogen om ontwikkelaars uit meerdere teams mee te nemen en kennis over te dragen
• Kandidaat heeft aantoonbaar ervaring binnen de (semi-)publieke sector in een politiek-bestuurlijke gevoelige omgeving
• Kandidaat begrijpt de opdracht en past bij de organisatie

Competenties

• Objectief
• Pragmatisch
• Politiek bestuurlijke sensitiviteit
• Verbindend vermogen
• Didactisch
• Resultaatgericht
• Passie