Freelance senior data engineer building a central cloud data platform on Microsoft Azure and Databricks for a government organization in The Hague: designing ingestion and transformation pipelines to unlock, clean, and enrich public data sources for analytics, dashboards, and AI applications.
Wij zoeken een Senior Data Engineer voor het realiseren van een centrale, herbruikbare en beheersbare data-oplossing binnen een overheidsorganisatie. Je werkt hands-on aan het ontsluiten, verrijken en beschikbaar maken van publieke databronnen voor onder andere analyses, dashboards, AI-toepassingen en andere dataproducten.
Rol & context
Je werkt binnen een Data & AI-team aan een Cloud Data Platform op Microsoft Azure met onder andere Databricks. Je bouwt data-ingestie- en transformatiepipelines, helpt de technische basis neer te zetten voor nieuwe databronnen en afnemers en draagt bij aan technische keuzes rond kwaliteit, beheer en schaalbaarheid.
Werkzaamheden
Inventariseren van relevante publieke databronnen en technische ontsluitingsmogelijkheden
Inventariseren van behoeften van afnemende teams en applicaties
Ontwerpen en realiseren van robuuste data-ingestie voor publieke en externe databronnen
Opschonen, transformeren, verrijken en structureren van data voor hergebruik
Inrichten van herhaalbare data-pipelines in Azure en Databricks
Inrichten van foutafhandeling, logging, monitoring en herstelbaarheid
Beschikbaar maken van datasets voor analyses, dashboards, AI-toepassingen en verdere dataverwerking
Bijdragen aan datamodellering, metadata, documentatie, datakwaliteit en beheer
Afstemmen met data-afnemers, architectuur, platformbeheer en andere betrokken teams
Mede bepalen van technische keuzes en richting binnen het team
Overdragen van kennis aan teamleden
Eisen
WO werk- en denkniveau
Minimaal 5 jaar werkervaring als Data Engineer of in een vergelijkbare rol
Kennis van data-engineering in Microsoft Azure, waaronder het ontwerpen, bouwen en/of beheren van dataoplossingen en/of het werken met gangbare programmeer- en querytalen
Ervaring met het ontsluiten, combineren en/of verwerken van data uit externe bronnen binnen een Azure-omgeving, zoals API’s, databestanden en andere gegevensbronnen in verschillende formaten
Pré’s
Kennis van Azure Databricks, Spark, Python en SQL
Ervaring met het bouwen van robuuste, herhaalbare data-pipelines, inclusief monitoring, foutafhandeling en beheerbaarheid
Ervaring met het ontsluiten, opschonen, transformeren en beschikbaar maken van publieke of externe databronnen voor meervoudig intern gebruik
Ervaring binnen een overheidscontext of vergelijkbare complexe omgeving
Ervaring met het zelfstandig oppakken van complexe datavraagstukken
Ervaring met samenwerken met verschillende stakeholders, technisch richting geven en kennis overdragen
Ervaring en/of affiniteit met de organisatie van de opdrachtgever