Vacature: Sr Data Engineer 36 uur per week (2 FTE) (ZZP of Dienstverband)

Functie: Senior Data Engineer
Als Senior Data Engineer werk je aan de doorontwikkeling en het beheer van het centrale data- en analyticsplatform CREDO en draag je bij aan de oplevering van dataproducten. Je zet schaalbare en efficiënte datapipelines op en ondersteunt de migratie naar Microsoft Fabric, met aandacht voor performance, datakwaliteit, monitoring en kostenbeheersing.
Eindresultaat
Verdere ontwikkeling van het operationele CREDO-dataplatform door implementatie van één of meer roadmaponderdelen binnen de doelarchitectuur.
Werkende en gedocumenteerde datapipelines.
Opgezette PySpark-notebooks en ontworpen en gebouwde datamodellen voor ontsluiting en verwerking van gestructureerde en ongestructureerde databronnen.
Taken
Ontwikkeling CREDO: Bijdragen aan het verder ontwikkelen van het platform en realiseren van speerpunten op de roadmap.
Migratie naar Microsoft Fabric: Implementeren van de migratie vanuit Synapse naar Microsoft Fabric, inclusief omzetten van bestaande pipelines, notebooks en datamodellen.
Datapipelines & notebooks: Bouwen en onderhouden van schaalbare datapipelines en PySpark-notebooks binnen de medallion-structuur (bronze, silver, gold) met focus op prestatie- en kostenoptimalisatie.
Datamodellering: Implementeren van dimensionale datamodellen en ontsluiten/verwerken van gestructureerde en ongestructureerde databronnen in complexe bronlandschappen.
Data quality: Uitvoeren en implementeren van een data quality framework en checks gedurende ETL/ELT-processen; implementeren van data cleansing-processen.
Datawarehousebeheer: Structureren en managen van SQL-datawarehouse (Azure SQL Database en Fabric Database).
Samenwerking: Samenwerken met data-analisten voor requirements en vertaling naar technische specificaties; werken in een agile omgeving met lead engineers en architects.
CI/CD & security: Implementeren en gebruiken van CI/CD-pijplijnen voor geautomatiseerde build, test en deployment, inclusief quality- en securitycontroles.
Kwaliteit & support: Analyseren en oplossen van complexe technische problemen, uitvoeren van code reviews, documenteren en monitoren van oplossingen.
Kennisdeling & coaching: Inbrengen en borgen van expertise binnen het team en coachen van andere data engineers.
Profiel
Ervaren Data Engineer met aantoonbare ervaring in cloud-native data-architecturen (Azure/Synapse/Fabric).
Ervaring met PySpark, Delta Lake en lakehouse/medallion-architecturen (bronze/silver/gold).
Ervaring met migraties van Synapse naar Microsoft Fabric of vergelijkbare platformmigraties.
Kennis van dimensionele datamodellering en verwerking van gestructureerde en ongestructureerde data.
Ervaring met implementatie van data quality frameworks en data cleansing-processen.
Ervaring met SQL-datawarehouses, Azure SQL Database en Fabric Database.
Ervaring met CI/CD-pijplijnen, geautomatiseerde build/test/deploy en integratie van quality/security checks.
Vaardig in oplossen van complexe technische vraagstukken, code reviews, documentatie en monitoring.
Vertrouwd met zelfstandig en zorgvuldig opleveren in complexe omgevingen en het samenwerken in agile teams.
Bereidheid en ervaring om kennis te delen en andere engineers te coachen.

Eisen

• De RET is op zoek naar een zelfstarter, die zijn weg snel weet te vinden in
• een nieuwe werkomgeving. Verder breng je meeJe hebt meer dan 7 jaar werkervaring als data engineer met de ontwikkeling
• en het beheer van een dataplatform in de Azure Cloud en daarbij gewerkt met
• Microsoft Fabric en/of Azure Synapse AnalyticsJe hebt ervaring met het implementeren van oplossingen in een complexe
• omgeving, met meerdere bronsystemen, afhankelijkheden en stakeholders.
• Ervaring met het dataproducten gebaseerd op SAP en SuccessFactors is een
• belangrijke preJe hebt ervaring met een lakehouse-architectuur en medallion principesJe hebt uitgebreide kennis en minimaal 5 jaar ervaring met dimensioneel
• datamodellering, programmeren in SQL en werken met PySpark notebooksJe hebt ervaring met het standaardiseren en automatiseren van workflows. Je
• hebt gewerkt met Azure DevOps, GIT en volgens CI/CD principesJe hebt ervaring met het werken in een agile werkomgeving. Je bent gewend
• de lead te nemen bij het vertalen van epics naar features binnen squads en
• je weet hoe andere engineers te challengen bij het aanscherpen van user
• storiesJe beschikt over één of meerdere relevante Microsoft Azure-certificeringen,
• passend bij het vakgebied data engineering, zoals Azure Data Engineer
• Associate (DP-203)