Senior Data Engineer (2 FTE)

Het Data Office team

Het Data Office team is onderdeel van de afdeling IT Services van RET. Het team ontsluit en verwerkt data uit uiteenlopende databronnen en stelt deze beschikbaar voor analysedoeleinden. Daarnaast is het team verantwoordelijk voor de ontwikkeling en het beheer van CREDO, het centrale data- en analyticsplatform van RET. CREDO is gebaseerd op een lakehouse-architectuur in Microsoft Azure, met een medallion-structuur en Delta Lake. Het team werkt nauw samen met data-analisten, data stewards en andere stakeholders om ruwe data om te zetten in dataproducten die bijdragen aan de bedrijfsdoelstellingen. Binnen de Data Community worden best practices, standaarden en architectuurprincipes geborgd. Data governance, kwaliteit, veiligheid en een goed functionerende dataketen staan hierbij centraal.

Momenteel bevindt RET zich in een migratietraject naar Microsoft Fabric. Op de roadmap staan onder andere performanceoptimalisatie, datakwaliteit, monitoring en kostenbeheersing. De organisatie streeft naar een veilige, slimme en verantwoorde werkwijze op basis van metadata-gedreven principes.

De functie

Als Senior Data Engineer speelt de professional een belangrijke rol in de verdere ontwikkeling van RET als datagedreven organisatie. De professional werkt aan zowel de oplevering van dataproducten als de doorontwikkeling en het beheer van het CREDO-platform. De professional ontwikkelt schaalbare en efficiënte datapipelines en draagt bij aan datagedreven processen binnen verschillende bedrijfsdomeinen, waaronder Asset Management, P&O en Finance. De professional is verantwoordelijk voor het ontsluiten, verwerken en dimensioneel modelleren van gestructureerde en ongestructureerde databronnen. Hierbij maakt de professional gebruik van cloud-native oplossingen en geautomatiseerde data quality controls binnen Microsoft Fabric. De professional werkt in een agile omgeving samen met andere data engineers, de Lead Data Platform Engineer, Solution Architect, data-analisten en stakeholders vanuit de business. Naast de technische realisatie levert de professional een actieve bijdrage aan architectuurdiscussies, kennisdeling en de verdere professionalisering van het Data Office.

Resultaat van de opdracht

• Geimplementeerde roadmaponderdelen die aansluiten op de doelarchitectuur.
• Werkende en gedocumenteerde datapipelines.
• Ontwikkelde PySpark-notebooks.
• Ontworpen en gerealiseerde dimensionele datamodellen.
• Oplossingen voor het ontsluiten en verwerken van gestructureerde en ongestructureerde databronnen.
• Verbeteringen op het gebied van performance, datakwaliteit, monitoring en kostenbeheersing.

Werkzaamheden

• Implementeren van de migratie van CREDO vanuit Azure Synapse naar Microsoft Fabric, op basis van de intermediate state en target state architecture.
• Omzetten van bestaande pipelines, notebooks en datamodellen naar Microsoft Fabric.
• Ontwikkelen en onderhouden van schaalbare datapipelines en PySpark-notebooks binnen de medallion-architectuur (bronze, silver en gold).
• Optimaliseren van prestaties en kosten van datapipelines en dataverwerking.
• Ontwerpen en implementeren van dimensionele datamodellen.
• Ontsluiten en verwerken van gestructureerde en ongestructureerde databronnen binnen complexe bronlandschappen.
• Implementeren van data quality frameworks en controles binnen ETL/ELT-processen.
• Ontwikkelen van data cleansing-processen om bekende datakwaliteitsproblemen op te lossen.
• Structureren en beheren van SQL-datawarehouses, met focus op Azure SQL Database en Fabric Database.
• Samenwerken met data-analisten om requirements te vertalen naar technische specificaties.
• Implementeren en gebruiken van CI/CD-pipelines voor geautomatiseerde build-, test- en deploymentprocessen, inclusief kwaliteits- en securitycontroles.
• Analyseren en oplossen van complexe technische problemen.
• Uitvoeren van code reviews en verzorgen van documentatie en monitoring.
• Actief delen van technische kennis en coachen van andere data engineers.