Data Engineer Kapitaalmarkten

<p class="Paragraph SCXW137348682 BCX8">Als allround <strong>Data Engineer</strong> binnen de afdeling Datagedreven Kapitaalmarkten (DAK) ontwerp, bouw en beheer je betrouwbare datapipelines en datasets voor het toezicht op de kapitaalmarkten. Daarnaast help je onze ontwikkel- en deploymentprocessen en het gebruik van Databricks verder te professionaliseren. Je ontsluit, structureert en prepareert gegevens voor data-analisten, toezichthouders en andere gebruikers. Binnen onze Azure-cloudomgeving werk je met grote hoeveelheden gestructureerde en ongestructureerde data, variërend van miljoenen tot miljarden records. De gegevens bevinden zich onder meer in Databricks, SQL-databases en Azure Storage. Je ontwikkelt herbruikbare ETL-processen en zorgt dat data vindbaar, controleerbaar en geschikt is voor analyse en toezicht. Je verbetert de ontwikkel- en deploymentprocessen met versiebeheer, geautomatiseerd testen en CI/CD in Azure DevOps. Met Declarative Automation Bundles leg je Databricks-code, configuraties en resources vast en deploy je deze gecontroleerd naar verschillende omgevingen. Hierbij werk je aan herhaalbare en beter beheersbare wijzigingen en deployments. Bij het ontwikkelen van dataoplossingen pas je de geldende kaders voor security, privacy en governance toe. Je draagt bij aan monitoring en kostenbewust gebruik van het Databricks-platform, in samenwerking met de verantwoordelijke platform-, architectuur- en securityspecialisten. Daarnaast ontwikkel je duurzame dataproducten en draag je actief bij aan kennisdeling, innovatie en standaardisatie binnen het team.</p><p style="min-height: 1.7em;"></p><p class="MsoNormal"><strong>Een greep uit je werkzaamheden:</strong></p><ul><li><p class="Paragraph SCXW254769984 BCX8">Ontwikkelen en beheren van processen voor data-ingestie, transformatie en verwerking binnen onze Azure-cloudomgeving en op het Databricks-platform met onder andere Databricks Jobs, Azure Data Factory en PySpark/SQL.&nbsp;</p></li><li><p class="Paragraph SCXW254769984 BCX8">Inrichten en verbeteren van geautomatiseerde ontwikkel-, test- en deploymentprocessen met CI/CD in Azure DevOps.&nbsp;</p></li><li><p class="Paragraph SCXW254769984 BCX8">Vastleggen en gecontroleerd deployen van Databricks-code, configuraties en resources met Declarative Automation Bundles.</p></li><li><p class="Paragraph SCXW254769984 BCX8">Ontwikkelen en beheren van datapipelines en deploymentprocessen voor machinelearningtoepassingen en bijdragen aan de verdere professionalisering van MLOps binnen het Databricks-platform.</p></li><li><p class="Paragraph SCXW254769984 BCX8">Toepassen van kaders en standaarden voor datakwaliteit, security, privacy en governance, waaronder het gebruik van Unity Catalog.&nbsp;</p></li><li><p class="Paragraph SCXW254769984 BCX8">Monitoren en verbeteren van de werking en betrouwbaarheid van datapipelines en bijdragen aan kostenbewust gebruik van het Databricks-platform.&nbsp;</p></li><li><p class="Paragraph SCXW254769984 BCX8">Actief bijdragen aan architectuurvraagstukken rondom schaalbaarheid, security, data governance en cloudinrichting.&nbsp;</p></li><li><p class="Paragraph SCXW170389223 BCX8">Samenwerken met data-analisten, datamanagementspecialisten en platform engineers om technische en functionele vraagstukken te vertalen naar toekomstbestendige oplossingen.&nbsp;</p></li><li><p class="Paragraph SCXW170389223 BCX8">Signaleren van verbeterkansen en actief bijdragen aan innovatie, standaardisatie en kennisdeling binnen het team.</p><p style="min-height: 1.7em;"></p><