Freelance Data engineer migratie (datalab) opdracht

Het VWS Datalab beheert en ontwikkelt een Azure-dataplatform waarop de directies van het Ministerie van Volksgezondheid, Welzijn en Sport hun data-initiatieven onderbrengen. Databricks vormt een centrale component binnen het platform, dat de basis biedt voor data-analyses, rapportages en datagedreven werken. De opdracht staat in het teken van het onderhouden van de bestaande omgeving en de verdere ontwikkeling ervan, waaronder een migratie naar een vernieuwd platform en het via API’s ontsluiten van bronsystemen.

Als data engineer vorm je de technische ruggengraat voor complexe datavraagstukken. Je ontwerpt en implementeert ETL- en ELT-processen die data van bron tot productielaag in het data lake brengen en onderhoudt de centrale semantische modellen voor stabiele Power BI-rapportages. Daarnaast werk je samen met de cloudbeheerpartij aan het Azure-platform, ben je aanspreekpunt voor complexe datatransformaties en schema-updates en denk je mee over de doorontwikkeling. Ook verken je hoe AI de operationele werkdruk kan verlagen.

Eisen

• Kandidaat beschikt over minimaal HBO werk- en denkniveau (kan worden aangetoond door een afgeronde HBO-opleiding en/of aantoonbare werkervaring van minimaal 3 jaar op HBO-niveau).
• Kandidaat beschikt over minimaal 3 jaar aantoonbare werkervaring als data engineer op Microsoft Azure.
• Kandidaat beschikt over aantoonbare kennis van en ervaring met Databricks, Python en PySpark.
• Kandidaat beschikt over aantoonbaar minimaal 3 jaar kennis van en ervaring met datamodellering, ETL-processen en het bouwen van pipelines.
• Kandidaat is minimaal 32 uur per week beschikbaar voor de duur van de opdracht.

Wensen

• Mate waarin de kandidaat ervaring heeft met het werken in agile teams.
• Mate waarin de kandidaat kennis heeft van het Azure-dataplatform (Databricks, Delta Lake, Unity Catalog, Azure Data Factory, ADLS) en ervaring heeft met platformmigraties.
• Mate waarin de kandidaat kennis heeft van datamodellering en semantische modellen, het opzetten van ETL/ELT-processen en het bouwen van pipelines met Python en PySpark, inclusief API-integraties.
• Mate waarin de kandidaat beschikt over relevante certificeringen vanuit de DP-reeks en aantoonbare ervaring met CI/CD, versiebeheer en infrastructure as code (Azure DevOps, Terraform).