Freelance Senior Data Engineer open source | Utrecht opdracht

De Nederlandse Voedsel- en Warenautoriteit (NVWA) werkt aan de vernieuwing van haar datafundament en onderzoekt of een open source, Kubernetes-gebaseerd dataplatform de huidige analyse- en rapportageomgeving functioneel en beheersmatig kan vervangen. Hiervoor is een Senior Data Engineer nodig die de pilot uitvoert in Utrecht. De rol richt zich op het inrichten en uitwerken van pilotcasussen op het open source dataplatform, met componenten als Apache NiFi, Apache Spark, Trino, Apache Iceberg, dbt, Apache Airflow, Superset, OpenMetadata en OPA op Kubernetes. De engineer bouwt data-ingestie, transformatie en ontsluiting op basis van bestaande NVWA-databronnen, vertaalt functionaliteit uit de huidige omgeving naar de nieuwe stack en legt verschillen en beperkingen vast. Daarnaast is de rol verantwoordelijk voor het bewaken van het tempo, het meenemen van ontwikkelaars volgens het principe ‘voordoen > samendoen > zelf doen’, en het faciliteren van de teams zonder sturing. De bevindingen per casus (functionaliteit, performance, beheerlast, beveiliging, kosten) worden vastgelegd als input voor vervolgbeslissingen, evenals het opleveren van herbruikbare bouwblokken, configuratie als code en documentatie. De pilot loopt via een reeks representatieve casussen en wordt uitgevoerd samen met de datateams en DICTU. De werkzaamheden vinden plaats in Utrecht, op locatie.