Freelance Data Streaming Engineer opdracht

Als Data Streaming Engineer draag je bij aan het verbeteren van de reiservaring van miljoenen reizigers door slimme data-oplossingen te ontwikkelen binnen team FLUX, een Advanced Analytics-team onder de afdeling Data, Innovatie & Analyse (DIA) van NS. Je werkt in een multidisciplinair team aan de ontwikkeling van FLOW, een nieuwe applicatie die op basis van realtime datastromen en machine learning reizigersprognoses maakt voor operationele sturing op dezelfde dag. FLOW wordt gebouwd in een moderne cloudomgeving op Microsoft Azure en Databricks, waarbij je werkt met technologieën zoals Azure Event Hubs, Azure Functions, Databricks Structured Streaming en PySpark. Belangrijke databronnen zijn check-in/check-uit transacties, ticketverkoop, dienstregelingupdates en conducteurscontroles. Je bent verantwoordelijk voor het ontwerpen, bouwen en beheren van schaalbare streaming pipelines, het inrichten van event-driven cloudcomponenten, het integreren van machine learning in streaming datastromen, en het ontwikkelen van deploymentstrategieën met aandacht voor betrouwbaarheid, schaalbaarheid en veilige releases. Daarnaast zet je replay-mechanismen op, zorgt voor monitoring, alerting en observability, en analyseert je datastromen en operationele metrieken om zwakke plekken te identificeren. Je werkt samen met data scientists, data engineers, IT en stakeholders om realtime use-cases van idee naar productie te brengen. De rol is op locatie in Utrecht, op loopafstand van station Utrecht Centraal.