Freelance Freelance Engineer Operationeel Data Platform (ZZP) opdracht

Voor GVB, dat het openbaar vervoer in Amsterdam verzorgt, wordt een pilot gestart voor een Operationeel Data Platform (ODP) om de toegevoegde waarde van een transactionele data-infrastructuur aan te tonen. Het ODP ondersteunt operationele processen met lage latency en wordt gebouwd op Lakebase binnen het bestaande Databricks-platform van GVB. De oplossing hangt nauw samen met het Hybrid Integration Platform (HIP) van GVB, gebaseerd op OpenShift, en wisselt data uit met het Databricks Lakehouse via de UnityCatalog. De pilot richt zich eerst op messaging data, maar moet beide data stromen (streaming en messaging) kunnen ontvangen. Het ODP dient structureel, herhaalbaar en geautomatiseerd te zijn voor eventuele doorontwikkeling naar productie. De opdracht vindt plaats in Amsterdam, op locatie, en maakt onderdeel uit van een virtueel team met specialisten op het gebied van integratie, functioneel beheer en data-architectuur. De werkzaamheden omvatten het opzetten van Databricks Lakebase in Microsoft Azure, het vastleggen van de inrichting in Terraform, het inrichten van CI/CD voor infrastructuur- en databasewijzigingen, het bouwen van een persistentielaag voor transactionele verwerking, het opzetten van data-uitwisseling via Unity Catalog, performance- en load-tests, en het implementeren van security, monitoring en datakwaliteitsbewaking. Vereist zijn ervaring met PostgreSQL, dataplatform engineering, Databricks, Microsoft Azure, Infrastructure as Code met Terraform, (near-)realtime transactionele verwerking (1.000+ tps) en integratiepatronen zoals streaming, messaging en REST.