Freelance opdrachten voor Apache Spark experts

Duur: 6 Maanden. Voor de Instituut Mijnbouwschade Groningen zijn wij op zoek naar een Data Engineer Het Instituut Mijnbouwschade Groningen (IMG) is op zoek naar een Data Engineer die bijdraagt aan de verdere ontwikkeling van het dataplatform en de ontsluiting van data binnen het primaire proces. Je opereert op het snijvlak van data engineering, cloudtechnologie (Azure) en datakwaliteit binnen een complexe en maatschappelijk relevante omgeving. Daarbij werk je nauw samen met business analisten, architecten en andere engineers binnen een Agile werkomgeving.Als Data Engineer ben je verantwoordelijk voor het ontwerpen, realiseren en verbeteren van data-oplossingen en services binnen het IMG. De focus ligt op het bouwen van robuuste, veilige en schaalbare oplossingen die bijdragen aan betrouwbare data en een efficiënte schadeafhandeling.Werkzaamheden en verantwoordelijkhedenOntwikkelen en onderhouden van webservices (REST API’s) voor het ontsluiten van data uit bronsystemen, onder andere met FastAPI en Pydantic.Ontwerpen, bouwen en beheren van data-oplossingen binnen dataregisters en bijdragen aan een consistent datalandschap.Beheren en optimaliseren van SQL Server databases, inclusief query-optimalisatie en stored procedures.Doorontwikkelen van het DataKwaliteitsSysteem (DKS) en bijdragen aan structurele verbeteringen van datakwaliteit.Inrichten van authenticatie- en securityoplossingen, zoals Managed Identities, conform geldende richtlijnen.Ontwikkelen en beheren van CI/CD-pipelines in Azure DevOps ten behoeve van betrouwbare deployments.Monitoren van applicaties en services via Application Insights, inclusief logging en alerting.Bijdragen aan de verdere ontwikkeling van het Azure dataplatform en adviseren over technische keuzes en verbeteringen.Actief samenwerken met stakeholders en multidisciplinaire teams binnen een Agile werkomgeving.  Je hebt een afgeronde wo-opleiding in de richting Informatica, Data Science of vergelijkbaar.Je beschikt over het certificaat Databricks Certified Data Engineer Professional.Je beschikt over het certificaat Microsoft Azure Fundamentals (AZ-900).Je beschikt over het certificaat Microsoft Power BI Data Analyst (DA-100).Je beschikt over het certificaat Microsoft Azure AI Fundamentals (AI-900).Je hebt minimaal 5 jaar aantoonbare ervaring met het werken met complexe relationele databases (SQL Server) en datamodellering.Je hebt minimaal 5 jaar aantoonbare werkervaring met Azure DevOps, Azure Functions en beveiligingsmechanismen binnen cloudomgevingen.Je hebt minimaal 5 jaar werkervaring met Databricks, waaronder Delta Lake, PySpark en Spark SQL.Je hebt minimaal 5 jaar ervaring met ETL/ELT-processen en datamodellering.WensenJe hebt kennis van en ervaring met cloudarchitectuur en het ontwikkelen van datapipelines binnen cloudomgevingen.Je hebt ervaring met DMBOK, Data Warehouse Management, TOGAF, Low Code en Open API.Je hebt ervaring met het uitwerken van businesscases, het opstellen van adviezen, het geven van presentaties en het begeleiden van business analisten.Je hebt kennis van datawarehouse-technieken en andere methoden voor dataopslag en data-uitwisseling.Je hebt ervaring met overheidsarchitecturen zoals MARIJ en NORA.Je hebt kennis van data governance, datakwaliteit en security.Je hebt ervaring met werken in een Agile/Scrum-omgeving.Ervaring binnen een uitvoeringsorganisatie van de overheid is een pré. Wil je ons een open sollicitatie sturen? Voor iedereen die geen idee heeft wat Hero doet, maar dat wél graag wil weten, hebben wij een speciale website ontwikkeld waarbij wij onze dienstverlening simpel uitleggen: Hero for Dummies

Duur: 7 Maanden. Voor de Rijksdienst voor Ondernemend Nederland (RVO) in Utrecht zijn wij op zoek naar een Cloud/Data Engineer. Als Cloud/Data Engineer bouw je aan schaalbare, efficiënte en veilige data-platforms in de Azure-cloud, met Databricks als technisch hart. Je werkt nauw samen met data scientists, ML engineers en business stakeholders aan oplossingen die technologie, beleid en concrete maatschappelijke waarde verbinden.Data Architectuur & Modellering Je richt de Medallion Architectuur (Bronze, Silver, Gold) in binnen Databricks en vertaalt complexe businesslogica naar helder gestructureerde datasets — bij voorkeur via dimensioneel modelleren volgens Kimball. Je bouwt robuuste goudlagen en maakt gebruik van Metric Views, zodat rapportages en analyses altijd op de juiste dataset steunen.Engineering & Transformaties Je ontwikkelt robuuste datapijplijnen met PySpark en SQL, en benut de mogelijkheden van Spark Declarative Pipelines (SDP). Met je kennis van dbt ontwerp je modulaire, goed onderhoudbare transformaties die aansluiten op de behoeften van de organisatie.Storage & Performance-optimalisatie Je maximaliseert de platformprestaties door de juiste Databricks compute clusters in te zetten en schaalmogelijkheden slim te benutten. Je past Delta Lake-optimalisaties toe zoals Partitioning, Clustering, Z-Ordering en Liquid Clustering.Governance & Security Je richt centrale governance in via Unity Catalog, implementeert Role-Based Access Control (RBAC) en maakt data security best practices een vanzelfsprekend onderdeel van elke oplossing.Platform & Deployment Je automatiseert deployments via Databricks Asset Bundles (DABs) voor betrouwbare en reproduceerbare releases. Daarnaast instrumenteer, monitor en debug je Databricks jobs, pijplijnen en platformcomponenten — en draag je zo bij aan Engineering Excellence binnen het team. Je hebt minimaal 3 jaar aantoonbare ervaring met het ontwerpen en bouwen van een cloud data platform op Azure met Databricks, inclusief het integreren, opschonen en beschikbaar maken van data voor business intelligence-toepassingen, aantoonbaar middels cv en/of motivatie.Je hebt minimaal 3 jaar aantoonbare ervaring met het ontwerpen en uitwerken van technische data solution-architecturen, met specifieke aandacht voor governance en security, aantoonbaar middels cv en/of motivatie.Je hebt minimaal 2 jaar aantoonbare ervaring met het ontwikkelen van robuuste datapipelines met PySpark en SQL, aantoonbaar middels cv en/of motivatie.WensenJe hebt kennis van en ervaring met backendontwikkeling en SQL/Postgres. Met Django ontwikkel je API’s, implementeer je authenticatie en realiseer je betrouwbare koppelingen met databases, waaronder PostgreSQL.Je hebt kennis van en ervaring met monitoring en MLOps, waaronder monitoring en logging via bijvoorbeeld Application Insights en Databricks Metrics. Ervaring met model lifecycle management is een pré.Je hebt kennis van en ervaring met Microsoft Azure, in het bijzonder Databricks, Storage, Active Directory en Key Vault.Je hebt ervaring met het veilig en compliant beheren van data, inclusief toegangsbeheer, encryptie en privacywetgeving.Je hebt kennis van en ervaring met het bouwen, integreren en beheren van betrouwbare en efficiënte datapipelines en dataplatformen ten behoeve van analyse en rapportage.Je hebt kennis van en ervaring met het inrichten van de Medallion Architectuur (Bronze, Silver, Gold) binnen Databricks.Je hebt kennis van en ervaring met de mogelijkheden van Spark Declarative Pipelines (SDP).Je bent in staat complexe data-architecturen te ontwerpen en implementeren, met focus op schaalbaarheid, security en integratie van cloud- en dataplatformen. Wil je ons een open sollicitatie sturen? Voor iedereen die geen idee heeft wat Hero doet, maar dat wél graag wil weten, hebben wij een speciale website ontwikkeld waarbij wij onze dienstverlening simpel uitleggen: Hero for Dummies