Het Nederlandse data- en kenniscentrum voor weer, klimaat en seismologie, het Koninklijk Nederlands Meteorologisch Instituut (KNMI), heeft een nieuwe datastrategie geïmplementeerd met behulp van Amazon Web Services (AWS). Het KNMI levert weersverwachtingen en monitort veranderingen in het klimaat, de luchtkwaliteit en seismische activiteit. Deze diensten zijn van grote invloed op het dagelijks leven van bijna alle burgers, maar onder meer ook in de luchtvaart, de scheepvaart, het verkeer en de landbouw. Beschikbaarheid van de juiste data is hierbij cruciaal.
Overheidsorganisaties over de hele wereld gebruiken de kracht van data om betere beslissingen te nemen door gegevens centraal te stellen in elk besluitvormingsproces. Datagestuurde beslissingen leiden tot effectievere reacties op onverwachte gebeurtenissen. Om dit te bereiken stappen organisaties over van een traditionele datastrategie naar een moderne datastrategie waarbij een datagedreven mindset en proces binnen de organisatie centraal staat.
Als eerste stap heeft het KNMI het KNMI DataLab-team opgericht met als doel een samenwerkingsplatform te creëren tussen datawetenschappers, domeinexperts en externe partners (bijv. dataleveranciers en platformproviders). Via dit platform kunnen zij gezamenlijk data en technologie gebruiken om zakelijke uitdagingen en use cases op te lossen (bijvoorbeeld seismische gebeurtenissen detecteren en classificeren, gladde wegen, mistdetectie). Om de data analytics en artificial intelligence (AI) en machine learning (ML)-strategie en use cases in te zetten, heeft het DataLab-team een interne data science community opgericht met vertegenwoordigers uit de bedrijfsdomeinen en de technologieafdeling.
ML
Om hun big data engineering workload te kunnen uitvoeren en ML-modellen te kunnen trainen en bouwen had het KNMI een cloudprovider nodig die het op- en afschalen ondersteunde op basis van de bedrijfsbehoeften. Speciaal gebouwde analysediensten en data stores die passen bij de verscheidenheid aan gegevens die ze verwerken zonder afbreuk te doen aan de prestaties of de kosten waren hierbij belangrijk.
KNMI DataLab heeft gekozen voor AWS om een minimum viable product (MVP) te maken dat seismologische gebeurtenissen kan detecteren en classificeren, waaronder aardbevingen, akoestische bommen en nucleaire activiteit. Het KNMI gebruikt ML-modellen om deze gebeurtenissen te detecteren en te classificeren met behulp van seismogrammen uit tijdreeksen van seismograafstations in het hele land. Voor de gegevensopslag gebruikt het KNMI Amazon Aurora om de detectie-informatie op te slaan (gestructureerde gegevens) en Amazon S3 om de seismogramgegevens op te slaan (object store). Het KNMI gebruikt AWS Fargate voor de Docker-containers om de ML-modelinferenties uit te voeren.
