Een onderzoeksteam van het Institut de Ciències del Mar (ICM-CSIC) in Barcelona, in partnerschap met het Monterey Bay Aquarium Research Institute (MBARI) in Californië, de Universitat Politècnica de Catalunya (UPC), en de Universitat de Girona (UdG), heeft aangetoond dat ‘reinforcement learning’ kan worden ingezet om onderwaterrobots nauwkeurig zeedieren en objecten te laten volgen.
Dit onderzoek is gepubliceerd in Science Robotics.
Onderwaterrobotis die tot diepten van 4.000 meter duiken spelen een steeds grotere rol in ons begrip van de oceaan. Deze autonome voertuigen leveren waardevolle gegevens op de plaats van meting, die satellietgegevens aanvullen en ons in staat stellen kleinschalige fenomenen te onderzoeken, zoals de opname van CO2 door zeedieren – een sleutelfactor in de regulatie van klimaatverandering.
Dit nieuwe onderzoek toont aan dat ‘reinforcement learning’, een veelgebruikte methode in de robotica, kan worden gebruikt om onderwaterrobots te leren welke acties ze op welk moment moeten ondernemen om een specifiek doel te bereiken. Ivan Masmitjà, de hoofdauteur van de studie, legt uit: “We hebben aangetoond dat het mogelijk is om het pad van een voertuig te optimaliseren om objecten die zich onder water verplaatsen te lokaliseren en volgen.”
Deze doorbraak zal ons begrip van ecologische fenomenen zoals de migratie en beweging van talloze zeedieren aanzienlijk verbeteren. Daarnaast zal de nieuwe technologie het mogelijk maken om andere oceanografische instrumenten in realtime te monitoren via een netwerk van robots, waarbij sommige aan de oppervlakte blijven en de acties van hun collega’s op de zeebodem via satelliet communiceren.
Bij het onderzoek maakten de wetenschappers gebruik van akoestische afstandstechnieken en kunstmatige intelligentie, met name ‘reinforcement learning’, om de beste locaties en dus het optimale traject voor de robot te bepalen.
Voor het trainen van de neurale netwerken werd gebruik gemaakt van de krachtige supercomputer in het Barcelona Supercomputing Center (BSC-CNS). Dit versnelde het aanpassingsproces van de verschillende algoritmen aanzienlijk.
Eenmaal getraind, werden de algoritmen getest op verschillende autonome voertuigen, waaronder de door VICOROB ontwikkelde AUV Sparus II, tijdens een reeks experimentele missies in de haven van Sant Feliu de Guíxols en in Monterey Bay (Californië).
Het team is van plan de algoritmen in de toekomst toe te passen op meer complexe missies, zoals het gebruik van meerdere voertuigen voor het lokaliseren van objecten, het detecteren van thermoclines of het in kaart brengen van algenbloei door middel van multi-platform ‘reinforcement learning’ technieken.
Het onderzoek werd mede mogelijk gemaakt dankzij de prestigieuze European Marie Curie Individual Fellowship die in 2020 werd toegekend aan onderzoeker Ivan Masmitjà, en het BITER-project, gefinancierd door het Spaanse Ministerie van Wetenschap en Innovatie.
Beeld: ICM
