Een van de problemen in drone swarms is coördinatie van de onderlinge samenwerking. Met name de snelheid waarmee drones reageren op veranderende situaties en daarvan leren kan hoger. Daarom werkt het Amerikaanse leger aan het verbeteren en versnellen van reinforcement learning in swarms.
Een swarm is een verzameling van meerdere autonome systemen die samenwerken als één samenhangende eenheid, door hun acties actief te coördineren. Onderzoekers van het Amerikaanse leger verwachten dat in toekomstige confrontaties zwermen van dynamisch gekoppelde, gecoördineerde heterogene mobiele platforms gebruikt zullen worden om de vijandelijk aan te vallen. Het leger werkt dus hard aan swarm-technologie om tijdrovende of gevaarlijke taken uit te kunnen voeren.
Complexiteit
Reinforcement learning is een manier om drones beter te laten samenwerken, maar met de huidige stand van technologie werkt dat alleen gecentraliseerd. Dit wil zeggen dat de informatie van de hele zwerm bij één centrale drone wordt gebundeld. Dit verhoogt drastisch de complexiteit en communicatie-eisen, wat weer resulteert in een langere leertijd.
Leerprobleem
Om dit probleem op te lossen heeft dr. Jemin George van het Army Research Laboratory van het Amerikaanse leger Combat Capabilities Development Command in samenwerking met prof. Aranya Chakrabortty van de North Carolina State University en prof. He Bai van de Oklahoma State University een onderzoeksprogramma opgezet om het grootschalige leerprobleem met meerdere agents aan te pakken. Het belangrijkste doel is om een theoretische basis te ontwikkelen voor datagestuurde optimale controle voor grootschalige swarm-netwerken, waar controleacties zullen worden ondernomen op basis van laag-dimensionale meetgegevens in plaats van dynamische modellen.
Hiërarchie
De huidige benadering heet Hierarchical Reinforcement Learning, of HRL, en het splitst het globale controledoel op in meerdere hiërarchieën – namelijk meervoudige microscopische controle op groepsniveau en een macroscopische controle op swarmniveau. “Elke hiërarchie heeft zijn eigen leerlus met respectieve lokale en globale beloningsfuncties”, zei George. “We waren in staat om de leertijd aanzienlijk te verkorten door deze leerlussen parallel uit te voeren.”
Missies
Experimenten hebben laten zien dat HRL in vergelijking met een gecentraliseerde aanpak de leertijd met 80% kon verminderen en het optimaliteitsverlies tot 5% kon beperken. “Onze huidige HRL-inspanningen zullen ons in staat stellen om controlebeleid te ontwikkelen voor zwermen onbemande lucht- en grondvoertuigen, zodat ze optimaal verschillende missies kunnen volbrengen, ook al is de individuele dynamiek van de drones in de swarm onbekend,” zei George.
