Onderzoekers van het Massachusetts Institute of Technology (MIT) en Stanford University hebben een nieuwe machine learning techniek ontwikkeld waarmee het besturen van robots, zoals drones en autonome voertuigen, aanzienlijk eenvoudiger wordt. Dit zorgt voor verbeterde prestaties in dynamische omgevingen waarin omstandigheden snel kunnen veranderen.
Met behulp van deze techniek kan bijvoorbeeld een autonoom voertuig leren om te gaan met gladde wegcondities, een robot verschillende objecten in de ruimte verslepen, of een drone een skiër op een heuvel nauwkeurig volgen, ondanks de sterke wind.
Volgens Navid Azizan, universitair docent aan MIT, gaat de techniek verder dan alleen het leren van de dynamiek van het systeem. “We leren ook over de unieke structuren die bijdragen aan effectief beheer en besturing. Dit stelt ons in staat om controllers te creëren die veel beter werken in de praktijk.”
Het innovatieve aspect van deze techniek is dat het meteen een efficiënte controller uit het geleerde model kan extraheren. Dit in tegenstelling tot andere machineleermethoden waarbij een controller afzonderlijk moet worden afgeleid of geleerd. Dit maakt hun aanpak niet alleen eenvoudiger maar ook sneller, omdat het minder gegevens nodig heeft dan andere methoden.
Spencer M. Richards, promovendus aan Stanford University en de hoofdauteur van het onderzoek, legt uit dat hun benadering is geïnspireerd op de manier waarop robotici natuurkunde gebruiken om eenvoudigere modellen voor robots te creëren.
De onderzoekers zijn erin geslaagd om met machine learning een dynamisch model te leren dat nuttig is voor het beheer en de besturing van het systeem. Uit dit model kan direct een controller worden geëxtraheerd, zonder dat er een volledig apart model voor de controller hoeft te worden geleerd.
Bij tests bleek hun controller zeer nauwkeurig de gewenste trajecten te volgen, en overtrof hij alle vergelijkbare methoden. Daarnaast bleek hun methode efficiënt te zijn met data, wat betekent dat het hoge prestaties bereikte, zelfs met weinig gegevens. Dit kan vooral nuttig zijn in situaties waarin een drone of robot snel moet leren in snel veranderende omstandigheden.
Deze aanpak is breed toepasbaar en kan worden gebruikt voor vele soorten dynamische systemen, van robotarmen tot ruimtevaartuigen in omgevingen met lage zwaartekracht. In de toekomst hopen de onderzoekers modellen te ontwikkelen die specifieke informatie over een dynamisch systeem kunnen identificeren, wat kan leiden tot nog beter presterende controllers.
Dit onderzoek, ondersteund door het NASA University Leadership Initiative en de Natural Sciences and Engineering Research Council of Canada, zal worden gepresenteerd op de Internationale Conferentie over Machine Learning (ICML).
