Het Amerikaanse leger heeft een nieuwe stap gezet in de communicatie tussen mens en machine met een nieuw dialoogsysteem. Onderzoekers van het US Army Combat Capabilities Development Command’s Army Research Laboratory hebben, in samenwerking met het Institute of Creative Technologies van de University of Southern California, de Joint Understanding and Dialogue Interface of JUDI ontwikkeld voor gespreksinteractie tussen soldaten en autonome systemen.
Dialoog is voor mensen de meest natuurlijke manier om te communiceren met autonome systemen. Volfgens onderzoekers van het Amerikaanse leger zal de mogelijkheid via spraak te communiceren met machines de samenwerking tussen militairen en robots aanzienlijk verbeteren.
Verbale besturing
Het Institute for Creative Technologies (ICT) is een door het Amerikaanse Ministerie van Defensie (DOD) gesponsord University Affiliated Research Center (UARC), dat samenwerkt met DOD-services en -organisaties. ICT brengt onder meer mensen uit de film- en game-industrie samen met computer- en sociale wetenschappers om media te ontwikkelen voor bijvoorbeeld militaire training. Dit ondersteunt onder meer de Next Generation Combat Vehicle Army Modernization Priority en het Army Priority Research Area for Autonomy dat ernaar streeft soldaten beter te laten samenwerken met autonome systemen, onder meer door verbale besturing en controle van systemen.
Dialoog
“Dialoog zal cruciaal zijn voor autonome systemen die in meerdere echelons van multi-domein operaties opereren, zodat soldaten over land, lucht, zee en informatieruimten hun omgevingsbewustzijn op het slagveld kunnen behouden”, zegt dr. Matthew Marge, een onderzoekwetenschapper bij de laboratorium. “Deze technologie stelt een soldaat in staat om te communiceren met autonome systemen door bidirectionele spraak en dialoog in tactische operaties waarbij verbale taakinstructies kunnen worden gebruikt voor het besturen en besturen van een mobiele robot.”
Statusupdates
“De technologie geeft op zijn beurt de robot de mogelijkheid om opheldering te vragen of statusupdates te geven wanneer taken zijn voltooid. In plaats van te vertrouwen op vooraf gespecificeerde en mogelijk verouderde informatie over een missie, stelt dialoog deze systemen in staat hun begrip van de wereld aan te vullen door te praten met menselijke teamgenoten. ”
Intentie
In deze innovatieve benadering is dialoogverwerking gebaseerd op een statistische classificatiemethode die de intentie van een soldaat interpreteert vanuit gesproken taal. De classificator is getraind in een kleine dataset van de dialoog tussen mens en robot, waarbij menselijke onderzoekers de initiële fasen van het onderzoek voor de autonomie van de robot opleverden. De software die is ontwikkeld als onderdeel van de samenwerking met USC ICT maakt gebruik van technologieën die zijn ontwikkeld in de Virtual Human Toolkit van het instituut.
Leercurve
“Het vermogen van JUDI om gebruik te maken van natuurlijke taal zal de leercurve verminderen voor soldaten die robots moeten besturen of ermee moeten samenwerken, waarvan sommige verschillende mogelijkheden kunnen hebben voor een missie, zoals scouting of levering van benodigdheden,” zei Marge. Het doel, zei hij, is om het paradigma van soldaat-robot-interactie te verschuiven van de huidige heads-down, hands-full joystick-bediening van robots naar een heads-up, hands-free interactie waarbij een soldaat kan samenwerken met een of meer robots met behoud van situationeel bewustzijn van hun omgeving.
Onderscheid met Siri en Alexa
Volgens de onderzoekers onderscheidt JUDI zich van huidig soortgelijk onderzoek in de commerciële sfeer. “De commerciële industrie heeft zich grotendeels gericht op intelligente persoonlijke assistenten zoals Siri en Alexa – systemen die feitelijke kennis kunnen ophalen en gespecialiseerde taken kunnen uitvoeren, zoals het instellen van herinneringen, maar niet redeneren over de directe fysieke omgeving,” zei Marge. “Deze systemen vertrouwen ook op cloudconnectiviteit en grote, gelabelde datasets om te leren hoe ze taken moeten uitvoeren.”
Fysieke wereld
JUDI daarentegen ontworpen voor taken in de fysieke wereld, waar gegevens schaars zijn omdat het eerdere interactie tussen mens en robot vereist en er weinig tot geen betrouwbare cloudconnectiviteit is. Huidige intelligente persoonlijke assistenten kunnen vertrouwen op duizenden trainingsvoorbeelden, terwijl JUDI kan worden aangepast aan een taak met slechts honderden, een orde van grootte kleiner.
Autonome systemen
Bovendien, zei hij, is JUDI een dialoogsysteem dat is aangepast aan autonome systemen zoals robots, waardoor het toegang heeft tot meerdere contextbronnen, zoals Soldier-spraak en het waarnemingssysteem van de robot, om te helpen bij gezamenlijke besluitvorming. JUDI zal worden geïntegreerd in de CCDC ARL Autonomy Stack, een suite van software-algoritmen, bibliotheken en softwarecomponenten die specifieke functies uitvoeren zoals navigatie, planning, perceptie, controle en redenering, die is ontwikkeld in de Robotics Collaborative Technology Alliance.
Doel
“Ons uiteindelijke doel is om soldaten in staat te stellen gemakkelijker met autonome systemen samen te werken, zodat ze missies effectiever en veiliger kunnen voltooien, vooral in scenario’s als verkenning en zoeken en redden”, zei Marge. “Het is mooi dat soldaten meer toegankelijke interfaces kunnen hebben met autonome systemen die kunnen schalen en zich gemakkelijk kunnen aanpassen aan missiecontexten.”
Beeld: US Army
