Onderzoekers van de Carnegie Mellon University hebben een nieuwe maatstaf ontwikkeld om te evalueren hoe goed zelfrijdende auto’s reageren op veranderende wegomstandigheden en verkeer, waardoor het voor het eerst mogelijk is om waarnemingssystemen te vergelijken voor zowel nauwkeurigheid als reactietijd.
Algoritmen
Mengtian Li, een Ph.D. student aan het Robotics Institute van CMU, zei dat academische onderzoekers de neiging hebben om geavanceerde algoritmen te ontwikkelen die gevaren nauwkeurig kunnen identificeren, maar veel rekentijd kunnen vergen. Industrie-ingenieurs geven daarentegen de voorkeur aan eenvoudige, minder nauwkeurige algoritmen die snel zijn en minder berekeningen vergen, zodat het voertuig sneller op gevaren kan reageren.
Zelfrijdende auto’s
Deze afweging is niet alleen een probleem voor zelfrijdende auto’s, maar ook voor elk systeem dat real-time perceptie van een dynamische wereld vereist, zoals autonome drones en augmented reality-systemen. Maar tot nu toe was er geen systematische meting die nauwkeurigheid en latentie in evenwicht houdt – de vertraging tussen het moment waarop een gebeurtenis plaatsvindt en wanneer het waarnemingssysteem die gebeurtenis herkent. Dit gebrek aan een geschikte maatstaf maakte het moeilijk om concurrerende systemen te vergelijken.
Meetmethode
De nieuwe meetmethode, de nauwkeurigheid van streamingperceptie genoemd, is ontwikkeld door Li, samen met Deva Ramanan, universitair hoofddocent bij het Robotics Institute en hoofdwetenschapper bij Argo AI, en Yu-Xiong Wang, assistent-professor aan de Universiteit van Illinois in Urbana-Champaign. Ze presenteerden het vorige maand op de virtuele European Conference on Computer Vision, waar het een eervolle vermelding voor beste papier ontving.
Verwerking
De nauwkeurigheid van streaming-perceptie wordt gemeten door de output van het perceptiesysteem op elk moment te vergelijken met de toestand van de grondwaarheid. “Tegen de tijd dat je klaar bent met het verwerken van de input van sensoren, is de wereld al veranderd”, legt Li uit, erop wijzend dat de auto enige afstand heeft afgelegd terwijl de verwerking plaatsvond.
Streaming
“De mogelijkheid om streaming-perceptie te meten, biedt een nieuw perspectief op bestaande perceptiesystemen”, zei Ramanan. Systemen die goed presteren volgens klassieke prestatiemaatstaven, presteren mogelijk behoorlijk slecht op het gebied van streaming-perceptie. Door dergelijke systemen te optimaliseren met behulp van de nieuw geïntroduceerde statistiek, kunnen ze veel reactiever worden.
Perceptiesysteem
Een van de inzichten uit het onderzoek van het team is dat de oplossing niet noodzakelijk is dat het perceptiesysteem sneller werkt, maar dat er af en toe een goed getimede pauze wordt genomen. Door de verwerking van sommige frames over te slaan, voorkomt u dat het systeem steeds verder achter realtime gebeurtenissen komt te staan, voegde Ramanan eraan toe.
Prognosemethoden
Een ander inzicht is om prognosemethoden toe te voegen aan de perceptieverwerking. Net zoals een slagman in een honkbal zwaait naar waar ze denken dat de bal zal zijn – niet waar het is – kan een voertuig anticiperen op bewegingen van andere voertuigen en voetgangers. De streaming perceptiemetingen van het team toonden aan dat de extra berekening die nodig is om deze voorspellingen te doen, de nauwkeurigheid of latentie niet significant schaadt.
