Onderzoekers van de University of Pennsylvania School of Engineering and Applied Science (Penn Engineering) hebben kritieke beveiligingslekken ontdekt in AI-gestuurde robots. Deze kwetsbaarheden, die eerder onbekend waren, stellen kwaadwillenden in staat om via zogeheten “jailbreaking” technieken de AI-systemen van robots te manipuleren, wat kan leiden tot onveilige situaties.
De studie, gefinancierd door de National Science Foundation en het Army Research Laboratory, maakt deel uit van een breder initiatief van Penn Engineering om veilige inzet van grote taalmodellen (LLM’s) in de robotica te waarborgen.
In het onderzoek, geleid door George Pappas, hoogleraar aan Penn Engineering, hebben de wetenschappers aangetoond dat verschillende AI-gestuurde robots, waaronder de Unitree Go2 (een viervoetige robot), de Clearpath Robotics Jackal (een voertuig met wielen), en de NVIDIA Dolphin LLM (een zelfrijdende simulator), kwetsbaar zijn voor aanvallen die de ingebouwde veiligheidsmaatregelen omzeilen. De onderzoekers gebruikten hun algoritme, genaamd RoboPAIR, om deze beveiligingsmaatregelen te doorbreken. Dit resulteerde in een 100% succespercentage bij het manipuleren van de robots, waarbij bijvoorbeeld het AI-systeem van een zelfrijdende auto zodanig kon worden aangepast dat het gevaarlijk gedrag vertoonde, zoals te hard rijden door zebrapaden.
Penn Engineering heeft de betrokken bedrijven op de hoogte gesteld van deze kwetsbaarheden en werkt samen met hen aan verbeterde test- en validatiemethoden om de veiligheid van hun AI-systemen te waarborgen. Volgens Alexander Robey, de eerste auteur van de studie en postdoctoraal onderzoeker aan Carnegie Mellon University, is het identificeren van deze zwakheden essentieel voor het versterken van de veiligheid van AI-systemen. Robey benadrukt dat het testen van AI op kwetsbaarheden, ook wel “AI red teaming” genoemd, cruciaal is om te voorkomen dat deze systemen in de praktijk onveilig worden.
Vijay Kumar, decaan van Penn Engineering en mede-auteur van de studie, stelt dat het onderzoek aantoont dat een “veiligheid eerst”-benadering noodzakelijk is om verantwoorde innovaties mogelijk te maken. Volgens Kumar moet er een grondige herziening komen van de manier waarop de integratie van AI in fysieke systemen wordt gereguleerd. Het onderzoek biedt een raamwerk voor verificatie en validatie dat ervoor zorgt dat AI-gestuurde robots alleen handelingen uitvoeren die in overeenstemming zijn met sociale normen.
