Een delicate kwestie in de relatie tussen mens en machine is vertrouwen. In hoeverre vertrouwen mensen robots en AI, en wat betekent dat? Dit is iets anders dan het veelbesproken betrouwbare AI, wat meer een functie is van de technologie, tegen een vertrouwen als attitude bij mensen. Rocking Robots sprak hierover met Marisa Tschopp, psychologe en AI-onderzoekster bij het Zwitserse Scip AG.
Het onderzoek van Marisa Tschopp beslaat diverse kanten van AI, maar de afgelopen drie jaar ligt het zwaartepunt van haar onderzoek bij de rol die vertrouwen speelt in relatie tot artificial intelligence. “Daarbij gaat het om verschillende vragen”, legt zij uit: “Wat betekent vertrouwen in relatie tot AI? Er is al veel onderzoek gedaan naar vertrouwen en automatisering, en vertrouwen en technologie. maar we weten niet hoe zich dat vertaalt naar het onderwerp vertrouwen en AI. We proberen nog steeds te achterhalen hoe de bestaande onderzoeksresultaten zich verhouden tot het vertrouwen dat mensen hebben in machines. Dat bekijk ik vanuit verschillende invalshoeken.”
Betekenis
Ze erkent dat ‘vertrouwen’ een woord is dat door iedereen wordt gebruikt, en daarom voor iedereen een andere betekenis kan hebben. “Je hoeft geen academicus te zijn om het woord ‘vertrouwen’ te gebruiken. Het is een alledaags woord. Maar tegelijkertijd is er veel wetenschappelijk onderzoek gedaan naar het verschijnsel ‘vertrouwen’. En zeker als het in marketing wordt gebruikt door technologieleveranciers weten we vaal niet precies wat ermee wordt bedoeld.”
Ze benadrukt daarom dat er een duidelijk verschil is tussen vertrouwen in AI, en het veelbesproken ‘betrouwbare’ (trustworthy) AI. “Dat laatste is bijvoorbeeld waarover gesproken wordt in de EU Guidelines for Trustworthy AI. Dan hebben we het over de eigenschappen van een product, van een technologie. Het vertrouwen dat ik onderzoek is de attitude van mensen ten opzichte van dat product, van die technologie. Dat speelt bij de mens zelf. Hieruit volgt dat het idealiter zo zou moeten zijn dat mensen vertrouwen hebben in technologie die betrouwbaar is.”
Attitude
Samengevat is er dus sprake van een aantal separate maar wel gerelateerde begrippen waarvan het goed is om ze uit elkaar te houden:. “Betrouwbaarheid gaat dus over de eigenschappen van een product of technologie, terwijl vertrouwen een attitude of persoonlijkheidskenmerk is van iemand. In mijn onderzoek, als psycholoog, kijk ik naar de menselijke houding tegenover bijvoorbeeld algoritmes, ik houd me niet bezig met de technische kant van de software.”
Er is wel een relatie met de ethische kant van AI. “Neem bijvoorbeeld de overheid, waar sommige onderzoekers een normatief standpunt innemen. Er zijn academici die zeggen dat niemand AI zou moeten vertrouwen omdat techbedrijven in staat zouden moeten zijn om op een verantwoordelijke manier AI te ontwikkelen. Dat vraagt weer om accountability, dus rekenschap kunnen afleggen over de technologie.”
Paradox
Zij spreekt in dat verband over de trust-transparancy-paradox. “Hoe meer transparant en inzichtelijk je een product maakt, hoe meer je benadrukt dat je technologie moet kunnen vertrouwen. Want je wantrouwt alleen zaken die onbekend zijn. En zodra iets volledig transparant is, is er geen noodzaak om te vertrouwen.”
“Wanneer er iets misgaat, en alles is transparant, dan kun je iemand verantwoordelijk houden. Dan weet je wie wat fout heeft gedaan. Zelf denk ik dat, zelfs als iets volledig transparant is voor experts, het ook volledig transparant is voor de gemiddelde gebruiker. Ik kan het natuurlijk mis hebben, maar daarom doe ik er nu onderzoek naar.”
Control mechanism
Bovenstaande voorbeelden illustreren volgens haar hoeveel rakvlakken de studie van vertrouwen in technologie heeft met andere onderzoeksgebieden, zoals ethiek, technologie-ontwerp, en zaken als wet- en regelgeving. “Er zijn dus veel invalshoeken, en een van de zaken waar ik naar kijk is die relatie tussen vertrouwen en transparantie bij technologie. Bij vertrouwen tussen mensen geldt dat hoe meer je van iemand weet, hoe transparanter iemand is, of hoe transparanter je denkt dat die persoon is. Dan hebben we het als psychologen eigenlijk niet meer over vertrouwen, maar over control. Het is een control mechanism.”
“In culturen waar je veel control mechanisms hebt, zoals vergaande surveillance, is er weinig vertrouwen. Dan spreken we over low trust-cultures. Bij vertrouwen in machnies lijkt het andersom te zijn. Hoe transparanter een machine is, hoe meer vertrouwen we erin hebben. Dat is de stand van zaken van het onderzoek ernaar. Maar er zijn nog steeds veel vragen te beantwoorden. Ik ben er bijvoorbeeld niet zo zeker van in hoeverre dit in praktijk ook zo gaat.”
Coronacrisis
Dit onderzoek is de laatste tijd nog actueler geworden door de coronacrisis. “Ik wil benadrukken dat ik geen technisch expert ben op het gebied van zaken als contact tracing. Wel kan ik mijn persoonlijke visie geven op de manier waarop overheden met technologie omgaan.”
“Wat we in een aantal gevallen zien, bijvoorbeeld bij het snel willen ontwikkelen van apps, is de klassieke Amerikaanse benadering van technologie move fast, break things. Ik ben daarom blij dat veel mensen, waaronder ethici, hiertegen opstaan en erop wijzen dat er op die bestaande manier wetten worden overtreden.”
Gebruik
“We zien wel dat er een groot verschil is tussen democratische en minder democratische landen. Vooral in die laatste categorie is de manier waarop met surveillance wordt omgegaan een groot probleem. Het gevaar is daar dat die technologie gebruikt blijft worden, ook als de huidige crisis voorbij is.”
Voor wat betreft het vertrouwen in technologie raakt dat ook haar onderzoek. “Ik doe onderzoek vanuit de no trust, nu use-hypothese. Wanneer een gebruik een bepaalde technologie niet vertrouwt, maakt hij er geen gebruik van, is het uitgangspunt. En bij de contact tracing apps bijvoorbeeld is een van de belangrijkste voorwaarden dat zoveel mogelijk mensen er gebruik van maken.”
Wicked problem
“Er moet dus voor gezorgd worden dat mensen de apps willen gebruiken. Ze moeten er vertrouwen in krijgen. Dat is wat Prof. Dr. Weibel een wicked problem noemt, eigenlijk is er geen oplossing voor. Om het goed te doen moeten we een multidisciplinaire benadering kiezen, en dat kost tijd. Maar die tijd hebben we juist niet. Voor Zwitserland kan ik wel zeggen dat er door zeer betrouwbare mensen aan de app wordt gewerkt, en hoewel ik geen technisch expert ben en weet wat de risico’s vertrouw ik die mensen.”
En ook hier speelt vertrouwen een rol. “Er zijn veel mensen die heel nadrukkelijk zeggen dat ze technologie als een contact tracing app niet gaan gebruiken. Maar er is niemand die even nadrukkelijk zegt dat hij de app wel gaat gebruiken. Dat mis ik in de discussie.”
Wapensystemen
Een ander onderwerp waar zij zich mee bezig heeft gehouden is de discussie rond autonome wapensystemen, dus de inzet van AI in oorlogvoering. “Daarin ben ik eigenlijk meer een activist”, zegt ze. “Een aantal landen investeert miljoenen aan het inzetten van AI in oorlogvoering. Maar een robot mag nooit kunnen beslissen over het leven van mensen, zonder daadwerkelijke controle door mensen.”
“Hoe meer deze technologie zich ontwikkelt, hoe minder het mogelijk wordt om toezicht te houden op de algoritmen. En zelfs als de technologie helemaal goed zou werken, blijft de ethische vraag of wel het wel willen. Mijn antwoord daarop is nadrukkelijk ‘nee’.”
