Iemands eerdere opvattingen over een kunstmatige intelligentie-agent, zoals een chatbot, hebben volgens een nieuwe studie een aanzienlijk effect op hun interacties met die agent en hun perceptie van de betrouwbaarheid, empathie en effectiviteit ervan.
Onderzoekers van MIT en de Arizona State University ontdekten dat het voorbereiden van gebruikers – door hen te vertellen dat een conversationele AI-agent voor geestelijke gezondheidszorg empathisch, neutraal of manipulatief was – hun perceptie van de chatbot beïnvloedde en vorm gaf aan de manier waarop ze ermee communiceerden, ook al spraken met exact dezelfde chatbot.
De meeste gebruikers aan wie werd verteld dat de AI-agent zorgzaam was, geloofden dat dit zo was, en ze gaven het ook hogere prestatiebeoordelingen dan degenen die geloofden dat het manipulatief was. Tegelijkertijd dacht minder dan de helft van de gebruikers die te horen kregen dat de agent manipulatieve motieven had, dat de chatbot feitelijk kwaadaardig was, wat aangeeft dat mensen misschien op dezelfde manier proberen “het goede” in AI te zien als zij dat bij hun medemensen doen.
Het onderzoek bracht een feedbackloop aan het licht tussen de mentale modellen van gebruikers, of hun perceptie van een AI-agent, en de reacties van die agent. Het sentiment van gesprekken tussen gebruiker en AI werd in de loop van de tijd positiever als de gebruiker geloofde dat de AI empathisch was, terwijl het tegenovergestelde gold voor gebruikers die dachten dat het schandelijk was.
“Uit dit onderzoek zien we dat de AI tot op zekere hoogte de AI van de toeschouwer is”, zegt Pat Pataranutaporn, een afgestudeerde student in de Fluid Interfaces-groep van het MIT Media Lab en co-hoofdauteur van een artikel waarin dit onderzoek wordt beschreven. . “Als we aan gebruikers beschrijven wat een AI-agent is, verandert dit niet alleen hun mentale model, maar ook hun gedrag. En aangezien de AI op de gebruiker reageert, verandert de AI ook als de persoon zijn gedrag verandert.”
Pataranutaporn wordt vergezeld door co-hoofdauteur en mede-MIT-afgestudeerde student Ruby Liu; Ed Finn, universitair hoofddocent bij het Center for Science and Imagination aan de Arizona State University; en senior auteur Pattie Maes, hoogleraar mediatechnologie en hoofd van de Fluid Interfaces-groep bij MIT.
De studie, gepubliceerd in Nature Machine Intelligence, benadrukt het belang van het bestuderen van hoe AI aan de samenleving wordt gepresenteerd, aangezien de media en de populaire cultuur onze mentale modellen sterk beïnvloeden. De auteurs waarschuwen ook voor een waarschuwing, omdat dezelfde soort priming-uitspraken in dit onderzoek zouden kunnen worden gebruikt om mensen te misleiden over de motieven of capaciteiten van een AI.
“Veel mensen beschouwen AI alleen als een technisch probleem, maar het succes van AI is ook een probleem van menselijke factoren. De manier waarop we over AI praten, zelfs de naam die we er in de eerste plaats aan geven, kan een enorme impact hebben op de effectiviteit van deze systemen als je ze aan mensen voorlegt. We moeten meer over deze kwesties nadenken”, zegt Maes.
AI-vriend of vijand?
In dit onderzoek probeerden de onderzoekers vast te stellen hoeveel van de empathie en effectiviteit die mensen zien in AI gebaseerd is op hun subjectieve perceptie en hoeveel op de technologie zelf. Ze wilden ook onderzoeken of je iemands subjectieve perceptie kunt manipuleren met priming.
“De AI is een zwarte doos, dus we hebben de neiging om het te associëren met iets anders dat we kunnen begrijpen. We maken analogieën en metaforen. Maar wat is de juiste metafoor die we kunnen gebruiken om over AI na te denken? Het antwoord is niet eenvoudig”, zegt Pataranutaporn.
Ze ontwierpen een onderzoek waarin mensen ongeveer 30 minuten lang interactie hadden met een gesprekspartner in de geestelijke gezondheidszorg om te bepalen of ze het aan een vriend zouden aanbevelen, en vervolgens de agent en hun ervaringen beoordeelden. De onderzoekers rekruteerden 310 deelnemers en verdeelden ze willekeurig in drie groepen, die elk een voorbereidende verklaring over de AI kregen.
De ene groep kreeg te horen dat de agent geen motieven had, de tweede groep kreeg te horen dat de AI welwillende bedoelingen had en om het welzijn van de gebruiker gaf, en de derde groep kreeg te horen dat de agent kwade bedoelingen had en zou proberen gebruikers te misleiden. Hoewel het een uitdaging was om genoegen te nemen met slechts drie basisprincipes, kozen de onderzoekers uitspraken waarvan zij dachten dat ze pasten bij de meest voorkomende percepties over AI, zegt Liu.
De helft van de deelnemers in elke groep had interactie met een AI-agent op basis van het generatieve taalmodel GPT-3, een krachtig deep-learning model dat mensachtige tekst kan genereren. De andere helft had te maken met een implementatie van de chatbot ELIZA, een minder geavanceerd, op regels gebaseerd programma voor natuurlijke taalverwerking dat in de jaren zestig bij MIT werd ontwikkeld.
Mentale modellen
Uit de resultaten van het onderzoek bleek dat eenvoudige priming-uitspraken het mentale model van een gebruiker van een AI-agent sterk kunnen beïnvloeden, en dat de positieve primers een groter effect hadden. Slechts 44 procent van degenen die een negatieve inleiding kregen, geloofde dit, terwijl 88 procent van degenen in de positieve groep en 79 procent van degenen in de neutrale groep geloofde dat de AI respectievelijk empathisch of neutraal was.
De onderzoekers waren verrast om te zien dat gebruikers de effectiviteit van de chatbots verschillend beoordeelden op basis van de priming-statements. Gebruikers in de positieve groep gaven hun chatbots hogere cijfers voor het geven van advies over geestelijke gezondheid, ondanks het feit dat alle agenten identiek waren.
Interessant genoeg zagen ze ook dat het sentiment van gesprekken veranderde op basis van hoe gebruikers werden voorbereid. Mensen die geloofden dat de AI zorgzaam was, hadden de neiging om er op een positievere manier mee om te gaan, waardoor de reacties van de agent positiever werden. De negatieve priming-verklaringen hadden het tegenovergestelde effect. Deze impact op het sentiment werd versterkt naarmate het gesprek vorderde, voegt Maes toe.
De resultaten van het onderzoek suggereren dat, omdat priming-statements zo’n sterke impact kunnen hebben op het mentale model van een gebruiker, je ze zou kunnen gebruiken om een AI-agent capabeler te laten lijken dan hij is – wat ertoe zou kunnen leiden dat gebruikers te veel vertrouwen in een agent stellen. en onjuist advies opvolgen.
“Misschien moeten we mensen meer aansporen om voorzichtig te zijn en te begrijpen dat AI-agenten kunnen hallucineren en bevooroordeeld zijn. Hoe we over AI-systemen praten, zal uiteindelijk een groot effect hebben op hoe mensen erop reageren”, zegt Maes.
In de toekomst willen de onderzoekers zien hoe AI-gebruikersinteracties zouden worden beïnvloed als de agenten zouden worden ontworpen om bepaalde vooroordelen van gebruikers tegen te gaan. Misschien krijgt iemand met een zeer positieve perceptie van AI bijvoorbeeld een chatbot die neutraal of zelfs licht negatief reageert, zodat het gesprek evenwichtiger blijft.
Ze willen wat ze hebben geleerd ook gebruiken om bepaalde AI-toepassingen te verbeteren, zoals behandelingen in de geestelijke gezondheidszorg, waarbij het voor de gebruiker nuttig zou kunnen zijn om te geloven dat een AI empathisch is. Daarnaast willen ze een onderzoek op langere termijn uitvoeren om te zien hoe het mentale model van een gebruiker van een AI-agent in de loop van de tijd verandert.
