Dr. Dympna O’Sullivan is hoofd onderzoek aan de faculteit Informatica, Digitaal en Data van de Technologische Universiteit Dublin. Ze is gepromoveerd op het gebied van AI, en haar huidige onderzoek richt zich op de manier waarop AI-systemen aansluiten bij menselijke waarden. AI en data science zijn een van de belangrijkste onderzoeksthema’s aan de TU, en het instituut werkt nauw samen met Workday, dat op het EMEA-hoofdkantoor in Dublin aan AI werkt. Rocking Robots sprak met haar over het effect van AI op de samenleving.
“Een van de dingen waarin ik geïnteresseerd ben is mens-computerinteractie met AI”, zegt dr. Dympna O’Sullivan, “En binnen dat vakgebied onderzoek ik ‘Explainable AI’. Er zijn verschillende perspectieven om daar naar te kijken. Eén daarvan is het openen van de zwarte doos en proberen erachter te komen welke neuronen in een diep neuraal netwerk werkelijk bijdragen aan een beslissing.”
“Wat ik probeer te doen is een beeldtaal ontwikkelen om AI uit te leggen. We hebben al een beeldtaal als we met een computer communiceren, zoals pictogrammen, en die zijn we allemaal gewend. Maar nu denk ik dat we een ander soort beeldtaal nodig hebben voor AI om beslissingen uit te leggen.”
Risico
Er zijn veel aspecten die meespelen. “Het eerste is het risiconiveau. Is dit een beslissing over het slimme verwarmingssysteem, of een medisch systeem dat advies geeft aan een arts? Het risiconiveau is daar verschillend. Dan is er de gebruiker en zijn expertiseniveau. Met een systeem met een hoog risico, zoals het klinische systeem, zou je met een beginner te maken kunnen hebben, of een zeer ervaren arts, dus die hebben verschillende soorten uitleg nodig.”
“Dit soort verklaringen valt binnen het domein van de cognitieve wetenschap. Moet het een feitelijke verklaring zijn? Moet dit op casus gebaseerd zijn? Het soort uitleg is erg belangrijk, net als het presentatieformaat. Moet het tekst zijn? Moet het grafisch zijn? Moet het een beeld zijn dat resoneert met gebruikers? Dus wat ik probeer te doen is het creëren van een bibliotheek met ontwerppatronen voor verklaarbare AI.”
“Een belangrijk onderdeel van mijn werk op het gebied van Human-AI-samenwerking is praten met gebruikers en ontdekken of zij de uitleg begrijpen. Een ander onderdeel hiervan is het samenwerken met sociale wetenschappers en psychologen over wat belangrijk is in deze verklaringen: Is het begrijpelijk? Is het vertrouwen? Is het adoptie? Is het veiligheid? We praten veel over vertrouwen in AI-systemen, maar veiligheid in AI-systemen ligt ten grondslag aan vertrouwen.”
Algemeen publiek
Er zal veel discussie zijn over AI bij het grote publiek. “Als je het grote publiek nu naar AI vraagt, zijn de twee meest voorkomende voorbeelden altijd Netflix-aanbevelingen en killer-robots. Maar mensen realiseren zich niet hoeveel beslissingen over hen worden genomen door algoritmen: door banksoftware, door wervingssoftware, door apparaten in je huis. Het publiek krijgt vooral de slechte use cases. En nu gaat ongeveer de helft van de wereldbevolking naar de stembus. Er wordt dus veel nadruk gelegd op desinformatie, generatieve AI, en regelgeving. Maar eigenlijk brengt regelgeving wantrouwen met zich mee. Uiteindelijk leidt regelgeving tot betrouwbaardere AI, maar we moeten dit gesprek voeren voordat mensen verder kunnen komen.”
Generatieve AI is een belangrijk onderdeel van deze discussie. “Generatieve AI heeft ons allemaal verrast. Deze enorm grote taalmodellen zijn de ultieme zwarte dozen. En GPT 4 werd op internet getraind. Dus als je het hebt over het vragen aan ontwikkelaars om trainingsgegevens open te stellen, hoe doe je dat dan als het om het hele internet gaat? Zelfs in de academische gemeenschap waren we verrast door de snelheid waarmee dit vorderde. Dus ik denk dat we echt moeten gaan nadenken over AI-geletterdheid.”
Navigeer door de wereld
“AI-geletterdheid is een cruciale competentie om door de wereld te navigeren. Hoe zorg je ervoor dat burgers AI begrijpen? Er is een verantwoordelijkheid voor de academische wereld, en er is een verantwoordelijkheid voor de overheid om burgers bij te scholen op het gebied van AI. Als je denkt dat een algoritme een beslissing over jou heeft genomen en dat dit verkeerd is, waar ga je dan heen? Het product werd naar buiten geduwd en vastgeschroefd. En nu probeert de regelgeving een inhaalbeweging te maken.”
“Dit is het jaar waarin AI echt de publieke perceptie heeft veroverd. We hebben allemaal AI in onze zak met telefoons die worden aangestuurd door AI, generatieve AI zal ten grondslag liggen aan heel veel functies. In zekere zin democratiseert het technologie. AI is in handen van consumenten om te doen wat zij willen, maar komt ook in handen van slechte actoren. Daar schuilen de gevaren.”
Maatschappij
Ze zegt dat de risico gebaseerde aanpak die de EU hanteert in de AI-Act de juiste is. “De nadruk op grondrechten is heel belangrijk. AI-modellen verbruiken enorme hoeveelheden energie een grote hoeveelheid persoonlijke gegevens, en persoonlijke gegevens kunnen op veel verschillende manieren worden gebruikt. De grote risico’s zijn desinformatie en desinformatie. Dat is destabiliserend voor de samenleving. En het andere grote risico is vooringenomenheid en discriminatie. AI-systemen kunnen om vele redenen bevooroordeeld zijn.”
De les over AI die ze haar leerlingen geeft, is om er voorzichtig mee om te gaan. “Het is zeker een hulpmiddel ten goede. Maar zonder het aanbrengen van de juiste veiligheidsmaatregelen kun je de controle erover snel verliezen. We zouden ethiek in elk curriculum moeten hebben, want een deel van de AI-ethiek is het aanleren van empathie aan studenten. Wie worden de eindgebruikers van het systeem? Denk aan andere gebruikers dan 21-jarige mannen. Denk aan ouderen, denk aan mensen met een beperking, denk aan mensen uit verschillende landen en mensen uit verschillende culturen.”
“Mensen worden uitgesloten omdat ze nooit in de dataset hebben gestaan. Of mensen zijn uitzonderingen in hun eigen groep, en ontwikkelaars verwijderen gewoon die gegevens. AI is te belangrijk om aan de technologiemensen over te laten. We moeten ervoor zorgen dat we de burger erbij betrekken. Daarvoor hebben ze het vocabulaire nodig om de juiste vragen te kunnen stellen, de risico’s en voordelen kunnen begrijpen, zodat de samenleving kan beslissen welke risiconiveaus we bereid zijn te accepteren.”
