Een netwerk dat massaal fake-accounts plaatste op Facebook heeft AI ingezet om de gebruikersprofielen te genereren. Dit blijkt uit onderzoek van Graphika en the Atlantic Council’s Digital Forensics Research Lab (DFRLab) in opdracht van Facebook. Eerder deze maand haalde Facebook meer dan 900 groepen, accounts en pagina’s offline die waren verbonden met de Epoch Media Group (EMG), vanwege coordinated inauthentic behaviour. Op deze pagina’s ging een advertentiebedrag om van 9 miljoen dollar, met een totaal van 55 miljoen volgers.
Nepgezichten
Facebook schakelde vervolgens Graphika en DFRLab in om de accounts te onderzoeken. Hieruit bleek onder meer dat enkele tientallen profielen gebruik maakten van profielfoto’s die waren gegenereerd met behulp van AI. Volgens de onderzoekers is dit de eerste keer dat ze een dergelijk massaal gebruik van nepgezichten tegenkomen. Ze spreken in het rapport dan ook over een Fake Face Swarm.
Niet geavanceerd
Niet alle activiteiten van EMG waren achter zo geavanceerd, omdat de onderzoekers ok veel profielfoto’s tegenkwamen die van echte accounts werden gekopieerd, soms zonder rekening te houden met het geslacht van de betrokken personen. Het lijkt er dus vooral op dat AI werd gebruikt om zo snel mogelijk zoveel mogelijk profielen te maken.
GAN
De profielfoto’s die wel werden gemaakt door AI komen volgens de onderzoekers voort uit een Generative Adversarial Network (GAN). Hoewel deze technologie zich de afgelopen jaren snel heeft ontwikkeld waren de foto’s toch goed te vinden omdat AI een aantal problemen heeft met het maken van de profielfoto’s. Zo wijzen de onderzoekers erop dat onderdelen die symmetrisch moeten zijn, zoals brillen en oorbellen, dat in de foto’s juist niet zijn., Ook heeft de AI moeite met details in de achtergrond. Los daarvan werden ook bij de AI foto’s mannelijke profielfoto’s bij vrouwen geplaatst en andersom, dus de uiteindelijke uitvoering was ook hier niet heel geavanceerd.
