Onderzoekers hebben een robot ‘chef’ getraind om te kijken en te leren van kookvideo’s, en het gerecht zelf na te maken. De onderzoekers van de Universiteit van Cambridge hebben hun robotchef geprogrammeerd met een ‘kookboek’ van acht eenvoudige salade recepten. Na het bekijken van een video waarin een mens een van de recepten demonstreert, kon de robot identificeren welk recept werd bereid en het zelf maken.
Bovendien hebben de video’s de robot geholpen om stapsgewijs aan zijn kookboek toe te voegen. Aan het einde van het experiment kwam de robot zelf met een negende recept. De resultaten, gerapporteerd in het tijdschrift IEEE Access, tonen aan hoe videomateriaal een waardevolle en rijke bron van gegevens kan zijn voor geautomatiseerde voedselproductie en kunnen gemakkelijkere en goedkopere inzet van robotchefs mogelijk maken.
Robotchefs zijn al tientallen jaren te zien in sciencefiction, maar in werkelijkheid is koken een uitdagend probleem voor een robot. Verschillende commerciële bedrijven hebben prototype robotchefs gebouwd, hoewel geen van deze momenteel commercieel verkrijgbaar zijn en ze ver achterlopen op hun menselijke tegenhangers wat betreft vaardigheid.
Menselijke koks kunnen nieuwe recepten leren door observatie, of dat nu het kijken naar een andere persoon is die kookt of het bekijken van een video op YouTube, maar het programmeren van een robot om een scala aan gerechten te maken is kostbaar en tijdrovend.
“We wilden zien of we een robotchef konden trainen om op dezelfde incrementele manier te leren als mensen – door de ingrediënten te identificeren en hoe ze in het gerecht samenkomen,” zei Grzegorz Sochacki van de afdeling Engineering van Cambridge, de eerste auteur van het artikel.
Sochacki, een promovendus aan de Bio-Inspired Robotics Laboratory van professor Fumiya Iida, en zijn collega’s hebben acht eenvoudige salade recepten bedacht en gefilmd hoe ze deze maakten. Vervolgens gebruikten ze een publiek beschikbaar neuraal netwerk om hun robotchef te trainen. Het neurale netwerk was al geprogrammeerd om verschillende objecten te identificeren, waaronder het fruit en de groenten die in de acht salade recepten werden gebruikt (broccoli, wortel, appel, banaan en sinaasappel).
Met behulp van computervisietechnieken analyseerde de robot elke frame van de video en kon hij de verschillende objecten en kenmerken identificeren, zoals een mes en de ingrediënten, evenals de armen, handen en het gezicht van de menselijke demonstrator. Zowel de recepten als de video’s werden omgezet in vectoren en de robot voerde wiskundige bewerkingen uit op de vectoren om de gelijkenis tussen een demonstratie en een vector te bepalen.
Door de ingrediënten en de handelingen van de menselijke chef correct te identificeren, kon de robot bepalen welk recept werd bereid. De robot kon afleiden dat als de menselijke demonstrator een mes in de ene hand vasthield en een wortel in de andere, de wortel dan werd gehakt.
Van de 16 video’s die hij bekeek, herkende de robot het juiste recept 93% van de tijd, ook al detecteerde hij slechts 83% van de handelingen van de menselijke chef. De robot kon ook detecteren dat kleine variaties in een recept, zoals het maken van een dubbele portie of normale menselijke fouten, variaties waren en geen nieuw recept. De robot herkende ook correct de demonstratie van een nieuwe, negende salade, voegde deze toe aan zijn kookboek en maakte deze.
“Het is verbazingwekkend hoeveel nuance de robot kon waarnemen,” zei Sochacki. “Deze recepten zijn niet complex – het zijn in feite gehakte vruchten en groenten, maar het was echt effectief in het herkennen, bijvoorbeeld, dat twee gehakte appels en twee gehakte wortels hetzelfde recept zijn als drie gehakte appels en drie gehakte wortels.”
De video’s die werden gebruikt om de robotchef te trainen, lijken niet op de voedselvideo’s die sommige sociale media-influencers maken, die vol zitten met snelle cuts en visuele effecten en snel heen en weer bewegen tussen de persoon die het eten bereidt en het gerecht dat ze bereiden. Bijvoorbeeld, de robot zou moeite hebben om een wortel te identificeren als de menselijke demonstrator zijn hand eromheen had gewikkeld – om de wortel te identificeren, moest de menselijke demonstrator de wortel omhoog houden zodat de robot de hele groente kon zien.
“Onze robot is niet geïnteresseerd in de soorten voedselvideo’s die viraal gaan op sociale media – ze zijn simpelweg te moeilijk om te volgen,” zei Sochacki. “Maar naarmate deze robotchefs beter en sneller worden in het herkennen van ingrediënten in voedselvideo’s, kunnen ze misschien sites als YouTube gebruiken om een hele reeks recepten te leren.”
Photo:University of Cambridge
