Nu het Eurovisie songfestival afgelast is vanwege de corona-pandemie, is het des te mooier dat er al een digitale tegenhanger in de planning stond, georganiseerd door de VPRO, NPO Innovatie en NPO 3FM. In dit ‘AI-songfestival’ strijden 13 teams uit Europa en Australië met hun door AI gegenereerde liedjes. Utrechtse informatici Anja Volk en Iris Ren zitten samen met rapper Willie Wartaal, wetenschappers van de Universiteit van Amsterdam en VPRO Medialab in een van de Nederlandse teams, genaamd ‘Can AI Kick It’.
Anja Volk en Iris Ren werken op het snijvlak van muziek en informatica. De onderzoekers trainen deep learning-modellen om muziek in een bepaalde stijl te genereren. “Muziek genereren met AI is een heel interessante uitdaging die ons veel leert over creativiteit”, legt Volk uit. “Maar hoe je de resultaten goed kunt evalueren is iets waar we nog steeds niet helemaal uit zijn. Daarom zijn we zo enthousiast over deze wedstrijd.”
De VPRO volgde het Nederlandse team tijdens het schrijven en opnemen van hun inzending, en produceerde een vijfdelige webserie voor het YouTube-kanaal van 3FM. De webserie, die gisteren in première ging, verkent verschillende aspecten van AI om vragen te beantwoorden als: welke ingrediënten zijn er nodig voor het componeren van de ultieme hit? Hoe kan een computer zelfstandig een pakkende melodie genereren? En hoe schrijft een computer een goede songtekst?
Hoe werkt dat nou, een computer als componist? “We zijn nog niet op het punt dat we een machine hebben die met één druk op de knop een compleet nummer componeert”, legt Anja Volk uit. “Voor deze wedstrijd zijn we begonnen met verschillende bouwstenen voor het nummer: deep learning-modellen voor het genereren van melodieën, baslijnen en teksten, een kit met AI-gegenereerde drumbeats, en een gesynthetiseerde stem van Willie Wartaal.”
Samen met een groep Masterstudenten werkten de Utrechtse onderzoekers vooral aan de melodieën. “Van de organisatie kregen we een dataset van 250 Eurovisie-nummers. Dat lijkt veel, maar voor een AI is dat lang niet genoeg. We hebben dus ook een paar duizend Nederlandse volksliedjes aan de trainingsset toegevoegd.”
Iris Ren vertelt: “Vervolgens moesten we uit alle verschillende bouwstenen de ingrediënten voor het uiteindelijke nummer selecteren. Dat was een ingewikkeld proces, er zijn zoveel relaties tussen de verschillende onderdelen van een stuk muziek.” Om een voorselectie van de resultaten te maken, selecteerde een ‘catchiness analyser’ de vijf à tien beste resultaten voor elke bouwsteen. Vervolgens kwam het team bij elkaar om naar de selectie te luisteren en een keuze te maken. “Als uitvoerend artiest was Willie Wartaal de eerste criticus van de AI-gegenereerde onderdelen. Hij stelde voor om allereerst de melodie en de baslijn te selecteren. Uiteindelijk hebben we als team alles bij elkaar gebracht.”
“Dat vond ik zelf het interessantste deel van het proces,” zegt Volk, “met elkaar aan tafel zitten, de AI-gegenereerde onderdelen beluisteren en de reacties van Willie Wartaal horen.” Ren stemt in: “Hij had heel duidelijke ideeën over wat er goed bij elkaar zou kunnen passen. En we kwamen een paar onverwachte dingen tegen. Zo verwachtte hij bijvoorbeeld regelmatige blokken, eigenlijk samples van twee of vier maten, om mee te spelen. Veel van onze resultaten waren interessant, maar misten die structuur.” Volk voegt toe: “Meestal beginnen we met het maken van een melodie, maar het eerste wat hij nodig had was een goede baslijn.”
Net als bij het echte songfestival bestaat de score uit twee delen: publieksstemmen en een score van de ‘vakjury’, een panel van AI-experts. De vakjury baseert zijn oordeel deels op procesdocumenten waarin de teams beschrijven hoe de nummers zijn opgebouwd, welke delen door AI gegenereerd zijn en wat de menselijke inbreng was. Het publiek kan de liedjes beluisteren op de website van de VPRO en tot 10 mei een stem uitbrengen. De winnaar wordt op 12 mei bekend gemaakt.
“Uiteindelijk is winnen voor ons niet het belangrijkste”, zegt Volk. “Op deze manier te werk gaan, met een menselijke artiest in the loop, was al heel waardevol. We hebben veel geleerd van de samenwerking met Willie Wartaal. En daarnaast hopen we vooral dat het veel discussie oproept over AI en muziek.
