Een computer die begrijpt hoe jij je voelt, en op het juiste moment een romantisch of vrolijk deuntje op zet? Dankzij Anna Aljanaki duurt dat misschien niet lang meer. door Edda Heinsman

Hoe leer je een computer een emotie herkennen die opgewekt wordt door muziek? Het is een vraag die Anna Aljanaki al jaren bezighoudt. Ze groeide op in Estland waar ze enthousiast gitaar speelde. 'Ik wilde voor mijn masteronderzoek mijn twee passies combineren: computer science en muziek.' Ze ontdekte het vakgebied van de Musical Information Retrieval (MIR), dat als doel heeft automatisch informatie uit muziek te halen. Haar masteronderzoek behandelde tonaliteit, en dat smaakte naar meer. 'Ik wilde door!', zegt de onderzoekster op vrolijke en toch fluisterende toon. Ze wil niemand storen terwijl ze skypet vanaf haar nieuwe werkplek in Zwitserland, waar ze net is begonnen aan haar postdoc. 'Ik vond deze groep in Utrecht en ik kon er aan de slag.'

Classificering
Om de computer goed te kunnen leren welke emotie bij welk nummer komt kijken, had Aljanaki data nodig. Ze ontwikkelde het spel Emotify (ook te spelen op Facebook). Hierin moet de speler een minuut naar een muziekfragment luisteren, en dan beoordelen welke emoties het oproept. Voor de classificering van de emoties gebruikte ze het GEMS model. Zo'n 2000 mensen speelden het spel, waarbij de spelers vooraf moeten aangeven hoe ze zich voelen. 'Het viel me vooral op dat je stemming zo bepalend is voor hoe je muziek ervaart. Mensen die verdrietig zijn, horen twee keer zo vaak verdriet terug in de muziek als mensen die vrolijk zijn.'

De emoties die je bij een muziekfragment ervaart, hangen dus af van hoe je je voelt. Bovendien verschilt het van persoon tot persoon. Behoorlijk lastig om een computer iets te leren waar we het als mensen niet altijd over eens zijn. 'Het hangt af van de emotie. Sommige emoties zijn eenduidiger te herkennen dan andere. Ook voor een computer. Het is makkelijker te identificeren of een nummer dansbaar, actief en vrolijk is. Plechtig en nostalgisch zijn veel lastiger.' Hoewel Aljanaki's onderzoek is afgerond, blijft het spel beschikbaar. 'Nieuwe data is altijd welkom, niet alleen voor mijn eigen onderzoek maar ook dat van collega's. Hoe meer data, hoe beter de modellen.'

Inzichten
Haar passie voor muziek leverde haar enkele nieuwe inzichten. 'Tijdens een concert zat ik in mijn hoofd de muziek te beschrijven. Toen viel het kwartje: we doen het verkeerd! Je moet de muziek niet proberen continu te beschrijven, maar op zoek gaan naar de grenzen, de overgangen tussen de muziek.' Aljanaki liet mensen de muziek opdelen in stabiele en onstabiele segmenten, om de computer die overgangen te leren herkennen. 'De overgangen bleken vrij eenvoudig te ontdekken, omdat het nummer dan veel verandert. Je hebt bijvoorbeeld een refrein, de muziek zwelt aan en andere instrumenten beginnen te spelen; duidelijk te identificeren. Maar modulatie, een verandering van toonsoort, is veel lastiger te ontdekken.'

Opwinding
Een belangrijk deel van haar proefschrift bestaat uit een grote vergelijkende studie. Aljanaki schreef met collega's een wedstrijd uit waarbij 21 teams hun software emoties in muziek lieten herkennen. Het ging om een continue beschrijving van de nummers, dus van elke seconde de relevante emoties detecteren. 'We wilden weten welke algoritmes het beste werkten. Het bleek dat bij alle software 'opwinding' er bovenuit stak als herkenbare emotie.'

Koor
Aljanaki was in Utrecht lid van het Utrechts Studenten Koor (USKO).  'In Estland kun je als kind naar een door de overheid betaalde muziekschool, gratis toegankelijk voor iedereen. Hier in Nederland moet je privéles nemen. Toch zijn er heel veel mensen die een instrument spelen, en dat ook op hoog niveau. Dat verraste me. Ik vond het echt fijn om te zingen bij het USKO, prachtige liederen van alle grote componisten Mozart, Brahms, Bach. Als ik een stuk goed ken, zoals de intro van de Johannes Passion, raak ik er nog meer door ontroerd.'

Diepere eigenschappen
Wat haar grootste bijdrage aan het muziekemotie-onderzoek is, vindt Aljanaki lastig te zeggen. 'Er is niet één resultaat dat er uit springt. Het is een heel nieuw onderzoeksveld met heel veel openstaande vragen. Ik heb in alle richtingen stappen gemaakt, kleine verbeteringen. Van hieruit weet ik beter hoe we verder moeten.' In Genève werkt Aljanaki door aan het doorgronden van muziek. 'Een van de resultaten van mijn promotieonderzoek is dat computers nog niet goed zijn in het herkennen van bepaalde diepere eigenschappen van muziek, zoals articulatie, ritmische complexiteit en melodieusheid. Wanneer je  die eigenschappen eerst door mensen laat uitzoeken en de computer daarmee voedt, helpt dat heel erg bij het herkennen van emoties. Doel is nu de computer die diepere eigenschappen te leren. Als we dat eenmaal kunnen, zal het ons veld een enorme stap vooruit helpen.'

VIEWW (Virtual worlds for well-being)
Ook dit is een COMMIT/ project

Anna Aljanaki (1987) haalde haar bachelor en master computer science aan de Universiteit Tartu (Estland). In 2012 begon ze aan de Universiteit Utrecht aan haar promotieonderzoek. 19 september 2016 promoveerde ze daar met het proefschrift 'Emotion in music: Representation and computational modeling'. Haar onderzoek werd deels gefinancierd door Commit. Aljanaki werkt nu voor de Universiteit van Geneve.