Artikel top billede

(Foto: Computerworld)

Computeren bliver musikalsk: Nu har computeren følelse for musikken

Den elektroniske hjerne har fået mere følelse for musikkens sjæl, og computeren bliver nu musikalsk. Samtidig er en dansker blevet førende inden for forskningen i algoritmer og musikalske følelser. Målet er en musikalsk søgemaskine.

Af Peter Hyldahl, Alt om Data

Denne artikel er oprindeligt bragt på Alt om Data. Computerworld overtog i november 2022 Alt om Data. Du kan læse mere om overtagelsen her.

Kun otte minutter tager det supercomputeren Lamus at komponere en komplet komposition i klassisk stiI. Computeren, der befinder sig på universitetet i Malaga i Spanien, og som benytter en særlig musiksoftware fra Melomics, indledte sin ”karriere” allerede i 2010.

Her skabte den Opus One, et troværdigt og vellydende stykke musik, som ikke blot er en efterligning af kendte menneskelige komponisters stil, og det blev starten til en lang række efterfølgende computerværker.

Nøjagtigt ét år efter Opus One fulgte kammersuiten Hello World! Denne computerkomposition har så meget sjæl og substans, at værket senere er blevet indspillet af London Symphony Orchestra. Selv klassisk uddannede musikeksperter er blevet ganske overbeviste og har udråbt ”Hello World” til at være ægte musik i fransk tradition fra perioden 1920 til 1930.

Lagerhukommelse på 70 TB

Lamus er konstrueret af computereksperten Francisco Vico og et ingeniørteam fra Malagas universitet. Den er opbygget af 352 AMD-processorer og anvender styresystemet Debian GNU/Linux. Lamus har en ram-hukommelse på 704 GB og en lagerhukommelse på 70 TB. Softwarealgoritmerne genererer først tilfældige temabidder af forskellig længde og arrangerer dem derpå i overensstemmelse med gældende musikalske regler.

Det ligner virkelighedens kompositionsteknik, idet eksempelvis en musikform som en fuga også er skabt over et kort grundtema, der udvikles og udvides gennem kompositionen. På samme måde opbygges også sonater, etuder og suiter mv. efter helt bundne regler.

Forholder sig til den fysiske verden 

Melomics tager desuden hensyn til, hvordan de enkelte stemmer kan spilles på ægte instrumenter af menneskelige musikere. Visse tonemønstre er for eksempel ikke fysisk mulige at spille på violin. Det er noget, som mange menneskelige komponister ofte glemmer. Det kan let forekomme, hvis pianister skriver for strygere eller omvendt, for pianister har også kun ti fingre og kan derfor ikke anslå otte toner med én hånd.

Den professionelle komponistsoftware Melomics fås også i forskellige, lettere versioner blandt andet som apps til mobiltelefoner.

Det er netop sådanne finesser, der har fået mange musikeksperter til at tro på, at det ikke kan være algoritmer, der har skabt musikken, men en erfaren, uddannet musiker. Selve kompositionen klarer Lamus på et minuts tid, men så tager det computeren yderligere omkring 8 minutter at arrangere og omsætte musikken til noder og udskrive et partitur.

En tidligere søstercomputer og forløber for Lamus, Melomics109, kan også komponere, men har slået sig på mere populær slagermusik, så den har ikke opnået samme status. Til gengæld har Lamus’ præstationer høstet så bred anerkendelse fra både musikere og publikum, at man næsten kan sige, at denne computer (og dens specielle musiksoftware) har bestået Turing-testen, hvad musikalitet angår.

Skepsis overfor at computeren er blevet musikalsk 

En del kritikere har anført, at indtil Lamus barsler med musik, der kan sammenlignes med stykker af Mozart og Beethoven, må enhver bevare en sund skepsis over for computerens mulige musikalske evner. Men Francisco Vico mener, at Lamus ikke så meget skal betragtes som komponist som sådan, men snarere som en slags fabrik for musikalske ideer, som levende musikere kan udnytte til inspiration. Derfor har han oprettet et firma, Melomics Media, der udbyder melodier og temastumper fra Lamus’ ”hånd” til to dollar pr. styk. Han har også udviklet forskellige apps, der kan tilpasse disse melodibidder til brugerens behov.

Det får dog igen nogle til at frygte, at Melomics kan gøre rigtige komponister og arrangører arbejdsløse. Ikke mindst professionelle leverandører af filmmusik og musiktemaer til tv og computerspil kan i hvert fald teoretisk nu blive udkonkurreret af et computerprogram, der kan skrive royaltyfri symfonier og musik til en hel spillefilm på otte minutter og ikke behøver løbende andel af indtægterne.

Computeren bliver musikalsk: Emily og Sony er med på vognen

Spanske Lamus er ikke alene om computerkompositioner.

Allerede i 1990’erne udviklede musikprofessoren David Cope fra UC Santa Cruz musikprogrammet “Emily Howell”. Emily er en slags interaktivt interface, der komponerer musik på basis af forskellige temaer, der er skabt af et tidligere musikskriveprogram ved navn ”Experiments in Musical Intelligence” (EMI). Men Cope har udviklet programmet, så det også kan modtage og reagere på feedback fra hjemmesidens besøgende, og det har ført til en egenartet stil. Emily Howells første album ”From Darkness Light” fra 2010 opfattes dog generelt som ret søgt og kontroversielt.

Musikprogrammet Emily Howells første album fra 2010 opfattes i dag som et spændende, men ikke specielt vellykket eksperiment bedømt med musikalske alen.

Brug AI og avanceret algoritmer

Senest har forskere ved Sony CSL Research Lab skabt en række melodier, der er de første, der udelukkende er blevet til med brug af AI (kunstig intelligens). Til formålet har forskerne udviklet programmet FlowMachines, der er et projekt under det franske universitet Pierre et Marie Curie. Der er tale om en avanceret algoritme, som kan producere nye melodilinjer og temaer på basis af en kæmpe LeadSheet-database med 13.000 sangnumre i så forskellige stilarter som jazz, pop og latin.

Disse temaer kan en menneskelig musiker så arrangere og udskrive med melodilinje og becifringer Altså hjulpet af et intelligent program ved navn FlowComposer. FlowComposer. Dette gør det muligt at få udskrevet nodeark (lead-sheets) med forskellig harmonisering i forskellig stilart og dermed få skabt mange variationer af samme melodi.

Moderne musikcomputere kan sagtens omsætte noder til musik. Samlet kan de to programmer vel nærmest betegnes som en hjælper for kreative musikere, der nu kan komponere numre ved blot at vælge en stilart og nummerets længde i minutter.

Endnu et program (Rechord) fra Sony-laboratorierne kan sammenligne de fremkomne leadsheets med bidder af optagelser af andre sangnumre for at se, om dette kan føre til videre udvikling af numrene. Programmet er i stand til at frembringe musikalsk akkompagnement ud fra forløbet af akkordrækker.

Musikprofessoren David Cope skabte allerede I 1990’erne musikprogrammet Emily Howell.

Dansk forsker tilfører følelser 

Men selv om det er forunderligt, at softwarealgoritmer kan producere musik, der skaber følelser og stemningsbilleder, er det måske i virkeligheden et endnu større spørgsmål, hvad det egentlig er ved musik, der udvirker disse sindstilstande. Og før man har fået en bedre forståelse af denne relation, vil computerkompositioner næppe for alvor kunne konkurrere med menneskeskabte kompositioner.

En dansk forsker er ved at undersøge, om man kan sætte musikalske følelser på matematisk formel. Det vil skabe nye muligheder for computerskabt musik, men den danske forsker håber først og fremmest, at hans arbejde vil give mulighed for at udvikle en ny og enestående musiksøgemaskine.

Forskeren hedder Jens Madsen, er civilingeniør og postdoc ved DTU Compute.

I sine studier har Jens Madsen været omkring lyd i kognitiv sammenhæng og beskæftiget sig med matematisk modellering af menneskers følelsesmæssige forhold til musik.”Nu om dage, hvor du har nem adgang til mellem 30 og 40 millioner musiknumre på medier og streaming-tjenester, har du formentlig svært ved at beslutte dig for nøjagtigt, hvad du har lyst til at høre,” siger Jens Madsen ”Tænk hvis der fandtes en søgetjeneste, som du bare kunne bede om at finde noget glad musik, der ville sætte dig i god stemning.”

Det er dog lettere sagt end gjort, for hvad er “glad musik”, og ville “glad musik” også virkelig gøre dig glad, når det kom til stykket? ”Nu er vi jo i en teknisk tidsalder, hvor vi prøver at bruge matematikken til at forstå alting,” forklarer Jens Madsen.
”Det gælder også musik. Desuden synes vi ingeniører jo, at det er spændende at udvikle intelligente løsninger, der automatisk udfører ting, folk enten bruger lang tid på eller slet ikke kan.”

Kan computeren gøre os mennesker mere skabende, spørger Sony og henviser til softwareprogrammet FlowMachines, som den japanske elektronikgigant selv har udviklet.

Jens Madsen spurgte sig selv, hvorfor folk overhovedet lytter til musik.

Alle naturfolk kan lide at lytte til og frembringe musik, så musik må betyde noget særligt for os mennesker og have en funktion, fandt han frem til. Forskning inden for social psykologi viser, at den primære årsag, til at vi lytter til musik, er, at vi ønsker at regulere vores følelser.

Vi bruger ofte ubevidst musik til at bringe os i en bestemt sindsstemning, man føler i forvejen, eller måske musik, der bringer en i en anden og måske mere behagelig stemning. Men hvordan skal man finde sådan en musik, hvis man hverken kender kunstner eller titel?

”Derfor er jeg overbevist om, at var det muligt at udvikle matematiske metoder, der gjorde det muligt at søge musik, der netop matcher dit humør eller kunne bringe dig i en anden ønsket stemning,” siger Jens Madsen.

”Problemet er bare, at vi i bund og grund ved meget lidt om, hvilke elementer i musikken, der påvirker vores følelser eller hvordan.”

Musik på formel

De fleste mennesker kan sagtens blive enige om, at musik kan udtrykke både glæde, tristhed, aggressivitet og lignende følelser. I hvert fald så længe personerne har nogenlunde samme kulturelle baggrund.

”Folk bruger ofte ubevidst musik til at blive glad igen, hvis humøret er dårligt. Eller omvendt til at holde stemningen oppe, hvis humøret er godt,” uddyber Jens Madsen. Men det betyder ikke, at alle også automatisk reagerer ens på et bestemt musikstykke. En glad sang kan måske bringe minder frem om, dengang kæresten slog op, eller erindring om et nært familiemedlems død. ”Derfor kan du ikke sige, at en glad sang automatisk også gør dig glad.”

Hvordan udformer du en algoritme, der kan forudsige, hvilke følelser et givet nummer vil fremkalde hos lytteren?

Når du det hele er lavet på matematik, hvordan kan man lave et program der kan hjælpe dig til at finde netop den type musik, der passer til din sindsstemning her og nu? 

”Du skal finde ud af at sætte både følelser og musik på matematisk formel. Derpå skal du udforme en tese, der fungerer såvel i praksis som rent videnskabeligt. Og så endelig skal du udvikle en algoritme, der både kan forudse, hvilke følelser et givet musiknummer vil fremkalde, og afgøre, om dette nummer også i praksis vil give dig netop de følelser,” pointerer Jens Madsen.

Den amerikanske psykologiprofessor James Russell fra Boston College har udviklet et koordinatsystem til at beskrive følelser. Hver følelse vejes op imod fagbegreberne ”valens” og ”arousal”, der udgør akserne i systemet. Valens illustrerer det attraktive ved en bestemt hændelse eller situation og kan også karakterisere bestemte følelser. Glæde har en høj positiv valens, mens sorg har en negativ valens.

Den næsten skulpturelle computer Lamus, der er opstillet på et universitet i Spanien, hævdes at have bestået Turing-testen: Man kan ikke umiddelbart afgøre, om musikken er skabt af et menneske eller en computer.

Arousal udtrykker mængden af sindsenergi

Den kan dermed karakterisere hele skalaen fra total opstemthed til dyb tristhed og træthed.
”Jeg udvalgte til at begynde med 200 numre, som jeg bad et antal testpersoner om at inddele på en skala fra 1 til 10 alt efter, om numrene efterlod et glad eller trist indtryk.

Det viste sig dog i praksis alt for upræcist og svært. Hvad betyder for eksempel 5 glad? Eller er 6 glad dobbelt så glad som 3 glad?,” spørger Jens Madsen retorisk.

”Samtidig har måden, du spørger på, stor indflydelse på svaret. Du kan derfor ikke bare bruge generelle ord som glad eller trist, for de er simpelt hen for subjektive.”

I stedet bad Jens Madsen personerne om at sammenligne et mindre udsnit af de samme musiknumre to og to og angive, hvilket nummer de oplevede som mest glad eller trist. Det er en fundamental anden tilgang, men det forudsatte til gengæld alt for mange sammenligninger på kryds og tværs.

Så Jens Madsen var nødt til at designe en algoritme, der kunne udvælge de numre, som det ville være mest formålstjenligt at sammenligne. Algoritmen er udformet, så den hele tiden tilpasser sig og ændrer sig med de svar, forsøgspersonerne giver. Der er ikke noget, der er entydigt rigtigt eller forkert.

Dermed kunne Jens Madsen klarlægge, om bestemte musiknumre udtrykte bestemte følelser.

Det er ikke nødvendigvis det samme som, at lytterne også kommer i samme følelsesmæssige stemning. ”Tidligere forskning viser dog, at der er sammenhæng mellem de følelser, musikken udtrykker, og den inducerede følelse – altså om personerne rent faktisk kommer i en stemning, der modsvarer følelsen. Men der er dog overensstemmelse i 70-80 % af tilfældene, ” udtaler Jens Madsen.

Computeren bliver musikalsk: Opdeles i tidsintervaller

Den næste udfordring var også at beskrive selve musikken matematisk, og det opnåede Jens Madsen ved at opdele musikken i en række små tidsintervaller, som han derpå med velkendte teknikker fra digital signalbehandling analyserede for dynamik, klangfarve, tonalitet, rytme og spillestil eller for den sags skyld lydstyrken af de enkelte frekvenser I musikken.

Analysen fastsatte desuden værdier for, hvilken rækkefølge tonerne kommer i, hvordan rytmen i musikken er, om tonearten er dur eller mol og så videre. Alt sammen noget, der har betydning for, hvordan vi synes, at musikken klinger. Jens Madsen var igennem omkring 20.000 musiknumre og fandt frem til hundredvis af parametre, hvormed han objektivt og dermed også matematisk kan beskrive musik.

Psykologi og matematik

Den helt store opgave har imidlertid været at koble det psykologiske koordinatsystem med den matematiske beskrivelse af musikken, og her har Jens Madsen gjort brug af både maskinlæring, kunstig intelligens og kognitive systemer. ”Eksempelvis kan simple parvise parametriske maskinlæringsalgoritmer som GLM (Generalized Linear Model) eller ikke-parametriske Gaussian Process-modeller være udmærkede redskaber i denne forbindelse,” konstaterer Jens Madsen.

Det er bare ikke nok, at en algoritme kan finde glad musik til dig, hvis du vil være glad. Det er jo ikke sikkert, at du bliver glad, fordi modellen spiller et stykke musik, som den mener, vil gøre dig glad. Programmet skal derfor også vide (eller kunne forudse), om du vitterlig bliver glad, og det forudsætter igen, at programmet kender en del af din psyke.

Jens Madsens forskning har indebåret, at han skulle sætte musikalske følelser ind i et koordinatsystem – her illustreret af forskeren selv i forskellige humør-tilstande.

”Lige nu arbejder vi derfor på at monitorere folks reaktioner under lytning til forskellige typer musik”, fortæller Jens Madsen.”Vi måler blodtryk, hudmodstand, hjerterytme og andre fysiologiske tilstande for at undersøge, om et specifikt nummer også fremkalder specifikke forandringer.”

Det vil nemlig kunne danne grundlag for en add-on-algoritme, der kan afgøre, hvordan du opfatter musik og dermed også forudse, hvordan du vil reagere på et givet musiknummer. ”Vi kan naturligvis ikke undersøge hele befolkningen, men vi kan undersøge et antal personer på så mange måder, som vi overhovedet kan finde på,” siger Jens Madsen.

”Det kan jo være, at det er måden, du bruger din mobil på, din stemmeføring eller data fra dit fitness-armbånd, der er af størst betydning for beregningerne. Der er stadig mange ubekendte, og i en vis forstand er der tale om grundforskning.”

Dertil kommer den tradition i videnskabelige kredse, der dikterer, at enhver årsag og virkning også skal kunne både forklares og forstås, og her er det meget svært at gøre rede for, hvorfor musik kan efterlade bestemte følelser i forståelige termer. Du kan godt forklare, at et toneskift fra for eksempel xx Hz til yy Hz efterlader et positivt indtryk, men hvorfor gør det egentlig det?

Tilbud til iTunes og Spotify

I sidste ende håber Jens Madsen at kunne udvikle en matematisk model (en søgealgoritme), der kan finde netop den stemningsmusik, du ønsker ud fra kendskab til både de følelser, musikken fremkalder, og den stemning, musikken aktuelt vækker hos dig. Det vil ikke alene være en fantastisk feature for kommende musiktjenester, at du blot med tryk på en knap kan finde netop den musik, du har brug for at høre.

Man kan også sagtens forestille sig sådan en søgealgortime brugt inden for sundhedssektoren til afstressning, smertelindring osv. Reaktionen på DTU-forskerens matematiske tilgang til musik og følelser har udløst vidt forskellige reaktioner blandt kolleger og også blandt musikere.
”Jeg har oplevet skepsis fra mange sider, men også nysgerrighed,” understreger Jens Madsen. ”Skeptikere mener selvfølgelig ikke, at man kan sætte musik på formler og stiller sig også ret tvivlende over for ideen om at sætte alle de følelser, stemninger og oplevelser, som musik kan formidle, ind i et koordinatsystem.

Men andre finder det interessant, at vi forsker i, hvordan musik kan befordre følelser og associationer.”Musik er nu engang et mangesidet begreb, og derfor vil vi nok næppe kunne udvikle en model, der fungerer for alle på alle tider,” indrømmer Jens Madsen.

Så uanset hvor meget du kan sætte musik på formel, vil der formentlig altid være noget ekstra, du ikke kan sætte på formel. Det er det, man kan kalde musikkens magi, og som computerkomponisterne først nu er ved at tage fat på. 

Her får du mere at vide

Du kan læse mere om Emily Howell og høre ”damens” musik på http://artsites.ucsc.edu/faculty/cope/Emily-howell.htm
Musikstykket i denne video, www.you-tube.com/watch?v=Uq3iKbCNDCM, hedder ”Nasciturus” og er en af de mange kompositioner af ny musik i klassisk stil, der er skabt af computeren Lamus. Hør mere af Lamus-programmet Melomics musik på https://melomics.com.

To af de numre, som programmerne FlowMachines og FlowComposer står bag, hedder ”Daddy’s Car” og ”Mister Shadow”. ”Daddy’s Car” er komponeret i Beatles-stil (www.youtube.com/watch?v=LSHZ_b05W7o), mens musikstilen i ” Mister Shadow” (www.youtube.com/watch?v=lcGYEXJqun8) er typisk ”American songwriter-stil”. Dvs. sange i stil med numre af Cole Porter, George Gershwin og Duke Ellington.

Men for teksten og arrangementet står den såre levende franske komponist Benoît Carré. Sangene stammer fra et helt album med AI-musik, der skal udkomme i 2017. Se mere på www.flow-machines.com.