Van Beats naar Data: AI inzetten om hits te voorspellen

Van Beats naar Data: AI inzetten om hits te voorspellen

Achtergrond en Motivatie

Hoewel de manier waarop we muziek waarderen fundamenteel onveranderd is gebleven, bestaat er een onderliggende mate van kwantificeerbaarheid in zowel het maken als het ontvangen ervan. Grote platenlabels vertrouwen al lange tijd op een kwalitatief begrip — een formule die wijst op meetbare patronen en eigenschappen die inherent zijn aan populaire muziek. Wij benutten AI om dieper in deze kwantificeerbaarheid te duiken, met als doel inzichten te onthullen die verder gaan dan de huidige kennis.

Onze aanpak beoogt geavanceerde muzikale analyse toegankelijk te maken voor iedereen — van grote labels tot onafhankelijke artiesten. Dit maakt niet alleen het speelveld gelijker, maar opent ook nieuwe wegen voor creatieve experimentatie en innovatie in muziek.

Overzicht van de Applicatie

De tool die we hebben ontwikkeld, biedt een gestroomlijnde omgeving waarin zowel labels als onafhankelijke artiesten profielen kunnen aanmaken, hun tracks kunnen uploaden en toegang krijgen tot uitgebreide analyses. Zodra een track is geüpload, evalueert ons systeem de muzikale eigenschappen om inzichten te geven over het hitpotentieel en gericht feedback te bieden om de aantrekkingskracht te vergroten.

Gebruikers kunnen gedetailleerde analyses bekijken over verschillende aspecten van hun muziek, de kans op succes inschatten en zelfs deelnemen aan wedstrijden voor prijzen. Naast analytics is onze visie om een alles-in-één bestemming te bieden waar makers hun werk kunnen presenteren, erkenning kunnen krijgen en in contact kunnen komen met een levendige community. Tegelijkertijd dient het platform als een hub voor muziekliefhebbers om nieuwe tracks te ontdekken.

Van Muziek naar Getallen

Onze aanpak richt zich op het omzetten van ruwe muzikale audio in bruikbare numerieke inzichten. De AI-tool vertaalt de audio naar een numerieke representatie die de onderliggende patronen en structuren onthult — het startpunt voor het toepassen van deep learning-technieken.

Convolutionele neurale netwerken (CNN’s) zijn bijzonder geschikt voor deze taak. Ze excelleren in het verwerken van gegevens met rasterachtige structuren — zoals spectrogrammen die worden afgeleid van audiosignalen — en maken het mogelijk om lokale patronen en hiërarchische kenmerken vast te leggen die cruciaal zijn voor het begrijpen van muzikale eigenschappen.

We experimenteerden met CNN’s van verschillende groottes, getraind op bekende open source datasets om verschillende audiofeatures te voorspellen die volgens eerder onderzoek en een eerste analyse essentieel waren voor onze toepassing. Het begrip van het model, opgebouwd uit de grote verzameling liedjes waarop het is getraind, stelt het in staat om patronen in muzieksegmenten als getallen te zien en muziek zo te representeren als numerieke data. Deze representatie, mits goed verwerkt, stelt ons in staat om een muziekstuk te kwantificeren op basis van diverse audiofeatures.

Audiofeatures die We Extraheren

Op basis van de numerieke representaties die onze CNN-modellen opleveren, kwantificeren we een muziekstuk verder aan de hand van een set goed gedefinieerde audiofeatures. In deze context zijn “audiofeatures” meetbare eigenschappen die de ritmische, timbrale en emotionele dimensies van een nummer vastleggen. Deze kwantificeringen vertalen subjectieve muzikale kwaliteiten naar objectieve data, waarmee we tracks kunnen vergelijken en hun potentiële succes kunnen voorspellen.

Gebaseerd op ons onderzoek en initiële analyses hebben we vier kernfeatures geïdentificeerd die niet alleen de essentie van een compositie vatten, maar ook als betrouwbare voorspellers dienen in ons AI-voorspelling model:

• Dansbaarheid: Kwantificeert de ritmische stabiliteit en groove, en geeft aan hoe goed een track uitnodigt tot beweging.
• Akoestiek: Meet de kans dat een track akoestisch is, en maakt onderscheid tussen elektronische productie en traditionele instrumenten.
• Valentie: Vertegenwoordigt de muzikale ‘positiviteit’ en geeft de emotionele toon van het nummer weer.
• Instrumentaliteit: Beoordeelt de aanwezigheid of afwezigheid van zang en bepaalt of een track meer instrumentaal van aard is.
• Energie: Meet de intensiteit en het dynamisch bereik van een track, wat de kracht en aandrijving ervan weerspiegelt.
• Tempo: Meet het tempo of de snelheid van een track, uitgedrukt in beats per minuut (BPM), dat de ritmische sfeer sterk beïnvloedt.
  

Deze features bieden een allesomvattend kader om muziek te analyseren — we zetten klanken om in getallen die patronen en aantrekkingskracht blootleggen.

Model Evaluatie voor AI-voorspelling

Het waarborgen van betrouwbare voorspellingen van audiofeatures is cruciaal voor het succes van ons systeem. Voor de evaluatie gebruikten we een open source dataset van Spotify die dezelfde audiofeatures bevat — dansbaarheid, akoestiek, valentie en instrumentaliteit — van tracks die het afgelopen jaar in de hitlijsten stonden. Deze dataset is een robuuste benchmark, omdat het muziek betreft die al bewezen populair is.

Onze evaluatie omvat het vergelijken van de voorspelde featurewaarden van onze modellen met de waarden in de Spotify-dataset. Wanneer onze voorspellingen nauw aansluiten bij deze waarden, is dat een indicatie dat onze modellen de bedoelde muzikale eigenschappen correct vastleggen. Bovendien, omdat we meerdere modellen gebruiken — elk getraind op andere open source datasets voor individuele features — vergelijken we hun uitkomsten ook met elkaar. De onderstaande grafiek toont een subset van de root mean square errors (RMSE) van de evaluaties. Over het algemeen wijzen de lage RMSE-waarden op een sterke overeenkomst tussen onze modellen en de benchmarkgegevens, wat onze aanpak valideert.

AI-voorspelling met Machine Learning

Een van de grootste uitdagingen bij het voorspellen van hits is het verkrijgen van actuele, legaal toegestane data. Omdat hedendaagse hits zelden open source zijn, gebruiken we een zorgvuldig samengestelde en beperkte selectie gekochte nummers om legaal gebruik te waarborgen. Onze trainingsdata voor hitvoorspelling is per genre samengesteld, aangezien onze analyse liet zien dat de succesfactoren sterk variëren per muziekstijl. Zo blijkt dansbaarheid bijvoorbeeld een belangrijke indicator in elektronische muziek, terwijl popmuziek eerder leunt op valentie.

Hoewel eerdere onderzoeken rapporteren dat hitmodellen tot 90% accuraatheid behalen, is dat vaak omdat ze de naam van de artiest en eerdere successen meenemen als voorspellers. Dat introduceert een duidelijke bias: nummers van bekende artiesten worden eerder als ‘hit’ geclassificeerd, ongeacht de muzikale inhoud. Ons model sluit deze populariteitsinformatie bewust uit en focust uitsluitend op de muzikale content.

Gezien de beperkte hoeveelheid data kozen we voor een eenvoudiger en interpreteerbaar model in plaats van een complex deep learning model dat grote datasets vereist. We hebben uitgebreide data-analyse en preprocessing toegepast om de onderliggende verbanden duidelijker te maken voor het model. Zo ontdekten we dat het opnemen van kenmerken zoals entropy — een maat voor hoe de compositie van een nummer zich over tijd ontwikkelt — onze voorspellingen aanzienlijk verbeterde. Deze strategie stelt ons in staat om de essentiële muzikale factoren te vangen die hits bepalen, terwijl we de risico’s van dataschaarste en bias minimaliseren. Met voldoende preprocessing presteerde een simpel regressiemodel verrassend goed.

Onze resultaten zijn afgezet tegen eerdere methoden. Wanneer populariteit van de artiest wordt meegenomen, kan de nauwkeurigheid oplopen tot 90%, maar dat gaat ten koste van eerlijkheid: het bevoordeelt gevestigde namen. Door populariteit volledig uit te sluiten, zakt de accuraatheid tot 60% — een weerspiegeling van hoe moeilijk het is om hits puur op basis van audiodata te voorspellen.

Onze methode sluit populariteit ook uit, maar past geavanceerde feature engineering en verfijnde drempelwaarden toe. Dit levert een gebalanceerde 75% accuraatheid op — een model zonder bias, maar met robuuste voorspellingen.

Evaluatie en Resultaat

Onze aanpak maakt gebruik van regressiemodellen die een continue waarschijnlijkheid genereren van hoe waarschijnlijk het is dat een nummer een hit wordt. Om deze kansen om te zetten in een duidelijke binaire classificatie — hit of geen hit — hebben we een ROC-curveanalyse uitgevoerd. Deze analyse hielp ons een optimale drempelwaarde te bepalen: nummers met een voorspelde kans onder de 0,6 classificeren we als “geen hit,” en alles daarboven als een potentiële hit.

Conclusie

Ons werk toont aan hoe AI-gedreven analyse ruwe audio kan omzetten in betekenisvolle inzichten, waarmee zowel labels als onafhankelijke artiesten actiegerichte feedback krijgen over het potentiële succes van hun muziek. Door te focussen op de intrinsieke kwaliteiten van een track — en niet op de populariteit van de maker — streven we naar een eerlijker speelveld voor alle muzikanten.

Onze aanpak is uitbreidbaar naar meerdere genres en kan verder verfijnd worden met grotere, diverse datasets om de voorspellende nauwkeurigheid te verbeteren. Technieken zoals transfer learning, domeinaanpassing en real-time analyse kunnen de precisie en toepasbaarheid van het systeem vergroten. Naarmate AI verder doordringt in de muziekindustrie, zal het niet alleen helpen bij het ontdekken van nieuw talent, maar ook artiesten in staat stellen om beter geïnformeerde creatieve keuzes te maken.

Uiteindelijk zien we een toekomst voor ons waarin geavanceerde analytics en machine learning fungeren als katalysator voor artistieke groei — en waarin elk muzikaal talent de tools krijgt om te stralen, op basis van de kracht van hun werk.