Pendengaran manusia dapat dengan mudah membedakan “mood” dari musik-musik yang mereka dengar. Entah itu musik-musik keras, tenang, atau galau. Tapi, mesin tidak bisa semudah itu membedakannya.

Untuk melakukannya, para peneliti dari Deezer akhirnya mengembangkan sebuah sistem AI yang dapat mendeteksi mood dari musik-musik yang ada. Jurnal proyek ini diterbitkan melalui Arxiv.org dengan judul “MUSIC MOOD DETECTION BASED ON AUDIO AND LYRICS WITH DEEP NEURAL NET.”

Deezer sendiri adalah layanan streaming musik, berbasis internet. sama seperti Spotify atau Joox, Deezer menyediakan banyak database musik yang dapat diakses tanpa batas baik secara gratis ataupun berbayar.

Foto : triksngegame.blogspot.com

Untuk menentukan mood pada suatu musik, tim peneliti memanfaatkan sinyal audio dan lirik. Pertama, mereka memasukkan sinyal audio ke dalam neural network, bersama dengan model rekonstruksi konteks bahasa. Kemudian, untuk mengajari mesin cara menentukan mood dari musik, mereka menggunakan Million Song Dataset (MSD), yang merupakan kumpulan dari jutaan metadata musik-musik zaman sekarang.

Lebih tepatnya, mereka menggunakan Last.fm’s dataset, yang sudah diberi lebih dari 500 ribu penanda. Penanda-penanda ini berhubungan dengan mood, dan lebih dari 14 ribu kata yang masing-masing diberi rating untuk seberapa positif atau negatif, dan seberapa tenang atau energik-nya kata-kata tersebut.

Foto : towardsdatascience.com

MSD tersebut hanya berisi metadata dari musik-musik, bukan musik itu sendiri, jadi para peneliti memasangkan informasi yang ada dengan katalog menggunakan judul musik, nama-nama penyanyi, dan judul album. Sekitar 60 persen dari data (18.644 track) digunakan untuk melatih AI tersebut, sisanya digunakan untuk validasi dan tes lebih jauh.

Pada akhirnya, para peneliti menyimpulkan bahwa AI bisa mendeteksi musik tenang atau energik lebih baik dibandingkan pendekatan tanpa menggunakan AI.

Para peneliti percaya bahwa proyek mereka bisa menjelaskan bagaimana musik, lirik, dan mood bisa saling berhubungan

Pada jurnal mereka, dikatakan bahwa agar lebih dapat meningkatkan hasil penelitian, sebuah database dengan lirik dan audio yang syncron akan sangat membantu penelitian ini kedepannya. Para peneliti percaya bahwa proyek mereka bisa menjelaskan bagaimana musik, lirik, dan mood bisa saling berhubungan, serta memungkinkan untuk membuat sistem deep learning yang dapat menyortir data tanpa label dengan volume tinggi.

Kelak, teori machine learning ini mungkin dapat digunakan untuk secara otomatis memilih musik-musik yang sesuai dengan mood penggunanya.

LEAVE A REPLY