1 C OMPUTACIÓN A VANZADA PARA M ÚSICA POR O RDENADOR POLYPHONIC INSTRUMENT RECOGNITION USING SPECTRAL CLUSTERING 1 ISMIR 2007

2 Pasos a seguir: Descomponer la señal de audio obteniendo las diferentes notas Construir los modelos para 6 instrumentos: piano, oboe, clarinete, trompeta, violín, saxo alto Identificar con que modelo corresponde cada una de las notas Conclusiones POLYPHONIC INSTRUMENT RECOGNITION USING SPECTRAL CLUSTERING CAMO 2

3 1. Descomponer la señal de audio obteniendo las diferentes notas El modelo sinusoidal nos permite representar una señal sinusoidal como la suma de varias sinusoides caracterizadas por frecuencia, amplitud y fase. Segmentamos la señal en k frames de pequeña duración. Hacemos fourier para cada frame e identificamos los máximos locales del espectro. Cada uno de estos máximos locales los denominamos peaks, es decir, una tupla de amplitud, frecuencia y fase. 3 POLYPHONIC INSTRUMENT RECOGNITION USING SPECTRAL CLUSTERING CAMO

4 1. Descomponer la señal de audio obteniendo las diferentes notas Se construye la matriz de peaks(k,a) y le aplicamos [1] “global normalized criterion”, para generar un grafo particionado de forma que agrupamos los peaks más cercanos en clusters. Cada partición es un conjunto de peaks, donde minimizamos la distancia entre los elementos de una misma partición y la maximizamos entre elementos de diferentes particiones. La distancia entre 2 peaks depende de la frecuencia, altura y armonicidad. 4 [1] R.J. MacAulay and T.F. Quantieri, “Speach analysis/sinthesis based on sinusoidal representation” POLYPHONIC INSTRUMENT RECOGNITION USING SPECTRAL CLUSTERING CAMO

5 1. Descomponer la señal de audio obteniendo las diferentes notas 5 Cada uno de los clusters obtenidos se corresponden con una nota diferente teniendo en cuenta la frecuencia, tiempo y amplitud. POLYPHONIC INSTRUMENT RECOGNITION USING SPECTRAL CLUSTERING CAMO

6 2. Construir los modelos para 6 instrumentos: piano, oboe, clarinete, trompeta, violín, saxo alto Se modela cada instrumento como un conjunto de plantillas frecuencia tiempo, donde cada plantilla describe la evolución típica de la envolvente espectral de una nota en el tiempo. El proceso de entrenamiento consiste en: o Ordenar los datos de entrenamiento en una matriz X(g,k) donde g es el índice de la frecuencia y k el índice del frame. o Realizar “spectral basis decomposition” utilizando PCA (Principal Component Analysis). o Obtenemos la descomposición de X = BC donde B (GxG) y C es GxK. o B es la matriz de la nueva base, ordenadas de mayor a menor importancia. o C es la matriz de coeficientes. o Se obtiene un conjunto R < G de los componentes de la base más importantes, de este modo obtenemos una reducción de los datos para una aproximación razonable y una representación basada solo en las formas más representativas del espectro. 6 POLYPHONIC INSTRUMENT RECOGNITION USING SPECTRAL CLUSTERING CAMO

7 POLYPHONIC INSTRUMENT RECOGNITION USING SPECTRAL CLUSTERING CAMO A continuación realizamos la inversa de PCA para obtener el modelo de cada instrumento M i de dimensiones gxk. 2. Construir los modelos para 6 instrumentos: piano, oboe, clarinete, trompeta, violín, saxo alto

8 3. Identificar con que modelo corresponde cada una de las notas Cada uno de los clusters obtenidos en el paso 1 esta representado por un conjunto ordenado de vectores de amplitudes y frecuencias A=(a 1,.., a k ) F=(f 1,.., f k ) de diferentes longitudes L 1.. L k. Para evaluar el Cluster j cogemos cada uno de los i modelos y calculamos M ij = M i *F j Previamente se han normalizamos tanto M i como el cluster j que se van a analizar Obtenemos la distancia euclidea entre M ij y A i. 8 POLYPHONIC INSTRUMENT RECOGNITION USING SPECTRAL CLUSTERING CAMO

9 POLYPHONIC INSTRUMENT RECOGNITION USING SPECTRAL CLUSTERING CAMO Realizamos estos cálculos para un cluster j con cada uno de los M i, y decidimos que el timbre se corresponde con el modelo cuya distancia euclídea sea menor. 3. Identificar con que modelo corresponde cada una de las notas

10 4. Experimentos, 1 nota aislada Para un nota aislada obtenemos un acierto del 83% siendo el clarinete y el violín los instrumentos que muestran más dificultades El conjunto de datos de prueba se construye mezclando notas de piano, oboe, clarinete, trompeta, violín y saxo alto. Los modelos de cada instrumento se construyen obteniendo las notas aisladas de cada instrumento Todas las notas se han obtenido de RWC (BDMusical) Todas las notas están en el rango DO4 – SI4 10 POLYPHONIC INSTRUMENT RECOGNITION USING SPECTRAL CLUSTERING CAMO

11 4. Experimentos, varias notas simultaneas La evaluación de varias notas simultáneas se realiza con medidas de detección y precisión. Para 4 notas simultaneas: 56% de detección y 64 % de precisión En esta ocasión es el piano el instrumento que presenta más dificultades Al aumentar el número de notas el sistema empeora sus resultados 11 POLYPHONIC INSTRUMENT RECOGNITION USING SPECTRAL CLUSTERING CAMO

12 4. Experimentos, detectar timbre y altura en varias notas simultaneas Para ello establecemos la altura de cada cluster. Cogemos las frecuencias de cada cluster y las restamos todas con todas, con las frecuencias obtenidas se hace otro histograma, marcando como f0 la frecuencias más repetida. Para 2 notas se ha obtenido un 67% de acierto Para 3 notas se ha obtenido un 57% de acierto Para 4 notas se ha obtenido un 49% de acierto 12 POLYPHONIC INSTRUMENT RECOGNITION USING SPECTRAL CLUSTERING CAMO

13 5. Discusión En un escenario limitado, los experimentos muestran el potencial del sistema para separar e identificar instrumentos usando modelos tímbricos. Se piensa extender este trabajo hacia el analisis de musica continua, tomando en consideración la segmentacion de las notas, basado en los onsets y la duración. Esto permitira aproximarse a escenarios más realistas. El uso de modelos timbricos como información a priori sera interesante en futuras investigaciones. La extraccion de nuevos descriptores directamente del cluster permitira desarrollar innovadoras aplicaciones para el analisis automatico y procesamiento de musica polifonica. 13 POLYPHONIC INSTRUMENT RECOGNITION USING SPECTRAL CLUSTERING CAMO