Análisis tonal asistido por ordenador Plácido Román Illescas Casanova Universitat d´Alacant Universidad de Alicante Departament de Llenguatges i Sistemes.

Presentación del tema: "Análisis tonal asistido por ordenador Plácido Román Illescas Casanova Universitat d´Alacant Universidad de Alicante Departament de Llenguatges i Sistemes."— Transcripción de la presentación:

1 Análisis tonal asistido por ordenador Plácido Román Illescas Casanova Universitat d´Alacant Universidad de Alicante Departament de Llenguatges i Sistemes Informàtics Departamento de Lenguajes y Sistemas Informáticos Dirigida por: Dr. D. José Manuel Iñesta Quereda y Dr. D. David Rizo Valero

2 OBJETIVOS Diseñar e implementar un sistema informático que analice de forma automática e interactiva los corales armonizados de J. S. Bach. Catalogar y jerarquizar las reglas melódicas, armónicas y funcionales propias de la época barroca de forma que sean computables. Desarrollar sistemas para poder detectar la tonalidad y modulación de una obra del barroco. 2/55

3 MOTIVACIÓN Pedagógica Didáctica. 3/55

4 Etapas de trabajo 1º Sistema de reglas establecidas por un experto 2º Ajuste manual de los pesos 3º Optimización automática de pesos 4º Sistema reglas  aprendizaje computacional (machine learning) 5º Interactividad 4/55 ¡10 años!

5 EVOLUCIÓN HISTÓRICA Dressler Burmeister Fux Shumann Czerny MUSICAL: Jeppensen Riemann Rosen Schenker Lenvai Forte COMPUTACIONAL: Xenakis Boulez Baroni y Jacoboni (Temperley, 1999) (Taube, 1999) Bach 5/55

6 MUSICXML ANALIZADO MUSICXML ANALIZADO MELÓDICO TONALIDADARMONÍA NUESTRA PROPUESTA 6/55

7 MUSICXML ANALIZADO MUSICXML ANALIZADO MELÓDICO TONALIDADARMONÍA MUSICXML ANALIZADO MUSICXML ANALIZADO ARMONÍA MELÓDICO TONALIDAD ENTRADA SIMBÓLICA MUSICXML 7/55

8 ENTRADA SIMBÓLICA  PULSO y COMPÁS  RITMO  INTERVÁLICA MELÓDICA  INTERVÁLICA ARMÓNICA MUSICXML ANALIZADO MUSICXML ANALIZADO ARMONÍA MELÓDICO TONALIDAD 8/55

9 Duración relativa: rd na = p/r La rd na posee 3 valores representativos: rd na >1 rd na =1 rd na <1 Fig. Musical whqex Valor124816 rd na = p/r=4/8=0.5 0.5 rd na = p/r=4/4=1 1 1 rd na = p/r=4/2=2 2 CARACTERÍSTICAS MUSICXML ANALIZADO MUSICXML ANALIZADO ARMONÍA MELÓDICO TONALIDAD 9/55

10 MUSICXML ANALIZADO MUSICXML ANALIZADO ARMONÍA MELÓDICO TONALIDAD CARACTERÍSTICAS 10/55

11 O h q e x Compás Binario Compás Cuaternario h e q x x x e e Etc… 0 CARACTERÍSTICAS MUSICXML ANALIZADO MUSICXML ANALIZADO ARMONÍA MELÓDICO TONALIDAD Pulso y Compás 11/55 Inestabilidad: la estructura del árbol determina un criterio de calificación

12 MUSICXML ANALIZADO MUSICXML ANALIZADO MELÓDICO TONALIDADARMONÍA MUSICXML ANALIZADO MUSICXML ANALIZADO ARMONÍA MELÓDICO TONALIDAD 12/55

13 MUSICXML ANALIZADO MUSICXML ANALIZADO MELÓDICO TONALIDADARMONÍA MUSICXML ANALIZADO MUSICXML ANALIZADO ARMONÍA MELÓDICO TONALIDAD 13/55

14 Análisis Melódico V. Intervalo Melódico  La interválica: es la diferencia de altura que poseen las notas musicales El análisis melódico oscila entre 5 grados de confianza: 1. Muy Bajo 2. Bajo 3. Medio 4. Alto 5. Muy Alto  El ce i indica el intervalo entre dos notas. ce i = +/– x.xx  ce ia = Intervalo con la nota anterior ce ip = Intervalo con la nota posterior  El signo +/ – indica la direccionalidad.  Ej: ce ia = – 4.05 indica un intervalo de cuarta justa descendente MUSICXML ANALIZADO MUSICXML ANALIZADO + – 4 14/55

15 Notas reales no excepción de las extrañas. 7 Categorías: notas reales (H) + 6 extrañas (p, n, s, es, ap, an): Duración relativa Ratio Posición métrica de la nota Entorno interválico melódico Análisis melódico: clasificación de notas MUSICXML ANALIZADO MUSICXML ANALIZADO ARMONÍA MELÓDICO TONALIDAD 15/55

16 MUSICXML ANALIZADO MUSICXML ANALIZADO beat = 1 ∧ ¬subbeat ∧ ratio ≥ 1 ∧ next I ∈ {−2,01, −2,02, +2,01} ∧ prev I =1.00 ∧ rd n ≥ 1 Análisis melódico: Interválico melódico Apoyatura: rd n =2 ratio=1 MUSICXML ANALIZADO MUSICXML ANALIZADO ARMONÍA MELÓDICO TONALIDAD 16/55

17 MUSICXML ANALIZADO MUSICXML ANALIZADO MELÓDICO TONALIDADARMONÍA MUSICXML ANALIZADO MUSICXML ANALIZADO ARMONÍA MELÓDICO TONALIDAD 17/55

18 MUSICXML ANALIZADO MUSICXML ANALIZADO MELÓDICO TONALIDADARMONÍA MUSICXML ANALIZADO MUSICXML ANALIZADO ARMONÍA MELÓDICO TONALIDAD 18/55

19 Detección de la Tonalidad Notas alteradasTono MayorTono MenorPosibles alteraciones NingunaDo Mayor Sol#La MenorFa#, Sol, [Do#] Fa#Sol Mayor Fa#, Re#Mi MenorDo#, Re, [Sol#] Fa#, Do#Re Mayor Fa#, Do#, La#Si MenorSol#, La, [Re#] Fa#, Do#, Sol#La Mayor Fa#, Do#, Sol#, Mi#Fa# MenorRe#, Mi, [La#] Fa#, Do#, Sol#, Re#Mi Mayor Fa#, Do#, Sol#, Re#, Si#Do# MenorLa#, Si, [Mi#] Fa#, Do#, Sol#, Re#, La#Si Mayor Do#, Sol#, Re#, La#, FaxSol# MenorMi#, Fa#, [Si#] Fa#, Do#, Sol#, Re#, La#, Mi# (Sib, Mib, Lab, Reb, Solb, Dob) Fa# Mayor/ Solb Mayor Fa#, Sol#, Re#, La#, Mi#, Dox (Sib, Mib, Lab, Solb, Dob) Re# Menor/ (Mib Menor) Si#, Do#, [Fax] (Do), (Reb), [Sol]  ¿Qué se la tonalidad?  ¿Cómo la obtenemos sin saber la armonía?  Alteraciones que aparecen en la partitura  Se comparan con la tabla MUSICXML ANALIZADO MUSICXML ANALIZADO ARMONÍA MELÓDICO TONALIDAD 19/55

20 MUSICXML ANALIZADO MUSICXML ANALIZADO MELÓDICO TONALIDADARMONÍA MUSICXML ANALIZADO MUSICXML ANALIZADO ARMONÍA MELÓDICO TONALIDAD 20/55

21 MUSICXML ANALIZADO MUSICXML ANALIZADO MELÓDICO TONALIDADARMONÍA MUSICXML ANALIZADO MUSICXML ANALIZADO ARMONÍA MELÓDICO TONALIDAD 21/55

22 Segmentación compases/(ritmo menor) Sonoridad Combinatoria y comprobación por 3 as 3 4 4 3 3  Detección de Acordes, funciones tonales y cadencias MUSICXML ANALIZADO MUSICXML ANALIZADO ARMONÍA MELÓDICO TONALIDAD 22/55

23 ACORDEFUNCIÓN TONAL ITónica IISubdominante III Dominante Subdominante Tónica IVSubdominante VDominante VI Subdominante Tónica VII Dominante Subdominante MUSICXML ANALIZADO MUSICXML ANALIZADO ARMONÍA MELÓDICO TONALIDAD Detección de Acordes, funciones tonales y cadencias 23/55

24 CADENCIA FUNCIONES TONALES GRADOS C. PERFECTAD-TV-I; V-i; C. IMPERFECTAD-Tvii-I; vii-i C. ROTAD-TV-vi Detección de Acordes, funciones tonales y cadencias Puntos de reposo musicales Función de reafirmar la tonalidad 3 funciones tonales: C. PLAGALSd-TIV (iv, VI, vi, ii, ii) - (I ó i) Semicadencia DominanteT-D; Sd-D [Cualquier grado con función T o Sd] - V(v, vii, vii) Sc. SubdominanteT-Sd; Sd-Sd [Cualquier grado con función T o Sd] - [Cualquier grado con función Sd] 8 MUSICXML ANALIZADO MUSICXML ANALIZADO ARMONÍA MELÓDICO TONALIDAD 24/55

25 Construcción del grafo de posibilidades Grafo acíclico dirigido ponderado multietapa Cada etapa representa una sonoridad en el tiempo Cada nodo es una posibilidad: Tonalidad Función tonal Acorde Cada arista es una progresión armónica El peso representa la idoneidad de la progresión El mejor análisis es el mejor camino en el grafo 25

26 Grafo acíclico Análisis Tonal MUSICXML ANALIZADO MUSICXML ANALIZADO ARMONÍA MELÓDICO TONALIDAD

27 Relaciones tonales positivas: Peso De la función tonal y acordes:A la F.T. T D Sd 26 75 Sd DTDT 100 145 DT V(i, I)2500 Acorde cuatriada: Perfecto Mayor + 7ª menor viiI 2300 viii Acorde cuatriada: Disminuido + 7ª menor Disminuido + 7ª Disminuida V(VI, vi)2100 Acorde cuatriada: Perfecto Mayor + 7ª menor MUSICXML ANALIZADO MUSICXML ANALIZADO ARMONÍA MELÓDICO TONALIDAD 27/55

28 Relaciones tonales positivas: Peso De la función tonal y acordes:A la F. T. V(I, i)1900 Acorde triada: Perfecto Mayor vii(i o I)1600 Acorde triada: Disminuido iii III (5ª aumentada) IiIi 1550 Acorde cuatriada:  Perfecto menor + 7ª menor  Con quinta aumentada + 7ª mayor iii III (5ª aumentada) IiIi 1500 Acorde triada:  Perfecto menor  Con quinta aumentada 0 MUSICXML ANALIZADO MUSICXML ANALIZADO ARMONÍA MELÓDICO TONALIDAD Detección de Acordes, funciones tonales y cadencias 28/55

29 Mejor relación tonalPeso SdD T ii V(I, i)4010 IV, iv VI, vi iii, III Acorde cuatriada: Perfecto Mayor + 7ª menor Relación tonal negativa (regresión tonal) DSd-101 0 MUSICXML ANALIZADO MUSICXML ANALIZADO ARMONÍA MELÓDICO TONALIDAD Detección de Acordes, funciones tonales y cadencias 29/55

30 Algoritmo genético El sistema heurístico es muy sensible Intentamos ajustar los pesos Características: Cromosoma 25 Genes (pesos) 100 Individuos 300 Generaciones MUSICXML ANALIZADO MUSICXML ANALIZADO ARMONÍA MELÓDICO TONALIDAD 30/55

31 GRAFO REPRESENTATIVO MUSICXML ANALIZADO MUSICXML ANALIZADO MELÓDICO TONALIDADARMONÍA MUSICXML ANALIZADO MUSICXML ANALIZADO ARMONÍA MELÓDICO TONALIDAD 31/55

32 MUSICXML ANALIZADO MUSICXML ANALIZADO MELÓDICO TONALIDADARMONÍA MUSICXML ANALIZADO MUSICXML ANALIZADO ARMONÍA MELÓDICO TONALIDAD Salida experimentos y resultados 32/55

33 33/58 Resultados pragmáticos y discusión MUSICXML ANALIZADO MUSICXML ANALIZADO ARMONÍA MELÓDICO TONALIDAD

34 Resultados pragmáticos y discusión  La tonalidad (lam)  2º y 4ºc=cambia la función tonal  Tiempos sin realizar análisis melódicos  Acorde 27= 4ºgrado (acorde por n.e.)  Secuencia 48 a 55=(2 acordes) IV-III(lam) (V-VI solM) (apoyat=D-Sd solM) Soluc=Realimentación  Sec 56 a 61 fam (DoM debido al Lab)= único problema que NO tenemos solución  Sec 62 a 71= Modula a DoM;  Acorde 72 = Modula a Lam  Sec 76 a 93 (c10) = Analiza en Lam (SolM 76 a 87 y DoM 88 a 93) error por modificar los pesos de la tabla de R. F.  Cadencia Perfecta  3ª picarda  Análisis Melódico Correcto: Notas de Paso, Bordadura, Anticipación,Apoyatura 34/58 MUSICXML ANALIZADO MUSICXML ANALIZADO ARMONÍA MELÓDICO TONALIDAD

35 Experimentos y Resultados MUSICXML ANALIZADO MUSICXML ANALIZADO ARMONÍA MELÓDICO TONALIDAD 35/58 % acierto

36 Análisis comparativo SecciónNuestro SistemaTaubeTemperley-Sleator MotivaciónPedagógica y Didáctica Entrada musicalMusicXML *kern, MEI Formato:.satb o MIDI MIDI (altura) Milisegundos AnálisisCorales Bach Oh Susana RitmoDivisión mínima Compases División mínima totalGTTM-T (Lerdahl, 1985) AcordeSí (sonoridades parciales) Sí (sonoridades totales) GTTM-H. En T.F. Cifrado Americano ArmoníaSí No Funciones TonalesSíNo Relaciones AcórdicasSí mediante pesos de los acordes y de sus funciones tonales Sí, CadencialesNo 36/58

37 Análisis comparativo SecciónNuestro SistemaTaubeTemperley-Sleator TonalidadSí. Muchísmimo más complejo que Taube Sí (cadencias V7, VII7->I,i V7->VI, vi No (sólo cifrado americano) Notas ExtrañasSí (p, n, s, ap, an, es)Sí (p, n, s, an, es)No VentajasMúsica clásica, educacional y pedagógica y adaptativa a cualquier género Música clásicaMúsica POP DesventajasIneficaz para la música clásica, culta y educativa. Expresa la reglaSíNo 37/58

38 Conclusión parcial Los resultados no son mejorables con estas técnicas Taube, Temperley dan resultados peores (cualitativamente) En nuestro caso: aún demasiado sensible al peso en el grafo ¿Cómo continuar? Evitando el sistema basado en reglas establecidas por un experto Para estudiar otras alternativas nos centramos en un entorno controlable: el análisis melódico En las siguientes diapositivas: estudiamos análisis melódico con técnicas de aprendizaje computacional MUSICXML ANALIZADO MUSICXML ANALIZADO ARMONÍA MELÓDICO TONALIDAD 38/58

39 x 1, h 1 x 2, h 2 … Entrenamiento P. R. Reconocimiento de Patrones M 39/58 Sistema reglas -> Reconocimiento de Patrones 7 Categorías -> H, + 6 no reales (p, n, an, s, ap, es) x 1, x 2, …

40 Clasificadores 40/58 Ǝ multitud clasificadores Nosotros = Extraen reglas analíticas educativas RIPPER (Cohen, 1995) Genera las reglas en base únicamente al vector de características de x Capacidad de aprender con conjuntos desequilibrados (aprox. El 89% H) Inductive Logic Programming (ILP) (Muggleton, 1991) Modela las reglas en relaciones lógicas entre la nota a analizar y su entorno (contexto) Reconocimiento de Patrones

41 Características que reciben los clasificadores: 41 Reconocimiento de Patrones

42 De RIPPER (instability >= 8) and (nextInterval >= 3) and (nextIntervalMode = MINOR) and (prevInterval melodictag=es Conclusión: regla correcta (para casos muy concretos). (instability >= 8) (nextInterval >= 3) and (nextIntervalMode = MINOR) "rule "r01" (prevInterval <= 2)  melodictag=es es 42/58 Análisis breve de reglas extraídas

43 (instability >= 5) and (prevInterval = 2) and (prevIntervalDir = ASCENDING) and (nextIntervalDir = ASCENDING) and (nextIntervalMode = MAJOR) and (instability = 7) => melodictag=p De RIPPER "rule "r39" Muy buena regla. p (instability >= 5) (instability = 7) (prevInterval <= 2) (prevIntervalDir = ASCENDING) (nextInterval >= 2) (nextIntervalDir = ASCENDING) (nextIntervalMode = MAJOR)  melodictag=p 43/58 Análisis breve de reglas extraídas

44 De ILP: tasas de acierto no tan buenas. melanalysis(A,B,C,[h]) : - tied(A,B,C,false), instability(A,B,C,5), next_int(A,B,C,i2_MAJOR), pred(A,B,C,D), next_int(A,B,D,i3_MAJOR), !. La regla es totalmente correcta ya que determina que una nota es real porque el intervalo melódico siguiente es un intervalo de tercera mayor. h instability(A,B,C,5 ), Regla 2 next_int(A,B,C,i2_MAJOR), pred(A,B,C,D), next_int(A,B,D,i3_MAJOR), !. melanalysis(A,B,C,[h]) D 44/58 Análisis breve de reglas extraídas

45 De ILP: melanalysis(A,B,C,[n]) :- tied(A,B,C,false), pred(A,B,C,D), pred(A,B,D,E), ratio(A,B,E,2.0), pred(A,B,E,F), ratio(A,B,F,1.0), prev_int(A,B,F,i2_MINOR), prev_dir(A,B,F,ascending), !. Regla 11 D E F pred(A,B,C,D), pred(A,B,D,E), ratio(A,B,E,2.0), pred(A,B,E,F), ratio(A,B,F,1.0), prev_int(A,B,F,i2_MINOR), prev_dir(A,B,F,ascending), !. melanalysis(A,B,C,[n]) n 45/58

46 Nº Coral BWV Nº notasBaseLineSimple Sistema Experto RIPPERILP 26 29 253 272 274 275 280 285 437 438 192 206 169 198 188 234 281 250 639 171 92,2 82,5 87,0 86,9 91,0 86,8 82,6 84,4 82,6 79,5 66.2 68.5 68.1 70.7 66.5 69.7 79.7 71.2 76.7 80.7 92.7 83.5 87.6 89.4 91.0 89.3 82.9 87.6 83.3 83.0 96.9 91.8 88.2 90.4 86.7 91.9 95.7 88.8 85.6 95.3 totales2528 Tasas de acierto de análisis melódico 46/58 % acierto sobre el nº de notas analizadas

47 Glass Ceiling No conseguimos superar el aprox. 91% de aciertos Además varía cuando añadimos más obras no vistas previamente Pueden haber distintas interpretaciones / análisis de la misma obra ASUMIMOS QUE EL SISTEMA NUNCA VA A SER PERFECTO En lugar de optimizar el clasificador optimizamos el esfuerzo del usuario para obtener una obra analizada 47/58 Análisis melódico interactivo (IPR)

48 C4.5: usado porque mejores tasas de acierto que RIPPER x 1, h 1 x 2, h 2 … Entrenamiento Sistema Interactivo Multimodal M Retroalimentación 48/58

49 49/58 ¿Es capaz el sistema de aprender de las interacciones? Interacciones / nº notas

50 PROTOTIPO 50/58

51 PROTOTIPO 51/58

52 PROTOTIPO 52/58

53 Nº de interacciones necesarias para hacer el análisis melódico 53/58 Interacciones / nº notas

54 Conclusiones: El objetivo principal de la tesis se ha cumplido. Un ordenador es capaz de hacer un análisis musical. El bajo porcentaje de errores es comparable incluso con las distintas versiones que puedan existir entre varios expertos. El sistema ha sido probado con alumnos reales y nos han transmitido una gran sensación de apoyo para la finalización del software. Compartimos con Taube su conclusión de la complejidad de los elementos que conforman un análisis musical. El sistema se adapta al usuario. El resultado final ha sido gracias al esfuerzo de cada uno de los miembros que hemos formado parte del equipo multidisciplinar. 54/58

55 Trabajos futuros A corto plazo: Implementar resto elementos del análisis. Investigar otros clasificadores y otras características Convertir en una aplicación pedagógica tanto para alumnos, profesores, aficionados, etc. Realizar un trabajo cualitativo de dichos alumnos. A medio plazo: Adaptar el sistema a nuevas épocas y estilos musicales 55/58

56 Lista de publicaciones. Harmonic, melodic, and functional automatic analysis en Proceedings of the International Computer Music Conference (ICMC 2007), pp.165-168, Copenhagen, Denmark (2007) Modeling celtic violin expressive performance en Proceedings of the International Workshop on Machine Learning and Music (MML 2008) at ICMC, pp. 7-8, Helsinki, Finland (2008) Learning to analyse tonal music en Proceedings of the International Workshop on Machine Learning and Music (MML 2008) at ICMC, pp. 25-26, Helsinki, Finland (2008) Modeling violin performances using inductive logic programming en Intelligent Data Analysis, vol. 14, pp. 573-585 (2010) Learning melodic analysis rules en 4th International Workshop on Music and Machine Learning (MML 2011) at NIPS, Granada (2011) Melodic analysis of polyphonic music using an interactive pattern recognition tool en Proceedings of the 7th Machine Learning and Music (MML 2014), Barcelona (2014) Interactive melodic analysis en Computational Music Analysis, Springer, pp. 191-219 (2015) ISBN: 978-3-319-25931-4. 56

57 GRACIAS POR SU ATENCIÓN Universitat d´Alacant Universidad de Alicante Departament de Llenguatges i Sistemes Informàtics Departamento de Lenguajes y Sistemas Informáticos

58