VILE: Estudio acústico de la variación inter e intralocutor en español

Presentación del tema: "VILE: Estudio acústico de la variación inter e intralocutor en español"— Transcripción de la presentación:

1 VILE: Estudio acústico de la variación inter e intralocutor en español
Elena Battaner, Juana Gil y Victoria Marrero Departamento de Lengua Española y Lingüística General, Universidad Nacional de Educación a Distancia Carme Carbó, Joaquim Llisterri, María Jesús Machuca, Natalia Madrigal, Carme de la Mota, Montserrat Riera y Antonio Ríos Departamento de Filología Española, Universidad Autónoma de Barcelona

2 VILE: Estudio acústico de la variación inter e intralocutor en español
El proyecto VILE Determinación de los fenómenos fonéticos analizados Selección del corpus de análisis Resultados

3 VILE: Estudio acústico de la variación inter e intralocutor en español
El proyecto VILE Determinación de los fenómenos fonéticos analizados Selección del corpus de análisis Resultados

4 El proyecto VILE Financiado por el Ministerio de Ciencia y Tecnología (BFF , ) Departamento de Lengua Española y Lingüística General, Universidad Nacional de Educación a Distancia Departamento de Filología Española, Universidad Autónoma de Barcelona

5 Objetivos del proyecto VILE
Caracterización acústica de los elementos segmentales y suprasegmentales que contribuyen a establecer la individualidad de un hablante Conocimiento fonético para la mejora de los sistemas de reconocimiento, identificación o verificación automáticas del locutor Nuevos datos acústicos para la práctica de la fonética judicial

6 Etapas del proyecto VILE
Delimitación de los fenómenos fonéticos objeto de interés Análisis acústico de los fenómenos fonéticos seleccionados en una muestra de materiales extraída de corpus disponibles Estudio de los resultados desde la perspectiva de la variación interlocutor e intralocutor Conclusiones para el reconocimiento automático de locutor y la fonética forense

7 VILE: Estudio acústico de la variación inter e intralocutor en español
El proyecto VILE Determinación de los fenómenos fonéticos analizados Selección del corpus de análisis Resultados

8 Determinación de los fenómenos fonéticos analizados
Parámetros relevantes para el estudio de la individualidad de la voz Importancia relativa de los distintos parámetros Selección final de los parámetros analizados

9 Determinación de los fenómenos fonéticos analizados
Parámetros relevantes para el estudio de la individualidad de la voz Importancia relativa de los distintos parámetros Selección final de los parámetros analizados

10 Parámetros relevantes para el estudio de la individualidad de la voz
Revisión bibliográfica centrada en tres campos Reconocimiento visual de espectrogramas (voiceprints) Reconocimiento perceptivo del hablante Reconocimiento automático del locutor

11 Parámetros relevantes para el estudio de la individualidad de la voz
Parámetros referidos a la fuente Valor medio de la F0 Contorno tonal Forma de la onda glotal Fluctuación de la F0

12 Parámetros relevantes para el estudio de la individualidad de la voz
Parámetros referidos a los resonadores Frecuencias formánticas; anchura de banda de los formantes; trayectorias de los formantes; distancias y ratios entre formantes LTAS (Long Term Averaged Spectrum) Sonidos turbulentos y consonantes nasales Efectos coarticulatorios (vocales, nasales y líquidas)

13 Parámetros relevantes para el estudio de la individualidad de la voz
Variables temporales Tiempo total de habla Proporción de habla y de silencios Velocidad del habla

14 Determinación de los fenómenos fonéticos analizados
Parámetros relevantes para el estudio de la individualidad de la voz Importancia relativa de los distintos parámetros Selección final de los parámetros analizados

15 Importancia relativa de los distintos parámetros
Prioridad del F0 Prioridad del LTAS Prioridad de la estructura espectral: frecuencias formánticas absolutas o trayectorias formánticas F1, F2 y F3, y distancias entre F1-F2 y F2- F3. Información localizada entre los 2.5 kHz y los 3.5 kHz

16 Importancia relativa de los distintos parámetros
Misma prioridad para la F0 y la estructura formántica Variables temporales Contorno tonal La importancia de cada parámetro puede diferir de hablante a hablante y depende también de la naturaleza de las muestras

17 Determinación de los fenómenos fonéticos analizados
Parámetros relevantes para el estudio de la individualidad de la voz Importancia relativa de los distintos parámetros Selección final de los parámetros analizados

18 Selección final de los parámetros analizados
Parámetros referidos a la fuente Valor medio de la F0 en el grupo fónico Fluctuación de la F0 en el grupo fónico (desviación típica)

19 pero yo me creía muy mayor

20 Segmentación en grupos fónicos
Criterios de segmentación de los grupos fónicos Segmentos comprendidos entre dos pausas Segmentos comprendidos entre pausas sonoras Segmentos entre los que no se da una pausa, pero se aprecia un inflexión de la frecuencia fundamental

21 nos tomábamos un par de cañas antes de comer, comíamos

22 Selección final de los parámetros analizados
Parámetros referidos a los resonadores Formantes vocálicos Valor frecuencial (F0, F1-F4) Ancho de banda (F1-F4) Distancia entre formantes (F0-F4) Contexto fonético: oclusivas sordas y [s], en estructura silábica CV.C

23 ese viento suave vuela

24 Selección final de los parámetros analizados
Parámetros referidos a los resonadores Estructura espectral de las consonantes fricativas sordas Pico espectral de mayor intensidad en la banda 0-8 kHz Contexto fonético: [ese] y [asa]

25 Selección final de los parámetros analizados
Parámetros temporales Tiempo total de habla Proporción de habla Proporción de silencios Velocidad de elocución Velocidad de articulación

26 Selección final de los parámetros analizados
Proporción de habla Duración de todos los grupos fónicos de una determinada sesión dividida entre la duración total de dicha sesión Proporción de silencios Duración total de los silencios de una determinada sesión dividida entre la duración total de dicha sesión

27 Selección final de los parámetros analizados
Velocidad de elocución Tiempo total de habla dividido entre el número de segmentos de cada una de las sesiones analizadas Velocidad de articulación Tiempo total de habla, exceptuando la duración de los silencios, dividido entre el número de segmentos de cada una de las sesiones analizadas

28 Problemas en la segmentación
Fenómenos de debilitamiento en lectura Las oclusivas sordas se convierten en sonoras o en aproximantes La fricativa alveolar sorda /s/ se sonoriza Algunas vocales se eliden

29 te toca la cara

30 Problemas en la decisión del número de segmentos
Fenómenos de debilitamiento en habla espontánea acabado: 7 sonidos, 7 fonemas, 4 sílabas [aka’βao]: 6 sonidos /aka’bao/: 6 fonemas a.ka.ba.o: 4 sílabas

31

32 VILE: Estudio acústico de la variación inter e intralocutor en español
El proyecto VILE Determinación de los fenómenos fonéticos analizados Selección del corpus de análisis Resultados

33 Selección del corpus de análisis
Corpus disponibles en español La variación intralocutor La variación interlocutor Selección final del corpus

34 Selección del corpus de análisis
Corpus disponibles en español La variación intralocutor La variación interlocutor Selección final del corpus

35 Corpus disponibles en español
ALBAYZÍN EUROM1 MULTEXT AHUMADA-GAUDÍ SpeechDat

36 Número de locutores

37 Canal Albayzín Grabación microfónica en cámara aislada EUROM1
Grabación microfónica en cámara anecoica MULTEXT Gaudí Grabación microfónica en habitación silenciosa Grabación telefónica SpeechDat

38 Tareas Lectura Habla espontánea Albayzín EUROM1 MULTEXT Gaudí
Logatomos Dígitos Palabras aisladas Frases Párrafos Albayzín EUROM1 MULTEXT Gaudí SpeechDat

39 Selección del corpus de análisis
Corpus disponibles en español La variación intralocutor La variación interlocutor Selección final del corpus

40 La variación intralocutor
Estímulos Repeticiones EUROM1 pseudo-palabras 5 x 12 locutores ALBAYZÍN frases efecto Lombard 2 x 20 locutores GAUDÍ frases texto habla espontánea 3 sesiones - control intervalos 3 ritmos x 455 locutores

41 Selección del corpus de análisis
Corpus disponibles en español La variación intralocutor La variación interlocutor Selección final del corpus

42 La variación interlocutor
locutores estímulos SpeechDat + de 2000 999 frases fonéticamente ricas - lectura Gaudí 455 10 frases equilibradas y un texto - lectura descripción - espontánea Albayzín 304 700 frases fónicamente equilibradas - lectura EUROM1 60 50 frases equilibradas y 40 párrafos con distintas modalidades oracionales - lectura

43 Selección del corpus de análisis
Corpus disponibles en español La variación intralocutor La variación interlocutor Selección final del corpus

44 Selección final del corpus Ahumada - Gaudí
Departamento de Ingeniería Audiovisual y Comunicaciones de la Escuela Universitaria de Ingenieros de Telecomunicación de la Universidad Politécnica de Madrid Laboratorio de Acústica e Imagen del Servicio de Policía Judicial de la Dirección General de la Guardia Civil Departamento de Lengua Española de la Universidad Nacional de Educación a Distancia

45 Selección final del corpus Ahumada - Gaudí
ORTEGA GARCÍA, J.- GONZÁLEZ RODRÍGUEZ, J.- MARRERO AGUIAR, V. (2000) "AHUMADA: A large corpus in Spanish for speaker characterization and identification", Speech Communication 31, 2-3:

46 Selección final del corpus Ahumada - Gaudí
224 locutores masculinos y 231 locutores femeninos Estilos de habla Lectura de 10 frases fonéticamente equilibradas: 409 fonemas Lectura de un texto fonéticamente equilibrado de 179 palabras (712 fonemas), a tres velocidades distintas (normal, rápida y lenta) Lectura de un texto específico para cada locutor Habla espontánea (explicación sobre un tema libre no planificado con antelación o descripción de una imagen -cuadros o dibujos- preparada previamente) durante más de un minuto

47 Selección final del corpus Ahumada - Gaudí
Seis grabaciones diferentes para cada estilo de habla Tres sesiones con tres micrófonos diferentes en una sala de grabación Tres sesiones por teléfono Intervalo mínimo de 11 días entre cada sesión equivalente

48 ORTEGA GARCÍA, J. - GONZÁLEZ RODRÍGUEZ, J. - MARRERO AGUIAR, V
ORTEGA GARCÍA, J.- GONZÁLEZ RODRÍGUEZ, J.- MARRERO AGUIAR, V. (2000) "AHUMADA: A large corpus in Spanish for speaker characterization and identification", Speech Communication 31, 2-3:

49 ORTEGA GARCÍA, J. - GONZÁLEZ RODRÍGUEZ, J. - MARRERO AGUIAR, V
ORTEGA GARCÍA, J.- GONZÁLEZ RODRÍGUEZ, J.- MARRERO AGUIAR, V. (2000) "AHUMADA: A large corpus in Spanish for speaker characterization and identification", Speech Communication 31, 2-3:

50 Selección final del corpus Ahumada - Gaudí
Estímulos Repeticiones Locutores Variación intralocutor 10 frases fonéticamente equilibradas 3 455 Texto fonéticamente equilibrado 3 x 3 velocidades de lectura Habla espontánea / lectura 3 sesiones 1 por locutor Texto equilibrado Habla espontánea /lectura 1365 sesiones

51 Selección final del corpus Ahumada - Gaudí
Selección de 30 locutores masculinos No se han seleccionado Locutores que describen un dibujo o una lámina Locutores que aspiran la fricativa alveolar sorda /s/ Tres sesiones de grabación de habla espontánea y tres sesiones de lectura por cada locutor

52 Selección final del corpus Ahumada - Gaudí
Corpus de habla espontánea Parámetros relacionados con la fuente Parámetros temporales Corpus de lectura Parámetros relacionados con la fuente y con los resonadores

53 VILE: Estudio acústico de la variación inter e intralocutor en español
El proyecto VILE Determinación de los fenómenos fonéticos analizados Selección del corpus de análisis Resultados

54 Resultados Valores medios de la frecuencia fundamental Fluctuación (desviación típica) de la frecuencia fundamental Duración del grupo fónico Velocidad de elocución

55 Resultados Valores medios de la frecuencia fundamental Fluctuación (desviación típica) de la frecuencia fundamental Duración del grupo fónico Velocidad de elocución

56 Valores medios de la frecuencia fundamental
Variaciones muy significativas en los valores medios de F0 en función del estilo de habla (habla espontánea y lectura) Diferencias en función del estilo de habla que se registra en cada sesión: la tendencia de los valores medios de F0 en cada estilo de habla no es la misma a lo largo de las sesiones

57 Valores medios de la frecuencia fundamental
En 8 locutores (26,66% del total) no se dan diferencias significativas en el valor medio de la frecuencia de F0 en función del estilo de habla

58 Valores medios de la frecuencia fundamental
Habla espontánea No se producen variaciones lineales (pero sí cuadráticas) en el valor medio de F0 a medida que aumenta el número de sesiones 7 locutores (23,33%del total) no presentan diferencias significativas en el valor medio de F0 a lo largo de las sesiones

59 Valores medios de la frecuencia fundamental
Lectura No se producen variaciones de ningún tipo del valor medio de F0 a medida que aumentan las sesiones 8 locutores (26,66% del total) no presentan diferencias significativas en el valor medio de F0 a lo largo de las sesiones

60 Resultados Valores medios de la frecuencia fundamental Fluctuación (desviación típica) de la frecuencia fundamental Duración del grupo fónico Velocidad de elocución

61 Fluctuación (desviación típica) de la frecuencia de fundamental
Ausencia de variaciones significativas en la fluctuación de F0 en función del estilo de habla (espontánea y lectura) En 11 locutores (36,66% del total) no se dan diferencias significativas en la desviación típica de F0 en función del estilo de habla

62 Fluctuación (desviación típica) de la frecuencia de fundamental
Habla espontánea No se producen variaciones lineales (pero sí cuadráticas) en la fluctuación de F0 a medida que aumenta el número de sesiones 7 locutores (23,33% del total) presentan diferencias significativas en la desviación típica de F0 a lo largo de las sesiones

63 Fluctuación (desviación típica) de la frecuencia de fundamental
Lectura No se producen variaciones significativas de la fluctuación de F0 a lo largo de las sesiones 11 locutores (36,66% del total) presentan diferencias significativas en la desviación típica de F0 a lo largo de las sesiones

64 Fluctuación (desviación típica) de la frecuencia de fundamental
La duración del grupo fónico y el número de segmentos del grupo fónico predicen de manera significativa la desviación típica de F0

65 Resultados Valores medios de la frecuencia fundamental Fluctuación (desviación típica) de la frecuencia fundamental Duración del grupo fónico Velocidad de elocución

66 Duración del grupo fónico
Diferencias significativas en la duración del grupo fónico en función del estilo de habla (habla espontánea y lectura) Ausencia de diferencias significativas en la duración del grupo fónico en relación con las sesiones

67 Duración del grupo fónico
Habla espontánea 5 locutores (16,66% del total) presentan diferencias significativas en la duración del grupo fónico respecto a la sesión Lectura 2 locutores (6,66% del total) presentan diferencias significativas en la duración del grupo fónico respecto a la sesión

68 Resultados Valores medios de la frecuencia fundamental Fluctuación (desviación típica) de la frecuencia fundamental Duración del grupo fónico Velocidad de elocución

69 Velocidad de elocución
Número de sílabas por segundo teniendo en cuenta las pausas sordas y sonoras No se encuentran diferencias significativas en la velocidad de elocución en función de la sesión en ningún locutor

70 Velocidad de elocución
Número de sílabas por segundo sin considerar las pausas sordas y sonoras 1 locutor muestra diferencias significativas en la velocidad de elocución en función de la sesión

71 Velocidad de elocución
Número de sílabas por segundo sin considerar las pausas sonoras No se encuentran diferencias significativas en la velocidad de elocución en función de la sesión en ningún locutor

72 Velocidad de elocución
Número de sílabas por segundo sin considerar las pausas sordas No se encuentran diferencias significativas en la velocidad de elocución en función de la sesión en ningún locutor

73 http://liceu.uab.es/~joaquim/phonetics/ VILE/VILE_ICPhS03.pdf
Resultados MARRERO, V.- GIL, J.- BATTANER, E. (2003) “Inter-Speaker Variation in Spanish. An Experimental and Acoustic Preliminary Approach”, in Proceedings of the 15th International Congress of Phonetic Sciences, Barcelona, 3-9 August pp VILE/VILE_ICPhS03.pdf

74 Resultados Variaciones inter-locutor en lectura
Variaciones en el límite inferior de [s] superiores a Hz en el mismo contexto Diferencias mayores de 400 Hz en el F2 y de 100 Hz en el F1de las vocales Rango de variación elevado en la distancia F2-F3

75 Resultados Identificación de locutores
F0 aparece como el parámetro más relevante LTAS aparece como el segundo parámetro más relevante Buena identificación de un hablante con una elevada variación en F2 y con poca variación en F1 Mala identificación de un hablante con una elevada variación en F1 y con poca variación en F2 Poco peso de la fricativa alveolar sorda [s]

76 VILE: Estudio acústico de la variación inter e intralocutor en español
VILE.html