VII Congreso de Lingüística General Barcelona, del 18 al 21 de abril de 2006

Estudio acústico y perceptivo de la variación inter e intralocutor en español (VILE) El proyectoVILE Primera fase: 2001-2004 BFF2001-2551 VILE I: Estudio acústico de la variación inter e intralocutor en español (2001-2004) Segunda fase: 2005-2008 HUM2005-06980/FILO VILE II: Estudio perceptivo de la variación inter e intralocutor en español (2005-2008)

La caracterización fonética de la variabilidad del hablante Estudio acústico y perceptivo de la variación inter e intralocutor en español (VILE) La caracterización fonética de la variabilidad del hablante Investigación tradicional sobre invariantes Áreas interesadas por la variación: Fonética forense Identificación biométrica de locutores Dos perspectivas complementarias: Acústica Perceptiva

Finalidad del proyecto Antecedentes: Hipótesis de partida Estudio perceptivo de la variación inter e intralocutor en español (VILE –II) Finalidad del proyecto Antecedentes: Conclusiones de la primera etapa Hipótesis de partida Plan de trabajo Conclusión

1. Finalidad del proyecto Validar, mediante pruebas de percepción, los rasgos acústicos, segmentales y suprasegmentales, más determinantes para establecer la individualidad de un hablante (VILE-I) Profundizar en conocimientos básicos de fonética perceptiva Proporcionar un conjunto de parámetros significativos que se puedan incorporar a los sistemas para reconocimiento, identificación y verificación automática de hablantes a la práctica forense

Finalidad del proyecto Antecedentes: Hipótesis de partida Estudio perceptivo de la variación inter e intralocutor en español (VILE –II) Finalidad del proyecto Antecedentes: Conclusiones de la primera etapa Hipótesis de partida Plan de trabajo Conclusión

Selección del corpus de análisis Parámetros analizados Resultados 2. Antecedentes Revisión bibliográfica: determinación de los fenómenos fonéticos relevantes Selección del corpus de análisis Parámetros analizados Resultados

2.1. Antecedentes: determinación de fenómenos fonéticos relevantes Revisión bibliográfica centrada en tres campos Reconocimiento visual de espectrogramas (voiceprint) Reconocimiento perceptivo del hablante Reconocimiento automático del locutor

2.1. Antecedentes: determinación de fenómenos fonéticos relevantes Referidos a la fuente Referidos a los resonadores Valor medio de la F0 Contorno tonal Forma de la onda glotal Fluctuación de la F0 Variables temporales Tiempo total de habla Proporción de habla y de silencios Velocidad del habla Formantes: ancho de banda trayectorias distancias y ratios - LTAS (Long Term Averaged Spectrum) - Consonantes turbulentas y nasales - Efectos coarticulatorios (vocales, nasales y líquidas)

2.1. Antecedentes: determinación de fenómenos fonéticos relevantes Faltan resultados coincidentes y concluyentes sobre el parámetro más decisivo para el reconocimiento del hablante Dificultad de establecer una jerarquía absoluta entre los parámetros Interdependencia entre los índices Prioridad relativa dependiente del hablante

Determinación de los fenómenos fonéticos relevantes 2. Antecedentes Determinación de los fenómenos fonéticos relevantes Selección del corpus de análisis Parámetros seleccionados Resultados

2.2. Antecedentes: selección del corpus de análisis La variación inter e intralocutor en los corpus disponibles en español Seleccionados ALBAYZÍN EUROM1 MULTEXT AHUMADA-GAUDÍ SpeechDat Descartados Privados Específicos De acceso limitado

2.2. Antecedentes: selección del corpus de análisis N.º de sujetos y tareas Lectura Habla espontánea Logatomos Dígitos Palabras aisladas Frases Párrafos Albayzín EUROM1 MULTEXT Gaudí SpeechDat

2.2. Antecedentes: selección del corpus de análisis La variación interlocutor La variación intralocutor Estímulos Repeticiones GAUDÍ frases texto h. espontánea 3 sesiones 3 ritmos x 455 locutores ALBAYZÍN frases efecto Lombard 2 x 20 locutores EUROM1 pseudo-palabras 5 x 12 locutores locutores estímulos SpeechDat + de 2000 999 frases fonéticamente ricas lectura Gaudí 455 10 frases equilibradas y un texto lectura descripción habla espontánea Albayzín 304 700 frases fónicamente equilibradas lectura EUROM1 60 50 frases equilibradas y 40 párrafos con distintas entonaciones oracionales lectura Selección final: Ahumada-Gaudí. 30 locutores masculinos x 3 sesiones espontáneas + 3 sesiones de lectura

Determinación de los fenómenos fonéticos relevantes 2. Antecedentes Determinación de los fenómenos fonéticos relevantes Selección del corpus de análisis Parámetros seleccionados Resultados

2.3. Antecedentes: parámetros analizados Referidos a la fuente Valor medio de la F0 en el grupo fónico Fluctuación de la F0 en el grupo fónico Referidos a los resonadores Frecuencias centrales de todos los formantes vocálicos visibles Anchos de banda de esos formantes y distancias entre ellos /s/: límite inferior de intensidad y pico espectral de mayor intensidad Variables temporales Tiempo total de habla; proporción de silencios y velocidad de habla María, ¿tenemos el total de datos recogidos?

Determinación de los fenómenos fonéticos relevantes 2. Antecedentes Determinación de los fenómenos fonéticos relevantes Selección del corpus de análisis Parámetros analizados Resultados

2.4. Antecedentes: resultados Parámetros referidos a la fuente Muy pertinentes para la variación interlocutor tanto en habla espontánea como en lectura Media del F0 : muy variable (entre estilos y sesiones) Desviación típica: no varía en función del estilo de habla, pero sí de los parámetros temporales (duración de grupo fónico y tasa de habla)

2.4. Antecedentes: resultados Parámetros referidos al resonador Los valores de frecuencia de F0, F1, F2, F3, F4 sirven para identificar al sujeto F0, F3 y F4 distinguen en todos los segmentos vocálicos un mayor número de locutores que F1 y F2 Los locutores con variaciones amplias en el F2 son más fácilmente identificados que los que no las presentan. Las variaciones en el primer formante no provocan ese efecto. Sonidos turbulentos, como /s/, no facilitan la identificación de la voz.

2.4. Antecedentes: resultados Parámetros temporales Duración del grupo fónico Variable según el estilo de habla (habla espontánea / lectura) Invariable en relación con las sesiones El análisis estadístico

Finalidad del proyecto Antecedentes: Hipótesis de partida Estudio perceptivo de la variación inter e intralocutor en español (VILE –II) Finalidad del proyecto Antecedentes: Conclusiones de la primera etapa Hipótesis de partida Plan de trabajo Conclusión

3. Hipótesis de partida F0 = el parámetro más relevante perceptivamente Se identificarán mejor los hablantes con variaciones marcadas en el F2 y variaciones leves en el F1. Se identificarán peor los hablantes con variaciones marcadas en el F1 y variaciones leves en el F2 Los valores de F3 y F4 permitirán discriminar entre locutores Las características de los sonidos turbulentos no permitirán discriminar entre locutores.

4. Plan de trabajo 1.- Manipulación de la señal 2.- Elaboración de las pruebas de percepción 3.- Ruedas de reconocimiento de voces 4.- Tratamiento y análisis de los datos 5.- Elaboración de conclusiones

4. Plan de trabajo 4.1. Manipulación de la señal Selección de la herramienta de análisis más adecuada para la manipulación de la señal Análisis de los parámetros que han de modificarse y sus repercusiones sobre el resto Manipulación de esos parámetros minimizando al máximo efectos secundarios de pérdida de naturalidad Grabación de los estímulos manipulados, en contraste con los naturales

4. Plan de trabajo 4. 2. Elaboración de las pruebas Selección de muestras de habla natural, procedentes del corpus seleccionado, lo más contrastivas posible para cada parámetro Extracción de los segmentos de habla y comprobación acústica de los valores estudiados Secuenciación de tareas para las pruebas experimentales, controlando factores como la fatiga o la respuesta aleatoria Creación y grabación de frases marco para explicar las tareas y su secuenciación a los jueces Edición y montaje de las pruebas, incorporando los segmentos de habla manipulada elaborados en 4.1.

4. Plan de trabajo 4.3. Ruedas de reconocimiento de voces Elaboración de la hoja de respuestas, considerando los factores mencionados Selección de los jueces y organización de las ruedas Screening auditivo previo Control y seguimiento de las pruebas experimentales Tabulación de los resultados

4. Plan de trabajo 4.4. Resultados y conclusiones Tratamiento estadístico Análisis de resultados Elaboración de conclusiones Valoración sobre posibilidades de aplicación en sistemas automáticos de reconocimiento de locutor y en fonética forense

VILE: Estudio acústico de la variación inter e intralocutor en español http://liceu.uab.es/~joaquim/VILE.html vile@liceu.uab.es