Dpto. Señales, Sistemas y Radiocomunicaciones

Presentación del tema: "Dpto. Señales, Sistemas y Radiocomunicaciones"— Transcripción de la presentación:

1 Dpto. Señales, Sistemas y Radiocomunicaciones
Tratamiento Digital de Voz Prof. Luis A. Hernández Gómez ftp.gaps.ssr.upm.es/pub/TDV/DOC/ Tema6b.ppt Dpto. Señales, Sistemas y Radiocomunicaciones

2 Independencia de Texto Observaciones independientes
Tecnología de Reconocimiento de Locutor Input speech Speaker identity VQ codebooks Feature extraction Decision Accumulation VQ distortion Independencia de Texto Observaciones independientes

3 Tecnología de Reconocimiento de Locutor
Reconocimiento de Locutor mediante CV El cuantificador vectorial “representa” la distribución estadística de los datos Otras técnicas de entrenamiento: Entrenamiento Discriminativo: el objetivo no es el minimizar el error de cuantificación sino el Error de CLASIFICACIÓN (técnicas de gradiente -> Redes Neuronales)

4 Por la técnica de clasificación...
Tecnología de Reconocimiento de Locutor Por la técnica de clasificación... Clasificadores paramétricos (I): Son los más utilizados en Reconocimiento

5 Por la técnica de clasificación...
Tecnología de Reconocimiento de Locutor Por la técnica de clasificación... Clasificadores paramétricos (II): Utilizan una representación paramétrica explícita de la probabilidad acústica: Los parámetros de se estiman a partir de los datos de entrenamiento X={x1,x2, ... xN} Proporciona un formalismo matemático consistente para técnicas de adaptación a diferentes condiciones y entornos.

6 Tecnología de Reconocimiento de Locutor

7 Tecnología de Reconocimiento de Locutor
Clasificadores paramétricos: GMM (Gaussian Mixture Models) Representación paramétrica explícita de la probabilidad acústica como suma de fdp gaussianas:

8 Tecnología de Reconocimiento de Locutor
Clasificadores paramétricos: GMM (Gaussian Mixture Models) Los parámetros de se estiman a partir de los datos de entrenamiento X={x1,x2, ... xN} La combinación de gaussianas se aproxima a la distribución de los datos.

9 Tecnología de Reconocimiento de Locutor

10 Tecnología de Reconocimiento de Locutor

11 Tecnología de Reconocimiento de Locutor
Identificación con GMMs Speech wave Feature extraction Maximum selection • • • Identification result (Speaker ID)

12 Tecnología de Reconocimiento de Locutor
Verificación con GMMs : Normalización Likelihood ratio log L(O) = log p(O|l= l c) - log p(O| l  l c) l c : identidad supuesta A posteriori probability log L(O) = log p(O | l = l c) - log  p(O | l) Ref : locutor de referencia o cohorte de locutores Modelo Universal log L(O) = log p(O | l = l c) - log  p(O | l UBM) UBM : Universal Background Model SRef

13 Tecnología de Reconocimiento de Locutor

14 Tecnología de Reconocimiento de Locutor
Clasificadores paramétricos: GMM (Gaussian Mixture Models) Los parámetros de se estiman a partir de los datos de entrenamiento X={x1,x2, ... xN} ¡¡IMPORTANTE!!: Cantidad de datos de entrenamiento  Número de Parámetros a estimar Técnicas de Entrenamiento: ML (Maximum Likelihood) MAP (Maximun a posteriori) Similares resultados si no hay información a priori, pero MAP válida para adaptación

15 Tecnología de Reconocimiento de Locutor
Entrenamiento ML

16 Tecnología de Reconocimiento de Locutor

17 Tecnología de Reconocimiento de Locutor

18 Tratamiento Digital de Voz
Reconocimiento de Locutor => Reconocimiento de Habla Hasta ahora: El orden de la secuencia de sonidos NO IMPORTABA => Independiente de Texto PERO: En Reconocimiento de Locutor dependiente de texto En Reconocimiento de Habla La secuencia de sonidos sí importa (“casa” “saca”) Primera Aproximación: Alineamiento Temporal + Medida de Distancia (DTW Dynamic Time Warping)

19 } { Tratamiento Digital de Voz
Reconocimiento de Locutor => Reconocimiento de Habla Primera Aproximación: Alineamiento Temporal + Medida de Distancia (DTW Dynamic Time Warping) C A S A ENVENTANADO V3 V4 V5 V6 V2 V1 PATRÓN } { ANÁLISIS

20 PROBLEMA: PRef TIENE DISTINTA DURACIÓN TEMPORAL QUE PReco
Tratamiento Digital de Voz Reconocimiento de Locutor => Reconocimiento de Habla DTW Dynamic Time Warping) ENTRENAMIENTO: se obtiene y almacena un patrón de refrencia (PRef) para cada una de las palabras del vocabulario RECONOCIMIENTO: se obtiene el patrón de la palabra a reconocer (PReco). La palabra reconocida será la correspondiente al patrón de referencia más parecido (menor distancia) al patrón a reconocer. PROBLEMA: PRef TIENE DISTINTA DURACIÓN TEMPORAL QUE PReco SOLUCIÓN: DEFORMAR EL EJE DE TIEMPOS ESTIRÁNDOLO O ENCOGIÉNDOLO (TÉCNICAS DE PROGRAMACIÓN DINÁMICA)

21 Tratamiento Digital de Voz
1 5 6 7 8 4 3 2 PALABRA A RECONOCER (TIEMPO) PATRÓN DE REFERENCIA

22 d(Preco, Pref) = g(I,J) / I+J
Tratamiento Digital de Voz Reconocimiento de Locutor => Reconocimiento de Habla DTW Dynamic Time Warping Cálculo distancia acumulada g(i,j) según el “camino óptimo” (Programación Dinámica) g(i,j) = d(i,j) + min { g(i-1,j), g(i-1,j-1), g(i,j-1)} 1 < i < I ( nº tramas de Preco ) 1 < j < J ( nºtramas de Pref ) g(i,j) g(i,j-1) g(i-1,j-1) g(i-1,j) La distancia entrel el PRef y el PReco d(PRef, PReco) será: d(Preco, Pref) = g(I,J) / I+J

23 Tratamiento Digital de Voz
Reconocimiento de Locutor => Reconocimiento de Habla DTW Dynamic Time Warping) 1 5 6 7 8 4 3 2 PALABRA A RECONOCER (TIEMPO) PATRÓN DE REFERENCIA

24 Reconocimiento de Habla
Tecnología Dominante: HMM (Hidden Markov Models) Clasificador Paramétrico: p(O/l) con l secuencia de sonidos, palabras, frases,... Primera Aproximación: Estados + GMMs por Estado