PROYECTO FIN DE MÁSTER Estimación de Ruido Acústico Mediante Filtros de Partículas para Reconocimiento Robusto de Voz I v á n L ó p e z E s p e j o.

Presentación del tema: "PROYECTO FIN DE MÁSTER Estimación de Ruido Acústico Mediante Filtros de Partículas para Reconocimiento Robusto de Voz I v á n L ó p e z E s p e j o."— Transcripción de la presentación:

1 PROYECTO FIN DE MÁSTER Estimación de Ruido Acústico Mediante Filtros de Partículas para Reconocimiento Robusto de Voz I v á n L ó p e z E s p e j o

2 SUMARIO Introducción y Motivación Fundamentos Teóricos del Sistema
Diseño del Filtro Bayesiano Modelado del proceso de ruido Relación entre estados y observaciones Filtro SIR aplicado Test y Resultados Conclusiones Trabajo Futuro PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

3 1. INTRODUCCIÓN Y MOTIVACIÓN
Fundamentos Teóricos del Sistema Diseño del Filtro Bayesiano Modelado del proceso de ruido Relación entre estados y observaciones Filtro SIR aplicado Test y Resultados Conclusiones Trabajo Futuro PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

4 1. INTRODUCCIÓN Y MOTIVACIÓN
Acto de hablar: Usualmente en entornos acústicos ruidosos Alta capacidad de reconocimiento en el ser humano Necesidad de adaptación de los sistemas ASR PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

5 1. INTRODUCCIÓN Y MOTIVACIÓN
Acto de hablar: Usualmente en entornos acústicos ruidosos Alta capacidad de reconocimiento en el ser humano Necesidad de adaptación de los sistemas ASR Algunas técnicas para mejorar el matching: Adaptación de los modelos Descomposición de HMMs Realce de las características de voz Filtro de Partículas PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

6 1. INTRODUCCIÓN Y MOTIVACIÓN
PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

7 1. INTRODUCCIÓN Y MOTIVACIÓN
Motivaciones Mejora del rendimiento de un sistema ASR Ventajas de la metodología de realce Aplicaciones: Búsqueda de información Ejecución de transacciones Control de sistemas (entornos industriales) … PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

8 2. FUNDAMENTOS TEÓRICOS DEL SISTEMA
Introducción y Motivación Fundamentos Teóricos del Sistema Diseño del Filtro Bayesiano Modelado del proceso de ruido Relación entre estados y observaciones Filtro SIR aplicado Test y Resultados Conclusiones Trabajo Futuro PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

9 2. FUNDAMENTOS TEÓRICOS DEL SISTEMA
Seguimiento: Estimación de la secuencia de estados de un sistema a partir de sus observaciones Modelo compuesto de dos procesos Proceso de estados Proceso observado Solución MMSE Seguimiento Bayesiano PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

10 2. FUNDAMENTOS TEÓRICOS DEL SISTEMA
Justificación del filtro de partículas Evaluación compleja: Solución: modelado markoviano Aproximación numérica: (muestreo y remuestreo de importancia + integración de Monte Carlo) PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

11 3. DISEÑO DEL FILTRO BAYESIANO
Introducción y Motivación Fundamentos Teóricos del Sistema Diseño del Filtro Bayesiano Modelado del proceso de ruido Relación entre estados y observaciones Filtro SIR aplicado Test y Resultados Conclusiones Trabajo Futuro PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

12 3. DISEÑO DEL FILTRO BAYESIANO
Seguimiento de ruido en el domino log Mel Ruido (estado del sistema) Voz limpia (ruido que contamina la observación) Voz ruidosa (observación) Definición del espacio de estados dinámico Proceso de ruido, Proceso observado, PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

13 3.1 Modelado del proceso de ruido
Introducción y Motivación Fundamentos Teóricos del Sistema Diseño del Filtro Bayesiano Modelado del proceso de ruido Relación entre estados y observaciones Filtro SIR aplicado Test y Resultados Conclusiones Trabajo Futuro PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

14 3.1 Modelado del proceso de ruido
Codificación de la previsibilidad del ruido: proceso AR en el dominio log Mel Minimizar PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

15 3.1 Modelado del proceso de ruido
Definición implícita de una distribución gaussiana para el ruido: Selección de orden unidad para el modelo AR Distribución a priori modelada como una gaussiana: PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

16 3.2 Relación entre estados y observaciones
Introducción y Motivación Fundamentos Teóricos del Sistema Diseño del Filtro Bayesiano Modelado del proceso de ruido Relación entre estados y observaciones Filtro SIR aplicado Test y Resultados Conclusiones Trabajo Futuro PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

17 3.2 Relación entre estados y observaciones
Se parte de la aproximación: ¿Cuál es la relación entre las observaciones y el ruido? PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

18 3.2 Relación entre estados y observaciones
¿Cuál es la relación entre las observaciones y el ruido? PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

19 3.2 Relación entre estados y observaciones
¿Cuál es la relación entre las observaciones y el ruido? Distribución para la voz limpia: PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

20 3.2 Relación entre estados y observaciones
Imponemos Se aplica la ley fundamental de transformación de probabilidades De esta forma, PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

21 Introducción y Motivación Fundamentos Teóricos del Sistema
3.3 Filtro SIR aplicado Introducción y Motivación Fundamentos Teóricos del Sistema Diseño del Filtro Bayesiano Modelado del proceso de ruido Relación entre estados y observaciones Filtro SIR aplicado Test y Resultados Conclusiones Trabajo Futuro PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

22 3.3 Filtro SIR aplicado Generación de N partículas
Cálculo de pesos normalizados Remuestreo sobre las partículas PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

23 Existencia de problemas en la práctica
3.3 Filtro SIR aplicado Existencia de problemas en la práctica Si no se cumple para ningún j  DROPOUT SOLUCIÓN: Evolución independiente de la observación  Pérdida de la trayectoria de seguimiento SOLUCIÓN: Procedimiento de reinicialización del filtro ¡NUEVO PROBLEMA! PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

24 Existencia de problemas en la práctica Modos de reinicialización
3.3 Filtro SIR aplicado Existencia de problemas en la práctica Modos de reinicialización Generación de nuevas hipótesis sobre la distribución a priori de ruido Inferir partículas de ruido a partir de muestrear un GMM PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

25 Existencia de problemas en la práctica
3.3 Filtro SIR aplicado Existencia de problemas en la práctica Pobre modelado de ruido  Subestimación de hipótesis SOLUCIÓN: Se incentiva una futura reinicialización si PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

26 Existencia de problemas en la práctica
3.3 Filtro SIR aplicado Existencia de problemas en la práctica Mitigación de dropouts  TEST DE ACEPTACIÓN RÁPIDA PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

27 Modos de inicialización Uso de las l primeras tramas
3.3 Filtro SIR aplicado Modos de inicialización Uso de las l primeras tramas Empleo de la distribución a priori de ruido PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

28 Introducción y Motivación Fundamentos Teóricos del Sistema
4. TEST Y RESULTADOS Introducción y Motivación Fundamentos Teóricos del Sistema Diseño del Filtro Bayesiano Modelado del proceso de ruido Relación entre estados y observaciones Filtro SIR aplicado Test y Resultados Conclusiones Trabajo Futuro PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

29 Uso de la base de datos Aurora-2
4. TEST Y RESULTADOS Uso de la base de datos Aurora-2 Empleo del conjunto de test A: 1001 grabaciones con secuencias de dígitos Ruidos: metro, multitud conversando, coche y sala de exposiciones SNRs: -5dB, 0dB, 5dB, 10dB, 15dB, 20dB y caso limpio Las estimaciones de ruido son usadas en una etapa de VTS para la compensación de las características de voz ruidosa PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

30 4. TEST Y RESULTADOS Ajuste de parámetros Estudio del MSE
Más bien basado en la observación, razonamiento y bibliografía PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

31 Test de reconocimiento del habla
4. TEST Y RESULTADOS Test de reconocimiento del habla Aparente independencia del número de partículas PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

32 Test de reconocimiento del habla
4. TEST Y RESULTADOS Test de reconocimiento del habla Aparente independencia del número de partículas PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

33 Test de reconocimiento del habla
4. TEST Y RESULTADOS Test de reconocimiento del habla Aparente independencia del número de partículas WAcc = 1 - WER 11.28% % % PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

34 Introducción y Motivación Fundamentos Teóricos del Sistema
5. CONCLUSIONES Introducción y Motivación Fundamentos Teóricos del Sistema Diseño del Filtro Bayesiano Modelado del proceso de ruido Relación entre estados y observaciones Filtro SIR aplicado Test y Resultados Conclusiones Trabajo Futuro PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

35 Verificación experimental de la utilidad de una técnica de realce
5. CONCLUSIONES Verificación experimental de la utilidad de una técnica de realce Preferible, por el momento, uso de ruido estimado mediante interpolación espectral: Mayor rendimiento del sistema ASR Menor coste computacional Necesidad de mejorar la calidad de las estimaciones resultantes del filtro de partículas PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

36 Introducción y Motivación Fundamentos Teóricos del Sistema
6. TRABAJO FUTURO Introducción y Motivación Fundamentos Teóricos del Sistema Diseño del Filtro Bayesiano Modelado del proceso de ruido Relación entre estados y observaciones Filtro SIR aplicado Test y Resultados Conclusiones Trabajo Futuro PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

37 Solventar usuales pérdidas del seguimiento
6. TRABAJO FUTURO Solventar usuales pérdidas del seguimiento Nuevo modelo de ruido a priori Inclusión del término de fase relativa (FAT innecesario) Optimización de la implementación Experimentación con otros conjuntos de test Actualización del modelo AR de ruido y de la distribución a priori Uso de un detector de actividad de voz Experimentar con un filtro RPF PFM | Estimación de Ruido Acústico Mediante Filtros de Partículas | Iván López Espejo

38 Estimación de Ruido Acústico Mediante Filtros de Partículas para Reconocimiento Robusto de Voz
GRACIAS