Descargar la presentación
La descarga está en progreso. Por favor, espere
Publicada porConcha Tomey Modificado hace 10 años
1
TRABAJO FIN DE CARRERA Generación de Máscaras Soft para Compensación de Características en Reconocimiento Robusto del Habla I v á n L ó p e z E s p e j o
2
SUMARIO Introducción y Motivación Fundamentos del Seguimiento
Diseño del Filtro Bayesiano Modelado del proceso de ruido Relación entre estados y observaciones Filtro SIR aplicado Generación de Máscaras Soft Técnica de Realce Multiplicativo Test y Resultados Conclusiones Trabajo Futuro TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo
3
1. INTRODUCCIÓN Y MOTIVACIÓN
Fundamentos del Seguimiento Diseño del Filtro Bayesiano Modelado del proceso de ruido Relación entre estados y observaciones Filtro SIR aplicado Generación de Máscaras Soft Técnica de Realce Multiplicativo Test y Resultados Conclusiones Trabajo Futuro TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo
4
1. INTRODUCCIÓN Y MOTIVACIÓN
Acto de hablar: Usualmente en entornos acústicos ruidosos Alta capacidad de reconocimiento en el ser humano Necesidad de adaptación de los sistemas ASR TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo
5
1. INTRODUCCIÓN Y MOTIVACIÓN
Acto de hablar: Usualmente en entornos acústicos ruidosos Alta capacidad de reconocimiento en el ser humano Necesidad de adaptación de los sistemas ASR Algunas técnicas para mejorar el matching: Adaptación de los modelos Descomposición de HMMs Realce de las características de voz TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo
6
1. INTRODUCCIÓN Y MOTIVACIÓN
TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo
7
1. INTRODUCCIÓN Y MOTIVACIÓN
Motivaciones Mejora del rendimiento de un sistema ASR Ventajas de la metodología de realce Aplicaciones: Búsqueda de información Ejecución de transacciones Control de sistemas (entornos industriales) … TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo
8
2. FUNDAMENTOS DEL SEGUIMIENTO
Introducción y Motivación Fundamentos del Seguimiento Diseño del Filtro Bayesiano Modelado del proceso de ruido Relación entre estados y observaciones Filtro SIR aplicado Generación de Máscaras Soft Técnica de Realce Multiplicativo Test y Resultados Conclusiones Trabajo Futuro TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo
9
2. FUNDAMENTOS DEL SEGUIMIENTO
Seguimiento: Estimación de la secuencia de estados de un sistema a partir de sus observaciones Modelo compuesto de dos procesos Proceso de estados Proceso observado Solución MMSE Seguimiento Bayesiano TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo
10
2. FUNDAMENTOS DEL SEGUIMIENTO
Justificación del filtro de partículas Evaluación compleja: Solución: modelado markoviano Aproximación numérica: (muestreo y remuestreo de importancia + integración de Monte Carlo) TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo
11
3. DISEÑO DEL FILTRO BAYESIANO
Introducción y Motivación Fundamentos del Seguimiento Diseño del Filtro Bayesiano Modelado del proceso de ruido Relación entre estados y observaciones Filtro SIR aplicado Generación de Máscaras Soft Técnica de Realce Multiplicativo Test y Resultados Conclusiones Trabajo Futuro TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo
12
3. DISEÑO DEL FILTRO BAYESIANO
Seguimiento de ruido en el domino log Mel Ruido (estado del sistema) Voz limpia (ruido que contamina la observación) Voz ruidosa (observación) Definición del espacio de estados dinámico Proceso de ruido, Proceso observado, TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo
13
3.1 Modelado del proceso de ruido
Introducción y Motivación Fundamentos del Seguimiento Diseño del Filtro Bayesiano Modelado del proceso de ruido Relación entre estados y observaciones Filtro SIR aplicado Generación de Máscaras Soft Técnica de Realce Multiplicativo Test y Resultados Conclusiones Trabajo Futuro TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo
14
3.1 Modelado del proceso de ruido
Codificación de la previsibilidad del ruido: proceso AR en el dominio log Mel Minimizar TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo
15
3.1 Modelado del proceso de ruido
Definición implícita de una distribución gaussiana para el ruido: Selección de orden unidad para el modelo AR Distribución a priori modelada como una gaussiana: TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo
16
3.2 Relación entre estados y observaciones
Introducción y Motivación Fundamentos del Seguimiento Diseño del Filtro Bayesiano Modelado del proceso de ruido Relación entre estados y observaciones Filtro SIR aplicado Generación de Máscaras Soft Técnica de Realce Multiplicativo Test y Resultados Conclusiones Trabajo Futuro TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo
17
3.2 Relación entre estados y observaciones
Se parte de la aproximación: ¿Cuál es la relación entre las observaciones y el ruido? TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo
18
3.2 Relación entre estados y observaciones
¿Cuál es la relación entre las observaciones y el ruido? TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo
19
3.2 Relación entre estados y observaciones
¿Cuál es la relación entre las observaciones y el ruido? Distribución para la voz limpia: TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo
20
3.2 Relación entre estados y observaciones
Imponemos Se aplica la ley fundamental de transformación de probabilidades De esta forma, TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo
21
3.3 Filtro SIR aplicado Introducción y Motivación
Fundamentos del Seguimiento Diseño del Filtro Bayesiano Modelado del proceso de ruido Relación entre estados y observaciones Filtro SIR aplicado Generación de Máscaras Soft Técnica de Realce Multiplicativo Test y Resultados Conclusiones Trabajo Futuro TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo
22
3.3 Filtro SIR aplicado Generación de N partículas
Cálculo de pesos normalizados Remuestreo sobre las partículas TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo
23
Existencia de problemas en la práctica
3.3 Filtro SIR aplicado Existencia de problemas en la práctica Si no se cumple para ningún j DROPOUT SOLUCIÓN: Evolución independiente de la observación Pérdida de la trayectoria de seguimiento SOLUCIÓN: Procedimiento de reinicialización del filtro ¡NUEVO PROBLEMA! TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo
24
Existencia de problemas en la práctica Modos de reinicialización
3.3 Filtro SIR aplicado Existencia de problemas en la práctica Modos de reinicialización Generación de nuevas hipótesis sobre la distribución a priori de ruido Inferir partículas de ruido a partir de muestrear un GMM TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo
25
Existencia de problemas en la práctica
3.3 Filtro SIR aplicado Existencia de problemas en la práctica Pobre modelado de ruido Subestimación de hipótesis SOLUCIÓN: Se incentiva una futura reinicialización si TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo
26
Existencia de problemas en la práctica
3.3 Filtro SIR aplicado Existencia de problemas en la práctica Mitigación de dropouts TEST DE ACEPTACIÓN RÁPIDA TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo
27
Modos de inicialización Uso de las l primeras tramas
3.3 Filtro SIR aplicado Modos de inicialización Uso de las l primeras tramas Empleo de la distribución a priori de ruido TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo
28
4. GENERACIÓN DE MÁSCARAS SOFT
Introducción y Motivación Fundamentos del Seguimiento Diseño del Filtro Bayesiano Modelado del proceso de ruido Relación entre estados y observaciones Filtro SIR aplicado Generación de Máscaras Soft Técnica de Realce Multiplicativo Test y Resultados Conclusiones Trabajo Futuro TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo
29
4. GENERACIÓN DE MÁSCARAS SOFT
1 2 3 4 1 2 3 4 TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo
30
5. TÉCNICA DE REALCE MULTIPLICATIVO
Introducción y Motivación Fundamentos del Seguimiento Diseño del Filtro Bayesiano Modelado del proceso de ruido Relación entre estados y observaciones Filtro SIR aplicado Generación de Máscaras Soft Técnica de Realce Multiplicativo Test y Resultados Conclusiones Trabajo Futuro TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo
31
5. TÉCNICA DE REALCE MULTIPLICATIVO
TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo
32
6. TEST Y RESULTADOS Introducción y Motivación
Fundamentos del Seguimiento Diseño del Filtro Bayesiano Modelado del proceso de ruido Relación entre estados y observaciones Filtro SIR aplicado Generación de Máscaras Soft Técnica de Realce Multiplicativo Test y Resultados Conclusiones Trabajo Futuro TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo
33
Uso de la base de datos Aurora-2
6. TEST Y RESULTADOS Uso de la base de datos Aurora-2 Empleo del conjunto de test A: 1001 grabaciones con secuencias de dígitos Ruidos: metro, multitud conversando, coche y sala de exposiciones SNRs: -5dB, 0dB, 5dB, 10dB, 15dB, 20dB y caso limpio TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo
34
Test de reconocimiento del habla
6. TEST Y RESULTADOS Test de reconocimiento del habla Aparente independencia del número de partículas TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo
35
Test de reconocimiento del habla
6. TEST Y RESULTADOS Test de reconocimiento del habla Aparente independencia del número de partículas TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo
36
Test de reconocimiento del habla
6. TEST Y RESULTADOS Test de reconocimiento del habla Aparente independencia del número de partículas WAcc = 1 - WER 16.43% % % TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo
37
7. CONCLUSIONES Introducción y Motivación Fundamentos del Seguimiento
Diseño del Filtro Bayesiano Modelado del proceso de ruido Relación entre estados y observaciones Filtro SIR aplicado Generación de Máscaras Soft Técnica de Realce Multiplicativo Test y Resultados Conclusiones Trabajo Futuro TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo
38
Verificación experimental de la utilidad de una técnica de realce
7. CONCLUSIONES Verificación experimental de la utilidad de una técnica de realce Preferible, por el momento, uso de ruido estimado mediante promediado espectral: Mayor rendimiento del sistema ASR Menor coste computacional Necesidad de mejorar la calidad de las estimaciones resultantes del filtro de partículas TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo
39
8. TRABAJO FUTURO Introducción y Motivación
Fundamentos del Seguimiento Diseño del Filtro Bayesiano Modelado del proceso de ruido Relación entre estados y observaciones Filtro SIR aplicado Generación de Máscaras Soft Técnica de Realce Multiplicativo Test y Resultados Conclusiones Trabajo Futuro TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo
40
Solventar usuales pérdidas del seguimiento en el filtro de partículas
8. TRABAJO FUTURO Solventar usuales pérdidas del seguimiento en el filtro de partículas Nuevo modelo de ruido a priori Inclusión del término de fase relativa (FAT innecesario) Optimización de la implementación Experimentación con otros conjuntos de test Actualización del modelo AR de ruido y de la distribución a priori Uso de un detector de actividad de voz Experimentar con un filtro RPF TFC | Generación de Máscaras Soft para Compensación de Características en RSR | Iván López Espejo
41
Generación de Máscaras Soft para Compensación de Características en Reconocimiento Robusto del Habla
GRACIAS
Presentaciones similares
© 2024 SlidePlayer.es Inc.
All rights reserved.