La descarga está en progreso. Por favor, espere

La descarga está en progreso. Por favor, espere

Mejora de la interfaz vocal de control de un robot autónomo móvil. Adaptación acústica y generación supervisada de mapas Autor: Nuria Pérez Magariños Tutor:

Presentaciones similares


Presentación del tema: "Mejora de la interfaz vocal de control de un robot autónomo móvil. Adaptación acústica y generación supervisada de mapas Autor: Nuria Pérez Magariños Tutor:"— Transcripción de la presentación:

1 Mejora de la interfaz vocal de control de un robot autónomo móvil. Adaptación acústica y generación supervisada de mapas Autor: Nuria Pérez Magariños Tutor: Juan Manuel Montero Martínez

2 Índice Objetivos Objetivos Proyecto ROBINT Proyecto ROBINT Técnicas empleadas Técnicas empleadas Configuración del sistema Configuración del sistema Adaptación Adaptación Evaluación y pruebas Evaluación y pruebas Conclusiones y líneas futuras Conclusiones y líneas futuras

3 Objetivos Adaptación de los modelos acústicos Adaptación de los modelos acústicos Guiado del robot Guiado del robot Aprendizaje automático Aprendizaje automático

4 Proyecto ROBINT Robots guía Robots guía Interacción hombre-robot Interacción hombre-robot Generación de mapas Generación de mapas

5 Guiado del robot Fase de aprendizaje Fase de aprendizaje Fase de verificación Fase de verificación Propuesta inicial de frases Propuesta inicial de frases Relación con el guía Relación con el guía Movimiento Movimiento Grafo Grafo Confirmación Confirmación Visita Visita

6 Técnicas empleadas Adaptación a tarea o a locutor Adaptación a tarea o a locutor Máximo a posteriori (MAP) Máximo a posteriori (MAP) HTK HTK

7 Configuración del sistema

8 Ficheros de configuración Ficheros de configuración Detector.ini Detector.ini Entorno.ini Entorno.ini Tade.ini Tade.ini Voz.ini Voz.ini Reco_cfg_generico.ini Reco_cfg_generico.ini Prb_htk_generico_Speechdat.ini Prb_htk_generico_Speechdat.ini

9 Configuración del sistema Ficheros de configuración Ficheros de configuración Urbano.ini Urbano.ini

10 Configuración del sistema

11

12 Adaptación Interfaz Gráfica Interfaz Gráfica CRobintDialog CRobintDialog Caracteristicas_modelo Caracteristicas_modelo Adaptacion Adaptacion Thread principal Thread principal Threads_ROBINT Threads_ROBINT

13 Adaptación

14 Adaptación

15 Adaptación

16 Adaptación

17 Adaptación Directorio de grabación o modelos Usuario Tipo de micrófono Tipo de entorno Tipo de adaptación

18 Adaptación Grabaciones Usuario nº 1Usuario nº 2 MSCMCC noRuido Genérica Tarea 1 Tarea 2 ruido Usuario nº 3 MCC =Micrófono con cable MSC = Micrófono sin cable Ruido = Entorno ruidoso noRuido = Entorno no ruidoso

19 Adaptación diccionarios Generación de ficheros de etiquetas Parametrización ficheros de audio Normalización Adaptación MAP Adaptación MLLR.dic.data Adaptación Formateo para HTK Modelos adaptados Modelos adaptados

20 Evaluación y pruebas Evaluación de los modelos genéricos Evaluación de los modelos genéricos LocutorMediaVarianza Mujer54,229,0 Hombre24,09,0

21 Evaluación y pruebas Evaluación de los modelos genéricos Evaluación de los modelos genéricos Experimentos de adaptación Experimentos de adaptación Experimento 1: Emplear para cada emoción las mismas 90 frases de entrenamiento y 10 frases de test siempre. Experimento 1: Emplear para cada emoción las mismas 90 frases de entrenamiento y 10 frases de test siempre. Experimento 2: Dividir las frases en 10 grupos de manera que se prueben todas las frases, haciendo un promedio de los resultados. Experimento 2: Dividir las frases en 10 grupos de manera que se prueben todas las frases, haciendo un promedio de los resultados.

22 Evaluación y pruebas Determinación de la τ óptima Determinación de la τ óptima Hombre Experimento 198,0 92,186,983,783,082,3 Hombre Experimento 259,160,1 58,8-57- Mujer Experimento 1161,4160,8164,1158,8151,7134,0135,3 Mujer Experimento 2129,7132,7133,9134,7- -

23 Evaluación y pruebas Determinación de la τ óptima Determinación de la τ óptima Proporción entre entrenamiento y test Proporción entre entrenamiento y test

24 Evaluación y pruebas Determinación de la τ óptima Determinación de la τ óptima Proporción entre entrenamiento y test Proporción entre entrenamiento y test Reconocimiento cruzado Reconocimiento cruzado Promedio (%) Total16,1 Sorpresa-Miedo12,7 Alegría-Asco-Enfado-Tristeza-Neutra13,2 Reconocimiento cruzado en el hombre

25 Evaluación y pruebas Determinación de la τ óptima Determinación de la τ óptima Proporción entre entrenamiento y test Proporción entre entrenamiento y test Reconocimiento cruzado Reconocimiento cruzado Promedio (%) Total44,1 Enfado-Neutra11,8 Enfado-Neutra-Tristeza23,4 Enfado-Neutra-Sorpresa18,8 Enfado-Neutra-Tristeza-Sorpresa26,9 Reconocimiento cruzado en la mujer

26 Evaluación y pruebas Determinación de la τ óptima Determinación de la τ óptima Proporción entre entrenamiento y test Proporción entre entrenamiento y test Reconocimiento cruzado Reconocimiento cruzado

27 Evaluación y pruebas Determinación de la τ óptima Determinación de la τ óptima Proporción entre entrenamiento y test Proporción entre entrenamiento y test Reconocimiento cruzado Reconocimiento cruzado Entrenamiento con varias emociones Entrenamiento con varias emociones

28 Evaluación y pruebas

29 Conclusiones Se han mejorado y simplificado la portabilidad y configuración del sistema Se han mejorado y simplificado la portabilidad y configuración del sistema Se ha añadido la posibilidad de que el locutor realice una adaptación de los modelos al sistema Se ha añadido la posibilidad de que el locutor realice una adaptación de los modelos al sistema Interfaz gráfica Interfaz gráfica Script de Windows Script de Windows Primera aproximación al guiado del robot Primera aproximación al guiado del robot En la adaptación de habla emocionada son mucho más efectivos los valores bajos de τ para dar más peso a los datos de adaptación En la adaptación de habla emocionada son mucho más efectivos los valores bajos de τ para dar más peso a los datos de adaptación El habla neutra no es la que mejor reconoce a las demás emociones El habla neutra no es la que mejor reconoce a las demás emociones Entrenar con más emociones no significa reconocer mejor Entrenar con más emociones no significa reconocer mejor

30 Líneas futuras de investigación Llevar a cabo la implementación del prototipo para el sistema de guiado del robot Llevar a cabo la implementación del prototipo para el sistema de guiado del robot Estudiar la mejora en el reconocimiento con emociones empleando la técnica MLLR Estudiar la mejora en el reconocimiento con emociones empleando la técnica MLLR

31 ¿PREGUNTAS?


Descargar ppt "Mejora de la interfaz vocal de control de un robot autónomo móvil. Adaptación acústica y generación supervisada de mapas Autor: Nuria Pérez Magariños Tutor:"

Presentaciones similares


Anuncios Google