Autor: Nuria Pérez Magariños Tutor: Juan Manuel Montero Martínez

Presentación del tema: "Autor: Nuria Pérez Magariños Tutor: Juan Manuel Montero Martínez"— Transcripción de la presentación:

1 Autor: Nuria Pérez Magariños Tutor: Juan Manuel Montero Martínez
Mejora de la interfaz vocal de control de un robot autónomo móvil. Adaptación acústica y generación supervisada de mapas Autor: Nuria Pérez Magariños Tutor: Juan Manuel Montero Martínez

2 Índice Objetivos Proyecto ROBINT Técnicas empleadas
Configuración del sistema Adaptación Evaluación y pruebas Conclusiones y líneas futuras

3 Objetivos Adaptación de los modelos acústicos Guiado del robot
Aprendizaje automático

4 Proyecto ROBINT Robots guía Interacción hombre-robot
Generación de mapas

5 Guiado del robot Fase de aprendizaje Fase de verificación
Propuesta inicial de frases Relación con el guía Movimiento Grafo Confirmación Visita

6 Técnicas empleadas Adaptación a tarea o a locutor
Máximo a posteriori (MAP) HTK

7 Configuración del sistema

8 Configuración del sistema
Ficheros de configuración Detector.ini Entorno.ini Tade.ini Voz.ini Reco_cfg_generico.ini Prb_htk_generico_Speechdat.ini

9 Configuración del sistema
Ficheros de configuración Urbano.ini

10 Configuración del sistema

11 Configuración del sistema

12 Adaptación Interfaz Gráfica Thread principal CRobintDialog
Caracteristicas_modelo Adaptacion Thread principal Threads_ROBINT

13 Adaptación

14 Adaptación

15 Adaptación

16 Adaptación

17 Adaptación

18 Adaptación MCC =Micrófono con cable MSC = Micrófono sin cable
Ruido = Entorno ruidoso noRuido = Entorno no ruidoso

19 Adaptación .dic .data Modelos adaptados Formateo para HTK Adaptación
diccionarios Generación de ficheros de etiquetas Parametrización ficheros de audio Modelos adaptados Adaptación MAP MLLR Normalización

20 Evaluación y pruebas Evaluación de los modelos genéricos Locutor Media
Varianza Mujer 54,2 29,0 Hombre 24,0 9,0

21 Evaluación y pruebas Evaluación de los modelos genéricos
Experimentos de adaptación Experimento 1: Emplear para cada emoción las mismas 90 frases de entrenamiento y 10 frases de test siempre. Experimento 2: Dividir las frases en 10 grupos de manera que se prueben todas las frases, haciendo un promedio de los resultados.

22 Evaluación y pruebas Determinación de la τ óptima 1 2 3 4 5 6 7
Hombre Experimento 1 98,0 92,1 86,9 83,7 83,0 82,3 Hombre Experimento 2 59,1 60,1 58,8 - 57 Mujer Experimento 1 161,4 160,8 164,1 158,8 151,7 134,0 135,3 Mujer Experimento 2 129,7 132,7 133,9 134,7

23 Evaluación y pruebas Determinación de la τ óptima
Proporción entre entrenamiento y test

24 Alegría-Asco-Enfado-Tristeza-Neutra
Evaluación y pruebas Determinación de la τ óptima Proporción entre entrenamiento y test Reconocimiento cruzado Promedio (%) Total 16,1 Sorpresa-Miedo 12,7 Alegría-Asco-Enfado-Tristeza-Neutra 13,2 Reconocimiento cruzado en el hombre

25 Evaluación y pruebas Determinación de la τ óptima
Proporción entre entrenamiento y test Reconocimiento cruzado Reconocimiento cruzado en la mujer Promedio (%) Total 44,1 Enfado-Neutra 11,8 Enfado-Neutra-Tristeza 23,4 Enfado-Neutra-Sorpresa 18,8 Enfado-Neutra-Tristeza-Sorpresa 26,9

26 Evaluación y pruebas Determinación de la τ óptima
Proporción entre entrenamiento y test Reconocimiento cruzado

27 Evaluación y pruebas Determinación de la τ óptima
Proporción entre entrenamiento y test Reconocimiento cruzado Entrenamiento con varias emociones

28 Evaluación y pruebas

29 Conclusiones Se han mejorado y simplificado la portabilidad y configuración del sistema Se ha añadido la posibilidad de que el locutor realice una adaptación de los modelos al sistema Interfaz gráfica Script de Windows Primera aproximación al guiado del robot En la adaptación de habla emocionada son mucho más efectivos los valores bajos de τ para dar más peso a los datos de adaptación El habla neutra no es la que mejor reconoce a las demás emociones Entrenar con más emociones no significa reconocer mejor

30 Líneas futuras de investigación
Llevar a cabo la implementación del prototipo para el sistema de guiado del robot Estudiar la mejora en el reconocimiento con emociones empleando la técnica MLLR

31 ¿PREGUNTAS?