Autor: Nuria Pérez Magariños Tutor: Juan Manuel Montero Martínez Mejora de la interfaz vocal de control de un robot autónomo móvil. Adaptación acústica y generación supervisada de mapas Autor: Nuria Pérez Magariños Tutor: Juan Manuel Montero Martínez

Índice Objetivos Proyecto ROBINT Técnicas empleadas Configuración del sistema Adaptación Evaluación y pruebas Conclusiones y líneas futuras

Objetivos Adaptación de los modelos acústicos Guiado del robot Aprendizaje automático

Proyecto ROBINT Robots guía Interacción hombre-robot Generación de mapas

Guiado del robot Fase de aprendizaje Fase de verificación Propuesta inicial de frases Relación con el guía Movimiento Grafo Confirmación Visita

Técnicas empleadas Adaptación a tarea o a locutor Máximo a posteriori (MAP) HTK

Configuración del sistema

Configuración del sistema Ficheros de configuración Detector.ini Entorno.ini Tade.ini Voz.ini Reco_cfg_generico.ini Prb_htk_generico_Speechdat.ini

Configuración del sistema Ficheros de configuración Urbano.ini

Configuración del sistema

Configuración del sistema

Adaptación Interfaz Gráfica Thread principal CRobintDialog Caracteristicas_modelo Adaptacion Thread principal Threads_ROBINT

Adaptación

Adaptación

Adaptación

Adaptación

Adaptación

Adaptación MCC =Micrófono con cable MSC = Micrófono sin cable Ruido = Entorno ruidoso noRuido = Entorno no ruidoso

Adaptación .dic .data Modelos adaptados Formateo para HTK Adaptación diccionarios Generación de ficheros de etiquetas Parametrización ficheros de audio Modelos adaptados Adaptación MAP MLLR Normalización

Evaluación y pruebas Evaluación de los modelos genéricos Locutor Media Varianza Mujer 54,2 29,0 Hombre 24,0 9,0

Evaluación y pruebas Evaluación de los modelos genéricos Experimentos de adaptación Experimento 1: Emplear para cada emoción las mismas 90 frases de entrenamiento y 10 frases de test siempre. Experimento 2: Dividir las frases en 10 grupos de manera que se prueben todas las frases, haciendo un promedio de los resultados.

Evaluación y pruebas Determinación de la τ óptima 1 2 3 4 5 6 7 Hombre Experimento 1 98,0 92,1 86,9 83,7 83,0 82,3 Hombre Experimento 2 59,1 60,1 58,8 - 57 Mujer Experimento 1 161,4 160,8 164,1 158,8 151,7 134,0 135,3 Mujer Experimento 2 129,7 132,7 133,9 134,7

Evaluación y pruebas Determinación de la τ óptima Proporción entre entrenamiento y test

Alegría-Asco-Enfado-Tristeza-Neutra Evaluación y pruebas Determinación de la τ óptima Proporción entre entrenamiento y test Reconocimiento cruzado Promedio (%) Total 16,1 Sorpresa-Miedo 12,7 Alegría-Asco-Enfado-Tristeza-Neutra 13,2 Reconocimiento cruzado en el hombre

Evaluación y pruebas Determinación de la τ óptima Proporción entre entrenamiento y test Reconocimiento cruzado Reconocimiento cruzado en la mujer Promedio (%) Total 44,1 Enfado-Neutra 11,8 Enfado-Neutra-Tristeza 23,4 Enfado-Neutra-Sorpresa 18,8 Enfado-Neutra-Tristeza-Sorpresa 26,9

Evaluación y pruebas Determinación de la τ óptima Proporción entre entrenamiento y test Reconocimiento cruzado

Evaluación y pruebas Determinación de la τ óptima Proporción entre entrenamiento y test Reconocimiento cruzado Entrenamiento con varias emociones

Evaluación y pruebas

Conclusiones Se han mejorado y simplificado la portabilidad y configuración del sistema Se ha añadido la posibilidad de que el locutor realice una adaptación de los modelos al sistema Interfaz gráfica Script de Windows Primera aproximación al guiado del robot En la adaptación de habla emocionada son mucho más efectivos los valores bajos de τ para dar más peso a los datos de adaptación El habla neutra no es la que mejor reconoce a las demás emociones Entrenar con más emociones no significa reconocer mejor

Líneas futuras de investigación Llevar a cabo la implementación del prototipo para el sistema de guiado del robot Estudiar la mejora en el reconocimiento con emociones empleando la técnica MLLR

¿PREGUNTAS?