Reunión de seguimiento en ETSIT 13/01/2009 Desarrollo de un sistema de traducción de voz a Lengua de Signos Española para un servicio público de atención personal Reunión de seguimiento en ETSIT 13/01/2009

OBJETIVO Y PLANIFICACIÓN GENERAL TAREAS: OBJETIVO Y PLANIFICACIÓN GENERAL Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones

OBJETIVO CONCRETO Introducción Tipos de Evaluación Sistema de Diálogo Diseño, desarrollo y evaluación de una arquitectura software que permita la traducción de voz a Lengua de Signos Española (LSE) aplicados a la traducción de las frases que un funcionario público pronuncia cuando atiende personalmente a una persona sorda. Dos servicios elegidos: Renovación del Documento Nacional de Identidad (DNI). Información y gestión de los servicios que presta la DGT (Dirección General de Tráfico). Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones

PLANIFICACIÓN GENERAL Tareas T0 T1 T2 T3 T4 T5 T6 T7 T8 T9 T10 T11 T1: Estudio Lingüístico T2: Diseño Arquitectura T3: Reconocimiento de voz T4: Traducción por reglas T5: Traducción estadística T6: Generación de signos T7: Evaluación prototipos T8: Gestión/documentación Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones

DISEÑO DE LA ARQUITECTURA ESTUDIO LINGÜÍSTICO Frases del DNI Frases recogidas Proceso de traducción finalizado Frases de la DGT Proceso de traducción en curso DISEÑO DE LA ARQUITECTURA Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones Primera versión del interfaz Mejora de la ergonomía

Se ha definido un documento de etiquetado de glosas

TRADUCCIÓN BASADA EN REGLAS RECONOCIMIENTO DE VOZ Herramientas automáticas de generación de modelos de lenguaje y vocabularios a partir de las frases TRADUCCIÓN BASADA EN REGLAS Frases del DNI Entorno de desarrollo de reglas Proceso de generación de reglas casi terminado Frases de la DGT No reglas desarrolladas Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones

Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones

ADAPTACIÓN AL LOCUTOR DEL RECONOCEDOR Reconocimiento independiente de locutor. Adaptación: sólo en caso de voces con acentos muy marcados. Mejora de tasa y velocidad muy importante. Grabación de 100 frases y regeneración de los modelos (1 hora aprox.) Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones

TRADUCCIÓN ESTADÍSTICA GENERACIÓN DE LOS SIGNOS Frases del DNI Algoritmos desarrollados y probados Evaluados con las nuevas frases Frases de la DGT Falta evaluarlos con las frases GENERACIÓN DE LOS SIGNOS Aprendizaje de HamNoSys Desarrollo de signos para DNI Desarrollo de signos para DGT Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones

SEA - HAMNOSYS Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones No es perfecto (75%). Permitiría generar primera versión para luego modificar. Demos en web

GENERACIÓN DE SIGNOS Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones ESCALERA.txt

EVALUACIÓN DE PROTOTIPOS Definir escenarios Probar con personas sordas + cuestionarios Análisis de medidas objetivas y subjetivas DOCUMENTACIÓN 2 personas están trabajando en la documentación de todos los programas generados Desarrollo de programas de instalación Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones

TRADUCCIÓN DE LSE A VOZ Introducción Tipos de Evaluación Primera versión del interfaz Integración del CTV de Loquendo Módulo de traducción basado en reglas generadas a partir de las frases. Hecho para el caso del DNI. Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones

Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones

WEB DEL PROYECTO Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones

LO QUE QUEDA Introducción Tipos de Evaluación Sistema de Diálogo ENERO FEBRERO MARZO GTH Reglas DNI Reglas DGT Fundación CNSE Traducción DGT Signos DGT Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones Conjuntos Evaluación Documentación