Reunión de seguimiento en ETSIT 13/01/2009

Presentación del tema: "Reunión de seguimiento en ETSIT 13/01/2009"— Transcripción de la presentación:

1 Reunión de seguimiento en ETSIT 13/01/2009
Desarrollo de un sistema de traducción de voz a Lengua de Signos Española para un servicio público de atención personal Reunión de seguimiento en ETSIT 13/01/2009

2 OBJETIVO Y PLANIFICACIÓN GENERAL
TAREAS: OBJETIVO Y PLANIFICACIÓN GENERAL Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones

3 OBJETIVO CONCRETO Introducción Tipos de Evaluación Sistema de Diálogo
Diseño, desarrollo y evaluación de una arquitectura software que permita la traducción de voz a Lengua de Signos Española (LSE) aplicados a la traducción de las frases que un funcionario público pronuncia cuando atiende personalmente a una persona sorda. Dos servicios elegidos: Renovación del Documento Nacional de Identidad (DNI). Información y gestión de los servicios que presta la DGT (Dirección General de Tráfico). Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones

4 PLANIFICACIÓN GENERAL
Tareas T0 T1 T2 T3 T4 T5 T6 T7 T8 T9 T10 T11 T1: Estudio Lingüístico T2: Diseño Arquitectura T3: Reconocimiento de voz T4: Traducción por reglas T5: Traducción estadística T6: Generación de signos T7: Evaluación prototipos T8: Gestión/documentación Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones

5 DISEÑO DE LA ARQUITECTURA
ESTUDIO LINGÜÍSTICO Frases del DNI Frases recogidas Proceso de traducción finalizado Frases de la DGT Proceso de traducción en curso DISEÑO DE LA ARQUITECTURA Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones Primera versión del interfaz Mejora de la ergonomía

6 Se ha definido un documento de etiquetado de glosas

7 TRADUCCIÓN BASADA EN REGLAS
RECONOCIMIENTO DE VOZ Herramientas automáticas de generación de modelos de lenguaje y vocabularios a partir de las frases TRADUCCIÓN BASADA EN REGLAS Frases del DNI Entorno de desarrollo de reglas Proceso de generación de reglas casi terminado Frases de la DGT No reglas desarrolladas Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones

8 Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones

9 ADAPTACIÓN AL LOCUTOR DEL RECONOCEDOR
Reconocimiento independiente de locutor. Adaptación: sólo en caso de voces con acentos muy marcados. Mejora de tasa y velocidad muy importante. Grabación de 100 frases y regeneración de los modelos (1 hora aprox.) Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones

10 TRADUCCIÓN ESTADÍSTICA GENERACIÓN DE LOS SIGNOS
Frases del DNI Algoritmos desarrollados y probados Evaluados con las nuevas frases Frases de la DGT Falta evaluarlos con las frases GENERACIÓN DE LOS SIGNOS Aprendizaje de HamNoSys Desarrollo de signos para DNI Desarrollo de signos para DGT Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones

11 SEA - HAMNOSYS Introducción Tipos de Evaluación Sistema de Diálogo
Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones No es perfecto (75%). Permitiría generar primera versión para luego modificar. Demos en web

12

13 GENERACIÓN DE SIGNOS Introducción Tipos de Evaluación
Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones ESCALERA.txt

14 EVALUACIÓN DE PROTOTIPOS
Definir escenarios Probar con personas sordas + cuestionarios Análisis de medidas objetivas y subjetivas DOCUMENTACIÓN 2 personas están trabajando en la documentación de todos los programas generados Desarrollo de programas de instalación Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones

15 TRADUCCIÓN DE LSE A VOZ Introducción Tipos de Evaluación
Primera versión del interfaz Integración del CTV de Loquendo Módulo de traducción basado en reglas generadas a partir de las frases. Hecho para el caso del DNI. Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones

16 Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones

17 WEB DEL PROYECTO Introducción Tipos de Evaluación Sistema de Diálogo
Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones

18 LO QUE QUEDA Introducción Tipos de Evaluación Sistema de Diálogo
ENERO FEBRERO MARZO GTH Reglas DNI Reglas DGT Fundación CNSE Traducción DGT Signos DGT Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones Conjuntos Evaluación Documentación