Reunión de seguimiento en la Fundación CNSE Proyecto Desarrollo de un sistema de traducción de voz a Lengua de Signos Española para un servicio público de atención personal Reunión de seguimiento en la Fundación CNSE

OBJETIVO Y PLANIFICACIÓN GENERAL TAREAS: OBJETIVO Y PLANIFICACIÓN GENERAL Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones

OBJETIVO CONCRETO Introducción Tipos de Evaluación Sistema de Diálogo Diseño, desarrollo y evaluación de una arquitectura software que permita la traducción de voz a Lengua de Signos Española (LSE) aplicados a la traducción de las frases que un funcionario público pronuncia cuando atiende personalmente a una persona sorda. Dos servicios elegidos: Renovación del Documento Nacional de Identidad (DNI). Información y gestión de los servicios que presta la DGT (Dirección General de Tráfico). Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones

PLANIFICACIÓN GENERAL Original (15 meses) Tareas T0 T1 T2 T3 T4 T5 T6 T7 T8 T9 T10 T11 T12 T13 T14 T1: Estudio Lingüístico T2: Diseño Arquitectura T3: Reconocimiento de voz T4: Traducción por reglas T5: Traducción estadística T6: Generación de signos T7: Evaluación prototipos T8: Gestión/documentación Tareas T0 T1 T2 T3 T4 T5 T6 T7 T8 T9 T10 T11 T1: Estudio Lingüístico T2: Diseño Arquitectura T3: Reconocimiento de voz T4: Traducción por reglas T5: Traducción estadística T6: Generación de signos T7: Evaluación prototipos T8: Gestión/documentación Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones Real (12 meses)

DISEÑO DE LA ARQUITECTURA ESTUDIO LINGÜÍSTICO Frases del DNI Frases recogidas Proceso de traducción casi finalizado Frases de la DGT Proceso de traducción comenzando DISEÑO DE LA ARQUITECTURA Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones Primera versión del interfaz Mejora de la ergonomía

Medidas por Componentes Medidas Globales Anotación de Eventos Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones Antes de vacaciones llevar a Fundación CNSE una primera versión para evaluar (sin signos)

TRADUCCIÓN BASADA EN REGLAS RECONOCIMIENTO DE VOZ Herramientas automáticas de generación de modelos de lenguaje y vocabularios a apartir de las frases TRADUCCIÓN BASADA EN REGLAS Frases del DNI Entorno de desarrollo de reglas Proceso de generación de reglas comenzado Frases de la DGT No reglas desarrolladas Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones

TRADUCCIÓN ESTADÍSTICA GENERACIÓN DE LOS SIGNOS Frases del DNI Algoritmos desarrollados y probados Falta evaluarlos con las frases Frases de la DGT GENERACIÓN DE LOS SIGNOS Aprendizaje de HamNoSys Desarrollo de signos para DNI Desarrollo de signos para DGT Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones

SEA - HAMNOSYS Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones No es perfecto. Permitiría generar 1 versión para luego modificar. Problemas con signos de 2 manos.

EVALUACIÓN DE PROTOTIPOS Definir escenarios Probar con personas sordas + cuestionarios Análisis de medidas objetivas y subjetivas Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones

TRADUCCIÓN DE LSE A VOZ Introducción Tipos de Evaluación Primera versión del interfaz Integración del CTV de Loquendo Módulo de traducción basado en reglas generadas a partir de las frases Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones

Medidas por Componentes Medidas Globales Anotación de Eventos Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones Antes de vacaciones llevar a Fundación CNSE una primera versión para evaluar (sin signos)