Primera Reunión de arranque del proyecto

Presentación del tema: "Primera Reunión de arranque del proyecto"— Transcripción de la presentación:

1 Primera Reunión de arranque del proyecto
Desarrollo de un sistema de traducción de voz a Lengua de Signos Española para un servicio público de atención personal Primera Reunión de arranque del proyecto En la ETSI Telecomunicación de la UPM

2 INDICE y AGENDA Introducción Tipos de Evaluación Sistema de Diálogo
10:00-10:10 Presentación 10:10-10:20 Introducción 10:20-11:30 Tareas T1: Estudio Lingüístico T2: Diseño de Arquitectura T3: Reconocimiento de voz 11:30-12:00 Café 12:00-13:20 Tareas T4: Traducción por reglas T5: Traducción estadística T6: Generación de signos T7: Evaluación de prototipos T8: Gestión/documentación 13:20-13:30 Ruegos y preguntas 13:30-14:00 Visita al laboratorio PROYECTOS Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones

3 INTRODUCCIÓN Introducción Tipos de Evaluación Sistema de Diálogo
Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones

4 El proceso de traducción se puede llevar a cabo en los dos sentidos
ENFOQUE COMPLICADO RAZONABLE VOZ TEXTO SIGNOS Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones El proceso de traducción se puede llevar a cabo en los dos sentidos

5 SIGNOS - VOZ Introducción Tipos de Evaluación Sistema de Diálogo
COMPLICADO Reconocimiento visual de los signos Procesado de Vídeo 2D a 3D Hoy: reconocimiento del alfabeto dactilográfico Captura de los movimientos mediante guantes Mejores tasas Poco práctico Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones

6 VOZ - SIGNOS Introducción Tipos de Evaluación Sistema de Diálogo
RAZONABLE Conseguir una buena tasa de transferencia de información: 90% es posible para dominios restringidos. El 100% es una utopía Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones Dominios Restringidos En torno a palabras: información meteorológica, deportes,....

7 UN PRIMER PROTOTIPO Introducción Tipos de Evaluación
En primer lugar pedir perdón porque las traducciones no han sido realizadas por ningún experto, ni los signos tampoco han sido supervisados por una persona experta Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones

8 OBJETIVO Y PLANIFICACIÓN GENERAL
TAREAS: OBJETIVO Y PLANIFICACIÓN GENERAL Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones

9 OBJETIVO CONCRETO Introducción Tipos de Evaluación Sistema de Diálogo
Diseño, desarrollo y evaluación de una arquitectura software que permita la traducción de voz a Lengua de Signos Española (LSE) aplicados a la traducción de las frases que un funcionario público pronuncia cuando atiende personalmente a una persona sorda. Se elegirán dos de entre estos servicios: Renovación del Documento Nacional de Identidad (DNI). Prestaciones económicas del Instituto Nacional de la Seguridad Social (INSS). Información y gestión de los servicios que presta la DGT (Dirección General de Tráfico). Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones

10 PLANIFICACIÓN GENERAL
Original (15 meses) Tareas T0 T1 T2 T3 T4 T5 T6 T7 T8 T9 T10 T11 T12 T13 T14 T1: Estudio Lingüístico T2: Diseño Arquitectura T3: Reconocimiento de voz T4: Traducción por reglas T5: Traducción estadística T6: Generación de signos T7: Evaluación prototipos T8: Gestión/documentación Tareas T0 T1 T2 T3 T4 T5 T6 T7 T8 T9 T10 T11 T1: Estudio Lingüístico T2: Diseño Arquitectura T3: Reconocimiento de voz T4: Traducción por reglas T5: Traducción estadística T6: Generación de signos T7: Evaluación prototipos T8: Gestión/documentación Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones Real (12 meses)

11 ESTUDIO LINGÜÍSTICO Introducción Tipos de Evaluación
Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones

12 1 PASO: ENTREVISTA CON FUNCIONARIO Y ESCENARIOS
Descripción de situaciones y escenarios Es necesario una entrevista con un funcionario Obtención de escenarios o posibles situaciones demandadas por los usuarios Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones

13 2 PASO: RECOPILACIÓN DE FRASES
el denei es obligatorio desde los catorce años para solicitar por primera vez el denei necesitas dos fotos si usted solicita por primera vez el denei debe llevar la partida de nacimiento si usted tiene entre treinta y setenta años debe renovar el denei las personas mayores de setenta años ya no tienen que renovar el denei para hacerte las fotografías tienes que pagar cuatro euros con tu denei puedes viajar a estos países para alquilar un coche tienes que presentar el denei Varios funcionarios generan varias frases según los escenarios definidos Estimación: entre 200 y 500 frases Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones

14 3 PASO: EXTENSIÓN DE FRASES: FLEXIBILIDAD
el denei es obligatorio desde los catorce años para solicitar por primera vez el denei necesitas dos fotos si usted solicita por primera vez el denei debe llevar la partida de nacimiento si usted tiene entre treinta y setenta años debe renovar el denei las personas mayores de setenta años ya no tienen que renovar el denei para hacerte las fotografías tienes que pagar cuatro euros con tu denei puedes viajar a estos países para alquilar un coche tienes que presentar el denei Desde los catorce años el denei es obligatorio Con más de catorce años te tienes que sacar el denei Cuando tengas catorce años tienes que disponer del denei Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones Varias formas de expresar lo mismo para aumentar la flexibilidad del sistema Estimación: entre 500 y 800 frases

15 4 PASO: TRADUCCIÓN Introducción Tipos de Evaluación Sistema de Diálogo
Se podría utilizar el Excel para etiquetar Sugerencia: grabación de vídeos Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones Estos 4 pasos hay que repetirlos para cada uno de los 2 servicios desarrollados

16 DISEÑO DE LA ARQUITECTURA
Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones

17 ARQUITECTURA Introducción Tipos de Evaluación Sistema de Diálogo
Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones Requiere de un corpus paralelo de varios miles de frases para entrenar los motores de traducción

18 Gran Experiencia: Optimizado en múltiples proyectos
ARQUITECTURA Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones Gran Experiencia: Optimizado en múltiples proyectos

19 RECONOCIMIENTO DE VOZ Introducción Tipos de Evaluación
Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones

20 RECONOCIMIENTO DE VOZ Introducción Tipos de Evaluación
Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones

21 RECONOCIMIENTO DE VOZ Introducción Tipos de Evaluación
Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones Ya hecho Disponible

22 Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones Café

23 TRADUCCIÓN BASADA EN REGLAS
Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones

24 TRADUCCIÓN POR REGLAS Introducción Tipos de Evaluación
Reglas codificadas en C: colaboración de programador y experto en LSE. Necesidad de corpus Tipos de reglas: Un concepto se traduce por un signo. Un concepto se traduce por varios signos. Varios conceptos se traducen por un signo. Varios conceptos se traducen por varios signos. El orden de las reglas es muy importante 128 reglas de traducción para DNIs EJEMPLO: Texto: ”el denei es obligatorio desde los catorce años” Signos: DNI OBLIGATORIO DESDE CATORCE EDAD Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones

25 TRADUCCIÓN ESTADÍSTICA
Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones

26 TRADUCCIÓN ESTADÍSTICA
Generación de Modelos Traducción y Modelos de Lenguaje Texto Signos Texto: ”el denei es obligatorio desde los catorce años” Signos: DNI OBLIGATORIO DESDE CATORCE EDAD Modelos de Traducción y Modelos de Lenguaje Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones Signos Texto Traducción

27 TRADUCCIÓN ESTADÍSTICA
Generación de Modelos Traducción y Modelos de Lenguaje Texto Signos Texto: ”el denei es obligatorio desde los catorce años” Signos: DNI OBLIGATORIO DESDE CATORCE EDAD Modelos de Traducción y Modelos de Lenguaje Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones Signos Texto Traducción

28 GENERACIÓN DE LA BASE DE DATOS DE SIGNOS
Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones

29 LISTA DE SIGNOS A GENERAR Lista de signos a generar
Muy fácil de generar con un programa sencillo. Nosotros lo tenemos disponible y lo podemos generar sin problemas Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones Lista de signos a generar

30 REPRESENTACIÓN DE LOS SIGNOS
VGUIDO: Agente animado del proyecto eSIGN Desarrollado en colaboración con la empresa VISICAST: Libre para investigación Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones

31 REPRESENTACIÓN DE LOS SIGNOS
Editor de SIGNOS Genera un fichero SIGML (formato XML) para representar cada SIGNO Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones Notación HamNoSys

32 REPRESENTACIÓN DE LOS SIGNOS
<sigml> <hns_sign gloss="GLOSS:OBLIGATORIO"> <hamnosys_nonmanual> </hamnosys_nonmanual> <hamnosys_manual> <hampinch12open/> <hamextfingero/> <hampalmul/> <hamchest/> <hamlrat/> <hamarmextended/> <hamseqbegin/> <hammovedl/> <hamsmallmod/> <hamrepeatreverse/> <hamseqend/> <hamrepeatfromstartseveral/> </hamnosys_manual> </hns_sign> </sigml> Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones

33 INTRODUCCIÓN A HAMNOSYS
Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones Demo de generación de un signo

34 EVALUACIÓN DE LOS PROTOTIPOS

35 EVALUACIÓN DE LOS PROTOTIPOS Evaluación subjetiva según una encuesta
Inteligibilidad Velocidad Utilidad.... Evaluación objetiva Tasa de reconocimiento Velocidad.... Número de repeticiones USUARIOS FINALES

36 DIVULGACIÓN DE RESULTADOS
Página web con los resultados del proyecto. Publicaciones en revistas científicas y de divulgación Publicación en congresos especializados y jornadas o congresos de divulgación (Feria de Madrid,...) Medios de comunicación: televisión, prensa,....

37 RUEGOS Y PREGUNTAS