Primera Reunión de arranque del proyecto Desarrollo de un sistema de traducción de voz a Lengua de Signos Española para un servicio público de atención personal Primera Reunión de arranque del proyecto En la ETSI Telecomunicación de la UPM

INDICE y AGENDA Introducción Tipos de Evaluación Sistema de Diálogo 10:00-10:10 Presentación 10:10-10:20 Introducción 10:20-11:30 Tareas T1: Estudio Lingüístico T2: Diseño de Arquitectura T3: Reconocimiento de voz 11:30-12:00 Café 12:00-13:20 Tareas T4: Traducción por reglas T5: Traducción estadística T6: Generación de signos T7: Evaluación de prototipos T8: Gestión/documentación 13:20-13:30 Ruegos y preguntas 13:30-14:00 Visita al laboratorio PROYECTOS Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones

INTRODUCCIÓN Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones

El proceso de traducción se puede llevar a cabo en los dos sentidos ENFOQUE COMPLICADO RAZONABLE VOZ TEXTO SIGNOS Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones El proceso de traducción se puede llevar a cabo en los dos sentidos

SIGNOS - VOZ Introducción Tipos de Evaluación Sistema de Diálogo COMPLICADO Reconocimiento visual de los signos Procesado de Vídeo 2D a 3D Hoy: reconocimiento del alfabeto dactilográfico Captura de los movimientos mediante guantes Mejores tasas Poco práctico Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones

VOZ - SIGNOS Introducción Tipos de Evaluación Sistema de Diálogo RAZONABLE Conseguir una buena tasa de transferencia de información: 90% es posible para dominios restringidos. El 100% es una utopía Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones Dominios Restringidos En torno a 100-1000 palabras: información meteorológica, deportes,....

UN PRIMER PROTOTIPO Introducción Tipos de Evaluación En primer lugar pedir perdón porque las traducciones no han sido realizadas por ningún experto, ni los signos tampoco han sido supervisados por una persona experta Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones

OBJETIVO Y PLANIFICACIÓN GENERAL TAREAS: OBJETIVO Y PLANIFICACIÓN GENERAL Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones

OBJETIVO CONCRETO Introducción Tipos de Evaluación Sistema de Diálogo Diseño, desarrollo y evaluación de una arquitectura software que permita la traducción de voz a Lengua de Signos Española (LSE) aplicados a la traducción de las frases que un funcionario público pronuncia cuando atiende personalmente a una persona sorda. Se elegirán dos de entre estos servicios: Renovación del Documento Nacional de Identidad (DNI). Prestaciones económicas del Instituto Nacional de la Seguridad Social (INSS). Información y gestión de los servicios que presta la DGT (Dirección General de Tráfico). Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones

PLANIFICACIÓN GENERAL Original (15 meses) Tareas T0 T1 T2 T3 T4 T5 T6 T7 T8 T9 T10 T11 T12 T13 T14 T1: Estudio Lingüístico T2: Diseño Arquitectura T3: Reconocimiento de voz T4: Traducción por reglas T5: Traducción estadística T6: Generación de signos T7: Evaluación prototipos T8: Gestión/documentación Tareas T0 T1 T2 T3 T4 T5 T6 T7 T8 T9 T10 T11 T1: Estudio Lingüístico T2: Diseño Arquitectura T3: Reconocimiento de voz T4: Traducción por reglas T5: Traducción estadística T6: Generación de signos T7: Evaluación prototipos T8: Gestión/documentación Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones Real (12 meses)

ESTUDIO LINGÜÍSTICO Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones

1 PASO: ENTREVISTA CON FUNCIONARIO Y ESCENARIOS Descripción de situaciones y escenarios Es necesario una entrevista con un funcionario Obtención de escenarios o posibles situaciones demandadas por los usuarios Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones

2 PASO: RECOPILACIÓN DE FRASES el denei es obligatorio desde los catorce años para solicitar por primera vez el denei necesitas dos fotos si usted solicita por primera vez el denei debe llevar la partida de nacimiento si usted tiene entre treinta y setenta años debe renovar el denei las personas mayores de setenta años ya no tienen que renovar el denei para hacerte las fotografías tienes que pagar cuatro euros con tu denei puedes viajar a estos países para alquilar un coche tienes que presentar el denei Varios funcionarios generan varias frases según los escenarios definidos Estimación: entre 200 y 500 frases Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones

3 PASO: EXTENSIÓN DE FRASES: FLEXIBILIDAD el denei es obligatorio desde los catorce años para solicitar por primera vez el denei necesitas dos fotos si usted solicita por primera vez el denei debe llevar la partida de nacimiento si usted tiene entre treinta y setenta años debe renovar el denei las personas mayores de setenta años ya no tienen que renovar el denei para hacerte las fotografías tienes que pagar cuatro euros con tu denei puedes viajar a estos países para alquilar un coche tienes que presentar el denei Desde los catorce años el denei es obligatorio Con más de catorce años te tienes que sacar el denei Cuando tengas catorce años tienes que disponer del denei Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones Varias formas de expresar lo mismo para aumentar la flexibilidad del sistema Estimación: entre 500 y 800 frases

4 PASO: TRADUCCIÓN Introducción Tipos de Evaluación Sistema de Diálogo Se podría utilizar el Excel para etiquetar Sugerencia: grabación de vídeos Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones Estos 4 pasos hay que repetirlos para cada uno de los 2 servicios desarrollados

DISEÑO DE LA ARQUITECTURA Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones

ARQUITECTURA Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones Requiere de un corpus paralelo de varios miles de frases para entrenar los motores de traducción

Gran Experiencia: Optimizado en múltiples proyectos ARQUITECTURA Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones Gran Experiencia: Optimizado en múltiples proyectos

RECONOCIMIENTO DE VOZ Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones

RECONOCIMIENTO DE VOZ Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones

RECONOCIMIENTO DE VOZ Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones Ya hecho Disponible

Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones Café

TRADUCCIÓN BASADA EN REGLAS Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones

TRADUCCIÓN POR REGLAS Introducción Tipos de Evaluación Reglas codificadas en C: colaboración de programador y experto en LSE. Necesidad de corpus Tipos de reglas: Un concepto se traduce por un signo. Un concepto se traduce por varios signos. Varios conceptos se traducen por un signo. Varios conceptos se traducen por varios signos. El orden de las reglas es muy importante 128 reglas de traducción para DNIs EJEMPLO: Texto: ”el denei es obligatorio desde los catorce años” Signos: DNI OBLIGATORIO DESDE CATORCE EDAD Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones

TRADUCCIÓN ESTADÍSTICA Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones

TRADUCCIÓN ESTADÍSTICA Generación de Modelos Traducción y Modelos de Lenguaje Texto Signos Texto: ”el denei es obligatorio desde los catorce años” Signos: DNI OBLIGATORIO DESDE CATORCE EDAD Modelos de Traducción y Modelos de Lenguaje Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones Signos Texto Traducción

TRADUCCIÓN ESTADÍSTICA Generación de Modelos Traducción y Modelos de Lenguaje Texto Signos Texto: ”el denei es obligatorio desde los catorce años” Signos: DNI OBLIGATORIO DESDE CATORCE EDAD Modelos de Traducción y Modelos de Lenguaje Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones Signos Texto Traducción

GENERACIÓN DE LA BASE DE DATOS DE SIGNOS Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones

LISTA DE SIGNOS A GENERAR Lista de signos a generar Muy fácil de generar con un programa sencillo. Nosotros lo tenemos disponible y lo podemos generar sin problemas Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones Lista de signos a generar

REPRESENTACIÓN DE LOS SIGNOS VGUIDO: Agente animado del proyecto eSIGN http://www.sign-lang.uni-hamburg.de/eSIGN/ Desarrollado en colaboración con la empresa VISICAST: http://www.visicast.co.uk/. Libre para investigación Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones

REPRESENTACIÓN DE LOS SIGNOS Editor de SIGNOS Genera un fichero SIGML (formato XML) para representar cada SIGNO Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones Notación HamNoSys

REPRESENTACIÓN DE LOS SIGNOS <sigml> <hns_sign gloss="GLOSS:OBLIGATORIO"> <hamnosys_nonmanual> </hamnosys_nonmanual> <hamnosys_manual> <hampinch12open/> <hamextfingero/> <hampalmul/> <hamchest/> <hamlrat/> <hamarmextended/> <hamseqbegin/> <hammovedl/> <hamsmallmod/> <hamrepeatreverse/> <hamseqend/> <hamrepeatfromstartseveral/> </hamnosys_manual> </hns_sign> </sigml> Introducción Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones

INTRODUCCIÓN A HAMNOSYS Tipos de Evaluación Sistema de Diálogo Medidas por Componentes Medidas Globales Anotación de Eventos Medidas Objetivas vs. Subjetivas Ciclo de vida de un Sistema de Diálogo Conclusiones Demo de generación de un signo

EVALUACIÓN DE LOS PROTOTIPOS

EVALUACIÓN DE LOS PROTOTIPOS Evaluación subjetiva según una encuesta Inteligibilidad Velocidad Utilidad.... Evaluación objetiva Tasa de reconocimiento Velocidad.... Número de repeticiones USUARIOS FINALES

DIVULGACIÓN DE RESULTADOS Página web con los resultados del proyecto. Publicaciones en revistas científicas y de divulgación Publicación en congresos especializados y jornadas o congresos de divulgación (Feria de Madrid,...) Medios de comunicación: televisión, prensa,.... http://lorien.die.upm.es/~lapiz/voz2lse/introduccion.php

RUEGOS Y PREGUNTAS