La descarga está en progreso. Por favor, espere

La descarga está en progreso. Por favor, espere

Desarrollo de un sistema de traducción de voz a Lengua de Signos Española para un servicio público de atención personal Primera Reunión de arranque del.

Presentaciones similares


Presentación del tema: "Desarrollo de un sistema de traducción de voz a Lengua de Signos Española para un servicio público de atención personal Primera Reunión de arranque del."— Transcripción de la presentación:

1 Desarrollo de un sistema de traducción de voz a Lengua de Signos Española para un servicio público de atención personal Primera Reunión de arranque del proyecto En la ETSI Telecomunicación de la UPM Proyecto

2 INDICE y AGENDA 10:00-10:10 Presentación 10:10-10:20 Introducción 10:20-11:30 Tareas T1: Estudio Lingüístico T2: Diseño de Arquitectura T3: Reconocimiento de voz 11:30-12:00 Café 12:00-13:20 Tareas T4: Traducción por reglas T5: Traducción estadística T6: Generación de signos T7: Evaluación de prototipos T8: Gestión/documentación 13:20-13:30 Ruegos y preguntas 13:30-14:00 Visita al laboratorio PROYECTOS

3 INTRODUCCIÓN

4 ENFOQUE VOZ TEXTO SIGNOS RAZONABLE COMPLICADO El proceso de traducción se puede llevar a cabo en los dos sentidos

5 SIGNOS - VOZ COMPLICADO Reconocimiento visual de los signos Procesado de Vídeo 2D a 3D Hoy: reconocimiento del alfabeto dactilográfico Captura de los movimientos mediante guantes Mejores tasas Poco práctico

6 VOZ - SIGNOS RAZONABLE Conseguir una buena tasa de transferencia de información: 90% es posible para dominios restringidos. El 100% es una utopía Dominios Restringidos En torno a palabras: información meteorológica, deportes,....

7 UN PRIMER PROTOTIPO En primer lugar pedir perdón porque las traducciones no han sido realizadas por ningún experto, ni los signos tampoco han sido supervisados por una persona experta

8 TAREAS: OBJETIVO Y PLANIFICACIÓN GENERAL

9 OBJETIVO CONCRETO Diseño, desarrollo y evaluación de una arquitectura software que permita la traducción de voz a Lengua de Signos Española (LSE) aplicados a la traducción de las frases que un funcionario público pronuncia cuando atiende personalmente a una persona sorda. Se elegirán dos de entre estos servicios: Renovación del Documento Nacional de Identidad (DNI). Prestaciones económicas del Instituto Nacional de la Seguridad Social (INSS). Información y gestión de los servicios que presta la DGT (Dirección General de Tráfico).

10 PLANIFICACIÓN GENERAL Original (15 meses) Real (12 meses) Tareas T0T1T2T3T4T5T6T7T8T9T10T11T12T13T14 T1: Estudio Lingüístico T2: Diseño Arquitectura T3: Reconocimiento de voz T4: Traducción por reglas T5: Traducción estadística T6: Generación de signos T7: Evaluación prototipos T8: Gestión/documentación Tareas T0T1T2T3T4T5T6T7T8T9T10T11 T1: Estudio Lingüístico T2: Diseño Arquitectura T3: Reconocimiento de voz T4: Traducción por reglas T5: Traducción estadística T6: Generación de signos T7: Evaluación prototipos T8: Gestión/documentación

11 ESTUDIO LINGÜÍSTICO

12 1 PASO: ENTREVISTA CON FUNCIONARIO Y ESCENARIOS Es necesario una entrevista con un funcionario Obtención de escenarios o posibles situaciones demandadas por los usuarios Descripción de situaciones y escenarios

13 2 PASO: RECOPILACIÓN DE FRASES el denei es obligatorio desde los catorce años para solicitar por primera vez el denei necesitas dos fotos si usted solicita por primera vez el denei debe llevar la partida de nacimiento si usted tiene entre treinta y setenta años debe renovar el denei las personas mayores de setenta años ya no tienen que renovar el denei para hacerte las fotografías tienes que pagar cuatro euros con tu denei puedes viajar a estos países para alquilar un coche tienes que presentar el denei Varios funcionarios generan varias frases según los escenarios definidos Estimación: entre 200 y 500 frases

14 3 PASO: EXTENSIÓN DE FRASES: FLEXIBILIDAD el denei es obligatorio desde los catorce años para solicitar por primera vez el denei necesitas dos fotos si usted solicita por primera vez el denei debe llevar la partida de nacimiento si usted tiene entre treinta y setenta años debe renovar el denei las personas mayores de setenta años ya no tienen que renovar el denei para hacerte las fotografías tienes que pagar cuatro euros con tu denei puedes viajar a estos países para alquilar un coche tienes que presentar el denei Varias formas de expresar lo mismo para aumentar la flexibilidad del sistema Estimación: entre 500 y 800 frases Desde los catorce años el denei es obligatorio Con más de catorce años te tienes que sacar el denei Cuando tengas catorce años tienes que disponer del denei

15 4 PASO: TRADUCCIÓN Se podría utilizar el Excel para etiquetar Sugerencia: grabación de vídeos Estos 4 pasos hay que repetirlos para cada uno de los 2 servicios desarrollados

16 DISEÑO DE LA ARQUITECTURA

17 ARQUITECTURA Requiere de un corpus paralelo de varios miles de frases para entrenar los motores de traducción

18 ARQUITECTURA Gran Experiencia: Optimizado en múltiples proyectos

19 RECONOCIMIENTO DE VOZ

20 VOZ

21 RECONOCIMIENTO DE VOZ VOZ Ya hecho Disponible

22 Café

23 TRADUCCIÓN BASADA EN REGLAS

24 TRADUCCIÓN POR REGLAS Reglas codificadas en C: colaboración de programador y experto en LSE. Necesidad de corpus Tipos de reglas: Un concepto se traduce por un signo. Un concepto se traduce por varios signos. Varios conceptos se traducen por un signo. Varios conceptos se traducen por varios signos. El orden de las reglas es muy importante 128 reglas de traducción para DNIs EJEMPLO: Texto: el denei es obligatorio desde los catorce años Signos: DNI OBLIGATORIO DESDE CATORCE EDAD

25 TRADUCCIÓN ESTADÍSTICA

26 Generación de Modelos Traducción y Modelos de Lenguaje Traducción Modelos de Traducción y Modelos de Lenguaje Texto Signos Texto Signos Texto: el denei es obligatorio desde los catorce años Signos: DNI OBLIGATORIO DESDE CATORCE EDAD

27 TRADUCCIÓN ESTADÍSTICA Generación de Modelos Traducción y Modelos de Lenguaje Traducción Modelos de Traducción y Modelos de Lenguaje Texto Signos Texto Signos Texto: el denei es obligatorio desde los catorce años Signos: DNI OBLIGATORIO DESDE CATORCE EDAD

28 GENERACIÓN DE LA BASE DE DATOS DE SIGNOS

29 LISTA DE SIGNOS A GENERAR Lista de signos a generar Muy fácil de generar con un programa sencillo. Nosotros lo tenemos disponible y lo podemos generar sin problemas

30 REPRESENTACIÓN DE LOS SIGNOS VGUIDO: Agente animado del proyecto eSIGN Desarrollado en colaboración con la empresa VISICAST: Libre para investigación

31 REPRESENTACIÓN DE LOS SIGNOS Notación HamNoSys Editor de SIGNOS Genera un fichero SIGML (formato XML) para representar cada SIGNO

32 REPRESENTACIÓN DE LOS SIGNOS

33 INTRODUCCIÓN A HAMNOSYS Demo de generación de un signo

34 EVALUACIÓN DE LOS PROTOTIPOS

35 USUARIOS FINALES Evaluación subjetiva según una encuesta Inteligibilidad Velocidad Utilidad.... Evaluación objetiva Tasa de reconocimiento Velocidad.... Número de repeticiones

36 DIVULGACIÓN DE RESULTADOS Página web con los resultados del proyecto. Publicaciones en revistas científicas y de divulgación Publicación en congresos especializados y jornadas o congresos de divulgación (Feria de Madrid,...) Medios de comunicación: televisión, prensa,....

37 RUEGOS Y PREGUNTAS


Descargar ppt "Desarrollo de un sistema de traducción de voz a Lengua de Signos Española para un servicio público de atención personal Primera Reunión de arranque del."

Presentaciones similares


Anuncios Google