Sistemas de traducción automática para reducir las barreras de comunicación de las personas sordas Rubén San Segundo y Verónica López Ludeña 5 de Marzo de 2015 Realizado por: Fundación CNSE Grupo de Tecnología del Habla Universidad Politécnica de Madrid Financiado por: Plan Avanza del Ministerio de Industria, Turismo y Comercio Fundación ONCE

Índice Objetivo Estado de la cuestión Metodología de desarrollo de sistemas de traducción de habla a lengua de signos Conclusiones Publicaciones Líneas Futuras 2

Objetivo Desarrollo de sistemas completos de traducción para evaluar con usuarios reales Habla-LSE LSE-habla 3

Lenguas de Signos Emplean el canal visual-gestual, pero también tienen características gramaticales Complejidad comparable con las lenguas escritas No son mímica Parámetros: forma de la mano, orientación de la palma, lugar de la articulación, movimiento y expresión facial Articuladores: los dedos, las manos y los brazos en las lenguas de signos. Los parámetros se producen en paralelo Los signos también tienen componentes no-manuales Existencia de clasificadores: signos que indican acciones, lugares, etc. 4 EspañolLSE Dame una fotoTU FOTO UNA DAR-A_MI

Sistemas signo-escritura 5 PalabraTranscripciónVentajasInconvenientes GLOSASGracias (LSE)GRACIAS -Fácil transcribirlas: teclado normal -Uso sencillo en ordenadores - Intuitivas -Falta de normalización - No representa totalmente el signo SEA Gracias (LSE)s chòawepop - Sencilla normalización - Fácil adaptación a otras lenguas de signos - Uso sencillo en ordenadores - Poco intuitivo - No contempla todas las formas y movimientos HAMNOSYSGracias (LSE) 138Of|È­ µªµ - Intuitivo -Válida para cualquier lengua de signos - Muy extendida -Incluye gestos no manuales (en desarrollo) - Difícil escritura y almacenamiento - Teclado especial STOKOESnake (ASL) - Descripción total de los signos manuales -Útil para diccionarios (signos sin contexto) -Difícil extensión a otras lenguas de signos - No es práctico - No describe las características no manuales -Teclado especial SIGN WRITINGThank you (ASL) - Incluye gestos no manuales - Fácil de aprender -Intuitivo - Próximo a los signos -Pictogramas complicados y escritura vertical - Almacenamiento complicado - Teclado especial

6 Agentes animados ViSiCAST y eSIGN (Elliot et al., 2008) (HamNoSys) Agente animado Paula (Wolfe et al., 2007): componente no verbales y poses naturales Websign (Jaballah et al., 2010): tecnologías web. Sistema SiSi de IBM (Paulson, 2008) Sistema comercial VCom3D En este trabajo: Niva de la UCLM (proyecto ConSignos) VGuido de eSIGN

Sistemas de traducción con lenguas de signos (I) Sistemas de traducción de habla a lengua de signos Basado en reglas (Marshall and Sáfár, 2005; San-Segundo et al., 2008; Mazzei, 2012) Basados en frases completas (Cox et al., 2002) Basados en ejemplos (Morrissey and Way, 2005) Estadísticos (Stein et al., 2006; Vendrame et al., 2010; sistema SiSi) Ejemplos+Estadístico (Morrissey, 2008) En este trabajo: Combinación de estrategias: basada en memoria y estadística Evaluación del sistema con usuarios reales Buena tasa de traducción (BLEU > 0,8) en dominios restringidos 7

Sistemas de traducción con lenguas de signos (II) Sistemas que generan habla a partir de lengua de signos Escritura directa frase: VANESA (Tryggvason, 2004) Reconocimiento de vídeo (Karami et al., 2010; Dreuw, 2009; Forster et al., 2013) Hardware especializado (Yao et al., 2006; Song et al., 2011; Google Gesture, 2014) Lenguaje SMS (Ortiz, 2009; Matthews et al., 2010) En este trabajo: especificación de la secuencia de signos mediante glosas en una interfaz gráfica 8

Metodología de desarrollo 9 Objetivo: Incrementar la adaptabilidad de los sistemas de traducción de lenguas de signos a un nuevo dominio

Análisis de requisitos (I) 10 Requisitos de usuario Características generales de los usuarios (personas sordas) personas sordas que utilizan la LSE Barreras de comunicación Problemas a nivel educativo, social y cultural Procedimiento a seguir para el análisis de los requisitos de usuario Definir los escenarios Visitas a las instalaciones Entrevistas con el personal que presta el servicio: Tipo de servicio: información más solicitada, horarios y distribución de consultas según horarios, tiempo de respuesta del servicio, etc. Tipología de usuarios y horarios

Generación de los corpora (I) 4 corpus paralelos para 4 dominios diferentes: DNI, DGT, EMT, HOTEL Proceso de generación de corpus: 1. Entrevistas con el personal del servicio 2. Recogida de frases in situ 3. Traducción de las frases por parte de expertos en LSE 4. Grabación de vídeos con las frases signadas 5. Ampliación del corpus incluyendo variantes de las frases en español para aumentar la flexibilidad del sistema entrenado 6. Edición y diseño de los signos 11

Generación de los corpora (II) 12 Base de datos total 7696 pares de frases: 1956 (DNI), 2124 (DGT), 1938 (EMT) y 1678 (HOTEL).

Adaptación del sistema de traducción habla-LSE 13

Adaptación del sistema de traducción LSE-habla 14

Evaluación en el dominio HOTEL (I) Hotel Intur Palacio San Martín (Madrid) 4 personas sordas (tres mujeres y un hombre) y un recepcionista (hombre) Usuarios: Edad media: 36 años Compresión media del español escrito Uso moderado del ordenador Evaluación Visualización de 10 signos cada persona sorda para identificarlos Interacción con el recepcionista del hotel utilizando el sistema de comunicación 15

Evaluación en el dominio HOTEL (II) Resultados del sistema habla-LSE Bajas tasas de error y tiempos cortos (3+0,002+4,1 ≈7 seg) que permiten un diálogo ágil En más del 95% de los casos la técnica de traducción empleada es la basada en memoria: fiabilidad del corpus paralelo generado 16 MEDIDAVALOR Tasa de error de palabra del reconocedor de habla 6,7% Tasa de error de signo después de la traducción 10,7% Tiempo medio de reconocimiento3,1 seg Tiempo medio de traducción0,002 seg Tiempo medio de signado4,1 sec Porcentaje de casos en que se empleó la traducción basada en memoria 96,5% Porcentaje de casos en que se empleó la traducción estadística 3,5% Porcentaje de frases traducidas con reconocimiento de habla 95,3% Porcentajes de frases traducidas a partir de texto especificado 0,0% Porcentaje de frases traducidas a partir de texto tras la repetición de la frase 4,7% Número de frases del recepcionista por diálogo7,7 Número de diálogos11 Tiempo total para traducir de habla a LSE7,2 seg

Evaluación en el dominio HOTEL (III) Resultados del sistema habla-LSE: La tasa de reconocimiento de signos aislados es muy alta En los diálogos la tasa es peor: Discrepancias sobre qué signo elegir para representar un concepto determinado 17 Tasa de reconocimiento de signos por parte de las personas sordas Primer intento Segundo intento Tercer intento Signos aislados (40 signos en total) 87,5%97,5%100,0% Preguntas sobre los diálogos (24 preguntas en total) 62,5%87,5%100,0%

Evaluación en el dominio HOTEL (IV) Resultados del sistema LSE-habla Baja tasa de error y tiempos cortos Estrategia basada en memoria es la empleada en la mayoría de los casos: fiabilidad del corpus El usuario necesitó menos de 20 segundos para especificar la secuencia de glosas 18 MEDIDAVALOR Tasa de error de palabras2,0% Tiempo medio de traducción0,001 seg Tiempo medio para la conversión texto-habla2,1 seg Porcentaje de casos en que se empleó la traducción basada en memoria 99,0% Porcentaje de casos en que se empleó la traducción estadística 1,0% Tiempo medio para la especificación de las glosas 18,0 seg Número medio de clicks para especificar la secuencia de glosas 7,8 clics Número medio de glosas por frase2,1 Porcentaje de utilización de: - Lista de glosas - Lista de glosas propuestas 60,0% 40,0% Número medio de frases utilizando la lista de secuencias de signos más frecuentes por diálogo 2,0 Número medio de frases del usuario sordo por diálogo 4,1 Número de diálogos11

Evaluación en el dominio EMT (I) Oficinas de la EMT en Méndez Álvaro (Madrid) 10 personas sordas (cinco mujeres y cinco hombres) que interaccionaron con tres funcionarios (hombres) de la EMT Usuarios: Edad media: 43 años 5 usuarios con comprensión media-alta del español escrito. 5 con comprensión baja o muy baja. 6 usuarios utilizaban un ordenador todos los días, 2 cada semana y otros 2 no lo utilizaban nunca. Evaluación Visualización de 10 signos cada persona sorda para identificarlos Interacción con el empleado de la EMT utilizando el sistema de comunicación 19

Evaluación en el dominio EMT (II) Resultados del sistema habla-LSE Bajas tasas de error y tiempos cortos (3,3+0,002+5,2 ≈8,5 seg) que permiten un diálogo ágil En más del 96% de los casos la técnica de traducción empleada es la basada en memoria: fiabilidad del corpus paralelo generado Tasas de reconocimiento (similar al HOTEL): Tasa de reconocimiento de signos aislados alta Tasa de los diálogos peor 20 MEDIDAVALOR Tasa de error de palabra del reconocedor de habla 5,9% Tasa de error de signo (tras la traducción)9,4% Tiempo medio de reconocimiento3,3 seg Tiempo medio de traducción0,002 seg Tiempo mediode signado5,2 seg Porcentaje de casos en que se empleó la traducción basada en memoria 96,3% Porcentaje de casos en que se empleó la traducción estadística 3,7% Porcentaje de frases traducidas con reconocimiento de habla 94,0% Porcentajes de frases traducidas a partir de texto especificado 0,0% Porcentaje de frases traducidas a partir de texto tras la repetición de la frase 6,0% Número medio de frases del empleado de la EMT por diálogo 7,5 Número de diálogos50 Tiempo total para traducir de habla a LSE8,5 seg

Evaluación en el dominio EMT (IV) Correlación de Spearman: Las preguntas que fueron respondidas correctamente a la primera tienen una correlación positiva con la experiencia con ordenadores y negativa con la edad El tiempo requerido para especificar la secuencia de glosas correla positivamente con la edad 21 MEDIDA DE EVALUACIÓN Experiencia con ordenadores Manejo en español escrito Edad Preguntas respondidas a la primera0,52 (p=0.050)0,40 (p=0.114)-0,62 (p=0.040) Tiempo para especificar las glosas en la interfaz gráfica -0,35 (p=0.123)-0,23 (p=0.214)0,58 (p=0.047) Porcentaje de veces que el empleado de la EMT tiene que repetir una frase -0,26 (p=0.245)-0,32 (p=0.122)0,49 (p=0.056)

Conclusiones Generación de un corpus paralelo español-LSE Aplicación de técnicas de traducción al caso concreto de español-LSE Desarrollo de un sistema completo de traducción bidireccional Evaluación del sistema completo con usuarios reales 22

23 MUCHAS GRACIAS

PUBLICACIONES 24

Publicaciones (I) Revistas internacionales con factor de impacto 1. López-Ludeña, V., González-Morcillo, C., López, J.C., Ferreiro, E. Ferreiros, J., San-Segundo, R. (2014a). Methodology for developing an Advanced Communications System for the Deaf in a New Domain. In Knowledge-Based Systems, volume 56, January 2014, pages 240– López-Ludeña, V., González-Morcillo, C., López, J.C., Barra-Chicote, R., Cordoba, R., San-Segundo, R. (2014b). Translating Bus Information into Sign Language for Deaf People. In Engineering Applications of Artificial Intelligence, volume 32, June 2014, pages 258– López-Ludeña, V., San-Segundo, R., González Morcillo, C., López, J.C., Pardo, J.M. (2013d). Increasing Adaptability of a Speech into Sign Language Translation System. In Expert Systems with Applications, volume 40, pages 1312– López-Ludeña, V., Barra-Chicote, R., Lutfi, S., Montero, J.M., San-Segundo, R. (2013e). LSESpeak: A Spoken Language Generator for Deaf people, In Expert Systems with Applications, volume 40, pages 1283– López-Ludeña, V., San-Segundo, R., Martín, R., Sánchez, D., and García, A. (2011b). Evaluating a Speech Communication System for Deaf People. In IEEE Latin America Transactions, volume 9, number 4, pages López-Ludeña, V. San-Segundo, R., Montero, J.M., Córdoba, R. Ferreiros, J. Pardo, J.M. (2012a). Automatic Categorization for Improving Spanish into Spanish Sign Language Machine Translation. In Computer Speech and Language, Elsevier, volume 26, issue 3, June 2012, pages 149– 167. Revistas nacionales 1. López-Ludeña, V., San-Segundo, R., Montero, J.M., Lorenzo, J. (2012d). Sentence selection for improving the tuning process of a statistical machine translation system. In Procesamiento de Lenguaje Natural, volume 48, March 2012, pages Congresos internacionales 1. López-Ludeña, V., San-Segundo, R., González-Morcillo, C., López, J.C., Ferreiro, E. (2013a). Adapting a Speech into Sign Language Translation System to a new domain. In Proc. of the 14th Annual Conference of the International Speech Communication Association (Interspeech 2013), pages , Lyon France, August López-Ludeña, V., San-Segundo, R., Ferreiros, J., Pardo, J.M., Ferreiro, E. (2013c). Developing an Information System for Deaf. In Proc. of the 14th Annual Conference of the International Speech Communication Association (Interspeech 2013). pages , Lyon France, August. 3. López-Ludeña, V., San-Segundo, R. and Montero, J.M. (2012d).UPM system for WMT In Proc. of the 7th Workshop on Statistical Machine Translation (WMT12), pages 338–344, Montréal, Canada, June

Publicaciones (II) Congresos internacionales 1. López-Ludeña, V., San-Segundo, R., Córdoba, R., Ferreiros, J., Montero, J.M., Pardo, J.M. (2011a). Factored Translation Models for improving a Speech into Sign Language Translation System. In Proc. of the 12th Annual Conference of the International Speech Communication Association (INTERSPEECH 2011), pages , Florence, Italy, August. 2. López-Ludeña, V., San-Segundo, R., Lutfi, S., Lucas-Cuesta, J.M., Echeverry, J.D., Martínez-González, B. (2011c). Source Language Categorization for improving a Speech into Sign Language Translation System. In Proc. Of Workshop on Speech and Language Processing for Assistive Technologies (SLPAT2011), pages 84-93, Edinburgh, UK July López-Ludeña, V., and San-Segundo, R. (2011). UPM system for the translation task. In Proc. Of Sixth Workshop on Statistical Machine Translation (WMT2011), pages , Edinburgh, UK July 30–31. Congresos nacionales 1. López-Ludeña, V. San-Segundo, R., González-Morcillo, C., López, J.C., Ferreiro, E., Santos, M.J., Ruiz-Chacón, M., Almansilla, T., Cifuentes, E. and Rey, P. (2013b). CONSIGNOS: Generating Sign Language from Speech. In Proc. Of the International Symposium on Arficial Intelligence and Assistive Technology (CEDI 2013), pages 41-50, Madrid, September López-Ludeña, V., San-Segundo, R., González Morcillo, C., López, J.C., Pardo, J.M. (2012c). Methodology for developing a Speech into Sign Language Translation System in a New Semantic Domain. In Proc. of IberSPEECH 2012 – VII Jornadas en Tecnología del Habla and III Iberian SLTech Workshop, pages , November López-Ludeña, V., San-Segundo, R., Martín, R., Echeverry, J.D., Lutfi, S. (2010a). Sistema de traducción de lenguaje SMS a castellano. In Proc. of XX Jornadas Telecom I+D, Valladolid, September López-Ludeña, V.,San-Segundo, R., Martín, R., Sánchez, D., García, A. (2010b). Sistema de Comunicación Oral para Personas Sordas. In Proc. Of the XX Jornadas Telecom I+D, pages, Valladolid, September López-Ludeña, V., San-Segundo, R., Martín, R., Lucas, J.M., Barra-Chicote, R. (2010c). Estudio del tipo de alineamiento en un sistema de traducción estadística de castellano a Lengua de Signos Española (LSE). In Procesamiento del Lenguaje Natural, volume 45, septiembre 2010, pages López-Ludeña, V., San-Segundo, R., Martín, R., Lucas, J.M., Echeverry, J.D. (2010d). Spanish generation from Spanish Sign Language using a phrase-based translation system. In Proc. Of the VI Jornadas en Tecnología del Habla and II Iberian SLTech Workshop (FALA 2010), pages , Vigo, Spain, November