Byron Llerena Zambrano ESCUELA POLITÉCNICA DEL EJÉRCITO DEPARTAMENTO DE ELÉCTRICA Y ELECTRÓNICA, AUTOMATIZACIÓN Y CONTROL. Diseño e implementación de un kit de aplicaciones para personas con discapacidad visual utilizando la plataforma android sdk Byron Llerena Zambrano SANGOLQUI – MARZO 2012

AGENDA GENERALIDADES IMPLEMENTACIÓN MARCO TEÓRICO Reconocimiento de color Justificación del proyecto. Objetivos del Proyecto. IMPLEMENTACIÓN Descripción del Kit de Aplicación conjunta. aplicaciones. Llamadas telefónicas Mensajería MARCO TEÓRICO Contactos Programación orientada a Color objetos. Sistema operativo Android PRUEBAS EXPERIMENTALES Teoría de colores. CONCLUSIONES DISEÑO Navegación Ingreso de caracteres Detección de movimiento Respuestas al individuo

1. GENERALIDADES

JUSTIFICACIÓN DEL PROYECTO COMUNICARSE Cotidianidad S O L U C I Ó N Herramientas poderosas AUTONOMÍA Sistema operativo abierto Uso mayoritario LOCALIZACIÓN Desarrollo contínuo

OBJETIVOS Diseñar e implementar un kit de aplicaciones para personas con discapacidad visual utilizando la plataforma Android SDK. Cubrir mediante el kit de aplicaciones, las funciones principales que un dispositivo celular comprende. Guiar el individuo a través del kit de aplicaciones. Realizar pruebas de satisfacción del prototipo en personas con discapacidad visual.

DESCRIPCIÓN DEL KIT DE APLICACIONES Pantalla táctil Vibrador Acelerómetro TTS Altavoz ELEMENTOS DEL SMARTPHONE A UTILIZAR SMARTPHONE

DESCRIPCIÓN DEL KIT DE APLICACIONES ADITAMENTO AL SISTEMA OPERATIVO ESPAÑOL / INGLÉS INGRESO MEDIANTE ACELERÓMETRO FUNCIONES PRINCIPALES GENERALIDADES DEL SOFTWARE

2. MARCO TEÓRICO

Programación orientada a objetos (POO) Un método de programación que pretende representar la manera en que concebimos las cosas en el mundo real, en código fuente. Un objeto posee tres elementos importantes, un nombre, características y mecanismos. Nombre = Clase Características = Propiedades Mecanismos = Métodos

Programación orientada a objetos (POO) CARACTERÍSTICAS PRINCIPALES ABSTRACCIÓN ENCAPSULAMIENTO MODULARIDAD POLIMORFISMO HERENCIA

Sistema operativo android (ARQUITECTURA)

Sistema operativo android COMPONENTES PRINCIPALES Ejemplos Interfaz gráfica al usuario Pantalla cualquiera Concepto ACTIVITIES Proceso en segundo plano Concepto Cronómetro SERVICES Concepto Proveedor de información CONTENT PROVIDERS Contactos Concepto Recibe y responde anuncios BROADCAST RECEIVERS Celular iniciado

Fundamentos de colores NOMBRE VALOR DEC (R – G – B ) Blanco 255 – 255 – 255 Negro 0 – 0 – 0 Gris 169 – 169 – 169 Azul 0 – 0 – 255 Rojo 255 – 0 – 0 Verde 0 – 255 – 0 Amarillo 255 – 255 – 0 Cyan 0 – 255 – 255 Magenta 255 – 0 – 255 Café 150 – 75 – 0 Naranja 255 – 127 – 0 MODELO DE COLOR RGB Valores de colores en decimal

3. DISEÑO

Diseño Aplicación conjunta HORA ACTUAL ACCIONES DE CONTACTOS ACCIONES DE MENSAJERÍA ACCIONES DE LLAMADAS LLAMADAS PERDIDAS MENSAJES NO LEIDOS NIVEL BATERÍA MENÚ PRINCIPAL 1

INFORMACIÓN AUDITIVA DEL SOFTWARE RECONOCIMIENTO DE COLOR Diseño Aplicación conjunta INFORMACIÓN AUDITIVA DEL SOFTWARE RECONOCIMIENTO DE COLOR ELECCIÓN DEL IDIOMA INFORMACIÓN PANTALLA Menú Principal 2

DISEÑO APLICACIÓN CONJUNT A Aspectos importantes de diseño NAVEGACIÓN INGRESO DE CARACTERES DETECCIÓN DE MOVIMIENTO RESPUESTAS AL INDIVIDUO RECONOCIMIENTO DE COLORES

navegación GESTOS BOTONES Click : Escuchar información de botón. Gesto de derecha a izquierda: Atrás , ignorar llamadas , ignorar mensajes de texto. Gesto “Visto” : Aceptar llamadas telefónicas, Leer Mensaje de texto Gesto de izquierda a derecha: Paso de menú principal 1 a menú principal 2 BOTONES Click : Escuchar información de botón. LongCLick : Realizar acción de botón.

Ingreso de caracteres ALFABÉTICOS 1 Toque B , C, D, G, L, M, N, O, P, R, S, U, V, W, Z 2 Toques A, B, D, E, F, J, K, N, P, Q, R, T, X, Y, Z 3 Toques A, E, F, H, I, K, N, R, Z Se añade gestos por el número de Toques. 4 toques E, M

Ingreso de caracteres NUMÉRICOS 1 Toque 1, 2, 3, 4, 5, 6, 7, 8, 9, 0 2 Toques 4, 7, 8, 9 Se añade gestos por el número de Toques.

INGRESO DE CARACTERES RECONOCIMIENTO CARACTÉRES ALFABÉTICOS Y NUMÉRICOS RESPUESTA Puntos del Toque Calculo de pendientes Distancia en puntos importantes

DETECCIÓN DE MOVIMIENTO Especificaciones acelerómetro Actualización cada 100 ms Eje X para celulares Eje Z para tabletas Ciclo del servicio sacudir

DETECCIÓN DE MOVIMIENTO Condiciones a cumplir T < 1200 ms T > 400 ms a(+) a(-) acel1(+) y acel2(-) acel1(-) y acel2(+) Ftotal > Umbral MENÚ PRINCIPAL

RESPUESTAS AL INDIVIDUO ALTAVOZ (TEXT TO SPEECH) Tipos AUDITIVA TÁCTIL Simultáneas Medio Medio ALTAVOZ (TEXT TO SPEECH) VIBRADOR Configura idioma dependiendo la localidad Tipos de respuestas Tipos de respuestas INGLÉS ESPAÑOL Aviso 20 ms Aviso 100 ms Recursos distintos con las mismas variables Notificación de información Notificación de acción

RECONOCIMIENTO DE COLORES TAMAÑO DE SALTO DE ANÁLISIS DE PIXELES CONDICIÓN TAMAÑO DEL SALTO Tam < 1 Mb 10 1 Mb ≤ Tam < 2 Mb 20 2 Mb ≤ Tam < 3 Mb 30 3 Mb ≤ Tam < 4 Mb 40 4 Mb ≤ Tam < 5 Mb 50 5 Mb ≤ Tam < 6 Mb 60 Tam ≥ 6 Mb 70 INICIO A S Í N C R O DECODIFICAR IMAGEN JPEG – ARGB 8888 DETERMINAR TAMAÑO DE SALTO DE ANALISIS DE PIXELES COLOR DE CADA PIXEL NOMBRE VALOR DEC (R – G – B ) Blanco 255 – 255 – 255 Negro 0 – 0 – 0 Gris 169 – 169 – 169 Azul 0 – 0 – 255 Rojo 255 – 0 – 0 Verde 0 – 255 – 0 Amarillo 255 – 255 – 0 Cyan 0 – 255 – 255 Magenta 255 – 0 – 255 Café 150 – 75 – 0 Naranja 255 – 127 – 0 0 - 255 0 - 255 R G ANALIZAR COLOR DE CADA PIXEL B ENTREGAR EL COLOR FINAL 0 - 255 FIN

4. IMPLEMENTACIÓN

MENÚ PRINCIPAL Menú Principal 1 Menú Principal 2 Gesto “Atrás” Gesto “Menú 2” 1. Cubierta receptora de gestos Ajustes Color Ayuda Información Reloj Mensajería Contactos Eventos Llamadas

LLAMADAS TELEFÓNICAS Contestar llamada entrante Ignorar llamada entrante Acabar llamada

LLAMADAS TELEFÓNICAS Ingreso de números Borrar todo lo ingresado Escuchar todo el número ingresado Almacenar el número Ir al historial de llamadas Escuchar la información de la pantalla Llamar al número Borrar el último número ingresado. Cobertura de gestos

MENSAJERÍA Ignorar Mensaje Leer Mensaje Buzón de Entrada Botón “Información de la pantalla” Botón “Escuchar Mensaje” Botón “Siguiente Mensaje” Botón “Anterior Mensaje” Botón “Responder Mensaje” Botón “Borrar Mensaje” Cubierta receptora de gestos en toda la pantalla

mensajería Menú de mensajería Ingreso de número o de contacto Ingreso de texto Gesto espacio Escuchar Texto Ingresado Cambiar de modo letras a números y viceversa Anterior Contacto Info Contacto Siguiente Contacto Información de Pantalla Aceptar Borrar ultimo carácter o número Cubierta receptora de Gestos Escuchar Texto Ingresado Cambiar de modo letras a números y viceversa Información de Pantalla Enviar Borrar ultimo carácter o número Cubierta receptora de gestos Buzón de Entrada Buzón de Salida Nuevo Mensaje Opciones Información Cubierta receptora de gestos

CONTACTOS Menú Contactos Ingreso de número Edición o información de contacto Añadir Contacto. Escuchar o editar información de un contacto. Información de pantalla. Cubierta receptora de gestos. Escuchar número ingresado Información de pantalla Borrar último número ingresado Ingresar Nombre Cubierta receptora de gestos . Escuchar Texto Ingresado Anterior “Contacto Siguiente Contacto Información de pantalla Aceptar Contacto Borrar último caracter Cubierta receptora de gestos.

color Determinación tamaño salto Reconocimiento de color Colores Blanco , Negro , Gris Diferencia R y G <10 Diferencia R y B <10 Diferencia B y G <10 R,G,B ≥ 200 R,G,B ≤ 80 80<R,G,B<200 Superficie “Cámara” Información de la pantalla Activar Flash Atrás

color Diferencia R y B <60 Diferencia B y G <20 Diferencia Colores amarillo , café , naranja Colores azul y celeste Diferencia B – G > 30 Diferencia B – R > 30 Diferencia R y B <60 Diferencia B y G <20 Diferencia R,G ≥ 50 Diferencia B – G <50 Diferencia B – G ≥ 50 Diferencia R,G < 50 R>110 R≤110 Color Violeta Diferencia B - G > 40 Diferencia R - G > 40 R,B > 120 Diferencia R y G < 20 Color rojo Diferencia R-B > 80 Diferencia R-G > 80 Color Verde Diferencia G-B > 30 Diferencia G-R > 30

5. PRUEBAS EXPERIMENTALES

Pruebas experimentales Mensajería   FUNCIONALIDAD UTILIDAD FACILIDAD DE USO PERSONA 1 5 4 PERSONA 2 PERSONA 3 1 PERSONA 4 RESULTADO 20 14 Contactos   FUNCIONALIDAD UTILIDAD FACILIDAD DE USO PERSONA 1 4 5 PERSONA 2 3 PERSONA 3 2 1 PERSONA 4 RESULTADO 14 13 16

Pruebas experimentales Llamadas   FUNCIONALIDAD UTILIDAD FACILIDAD DE USO PERSONA 1 4 5 PERSONA 2 PERSONA 3 1 PERSONA 4 RESULTADO 14 18 Color   FUNCIONALIDAD UTILIDAD FACILIDAD DE USO PERSONA 1 5 PERSONA 2 4 PERSONA 3 PERSONA 4 RESULTADO 18 19

Análisis técnico Uso de Memoria de “Black and White” Uso de Memoria de “Navegador”

6. CONCLUSIONES

CONCLUSIONES. Se ha logrado exitosamente que las personas con discapacidad visual realicen y reciban llamadas telefónicas desde su dispositivo con una dificultad muy baja debido al uso de gestos, respuestas vibratorias y mensajes auditivos. Al utilizar respuestas auditivas y táctiles se le ha facilitado al usuario el uso del dispositivo una vez que se lo empieza a utilizar y la capacidad de acostumbrarse al mismo con el tiempo. Al realizar pruebas con gente con discapacidad visual se comprobó que el software resultó ser de gran utilidad, y que despertó un interés en sus usuarios por el uso de dispositivos móviles que no se ha presentado antes debido a la falta de software dedicado a estas personas. El uso de una aplicación dedicada al reconocimiento de colores, ha permitido a personas con discapacidad visual adquirir cierto grado de independencia al momento de elegir sus prendas de vestir.

DESCRIPCIÓN DEL KIT DE APLICACIONES BOTONES GESTOS

FUNCIONES PRINCIPALES DESCRIPCIÓN DEL KIT DE APLICACIONES ATRÁS BOTÓN ESCUCHAR SACUDIR BOTONES FUNCIONES PRINCIPALES