DISEÑO E IMPLEMENTACIÓN DE UN SISTEMA PARA LA MANIPULACIÓN DE OBJETOS VIRTUALES POR MEDIO DE UN LENGUAJE DACTILOLÓGICO José Oramas M.

El problema Paradigma del Escritorio – Estándar a través de los años – No necesariamente el mejor paradigma Recientes productos están tratando de darle un giro a la forma común de interactuar (Interfaces Hápticas)

Alternativas Comerciales

Propuesta Elaborar un sistema – Interfaz Háptica – Bajo costo costos de hardware carga cognitiva –Estudio del Estado de Arte. –Determinar la efectividad de los algoritmos empleados en el sistema propuesto. –Medir la facilidad de aprendizaje de los usuarios

Componentes (1)Área de Trabajo (2)Dispositivo de Captura (3)Computador (4) Software

Cámara Módulo de detección, reconocimiento y seguimiento Módulo GUI Proyectar Imágen señal de video Módulo de adquisición de Imágenes Módulo de Reconocimiento de Gestos Módulo de Aplicación Módulos del Sistema

Hardware Poseer relativo bajo costo. Evitar uso de hardware especializado. No verse ligado a un dispositivo de hardware determinado.

Alternativas para desarrollo Hacks de Wiimote Touchlib (FTIR) HandVu

Implementación Área de Trabajo Dispositivo de Captura Computado r

Cámara Módulo de detección, reconocimiento y seguimiento Módulo GUI Proyectar Imágen señal de video Módulo de adquisición de Imágenes Módulo de Reconocimiento de Gestos Módulo de Aplicación Implementación - OpenCV - gspcav1 - uvcvideo - HanVu - Librerias C standard - OpenCV - OpenCV-HighGUI

Pruebas Virtual Table

Prueba 1: Eficiencia de Detección Tiempo detección promedio de: 0.72 segundos Tiempo de detección por Intento

Prueba 2: Efectividad de Reconocimiento

Prueba 3: Eficiencia en Integración de componentes

Prueba 4: Funcionamiento sobre fondos dinámicos Tiempo de detección Tiempo detección promedio: - usuario 1: segs. - usuario 2: segs.

Prueba 5: Funcionamiento sobre superficies dinámicas empleando una cámara infraroja Comparación de Tiempos Tiempo detección promedio - usuario 1: segs segs. - usuario 2: segs segs.

Prueba 5: Tiempo de ejecución de tarea de modificación de tamaño y traslación de imágenes. Tiempo ejecución promedio: 13 segundos Tiempo de ejecución de tareas

Virtual Table Componentes

Conclusiones Análisis del Estado de Arte – FTIR (presición) – Wiimote (portabilidad física) – HandVu (naturalidad de uso) Diseño independiente de Hardware. Mejoras al detectar diferentes colores de piel (Cámara Infrarroja).

Conclusiones Implementación de bajo costo – Hardware disponible. – Herramientas FOSS. – HandVu (mínima carga cognitiva). Aprendizaje rápido (4 intentos). Producto final: Sistema de Interacción en base a posturas y gestos dactilológicos.

Recomendaciones Pruebas en áreas de fuentes de luz infrarroja de alta intensidad. Pruebas empleando cámaras DV. Integración de librerias de sonido y motores de física.

Trabajo Futuro

DISEÑO E IMPLEMENTACIÓN DE UN SISTEMA PARA LA MANIPULACIÓN DE OBJETOS VIRTUALES POR MEDIO DE UN LENGUAJE DACTILOLÓGICO José Oramas M.