IEEE TRANSACTIONS ON NEURAL NETWORKS, VOL. 13, NO. 4, JULY 2002 983 Visual Recognition of Continuous Hand Postures Claudia Nölker and Helge Ritter
introduccion Gesture Recognition based on Finger Tips Utiliza imágenes en niveles de gris y redes neuronales para identificar gestos continuos de las manos Identifica los angulos de las articulaciones Reconstruye la pose 3D dela mano Sigue el movimiento de la mano
Usa dos niveles de proceso con redes neuronales: identificación de la posición de las puntas de los dedos Reconstruccion de la información 3D de las articulaciones.
Estudios han demostrado que las puntas de los dedos son suficientes para entender el ASL. Asume que los fingertips son determinantes de la pose de la mano El sistema debe ser capaz de detectarlos en zonas de bajo contraste en la imagen y sin modelos geometricos previos
Jerarquia de procesos para la detección del fingertip
Calibración: para evitar problemas de escala se ajusta el zoom de la camara para que la mano tenga aspecto normalizado Traslación: el centroide de la mano es el punto de referencia para las comparaciones Deteccion de bordes con una máscara laplaciana para guiar los procesos (a priori)
Proceso global Utiliza un banco de filtros de gabor para detectar las caracteristicas globales de la imagen No convoluciona los filtros sino que los aplica mediante correlacion obteniendo un único coeficiente para cada filtro La imagen se convierte en un vector de 35 parametros
Linear local maps Es una red mixta con una capa no supervisada y otra supervisada se aplica a los coeficientes de las mascaras de Gabor para obtener una estimacion gruesa de la posicion del fingertip 6 nodos, 1000 imágenes de entranamiento con fingertips marcados manualmente
LLM para la deteccion local Calcula la imagen de bordes en el entorno de la estimacion anterior Aplica mascaras de Gabor especializadas sobre las imágenes de bordes 2 redes: 1 para el pulgar y 1 para los otros dedos 2400 imágenes de entrenamiento
Restricciones biologicas
PSOM Parameterized SOM Reemplaza el lattice del SOM por un continuo manifold Permite modelar funciones continuas Se usa para modelar la cinemática inversa