IEEE TRANSACTIONS ON NEURAL NETWORKS, VOL. 13, NO. 4, JULY

Presentación del tema: "IEEE TRANSACTIONS ON NEURAL NETWORKS, VOL. 13, NO. 4, JULY"— Transcripción de la presentación:

1 IEEE TRANSACTIONS ON NEURAL NETWORKS, VOL. 13, NO. 4, JULY 2002 983
Visual Recognition of Continuous Hand Postures Claudia Nölker and Helge Ritter

2 introduccion Gesture Recognition based on Finger Tips
Utiliza imágenes en niveles de gris y redes neuronales para identificar gestos continuos de las manos Identifica los angulos de las articulaciones Reconstruye la pose 3D dela mano Sigue el movimiento de la mano

3 Usa dos niveles de proceso con redes neuronales:
identificación de la posición de las puntas de los dedos Reconstruccion de la información 3D de las articulaciones.

4 Estudios han demostrado que las puntas de los dedos son suficientes para entender el ASL.
Asume que los fingertips son determinantes de la pose de la mano El sistema debe ser capaz de detectarlos en zonas de bajo contraste en la imagen y sin modelos geometricos previos

5 Jerarquia de procesos para la detección del fingertip

6

7

8 Calibración: para evitar problemas de escala se ajusta el zoom de la camara para que la mano tenga aspecto normalizado Traslación: el centroide de la mano es el punto de referencia para las comparaciones Deteccion de bordes con una máscara laplaciana para guiar los procesos (a priori)

9

10 Proceso global Utiliza un banco de filtros de gabor para detectar las caracteristicas globales de la imagen No convoluciona los filtros sino que los aplica mediante correlacion obteniendo un único coeficiente para cada filtro La imagen se convierte en un vector de 35 parametros

11

12

13 Linear local maps Es una red mixta con una capa no supervisada y otra supervisada se aplica a los coeficientes de las mascaras de Gabor para obtener una estimacion gruesa de la posicion del fingertip 6 nodos, 1000 imágenes de entranamiento con fingertips marcados manualmente

14

15

16

17

18 LLM para la deteccion local
Calcula la imagen de bordes en el entorno de la estimacion anterior Aplica mascaras de Gabor especializadas sobre las imágenes de bordes 2 redes: 1 para el pulgar y 1 para los otros dedos 2400 imágenes de entrenamiento

19

20

21

22

23 Restricciones biologicas

24

25 PSOM Parameterized SOM
Reemplaza el lattice del SOM por un continuo manifold Permite modelar funciones continuas Se usa para modelar la cinemática inversa

26

27

28

29

30