Tracking de objetos articulados Model-Based Tracking of Complex Articulated Objects Kevin Nickels, Member, IEEE, and Seth Hutchinson, Senior Member, IEEE IEEE TRANSACTIONS ON ROBOTICS AND AUTOMATION, VOL. 17, NO. 1, FEBRUARY 2001

Métodos para seguir objetos articulados y complejos Basado en modelo –Apariencia para reconocimiento en la imagen –Dinámica de los componentes En cada instante el sistema toma una imagen y combina el conocimiento del estado anterior de los objetos y la imagen actual para estimar la nueva posición. Cada grado de libertad tiene asociado un coeficiente de incertidumbre, que se actualiza con la dinámica. Un filtro extendido de Kalman se usa para la estimación y actualización de los coeficientes de incertidumbre.

Object tracking: problema de estimar y actualizar la configuración de un objeto en el tiempo. –Pose –Parametros internos Feature tracking: el problema de estimar y actualizar la posición de características de los objetos en una secuencia de imágenes. Visual servoing: controla la cámara para que las características de interés ocupen la misma posición en la imagen. Model-based object tracking: explota modelos de movimiento del objeto y de apariencia para realizar el control:

Proceso: 1- Un sintetizador de imágenes usa la posición anterior de los objetos para crear una imagen de la posición de los componentes. 2- el tracker estima la posición de las características en la imagen mediante suma de diferencias al cuadrado. 3- las observaciones sirven para actualizar la estimación mediante un filtro de kalman extendido.

Los puntos característicos se especifican manualmente como puntos 3D en el sistema de coordenadas del link. Dado el modelo geométrico y la configuración estimada, se pueden determinar las posiciones de los puntos característicos en coordenadas del mundo. Es la posición esperada de los puntos característicos en la imagen. Si un punto caracteristico es visible en una configuracion, es de esperar que un trozo de la imagen a su alrededor sera consistente con la imagen sintética. Estos trozos son las “feature appearance template” que se buscan en la imagen.

Medidas de las apariciones de las características e incertidumbres asociadas Asume que el ruido aditivo de estimación de las características es independiente. La matriz de correlación de z es diagonal por bloques La oclusión es función del punto de vista de la cámara, la configuración del sistema y los objetos externos. Los errores en el caso de oclusión son debidos a la mala estimación del estado.

Define off-screen occlusion como la situación en la que una característica cae en el plano imagen fuera de la ventana visible por la cámara. Define self-occlusion como la situación en la que otras partes del modelo ocluyen la característica. En estos casos se anula la estimación del estado correspondiente a estas características y no se buscan en la imagen. Se hacen constantes Lo que hace que el tracking de la característica invisible no afecte la actualización del estado.

External occlusion es el caso en que un objeto externo ocluye la característica En este caso la busqueda del patrón asociado a la característica producirá una gran incertidumbre lo que hará que sean desestimados en el proceso de actualización del estado.

Caso general del EKF El vector de estados contiene los ángulos y velocidades en cada una de las juntas del robot. La velocidad es constante La función de observación vienen determinada por la cámara, descrita por la matriz de transformación C. Es la posición de una característica Es la transformación de coordenadas del mundo a las coordenadas de una junta.

La función de observación, dada por la proyección de los puntos característicos en la imagen

Predicción del estado Formulación del filtro de kalman extendido Ecuaciones de correccion

Casos de estudio: 1- PUMA robot: la aplicación es directa 2- robot con longitud desconocida de los link Estado aumentado con las longitudes desconocidas Dinámica del estado aumentado En los experimentos se utilizan templates de 39x39 pixels, la detección en la imagen se hace off-line por razones de tiempo evidentes.

Caso 1: robot PUMA con auto-oclusion

Caso 1c tracking con oclusiones externas

Tracking con longitudes desconocidas e inicialmente erroneas