3D structure from motion Tony Jebara, Ali Azarbayejani, Alex Pentland IEEE signal processing Magazine 16(3) Structure from Motion

Introduccion Estructura a partir del movimiento (SfM: Structure from Motion): Cálculo de geometría 3D a partir del flujo óptico o movimiento en 2D. Asunciones que simplifican el problema Los objetos se mueven de forma rígida o, equivalentemente, sólo la cámara se mueve en el entorno Existe un módulo que preprocesa las imágenes para extraer todas las características relevantes en 2D (puntos caracteristicos, esquinas, lineas) en cada trama las caracteristicas se extraen y se obtienen las correspondencias intertrama No asumen conocimiento sobre las posiciones 3D, el movimiento de la cámara o la geometría de la cámara Structure from Motion

Structure from Motion

Aplicaciones Reconstrucciones de modelos 3D: reconstrucción de construcciones arquitectónicas Movimiento 3D coordinado (motion matching) Inserción de objetos virtuales en las escenas (fig 2) Animación controlada visualmente (fig 1) Juegos, cine, video, medios interactivos. Diseño industrial, visualizacion, realida virtual y realización aumentada virtualmente Calibración de cámara: visión activa Parámetros externos de posición de la cámara Parámetros internos como la longitud focal Structure from Motion

Structure from Motion

Aplicaciones Visión 3D: SfM como subcomponente de aplicaciones de visión 3D Interfaces perceptivas: reconocimiento de gestos Robótica Coordinación ojo-mano, navegación, detección de obstaculos Codificación 3D de secuencias Mosaicos y rectificación: reconocimiento remoto Structure from Motion

Origenes de SfM Photogrammetry: extracción de información tridimensional para construcción de mapas. SfM se utilizó originalmente para rectificar y construir mosaicos, y para estimar elevaciones Visión Marr and Poggio reconstrucción 3D a partir de estereo, basado en emparejamientos de puntos singulares Ulman muestra que el emparejamiento de cuatro puntos en tres tramas da una solución única para los parámetros de movimiento y estructura, a través de un algoritmo no-lineal Structure from Motion

Técnicas lineales Métodos lineales: tienen solución directa Son más elegantes Son inestables numericamente Structure from Motion

Geometría proyectiva COP: centro de proyección Proyección de perspectiva Structure from Motion

Geometría epipolar: visión estereo Plano epipolar Lineas epipolares: intersección de la imagen con el plano epipolar F matriz fundamental Structure from Motion

Geometria epipolar: La matriz fundamental F Relaciona las dos vistas Codifica la geometría intrínseca tanto como el movimiento relativo extrínseco entre las cámaras Es una relación lineal La estimación de F es independiente de la escena Identificar un punto en una imagen nos da una línea epipolar en la otra imagen Structure from Motion

Geometria epipolar: La matriz fundamental F Dados ocho puntos observados y emparejados, se plantean 8 ecuaciones que dan un sistema de ecuaciones lineal Dados mas de 8 puntos se resuelve por mínimos cuadrados La estimación es numericamente inestable, involucra la SVD Degeneraciones: coincidencia de los COP, puntos coplanares en la escena, sensibilidad al ruido Structure from Motion

Geometria trifocal Tensor trifocal con 18 grados de libertad que se pueden estimar por minimos cudrados Structure from Motion

Tomasi-Kanade factorización Basado en la proyección ortográfica Structure from Motion

Tomasi-Kanade P puntos seguidos en F tramas en una matriz W de tamaño 2FxP Para cada trama los P puntos se registran substrayendo la media La matriz resultante es factorizada W=RS Inconvenientes: no calcula movimientos hacia delante, movimientos: traslaciones en el plano imagen, rotaciones limitadas de la camara Structure from Motion

Issues for motion sequences Seguimiento probabilistico de las caracterísiticas. Es preciso modelar el error de estimación de las caracteristicas (Gausianas) Causalidad y recursion:el movimiento de la cámara puede ser tenido en cuenta para añadir robusted Los desplazamientos entre los COP (baseline) son pequeños: genera inestabilidades numericas/facilita el seguimiento de caracteristicas Structure from Motion

Proposición Recuperación recursiva de estructura 3D, movimiento 3D y geometría de la cámara a partir de correspondencias sobre una secuencia Caracteristicas Integra un modelo dinámico Modela el error Tiempo real, online Da un resultado métrico 3D completo Structure from Motion

El sistema dinámico Sistema dinámico definido en el plano imagen, x es el estado interno, y el observable La observación es no lineal y corrompida por ruido La dinámica interna es lineal y corrompida por ruido, en general se considera un random walk Structure from Motion

Representación interna Geometria proyectiva central Desacopla la inversa de la distancia focal de la coordenada Z del punto central de la image Structure from Motion

Representacion interna Modelo 3D: N puntos seguidos en la secuencia de F trama Cada punto se representa por su rayo de perspectiva Reducida complejidad y mejora de estabilidad numerica Structure from Motion

Representación interna Traslacion 3D, definida sobre el sistema centrado en la imagen Debido a la sensibilidad de la estimación en el eje Z se usa la transformación que permite observarlo Structure from Motion

Representación interna Rotación 3D: mediante un cuaternion unitario que tiene tres grados de libertad. Y un cuaternio incremental que permite mantener un estimador de la rotación global Structure from Motion

Extended Kalman filter La representación interna es Mas un cuaternion de rotación externo al algoritmo Structure from Motion

Experimento 1 Structure from Motion

Structure from Motion

Experimento 2 Structure from Motion

Structure from Motion

Real time face tracking Structure from Motion

Structure from Motion