3D structure from motion

Presentación del tema: "3D structure from motion"— Transcripción de la presentación:

1 3D structure from motion
Tony Jebara, Ali Azarbayejani, Alex Pentland IEEE signal processing Magazine 16(3) Structure from Motion

2 Introduccion Estructura a partir del movimiento (SfM: Structure from Motion): Cálculo de geometría 3D a partir del flujo óptico o movimiento en 2D. Asunciones que simplifican el problema Los objetos se mueven de forma rígida o, equivalentemente, sólo la cámara se mueve en el entorno Existe un módulo que preprocesa las imágenes para extraer todas las características relevantes en 2D (puntos caracteristicos, esquinas, lineas) en cada trama las caracteristicas se extraen y se obtienen las correspondencias intertrama No asumen conocimiento sobre las posiciones 3D, el movimiento de la cámara o la geometría de la cámara Structure from Motion

3 Structure from Motion

4 Aplicaciones Reconstrucciones de modelos 3D: reconstrucción de construcciones arquitectónicas Movimiento 3D coordinado (motion matching) Inserción de objetos virtuales en las escenas (fig 2) Animación controlada visualmente (fig 1) Juegos, cine, video, medios interactivos. Diseño industrial, visualizacion, realida virtual y realización aumentada virtualmente Calibración de cámara: visión activa Parámetros externos de posición de la cámara Parámetros internos como la longitud focal Structure from Motion

5 Structure from Motion

6 Aplicaciones Visión 3D: SfM como subcomponente de aplicaciones de visión 3D Interfaces perceptivas: reconocimiento de gestos Robótica Coordinación ojo-mano, navegación, detección de obstaculos Codificación 3D de secuencias Mosaicos y rectificación: reconocimiento remoto Structure from Motion

7 Origenes de SfM Photogrammetry: extracción de información tridimensional para construcción de mapas. SfM se utilizó originalmente para rectificar y construir mosaicos, y para estimar elevaciones Visión Marr and Poggio reconstrucción 3D a partir de estereo, basado en emparejamientos de puntos singulares Ulman muestra que el emparejamiento de cuatro puntos en tres tramas da una solución única para los parámetros de movimiento y estructura, a través de un algoritmo no-lineal Structure from Motion

8 Técnicas lineales Métodos lineales: tienen solución directa
Son más elegantes Son inestables numericamente Structure from Motion

9 Geometría proyectiva COP: centro de proyección
Proyección de perspectiva Structure from Motion

10 Geometría epipolar: visión estereo
Plano epipolar Lineas epipolares: intersección de la imagen con el plano epipolar F matriz fundamental Structure from Motion

11 Geometria epipolar: La matriz fundamental F
Relaciona las dos vistas Codifica la geometría intrínseca tanto como el movimiento relativo extrínseco entre las cámaras Es una relación lineal La estimación de F es independiente de la escena Identificar un punto en una imagen nos da una línea epipolar en la otra imagen Structure from Motion

12 Geometria epipolar: La matriz fundamental F
Dados ocho puntos observados y emparejados, se plantean 8 ecuaciones que dan un sistema de ecuaciones lineal Dados mas de 8 puntos se resuelve por mínimos cuadrados La estimación es numericamente inestable, involucra la SVD Degeneraciones: coincidencia de los COP, puntos coplanares en la escena, sensibilidad al ruido Structure from Motion

13 Geometria trifocal Tensor trifocal con 18 grados de libertad
que se pueden estimar por minimos cudrados Structure from Motion

14 Tomasi-Kanade factorización
Basado en la proyección ortográfica Structure from Motion

15 Tomasi-Kanade P puntos seguidos en F tramas en una matriz W de tamaño 2FxP Para cada trama los P puntos se registran substrayendo la media La matriz resultante es factorizada W=RS Inconvenientes: no calcula movimientos hacia delante, movimientos: traslaciones en el plano imagen, rotaciones limitadas de la camara Structure from Motion

16 Issues for motion sequences
Seguimiento probabilistico de las caracterísiticas. Es preciso modelar el error de estimación de las caracteristicas (Gausianas) Causalidad y recursion:el movimiento de la cámara puede ser tenido en cuenta para añadir robusted Los desplazamientos entre los COP (baseline) son pequeños: genera inestabilidades numericas/facilita el seguimiento de caracteristicas Structure from Motion

17 Proposición Recuperación recursiva de estructura 3D, movimiento 3D y geometría de la cámara a partir de correspondencias sobre una secuencia Caracteristicas Integra un modelo dinámico Modela el error Tiempo real, online Da un resultado métrico 3D completo Structure from Motion

18 El sistema dinámico Sistema dinámico definido en el plano imagen, x es el estado interno, y el observable La observación es no lineal y corrompida por ruido La dinámica interna es lineal y corrompida por ruido, en general se considera un random walk Structure from Motion

19 Representación interna
Geometria proyectiva central Desacopla la inversa de la distancia focal de la coordenada Z del punto central de la image Structure from Motion

20 Representacion interna
Modelo 3D: N puntos seguidos en la secuencia de F trama Cada punto se representa por su rayo de perspectiva Reducida complejidad y mejora de estabilidad numerica Structure from Motion

21 Representación interna
Traslacion 3D, definida sobre el sistema centrado en la imagen Debido a la sensibilidad de la estimación en el eje Z se usa la transformación que permite observarlo Structure from Motion

22 Representación interna
Rotación 3D: mediante un cuaternion unitario que tiene tres grados de libertad. Y un cuaternio incremental que permite mantener un estimador de la rotación global Structure from Motion

23 Extended Kalman filter
La representación interna es Mas un cuaternion de rotación externo al algoritmo Structure from Motion

24 Experimento 1 Structure from Motion

25 Structure from Motion

26 Experimento 2 Structure from Motion

27 Structure from Motion

28 Real time face tracking
Structure from Motion

29 Structure from Motion