Trabajo De Investigación (9 Créditos) Realizado Por: Raúl Montoliu Registrado de Imágenes Basado en la Estimación de Modelos Paramétricos de Movimiento Afín. Trabajo De Investigación (9 Créditos) Realizado Por: Raúl Montoliu Dirigido Por: Filiberto Pla Abril, 2002

Índice Introducción: Estimación de parámetros: Motivación. Problema a resolver. Aplicaciones. Problemas estimación movimiento. Trabajos anteriores. Estimación de parámetros: Descripción del problema de estimación de parámetros. Fundamentos matemáticos método GLS.

Índice Estimación del movimiento: Experimentos y resultados: Algoritmo SPMME. Ejemplo aplicado a ajuste de rectas. Experimentos y resultados: Secuencias sintéticas: Prueba de exactitud. Prueba de detección de outliers. Prueba con deformaciones de magnitud grande. Secuencias reales. Conclusiones. Publicaciones y bibliografía.

1. Introducción Motivación: Realizar máquinas que “imiten” al sentido de la vista. El análisis de movimiento ayuda a interpretar escenas. Tiene más información una escena en movimiento que una escena estática.

Introducción Problema a resolver: T T+1 ¿? En nuestro caso: T y T+1 cercanos en el tiempo. En la literatura: “Registrado de imágenes temporal”

Introducción Aplicaciones: Cartografía:

Introducción Aplicaciones: Elaborar vistas panorámicas: . . .

Introducción Otras aplicaciones: Medicina. Análisis de tráfico.

Introducción Problemas en el análisis del movimiento: Problema de la apertura. Mundo es 3D, pero la imagen es 2D. Oclusiones. Limites en el modelo de movimiento utilizado. Presencia de múltiples modelos de movimiento.

Introducción Trabajos anteriores: Métodos basados en características: Muy usados en medicina y astronomía. Métodos basados en funciones acumulativas: Transformada de Hough, Ransac. Robustos a outliers. Complejidad computacional alta. Poca exactitud. Concepto de Outlier: Valor fuera de lo “normal”. Ejemplo: 12, 13, 14, 11, 12, 13, 560, 15, 10, 1000 Media: 166 Media sin outliers: 12,5

Introducción Trabajos anteriores: Métodos basados en minimizar una función objetivo: Único movimiento. Elevada exactitud. No son robustos frente a outliers. Otros: Regiones: “block-macthing.” Log-polar.

2. Estimación de Parámetros Un problema de estimación de parámetros se compone de cuatro problemas: Elección función a optimizar. Elección método para optimizar la función anterior. Implementación del método. Determinar el modelo matemático que describe al sistema.

Estimación de Parámetros Función: Modelo: Afín

Estimación de Parámetros Método: minimización función objetivo basado en mínimos cuadrados: Exactitud. Simplicidad. En ausencia de outliers es el estimador ideal. Se propone un método para tratar con outliers.

Estimación de Parámetros Nuestra problema de minimización: No es lineal. No es posible representarlo de la forma Ap=b. No es posible aplicar un método de LS ordinario. Utilizamos el método de mínimos cuadrados generalizados.

Mínimos Cuadrados Generalizados Minimizar: Algoritmo iterativo, partiendo de una aproximación inicial P0: Donde P depende de las derivadas de la función respecto a las incógnitas (parámetros de movimiento) y de las observaciones.

3. Estimación del Movimiento ¿Algún Cambio? Final NO Estimación Inicial Extraer Outliers NO Ajuste SI Ajuste SI ¿Algún Cambio? Recuperar Inliers

Estimación del Movimiento Estimación inicial

Estimación del Movimiento Outlier

Estimación del Movimiento Nuevo Ajuste

Estimación del Movimiento Inlier

Estimación del Movimiento Ajuste final

Estimación del Movimiento Conjunto Inliers Conjunto Outliers

Inicialización Algoritmo jerárquico: Pirámide de imágenes de resolución variable. Permite estimar deformaciones grandes. Acelera el resultado.

Necesita una estimación inicial El resultado en el nivel l, se utiliza como aproximación inicial en el nivel l+1 Inicialización

Clasificación de Puntos. Basada en la probabilidad de que un pixel pertenezca a un modelo. Dos test: Test de inliers: detecta nuevos inliers entre el conjunto de outliers. Test de outliers: Busca outliers entre la muestra de inliers.

Experimentos y Resultados Secuencias sintéticas: Prueba de exactitud. Prueba de detección de outliers. Prueba con deformaciones grandes. Secuencias Reales.

Experimentos y Resultados Prueba de exactitud: Se han generado varias series de imágenes variando los parámetros del modelo afín. Error = valor real – valor estimado Media Error Desviación estándar A1 0.00015 0.00013 B1 0.00022 0.00014 C1 0.00376 0.00340 A2 0.00031 B2 0.00012 0.00009 C2 0.00525 0.00465

Experimentos y Resultados Ejemplos:

Experimentos y Resultados Parámetros estimados vs reales Escalado+ traslación Rotación Todos Estimados Reales Estimado Real A1 1.080 1.08 0.9924 0.992 1.019 1.02 B1 -0.0001 0.0 -0.12187 -0.1218 -0.029 -0.03 C1 0.51 0.5 -0.004 -0.742 -0.76 A2 0.0001 0.12184 0.1218 0.070 0.07 B2 1.0001 1.0 0.9925 0.99 C2 -1.49 -1.5 0.001 0.279 0.29

Experimentos y Resultados Prueba de detección de outliers: Sin Movimiento Rotación de 7 grados

Experimentos y Resultados Sin Patch Con Patch Reales A1 0.9924 0.992 B1 -0.12187 -0.12178 -0.1218 C1 -0.004 -0.0006 0.0 A2 0.12184 0.12178 B2 0.9925 C2 0.001 0.004 % Outliers 6.8 % 18,5 % -

Experimentos y Resultados Prueba con deformaciones grandes:

Experimentos y Resultados Reales A1 1.18125 1.182 B1 0.25393 0.254 C1 16.2108 16.0 A2 -0.0896133 -0.090 B2 0.795051 0.795 C2 15.8536

Experimentos y Resultados Experimentos reales: Castillo: traslaciones. Laboratorio: Rotación. Libro: zoom. Parking 1: Todos. Parking 2: Todos.

Secuencia Castillo

Secuencia Laboratorio

Secuencia Libro

Secuencia Parking1

Secuencia Parking2

Conclusiones Gran exactitud. Encuentra solución correcta, incluso en casos de deformaciones grandes. Modelo afín. Se reduce influencia de los outliers. Puede trabajar con secuencias con gran cantidad de outliers. Secuencias reales. Posible extensión a otros modelos.

Líneas Futuras Aplicar otros modelos. Aplicar a log-polar. Segmentación del movimiento: Para un modelo el resto de pixeles pertenecientes a otros modelos se pueden considerar outliers.

Publicaciones Conferencia internacional: Conferencia nacional: Montoliu R., Pla F. "Multiple Parametric Motion Model Estimation and Segmentation". 2001 International Conference on Image Processing (ICIP'2001), Vol. II, pp. 933-936, ISBN: 0-7803-6725-1, Thessaloniki (Greece), 2001. Conferencia nacional: Montoliu R., Pla F. "Parametric motion model extraction and estimation" IX conferencia de la asociación española para la inteligencia artificial (CAEPIA 2001), Vol. 2, pp. 725-734, Gijón (Spain), ISBN 84-032297-0-9, November 2001.

Bibliografía Fundamental Danuser, G. and Stricker, M. “Parametric Model-Fitting: From Inlier Characterization To Outlier Detection”. PAMI. V20. N3 1998. Bober, M. and Kittler, J., “A Hough Transform Based Hierarchical Algorithm for Motion segmentation and estimation” 4th International workshop on time-Varying image Processing and Moving Object Recognition, 1993. Zhang, Z. “Parameter-Estimation Techniques: A Tutorial with Application to Conic Fitting”. Image and Vision Computing. V15. N1. 1997.