Eliminación de Artificios de Cuantificación en Imágenes usando Proyecciones sobre Conjuntos Convexos en Espacios Transformados Luis Mancera Pascual

Luis Mancera Pascual - 01/07/2005 INTRODUCCIÓN Luis Mancera Pascual - 01/07/2005

Luis Mancera Pascual - 01/07/2005 CUANTIFICACIÓN Artificios de cuantificación: Falsos planos / falsos contornos Peppers original Peppers cuantif. 3-bits Luis Mancera Pascual - 01/07/2005

DESCUANTIFICACIÓN PARA RESTAURACIÓN emborronada emb. + cuant. La cuantificación introduce artificios de alta frecuencia al desconvolucionar desemborronadas Luis Mancera Pascual - 01/07/2005

ESTADÍSTICA IMÁGENES NATURALES Imagen natural: Imagen aleatoria: Mezcla: Zonas suaves. Bordes localizados. Desestructurada. El conocimiento a priori es importante para la estimación. Luis Mancera Pascual - 01/07/2005

Luis Mancera Pascual - 01/07/2005 OBJETIVO Utilizar la estadística de las imágenes naturales para estimar la original como la imagen más típica compatible con la cuantificación observada. Condición de compatibilidad: cuantificación original estimación observación Luis Mancera Pascual - 01/07/2005

MÉTODO DE PROYECCIONES ALTERNAS SOBRE CONJUNTOS CONVEXOS Luis Mancera Pascual - 01/07/2005

EL MÉTODO DE PROYECCIONES ALTERNAS [Youla78] xp x0 B [Marks97] Luis Mancera Pascual - 01/07/2005

EL MÉTODO DE PROYECCIONES ALTERNAS (II) Si no intersecan: Ciclo límite. Solución mínimos cuadrados. x0 B A xB xA [Marks97] Luis Mancera Pascual - 01/07/2005

EJEMPLOS DE CONJUNTOS CONVEXOS Subespacios vectoriales: Localización espacial / frecuencial (Fourier) / conjunta (wavelets). Subespacios afines: Imágenes con un conjunto de coeficientes fijado Intervalos de cuantificación Coefs. arbitrario. Coefs. cero. Luis Mancera Pascual - 01/07/2005

EJEMPLOS DE CONJUNTOS CONVEXOS Subespacios vectoriales: Localización espacial / frecuencial (Fourier) / conjunta (wavelets). Subespacios afines: Imágenes con un conjunto de coeficientes fijado. Intervalos de cuantificación. Coefs. arbitrario. Coefs. fijos. Luis Mancera Pascual - 01/07/2005

EJEMPLOS DE CONJUNTOS CONVEXOS xj Subespacios vectoriales: Localización espacial / frecuencial (Fourier) / conjunta (wavelets). Subespacios afines: Imágenes con un conjunto de coeficientes fijado. Intervalos de cuantificación. δj δi y xi δk xk Luis Mancera Pascual - 01/07/2005

FORMULACIÓN DEL PROBLEMA Y SOLUCIÓN POCS Luis Mancera Pascual - 01/07/2005

Luis Mancera Pascual - 01/07/2005 y Conjuntos de imágenes con un una característica típica a un determinado nivel. Xest,1 Conjunto de imágenes compatibles con la observación. Luis Mancera Pascual - 01/07/2005

Luis Mancera Pascual - 01/07/2005 y Xest,2 Luis Mancera Pascual - 01/07/2005

Luis Mancera Pascual - 01/07/2005 y ciclo límite Luis Mancera Pascual - 01/07/2005

Luis Mancera Pascual - 01/07/2005 y Luis Mancera Pascual - 01/07/2005

PLANTEAMIENTO EN EL DOMINIO DE FOURIER Luis Mancera Pascual - 01/07/2005

Luis Mancera Pascual - 01/07/2005 MODELADO DE LA IMAGEN 3 modelos: B. Frecuencias dominantes C. Frecuencias locales dominantes A. Suavidad Filtro paso-bajo global Umbralización global Umbralización local Luis Mancera Pascual - 01/07/2005

RESULTADOS PARA EMBORRONAMIENTOS ISÓTROPOS La mejora visual no refleja la mejora en precisión Aplicación a desemborronado (Modelo A) Filtro gaussiano (σ = √2) ISSIM: [Wang04] Luis Mancera Pascual - 01/07/2005

RESULTADOS EMBORRONAMIENTO ANISÓTROPO Original emborronada: Simulación movimiento 11 píxeles, 45º direcc. (Modelo C) Cuantificada vs. Emborronada (3 bits) 28.70 dB PSNR / 79.75 SSIM (100) Resultado vs. Emborronada 31.37 dB PSNR / 89.52 SSIM (100) Luis Mancera Pascual - 01/07/2005

Luis Mancera Pascual - 01/07/2005 CONCLUSIONES Sólo para señales suaves. Artificios oscilatorios en el resultado (ringing). Aplicación a desconvolución (caso alto emborronamiento y bajo ruido aleatorio). Pobre localización conjunta. Solución: WAVELETS Luis Mancera Pascual - 01/07/2005

PLANTEAMIENTO EN EL DOMINIO WAVELET Luis Mancera Pascual - 01/07/2005

Luis Mancera Pascual - 01/07/2005 MODELO DE LA IMAGEN Raleza o sparseness. [Olshausen96, Mallat89] Redundancia mejora restauración. [Olshausen97] Pirámide orientable (steerable pyramid) [Simoncelli95] Peppers original subbanda Peppers pirámide orientable Luis Mancera Pascual - 01/07/2005

Luis Mancera Pascual - 01/07/2005 FORZANDO LA RALEZA Degradación Menos raleza [Rooms04,Wang05] Aumentamos raleza conservando un conjunto G de coeficientes significativos y minimizando la norma euclídea. SG es la proyección ortogonal sobre: pseudoinversa Luis Mancera Pascual - 01/07/2005

HALLANDO LA PSEUDOINVERSA Subespacio afín de vectores que tienen un valor fijo en algunos coeficientes. z’j a z’i z’k Luis Mancera Pascual - 01/07/2005

HALLANDO LA PSEUDOINVERSA Conjunto de respuestas posibles. z’j z’i z’k Luis Mancera Pascual - 01/07/2005

HALLANDO LA PSEUDOINVERSA Solución z’j a z’i z’k Partiendo de cero POCS proyecta hacia el elemento de menor energía de la intersección Luis Mancera Pascual - 01/07/2005

SELECCIÓN DE COEFICIENTES SIGNIFICATIVOS p(x|y) Umbral para cada subbanda k: x Coeficiente significativo: Aquel que supera el umbral o es vecino de alguno que lo supere. Vecindad espacial 5  5. y Luis Mancera Pascual - 01/07/2005

Luis Mancera Pascual - 01/07/2005 y Luis Mancera Pascual - 01/07/2005

UNA SOLUCIÓN CERCANA AL ÓPTIMO La estimación es cercana al óptimo en mínimos cuadrados. Curvas del factor promedio que resulta de nuestro método (línea negra) y del óptimo en mínimos cuadrados (linea azul). Luis Mancera Pascual - 01/07/2005

UNA SOLUCIÓN APROXIMADA EFICIENTE Factor bastante constante para mismo proceso cuantificación (independientemente de la imagen) Utilizamos el factor promedio obtenido para un conjunto de prueba. Luis Mancera Pascual - 01/07/2005

Luis Mancera Pascual - 01/07/2005 RESULTADOS (I) Observación cuantificada 3 bits: 28.78 dB PSNR 80.10 SSIM (100) Minimización salida filtro paso-alto: 29.77 dB PSNR 81.18 SSIM (100) Peppers Original. Nuestro resultado: 30.80 dB PSNR 87.59 SSIM (100) Luis Mancera Pascual - 01/07/2005

Luis Mancera Pascual - 01/07/2005 RESULTADOS (II) Kernel gaussiano σb = √2. Ruido blanco σn = 2. Desconvolución: MATLAB, deconvblind(Image, PSF) Emborronada + ruido + cuantificada 3 bits: 21.92 dB PSNR 55.91 SSIM (100) Desconvolución: 21.52 dB PSNR 48.47 SSIM (100) Peppers Original. Desconvolución procesada: 23,62 dB PSNR 71.52 SSIM (100) Luis Mancera Pascual - 01/07/2005

Luis Mancera Pascual - 01/07/2005 RESULTADOS (III) El rendimiento es muy satisfactorio descenso brusco ¿? Luis Mancera Pascual - 01/07/2005

Luis Mancera Pascual - 01/07/2005 RESULTADOS (IV) Detalle del cielo de una imagen fotográfica cuantificada con 8 bits (contraste 40). Observación Procesada Luis Mancera Pascual - 01/07/2005

Luis Mancera Pascual - 01/07/2005 CONCLUSIONES Resultados satisfactorios para escalones medio-grandes de cuantificación. Resultados satisfactorios en la desconvolución. Los métodos basados en raleza superan a los métodos basados en la suavidad. Reducción drástica de artificios en la descuantificación y desconvolución. La estimación es cercana al óptimo LS. Luis Mancera Pascual - 01/07/2005

Luis Mancera Pascual - 01/07/2005 TRABAJO FUTURO Trabajo futuro: Investigar el comportamiento de la pirámide orientable con cuantificación fina. Experimentar con otras representaciones sobrecompletas. Estudiar otros criterios de vecindad más avanzados. Luis Mancera Pascual - 01/07/2005

Luis Mancera Pascual - 01/07/2005 REFERENCIAS [Marks97]. Robert J. Marks. Chapter 14 - Alternating Projections onto Convex Sets. Deconvolution and Images Spectra. Ed. Peter A. Jansson. Academic Press. 1997. (http://cialab.ee.washington.edu/REPRINTS/1997-AlternatingProjections.pdf) [Youla78]. D. C. Youla. Generalized Image Restoration by the Method of Alternating Orthogonal Projections. IEEE Trans. on Circuit and Systems, vol CAS-25, nº 9. September 1978. [Wang04]. Z. Wang, A.C. Bovik, E.P. Simoncelli. Image Quality Assessment: from Error Visibility to Structural Similarity. IEEE Trans. on Image Proc., vol. 13, nº 4, pp 600-612. April 2004. [Olshausen96]. B.A. Olshausen, D.J. Field. Natural Image Statistics and Efficient Coding. Network Computation in Neural Systems, vol. 7, pp. 333-339, 1996. [Mallat89]. S.G. Mallat. A Theory for Multiresolution Signal Decomposition: The Wavelet Representation. PAMI, 11, pp. 674-693, July 1989. [Olshausen97]. B.A. Olshausen, D.J. Field. Sparse Coding with an Overcomplete Basis Set: A Strategy Employed by V1?. Vision Res., vol. 37, no. 23, pp. 3311-3325, 1997. [Simoncelli95]. E.P. Simoncelli. The Steerable Pyramid: A Flexible Architecture For Multi-Scale Derivative Computation. 2nd IEEE Int. Conf. Image Proc., Washington D.C., vol. III, pp. 444-447, October 1995. [Rooms04]. F. Rooms, W. Philips, J. Portilla. Parametric PSF estimation via sparseness maximization in the wavelet domain. SPIE Conference "Wavelet Applications in Industrial Processing II”, Philadelphia. Proc. SPIE 5607, pp. 26—33, October 2004. [Wang05]. Z. Wang, G. Wu, H.R. Sheikh, E.P. Simoncelli, E.H. Yang, A.C. Bovik. Quality-Aware Images. IEEE Trans. on Image Proc., accepted, 2005. Luis Mancera Pascual - 01/07/2005

DESCUANTIFICACIÓN COMO INTERPOLACIÓN Iría como número 5 cuantificación interpolación qi,max qi qi,min Luis Mancera Pascual - 01/07/2005

Luis Mancera Pascual - 01/07/2005 CONJUNTOS CONVEXOS [Marks97] Convexo No convexo Luis Mancera Pascual - 01/07/2005

PROYECCIÓN ORTOGONAL SOBRE UN CONJUNTO CONVEXO Propiedades: Única. Ángulo de caída ortogonal si la frontera es derivable. A Conjunto convexo [Marks97] Luis Mancera Pascual - 01/07/2005

FORMULACIÓN DEL PROBLEMA Encontrar una señal que maximice una característica deseable dada y sea todavía compatible con la señal cuantificada observada. Luis Mancera Pascual - 01/07/2005

RESULTADOS RESTAURACIÓN DE EMBORRONAMIENTO ISÓTROPO Cuantificada: 28.65 dB PSNR 3 bits 79.59 SSIM (100) Procesada: 32.13 dB PSNR 90.56 SSIM (100) (Modelo A) Luis Mancera Pascual - 01/07/2005

RESULTADOS RESTAURACIÓN DE EMBORRONAMIENTO ISÓTROPO (Modelo C) Cuantificada: 28.65 dB PSNR 3 bits 79.59 SSIM (100) Procesada: 32.13 dB PSNR 90.52 SSIM (100) Luis Mancera Pascual - 01/07/2005

RESULTADOS EMBORRONAMIENTO ISÓTROPO (Modelo A) Desconvolución: MATLAB, deconvblind(Image, PSF) Desde emborronada: 24.81 dB PSNR 84.59 SSIM (100) Desde cuantificada: 21.35 dB PSNR 51.58 SSIM (100) Desde procesada: 22.49 dB PSNR 62.54 SSIM (100) Peppers original Luis Mancera Pascual - 01/07/2005

RESULTADOS EMBORRONAMIENTO ISÓTROPO (Modelo C) Desconvolución: MATLAB, deconvblind(Image, PSF) Desde emborronada: 24.81 dB PSNR 84.59 SSIM (100) Desde cuantificada: 21.35 dB PSNR 51.58 SSIM (100) Desde procesada: 22.60 dB PSNR 62.74 SSIM (100) Peppers original Luis Mancera Pascual - 01/07/2005

RESULTADOS RESTAURACIÓN DE EMBORRONAMIENTO ANISÓTROPO (Modelo C) Desconvolución: MATLAB, deconvblind(Image, PSF) Desde Emborronada: Simul. Movim. 11 p. 45º 22.42 dBs PSNR 78.23 SSIM (100) Desde cuantificada: 19.30 dB PSNR 42.46 SSIM (100) Desde procesada: 20.69 dB PSNR 57.00 SSIM (100) Original emborronada: Simulación movimiento 11 píxeles, 45º direcc. Luis Mancera Pascual - 01/07/2005

UNA SOLUCIÓN CERCANA AL ÓPTIMO La estimación es cercana al óptimo en mínimos cuadrados. Diferencia entre promedio del factor multiplicativo del resultado del método y del que ofrece el resultado de mínimos cuadrados. Luis Mancera Pascual - 01/07/2005