Procesamiento de imágenes Introducción y ejemplos

Procesamiento de imágenes y Antialiasing Un tema entero por sí solo, subyace a la computación gráfica y a la visión computarizada Tiene sus propias publicaciones y conferencas IEEE Transactions on Image Processing (TIP) Image and Vision Computing Journal of Electronic Imaging IEEE International Conference on Image Processing (ICIP) Estuvo alguna vez más cerca de la teoría de señales y al procesamiento de sonido que a gráficas. Comparte hardware con otros aspectos de los gráficos Procesadores de punto flotante (FPUs) Procesadores de señal digital (DSPs) Framebuffers Escáners Cámaras digitales Impresoras de color Convertidores y capturadores de video.

¿Qué significa una “imagen” para nosotros? Un dominio 2D con muestras en puntos regulares (casi siempre una grilla rectilineal) Puedes tener múltiples muestras por punto Significado de las muestras dependen de la aplicación (rojo, verde, azul, opacidad, profundidad, etc.) Unidades también dependen de la aplicación ej., un int o float a ser mapeados a un voltaje necesario para mostrar en una pantalla (ej., un archivo BMP) Ej., como una medida física de la luz entrante (ej., un sensor de cámara)

¿Qué es un canal? Un canal es todas las muestras de un tipo en particular. El canal rojo de una imagen RGB es una imagen conteniendo solamente las muestras rojas Los canales de TV se sintonizan a diferentes frecuencias de las ondas electromagnéticas De forma similar, los canales RGB se “sintonizan” a diferentes frecuencias en el espectro visible. Imagen original RGB 3 muestras por pixel Canal rojo 1 muestra por pixel Canal azul Canal verde

El canal alfa Además de los canales R, G y B de una imagen, agregamos un cuarto canal llamado α (transparencia/opacidad/translucidez) Alfa varía entre 0 y 1 Valor 1 representa un pixel completamente opaco, uno a través del cual no puedes ver Valor 0 es un pixel completamente transparente 0 < α < 1 => translucidez Útil para mezclar imágenes (blending) Imágenes con valores alfa más altos son menos transparentes Interpolación lineal (αR + (1- α)B) o algebra completa de composición Porter-Duff. La caja roja se dibuja encima de la azul usando  = 0.8

Modelando una imagen Modelar una imagen de un canal de dimensiones 𝑛×𝑘 como la función 𝑢 𝑖,𝑗 de pares de enteros a números reales 𝑖 y 𝑗 son enteros tales que 0≤𝑖<𝑛 y 0≤𝑗<𝑘 Asocia cada valor de pixel 𝑢 𝑖,𝑗 a una pequeña área alrededor de la ubicación en el dispositivo con coordenadas 𝑖,𝑗 Un pixel aquí parece un cuadrado centrado sobre un punto de muestra, pero es sólo un valor y la verdadera geometría de su apariencia en pantalla varía por dispositivo En un monitor CRT es aproximadamente un punto circular En un panel LCD es un rectángulo

Los pixeles no son solo “cuadrados” Acercamiento de una pantalla CRT Acercamiento de una pantalla LCD

Imágenes discretas vs. imágenes contínuas Existen dos tipos de imágenes Imagen discreta Imagen contínua Función de ℤ 2 a ℝ Como las imágenes son guardadas en memoria El tipo de imagenes que generalmente manejamos como computistas Imagen discreta 𝑢 𝑖,𝑗 𝑘 𝑛

Imágenes discretas vs. imágenes contínuas Imagen contínua Función de ℝ 2 a ℝ Como las imágenes son en el mundo real “Contínuo” se refiere al dominio, no a los valores (las discontinuidades bien pueden seguir ocurriendo) Ejemplo: distribución Gaussiana 𝑖 0 y 𝑗 0 son el centro del Gaussiano 𝑢: ℤ 2 →ℝ, 𝑢 𝑖,𝑗 = 𝑒 − 𝑖− 𝑖 0 2 − (𝑗− 𝑗 0 ) 2 𝑣: ℝ 2 →ℝ, 𝑣 𝑖,𝑗 = 𝑒 − 𝑖− 𝑖 0 2 − 𝑗− 𝑗 0 2 𝑖 0 = 𝑛−1 /2 y 𝑗 0 = 𝑘−1 /2 (n impar) En este caso 𝑛=11 y 𝑘=11 Imagen contínua 𝑣(𝑖,𝑗) 𝑘 𝑛

Las cinco etapas del procesamiento de imágenes Las cinco etapas son: Adquisición de imágenes – cómo obtenemos imágenes en primer lugar. Preprocesamiento – cualquier efecto que sea aplicado antes del mapping (ej. Recortado, enmascarado, filtrado) Mapeado – etapa que cubre cualquier transformación o composición de imagen. Postprocesamiento – cualquier efecto aplicado después del ampeado (ej. Texturación, remapeado de color) Salida – impresión o desplegado en pantalla Estas etapas son saltadas a veces Las etapas intermedias suelen estar entrelazadas

Etapa 1: Adquisición de la imagen Síntesis de la imagen Imágenes creadas por computadora Pintadas en 2D Corel Painter Photoshop Renderizadas de geometría 3D Pixar’s RenderMan Autodesk’s Maya Sus proyectos Texturados procedimentalmente Imágenes generadas cuya intención es imitar cosas naturales Ej. Madera procedimental Captura de imágenes Imágenes del “mundo real” La información debe ser digitalizada a partir de una señal análoga Métodos comunes de captura: Cámara digital Datos satelitales Escáner de tambor Escáner de fotos de cama plana Fotogramas de un video

Etapa 2: Preprocesamiento Cada imagen de fuente se ajusta a un tono, tamaño, figura, etc. dados para que tenga una calidad deseada o para igualarla a otras imágenes. Puede hacer que un conjunto de imágenes distintas aparezcan similares (si van a ser compuestas posteriormente), o hacer que partes similares de una imagen parezcan distintas (por ejemplo, para mejorar el contraste). Original Curva ajustada de escala de grises

Etapa 2: Preprocesamiento (continúa) Las técnicas de preprocesamiento incluyen: Ajuste de color o de curva de escala de grises Recortado (cropping) Esmascarado (cortar una par de la imagen) Difuminado y afilado (Blurring y Sharpening) Detección/mejora de bordes Filtrado y antialiasing Escalado hacia arriba (super sampling) o hacia abajo (sub sampling)

Etapa 2: Preprocesamiento (continúa) Notas: Blurring, Sharpening y detección de bordes pueden ser también técnicas de postprocesamiento. Algunos algoritmos de preprocesamiento no son seguidos de mapeado, otros que involucran remuestrear la imagen pueden ser entrelazados con mapeado: el filtrado se hace de esta manera.

Etapa 3: Mapeado El mapeado es una etapa general donde varias imágenes son combinadas, o se aplican transformaciones geométricas Las transformaciones incluyen: Rotación Escalamiento Deformación paralela (shearing) Distorsión (Warping) Morph basado en características Composición: Superposición básica de imagen Blending suavizado con canales alfa Blending de imagen de Poisson Tranfiere “detalles” (como bordes) sin costuras visibles de parte de una imagen a otra. Distorsión de la imagen Blending de imagen de Poisson Créditos de la imagen: © Evan Wallace 2010

Etapa 4: Postprocesamiento Posterizado Crea efectos globales en toda la imagen o en un área seleccionada Efectos artísticos Posterizado “Envejecimiento” falso en una imagen “Desenfoque” falso Remapeado “impresionista” de pixeles Texturado Efectos técnicos Remapeado de colores para mejora de contraste Conversión de color a blanco y negro. Separación de colores para impresión (RGB a CMYK) Retocado de escaneo y balanceo de color/contraste. Envejecimiento Impresionismo

Etapa 5: Salida (Archivado/Despliegue) El método escogido para desplegar/archivar puede afectar las etapas anteriores del procesado. La impresión en color acentúa algunos colores más que otros. Los colores en el monitor tienen diferentes gamuts y valores HSV que los colores impresos Requiere mapeo HSV – hue, saturation, value (matiz, saturación, valor), un sistema de coordenadas cilíndrico para el modelo de color RGB. Gamut – conjunto de colores que pueden ser representados por un disposivo de salida/impresora Tecnologías de despliegue Monitor (CRT → LDC/LED/OLED/AMOLED/Panel de plasma) Impresora a color Film/DVD Archivos de disco Mapas de textura para renderer en 3D

Ejemplos de procesamiento de imágenes

Ejemplo 1: Filtrado de detección de bordes Los filtros de detección de bordes miden la diferencia entre pixeles adyacentes Una diferencia más grande significa un borde más fuerte Se suele aplicar un mínimo para eliminar bordes débiles. Filtro de detección de bordes de Sobel

Ejemplo 1: Filtrado de detección de bordes (continúa) Usado en escaneos de MRI para revelar borden entre diferentes tipos de tejido El escaneo MRI es una imagen cuyo nivel de gris representa densidad de tejido Se usó el mismo filtro de la lámina anterior Imagen original de RM de un corazón de perro Imagen después de la detección de bordes

Ejemplo 2: Mejora de imagen para investigaciones forenses Extraer evidencia de imagenes aparentemente incomprensibles Normalmente, la mejora de la imagen usa muchos pasos de filtrado, y no suelen ser de mapeo Antes de la mejora Después de la mejora

Ejemplo 2: Mejora de imagen para investigaciones forenses Tenemos un video de una cámara de seguridad con la placa de un carro que fue usado en un robo. La imagen es muy oscura y ruidosa para que la policía pueda ver un número de placa. Aunque los humanos pueden a menudo distinguir elementos en una imagen de poca calidad, el filtrado puede facilitar a un algoritmo de reconocimiento de patronesel descifrado de los simbolos que allí estén incluidos. Reconocimiento óptico de caracteres Paso 1: Obtener el fotograma de la cinta de video, digitalizado con un capturador.

Ejemplo 2: Mejora de imagen para investigaciones forenses Paso 2: Recortar las cosas que parezcan no interesantes (fuera de los bordes de la placa) Este paso puede acelerar el proceso al aplicar los pasos de procesamiento de imágenes con menos pixeles No siempre se puede hacer, ya que es posible no poder distinguir cuáles secciones son interesantes sin un poco de procesamiento.

Ejemplo 2: Mejora de imagen para investigaciones forenses Paso 3: Usar un filtro de agudizamiento de los bordes para agregar contraste al número de placa. Este paso resalta los bordes al maximizar las discontinuidades entre saltos de brillo en la imagen.

Ejemplo 2: Mejora de imagen para investigaciones forenses Paso 4: Remapear los colores para mejorar el contraste entre números y la propia placa Ahora, puedes imprimir para el archivo, o tan solo copiar el número de placa: YNN-707 Nótese que los colores finales no tienen por qué parecerse a los colores reales de la placa – las técnicas de mejora han seriamente distorsionado los colores.

Composición multipartes La composición de imágenes es popular en el mundo del arte, al igual que en las noticias de tabloide. Toma partes de varias imágenes para crear una sola Lo difícil es hacer que todas las partes calcen naturalmente Los artistas pueden usar para crear collages asombrosos y efectos de múltiples capas Los periódicos de tabloide los usan para crear “fotos noticiosas” de cosas que nunca han pasado – “Fauxtografia”. No hay verdad visual en los medios

Fotos trucadas famosas Foto de la prensa china del tren del Tibet Tom Hanks y JFK

Ejemplo de composición de imagen (1/5) Lars Bishop, principal asistente docente del curso CS123, que estas láminas traducen, creó una foto noticiosa de él mismo “reunido” con el ex-presidente ruso Boris Yeltsin Post-Gorbachev y Perestroika. Ejerción del 10 de julio de 1991 hasta el 31 de diciembre de 1999, cuando renunció a favor de Putin) No hace falta decir que Lars Bisgop nunca conoció al Sr. Yeltsin Tuvo que obtener las imágenes, cortar las partes que quería, retocarlas, pegarlas juntas y retocar el resultado final. Foto de Boris (del Internet) Foto de Lars (de una videocámara)

Ejemplo de composición de imagen (2/5) Cortó las figuras que queremos de las imágenes originales Pintó una región alrededor de las partes importantes de las imágenes (un delineado de la gente) usando Photoshop Continuó retocando este delineado hasta que no haya fondo en el borde de la gente Usó la herramienta smart lasso que dé con el fondo blanco, y asi seleccionar el sujeto. (La herramienta “Magic Wand” en Photoshop puede lograr esto)

Ejemplo de composición de imagen (3/5) Filtró las imágenes para que parezcan similares, y luego las pegó juntas Boris se ha difuminado y abrillantado para eliminar las líneas de mediotono (debió salir de una foto de revista) A Lars se ha difuminado y agregado ruido para que calce la calidad de la imagen a la de Boris Las imágenes son redimensionadas para que Boris y Lars estén a la misma escala

Ejemplo de composición de imagen (4/5) Finalizar imagen Creó un fondo simple de dos colores y agregó ruido para que calce con el resto de la imagen, colocó recorte de los dos sujetos encima del fondo. Esto deja un halo blanco delgado alrededor de los sujetos, así que usó la herramienta “Rubber Stamp” para estampar patrones de ruido de fondo sobre el halo, haciendo que las costuras sean menos obvias.

Ejemplo de composición de imagen (5/5) Imagen final (con retocado en bordes) BISHOP Y YELTSIN EN CONVERSACIONES DE PAZ BISHOP: “¡No pude entender una sola palabra de lo que dijo!”

Composición de imágenes - Frankencaras Aseem Agarwala, Mira Dontcheva, Maneesh Agrawala, Steven Drucker, Alex Colburn, Brian Curless, David Salesin, Michael Cohen. Interactive Digital Photomontage. ACM Transactions on Graphics (Proceedings of SIGGRAPH 2004), 2004. http://grail.cs.washington.edu/projects/photomontage/

Composición de imágenes - Frankencaras Aseem Agarwala, Mira Dontcheva, Maneesh Agrawala, Steven Drucker, Alex Colburn, Brian Curless, David Salesin, Michael Cohen. Interactive Digital Photomontage. ACM Transactions on Graphics (Proceedings of SIGGRAPH 2004), 2004. http://grail.cs.washington.edu/projects/photomontage/

Análisis de niveles de error ¿Ha sido manipulada una imagen? ¿En qué partes?

Análisis de niveles de error Fuente de la imagen: http://www.valleygirl.com.au Mejor explicación: http://www.errorlevelanalysis.com

Visión computarizada (1/2) La computación gráfica se trata de usar modelos para crear imágenes; la visión computarizada resuelve el problema opuesto – derivar modelos a partir de imágenes La computadora debe hacer todo el procesamiento sin intervención humana Las técnicas de procesamiento a menudo deben ser rápidas Un procesamiento lento agregará una latencia de la cámara a la reacción en el sistema Técnicas comunes de preprocesamiento para visión computarizada: Mejora de bordes Detección de regiones Mejora de contraste Detección de puntos de interés

Visión computarizada (2/2) El procesamiento de imágenes hace que la información sea más fácil de encontrar La detección de patrones y el reconocimiento de patrones son campos separados por sí mismos Detección de patrones: buscar características y describir el contenido de la imagen a un alto nivel Reconocimiento de patrones: clasificar colecciones de características y emparejarlas con una libreria de patrones almacenados (ej., caracteres alfanuméricos, tipos de células anormales, o características humanas en el caso de biometría) Detección de patrones es un componente importante del reconocimiento de patrones La visión computarizada puede ser usada como parte de una interfaz de usuario pasiva, como una alternativa a los aparatosos dispositivos cableados como “mouses espaciales” de 6 grados de libertad, varitas, y guantes de datos, ver siguiente lámina Fotografía computacional trae muchas técnicas de la visión.

Ejemplo: Guitarra de aire virtual Sistema de visión computarizada en tiempo real El usuario viste unos guantes anaranjados Las “regiones” de los guantes se extraen en tiempo real Reconocimiento de gestos Cambiar nota con la mano superior Pulsar la cuerda con la mano inferior Cada vez que la mano cruza el cuello virtual de la guitarra (línea diagonal en la foto) Simular también vibrato y gestos de deslizado Ver la demostración. La guitarra de aire virtual de la Helsinki University of Technology Virtual Air Guitar project: http://airguitar.tml.hut.fi/photos.html

Juntas de esqueletos sobre un mapa de profundidades Microsoft Kinect Usa la visión computarizada para “ver” la forma de tu cuerpo Extrae múltiples “esqueletos” de una imagen de profundidad El cuerpo como controlador Reconocimiento de gestos Reconocimiento facial Funciona con hardware barato Cámara RGB Sensor de profundidad CMOS Proyecta un patrón infrarojo para ver en la oscuridad Costo total 150 USD Investigaciones actuales usan el Kinect para construir nubes de puntos 3D Juntas de esqueletos sobre un mapa de profundidades El Kinect

Procesamiento de imágenes 3D (1/3) Los volúmenes de imágenes 3D de scans de MRI necesitan procesamiento de imágenes Las técnicas de procesamiento 2D suelen tener paralelos 3D El despliegue se dificulta: los pixeles son reemplazados por voxeles (rendering volumétrico) Aumenta la complejidad en tiempo y espacio: Una imagen 1024x1024 de 4 canales = 4MB Una imagen de 1024x1024x1024 de 4 canales = 4GB! Procesamiento 𝑁 2 se vuelve 𝑁 3 Imagen de “Rendering Volumétrico basado en Mecanismos de Manejo de Texturas”, por Durán y Morillo. Universidad Simón Bolívar. 2006. URL: http://www.ldc.usb.ve/~ciro/thesis

Procesamiento de imágenes 3D (2/3) Dispositivos 3D Dispositivos autoestereoscópicos comienzan a surgir La mayoría trabaja con ópticas lenticulares o con efectos de paralaje (parallax) Varias compañías ya estan comercializando productos Philips lanzó el primer TV 3D de alta definición en 2009, ahora son más populares Panasonic, LG, Smasung y Sony ahora tienen también televisores 3D en el mercado Hitachi, HTC, LG producen teléfonos móviles 3D Nintendo 3DS Philips 52” WOWvx Display Nintendo 3DS Hitachi H001

Procesamiento de imágenes 3D (3/3) zSpace es un dispositivo 3D interactivo y una plataforma de computación http://z.zspace.com/about-zspace/ Aplicaciones potenciales incluyen arquitectura, visualización de datos, medicina, arte digital, ingeniería, juegos/entretenimiento, educación Tecnología Fujifilm 3D FinePix REAL3D, lanzado en 2009, captura videos e imágenes en 3D Servicio de impresión 3D