ÍNDICE Introducción Objetivos Procesamiento de imágenes Formato WAVE De imagen a sonido Experimentos Noticias Conclusiones

INTRODUCCIÓN Un gran porcentaje de la información nos llega a través de la vista. -Problema: personas con deficiencias visuales. -Solución: métodos alternativos (tacto...) Avances en la sonificación de datos. -No sucede lo mismo con las imágenes. Sonificación:Representación de imágenes por medio de sonidos.

INTRODUCCIÓN Optófono como instrumento para sonificar una imagen o escena. Problema: limitada capacidad de asimilación de información auditiva en comparación con la visual. - Solución: eliminar información para simplificar.

SONIFICACIÓN Sonificación: uso de sonido no hablado (nonspeech audio) para tratar o canalizar la información Áreas de interés: desde el estudio sobre la percepción humana hasta la elección de dispositivos acústicos. Foro internacional de investigación en el área de la sonificación (ICAD).

ACCESO A LA INFORMACIÓN (La percepción) Proceso mediante el cual se maneja la información. Según Jacobson (1950,1951) el ojo tiene una capacidad de asimilación de información de 130 x 106 x 18 = 2340 x 106 bits/s. Un humano puede distinguir un rango de frecuencia entre 30 y 16000 Hz. La capacidad del oído con estos datos es de     1450 x 4 x 7.7 = 44600 bits/s.

ACCESO A LA INFORMACIÓN (Distintas formas de percepción) Percepción como una colección de datos y su procesamiento. Diversos animales obtienen la información en una forma poco usual: - Murciélagos: emiten ultrasonidos - Serpiente cascabel: detecta infrarrojos - Pez torpedo: produce corrientes eléctricas

ACCESO A LA INFORMACIÓN ¿y si falla la percepción visual? Braille (XIX) inventó un sistema para representar las letras del alfabeto en relieve. -Inconvenientes: excesivo volumen de las copias y alto coste de producción. Métodos complementarios: grabaciones en cinta magnetofónica, escáner y ordenador.. Proyecto Tiflonet, Web por y para ciegos.

ACCESO A LA INFORMACIÓN ¿y si falla la percepción visual? Aparatos para convertir información visual: * TVSS: Sistema de substitución sensorial * Contador Geiger: emite señales acústicas en respuesta a diferentes niveles de radiación según cambios en el medio. * Pulsioxímetro: produce señales acústicas que varían en intensidad según el nivel de oxígeno en sangre del paciente. ¿Y qué pasa con las imágenes? Aplicación de la sonificación.

ÍNDICE Introducción Objetivos Procesamiento de imágenes Formato WAVE De imagen a sonido Experimentos Noticias Conclusiones

OBJETIVOS Transformar una señal visual simplificada (imagen bidimensional o sintética) en una señal de audio equivalente. Optófono que distingue intensidades de gris. Es importante la simplificación de la escena a sonificar. -Diferentes métodos de segmentación de imágenes : * Reducción de la resolución espacial * Detección de bordes

ÍNDICE Introducción Objetivos Procesamiento de imágenes Formato WAVE De imagen a sonido Experimentos Noticias Conclusiones

PROCESAMIENTO DE IMÁGENES Representación de imágenes Conversión a grises Negativo de una imagen Umbralización Cuantización Reducción de la resolución de la imagen Filtros

REPRESENTACIÓN DE IMÁGENES Imagen digital > f (x,y) -(x,y) : coordenadas de la imagen -f : nivel de gris en la posición (x,y) Se caracteriza por MxNxL: -M : número de filas -N : número de columnas -L : número de bits para representar cada pixel

PROCESAMIENTO DE IMÁGENES Representación de imágenes Conversión a grises Negativo de una imagen Umbralización Cuantización Reducción de la resolución de la imagen Filtros

CONVERSIÓN A GRISES Optófono sólo trabaja con niveles de gris. -Convertir la imagen a escala de grises. El ojo humano percibe desde 380 a 780 nm (desde el violeta hasta el rojo). Obtención de gris a partir de colores: Y = R*0.3 + G*0.59 + B*0.11

CONVERSIÓN A GRISES Imagen de Lenna como imagen clásica en el procesado de imágenes. ). Imagen de Lenna a color; b) Imagen de Lenna en escala de grises (256 niveles)

PROCESAMIENTO DE IMÁGENES Representación de imágenes Conversión a grises Negativo de una imagen Umbralización Cuantización Reducción de la resolución de la imagen Filtros

Fig. 6: a) Lenna a 256 niveles de gris; b) Lenna en negativo. NEGATIVO DE UNA IMAGEN Transformar cada píxel en la escala de grises en una imagen con niveles de intensidad invertidos. Operación: nuevo_píxel = MAX - viejo_píxel Fig. 6: a) Lenna a 256 niveles de gris; b) Lenna en negativo.

PROCESAMIENTO DE IMÁGENES Representación de imágenes Conversión a grises Negativo de una imagen Umbralización Cuantización Reducción de la resolución de la imagen Filtros

UMBRALIZACIÓN Método de segmentación: - Imagen en escala de grises > Imagen con sólo dos niveles de gris separando objetos del fondo. si (viejo_píxel>umbral)       nuevo_píxel = MAX sino       nuevo_píxel = MIN

UMBRALIZACIÓN Ejemplos: Lenna a 256 niveles de gris; Lenna con un umbral alto; Lenna con un umbral bajo; Lenna con un umbral intermedio;

PROCESAMIENTO DE IMÁGENES Representación de imágenes Conversión a grises Negativo de una imagen Umbralización Cuantización Reducción de la resolución de la imagen Filtros

CUANTIZACIÓN Convertir una imagen con una escala de grises de x niveles a otra con una escala menor, reduciendo el volumen de datos. Lenna a 8 niveles de gris; Lenna a 256 niveles de gris; Lenna a 16 niveles de gris; Lenna a 4 niveles de gris.

PROCESAMIENTO DE IMÁGENES Representación de imágenes Conversión a grises Negativo de una imagen Umbralización Cuantización Reducción de la resolución de la imagen Filtros

REDUCCIÓN DE LA RESOLUCIÓN Una imagen de grandes dimensiones generará muchos sonidos. - Inconveniente: difícil de asemejar a una escena. Habrá que eliminar información para simplificar. Lenna con una resolución de 64 x 64 píxeles Lenna con una resolución de 256 x 256

PROCESAMIENTO DE IMÁGENES Representación de imágenes Conversión a grises Negativo de una imagen Umbralización Cuantización Reducción de la resolución de la imagen Filtros

ÍNDICE Introducción Objetivos Procesamiento de imágenes Formato WAVE De imagen a sonido Experimentos Conclusiones

FORMATO WAV Introducción Características Conceptos Formato

FORMATO WAV Introducción Formato de archivo originario de Microsoft. Es un estándar en audio digital para PC . Contienen información del audio del mundo real, esto es la representación digital de una señal analógica.

FORMATO WAV Características Muy flexible → Usado para tratamiento del sonido Gran Calidad → Ocupa gran tamaño Compatibilidad para convertirse en otros formatos.

FORMATO WAV Conceptos Frecuencia del tono. Sonido. Timbre. Intensidad.

FORMATO WAV Frecuencia: indicar el número de veces que se repite en un segundo cualquier fenómeno periódico Su unidad es el herzio. Frecuencia del tono: característica del sonido que indica su altura. A medida que aumenta la frecuencia también lo hace el tono

FORMATO WAV Timbre: Intesidad Sonido: fenómeno físico que estimula el sentido del oído debido a vibraciones del medio que llegan al oído interno Timbre: cualidad que permite distinguir los sonidos producidos por los diferentes instrumentos Intesidad cualidad que permite distinguir entre sonidos fuertes o débiles

FORMATO WAV Un fichero WAVE se compone de: cabecera formada por el descriptor RIFF dos sub-campos “fmt” , que especifica el formato de los datos “data”, campo de datos

ÍNDICE Introducción Objetivos Procesamiento de imágenes Formato WAVE De imagen a sonido Experimentos Noticias Conclusiones

De La Imagen al Sonido Vamos a generar sonido a partir de una imagen digital en escala de grises en base a las características visuales de la misma Es decir, Sonificamos una imagen por columnas, creando una onda sonora de cada uno de los píxeles que contiene.

De la Imagen al Sonido Para sonificar la imagen antendemos a la siguiente relación intuitiva: El nivel de gris de cada píxel está directamente relacionado con la amplitud de la onda que genera (el volumen del sonido). La altura de cada píxel determina la frecuencia de la onda (que está relacionada íntimamente con el tono del sonido)

De la Imagen al Sonido La suma que se forma de la contribución de cada uno de los píxeles es el sonido correspondiente a la primera columna. Para sonificar la imagen entera, barremos las sucesivas columnas, generando así el sonido total compuesto por los sonidos individuales de cada una de ellas De esta manera, la duración del sonido debido a la sonificación de toda la imagen será suma de las duraciones parciales de las ondas de todas las columnas.

De la Imagen al Sonido Cuando la imagen k-1-ésima es transformada en sonido, la imagen k-ésima es muestreada, digitaliza y almacenada como M columnas x N filas.

De la Imagen al Sonido La sonificación de forma algebraica se puede expresar como: x=1..N, la posición de la columna en la imagen de dimensiones NxM, y=1..M la posición del píxel en la columna, Ix,y el nivel de gris del píxel situado en la posición (x, y) de la imagen w la frecuencia perteneciente a la altura y

De la Imagen al Sonido Problema El acoplamiento de las funciones correspondientes a las columnas para crear la sonificación de toda la imagen creará sonidos extremadamente complejos y sin aparente sentido Más problemas en imágenes de gran detalle y multitud de grises.

De la Imagen al Sonido El conjunto de frecuencias usado en el proceso de sonificación puede ser en principio arbitrario Hay dos buenos conjuntos de frecuencias la distribución lineal (equidistante) la exponencial El uso de la Escala Natural y Cromática expresa de un modo más intuitivo el sonido producido.

De la Imagen al Sonido ¿Por qué la escala natural? Por la educación del oido humano El salto de una frecuencia a otro no es lineal, aunque lo parezca La escala natural se utiliza fundamentalmente para imágenes de dimensiones pequeñas ¿Por qué la escala cromática? nuestro salto unitario se corresponde con un semitono algo más grandes pues en una única octava tenemos hasta 12 sonidos diferentes

De la imagen al Sonido Conclusiones: El sonido creado tras el barrido de la imagen representará a la propia imagen Hay que aprender a “escuchar las imágenes” importancia en personas con discapacidades visuales

ÍNDICE Introducción Objetivos Procesamiento de imágenes Formato WAVE De imagen a sonido Experimentos Noticias Conclusiones

ÍNDICE Introducción Objetivos Procesamiento de imágenes Formato WAVE De imagen a sonido Experimentos Noticias Conclusiones

NOTICIAS Ciegos ven en el PC (Revista Siglo 21) Blind see with sound (BBC)

ÍNDICE Introducción Objetivos Procesamiento de imágenes Formato WAVE De imagen a sonido Experimentos Noticias Conclusiones

CONCLUSIONES Campo de investigación actual: SONIFICACIÓN Exceso de información de las imágenes: necesidad de segmentación (técnicas). Pensado para personas con discapacidades visuales.