Área de Instrumentación INSTITUTO DE ASTROFÍSICA DE CANARIAS Jorge Maella Mareca Instituto de Astrofísica de Canarias Realización de Software en el proyecto EAV Autor: Jorge Maella Mareca Dirección: Luis Fernando Rodríguez Ramos Nicolás Sosa García Autor: Jorge Maella Mareca Dirección: Luis Fernando Rodríguez Ramos Nicolás Sosa García

Área de Instrumentación Jorge Maella Mareca Instituto de Astrofísica de Canarias Contenido de la exposición -Proyecto Espacio Acústico Virtual (EAV) -Adaptación del software a la nueva plataforma -Proceso de Calibrado software de las cámaras. -Sonidos: Estructura actual y trabajos realizados. -Documentación. -Turno de preguntas. -Proyecto Espacio Acústico Virtual (EAV) -Adaptación del software a la nueva plataforma -Proceso de Calibrado software de las cámaras. -Sonidos: Estructura actual y trabajos realizados. -Documentación. -Turno de preguntas.

Área de Instrumentación Jorge Maella Mareca Instituto de Astrofísica de Canarias Espacio Acústico Virtual -Objetivo: Percepción del entorno usando únicamente sonidos - Dispositivo electrónico: Transforma las imágenes del entorno en “imágenes sonoras” - Tecnología: Visión Espacial + Espacialización de sonidos - Destinado a las personas ciegas -Objetivo: Percepción del entorno usando únicamente sonidos - Dispositivo electrónico: Transforma las imágenes del entorno en “imágenes sonoras” - Tecnología: Visión Espacial + Espacialización de sonidos - Destinado a las personas ciegas

Área de Instrumentación Jorge Maella Mareca Instituto de Astrofísica de Canarias Adaptación a la nueva plataforma: Prototipo Anterior -Computador modelo Matrox 4Sight – II -Framegrabber Matrox Meteor – II /Multi – Channel -Captura de vídeo no entrelazado -Captura de dos imágenes de 320 x 240 píxeles a la vez. Una de cada cámara. -Demasiado grande para ser portable. -Computador modelo Matrox 4Sight – II -Framegrabber Matrox Meteor – II /Multi – Channel -Captura de vídeo no entrelazado -Captura de dos imágenes de 320 x 240 píxeles a la vez. Una de cada cámara. -Demasiado grande para ser portable. Motivación para el Cambio

Área de Instrumentación Jorge Maella Mareca Instituto de Astrofísica de Canarias Presentación de la nueva Plataforma -Computador Espresso Pocket PC -Dimensiones reducidas, 150 x 106 x 32 mm. -Potencia: Intel Celeron 700MHz, 256MB RAM -Integra hardware de sonido SoundBlaster compatible -Computador Espresso Pocket PC -Dimensiones reducidas, 150 x 106 x 32 mm. -Potencia: Intel Celeron 700MHz, 256MB RAM -Integra hardware de sonido SoundBlaster compatible

Área de Instrumentación Jorge Maella Mareca Instituto de Astrofísica de Canarias Captura de Imágenes: USB + Vídeo entrelazado -Captura de imágenes mediante bus USB. -Inconveniente: Solo se puede capturar una señal de vídeo con USB -Cámaras deben poder trabajar en modo entrelazado. -Captura de una imagen 320 x 240 píxeles, que se separan en dos, derecha e izquierda de 320 x Líneas pares, cámara derecha e impares izquierda. -Captura de imágenes mediante bus USB. -Inconveniente: Solo se puede capturar una señal de vídeo con USB -Cámaras deben poder trabajar en modo entrelazado. -Captura de una imagen 320 x 240 píxeles, que se separan en dos, derecha e izquierda de 320 x Líneas pares, cámara derecha e impares izquierda.

Área de Instrumentación Jorge Maella Mareca Instituto de Astrofísica de Canarias Software del EAV: Estructura + Cambios a realizar -Estructura del programa de Estereovisión: Bucle que realiza lo siguiente: - Capturar Imágenes y rectificarlas - Transformarlas en imágenes sonoras. - Reproducir los sonidos e iterar en el proceso. -Primer trabajo: Modificar la captura de vídeo con USB. Uso de las librerías hechas por Miguel Núñez. Separar la imagen entrelazada en dos por software. -Estructura del programa de Estereovisión: Bucle que realiza lo siguiente: - Capturar Imágenes y rectificarlas - Transformarlas en imágenes sonoras. - Reproducir los sonidos e iterar en el proceso. -Primer trabajo: Modificar la captura de vídeo con USB. Uso de las librerías hechas por Miguel Núñez. Separar la imagen entrelazada en dos por software.

Área de Instrumentación Jorge Maella Mareca Instituto de Astrofísica de Canarias Software del EAV: Estructura + Cambios a realizar (2) -Problemillas...: Cambio en la versión de las librerías encargadas de la realización del cálculo estéreo de VidereDesign. Promoción de la versión 2.1 a la 2.3. Cambio en la versión del API de sonido WaveOut. -Resultados: Buenos. Aumento en las prestaciones. Mayor número de imágenes capturadas por segundo. Picos de hasta 15 im/seg. Media entre 7 y 9. Versión anterior entre 6 y 7. -Problemillas...: Cambio en la versión de las librerías encargadas de la realización del cálculo estéreo de VidereDesign. Promoción de la versión 2.1 a la 2.3. Cambio en la versión del API de sonido WaveOut. -Resultados: Buenos. Aumento en las prestaciones. Mayor número de imágenes capturadas por segundo. Picos de hasta 15 im/seg. Media entre 7 y 9. Versión anterior entre 6 y 7.

Área de Instrumentación Jorge Maella Mareca Instituto de Astrofísica de Canarias Calibrado Software de las Cámaras - ¿qué es? - Procedimiento para calcular un conjunto de parámetros de las lentes con ayuda de los cuales se realizará el cálculo estéreo de las imágenes para obtener el mapa de profundidades. - Parámetros de tipo, de distorsión individual de las lentes y relación espacial entre las dos cámaras. -Realizado con el software SRI Small Vision System del fabricante de las cámaras, Videre Design. -Mi Tarea: Estandarizar y Documentar el proceso. - ¿qué es? - Procedimiento para calcular un conjunto de parámetros de las lentes con ayuda de los cuales se realizará el cálculo estéreo de las imágenes para obtener el mapa de profundidades. - Parámetros de tipo, de distorsión individual de las lentes y relación espacial entre las dos cámaras. -Realizado con el software SRI Small Vision System del fabricante de las cámaras, Videre Design. -Mi Tarea: Estandarizar y Documentar el proceso.

Área de Instrumentación Jorge Maella Mareca Instituto de Astrofísica de Canarias Sonidos: Estructura del software encargado de la Reproducción. -Fichero de la colección de sonidos: Col.bin. 2.5 Millones de muestras de 2 bytes - > 5MBytes. Se carga a memoria al comenzar la ejecución -Datos Técnicos: Frecuencia de muestreo 48KHz. Un sonido tiene 1024 muestras estéreo -> Duración: 21 ms Separación entre la emisión de 2 sonidos -> 1ms. Máximo número de sonidos por frame -> Se envían a reproducir todos los sonidos de un frame mezclados por software. -Fichero de la colección de sonidos: Col.bin. 2.5 Millones de muestras de 2 bytes - > 5MBytes. Se carga a memoria al comenzar la ejecución -Datos Técnicos: Frecuencia de muestreo 48KHz. Un sonido tiene 1024 muestras estéreo -> Duración: 21 ms Separación entre la emisión de 2 sonidos -> 1ms. Máximo número de sonidos por frame -> Se envían a reproducir todos los sonidos de un frame mezclados por software.

Área de Instrumentación Jorge Maella Mareca Instituto de Astrofísica de Canarias Primera Tarea: Estudio de técnicas de compresión del buffer de sonidos -Motivación Se espera tener colecciones de sonidos de cientos de Mbytes. En los portátiles el consumo condiciona la memoria. -Estudio de varias técnicas: Compresión en memoria sin pérdidas: - Redes neuronales, tablas de búsqueda, tablas estilo cache. Compresión con pérdidas: Algoritmo de mu – law. Compresión en disco: huffman, lempel/Ziv. -Estudio y documentación, no implementación. -Motivación Se espera tener colecciones de sonidos de cientos de Mbytes. En los portátiles el consumo condiciona la memoria. -Estudio de varias técnicas: Compresión en memoria sin pérdidas: - Redes neuronales, tablas de búsqueda, tablas estilo cache. Compresión con pérdidas: Algoritmo de mu – law. Compresión en disco: huffman, lempel/Ziv. -Estudio y documentación, no implementación.

Área de Instrumentación Jorge Maella Mareca Instituto de Astrofísica de Canarias Segunda Tarea: Búsqueda de una reproducción sonora más limpia. -Motivación: Dos defectillos en la reproducción: Entre la emisión de dos imágenes sonoras aparece siempre un pequeño silencio. Evitar cortes bruscos en la reproducción sonora. -Realización: Programación de otra manera del API WaveOut CALLBACK + encolar paquetes de sonidos. Sincronización por cita con semáforos. -Prestaciones: Igual que el anterior, pero... Problema: Un frame siempre retrasa su emisión el tiempo de emisión de otro - > 172ms. Eso es mucho. -Motivación: Dos defectillos en la reproducción: Entre la emisión de dos imágenes sonoras aparece siempre un pequeño silencio. Evitar cortes bruscos en la reproducción sonora. -Realización: Programación de otra manera del API WaveOut CALLBACK + encolar paquetes de sonidos. Sincronización por cita con semáforos. -Prestaciones: Igual que el anterior, pero... Problema: Un frame siempre retrasa su emisión el tiempo de emisión de otro - > 172ms. Eso es mucho.

Área de Instrumentación Jorge Maella Mareca Instituto de Astrofísica de Canarias El Reto: Búsqueda de la Polifonía en la emisión sonora. -Polifonía: Provocar que varios sonidos suenen a la vez sin tener que realizar la mezcla por software en nuestro programa. -Motivación: Evitar la diferencia en los niveles de amplitud sonoros. -Polifonía: Provocar que varios sonidos suenen a la vez sin tener que realizar la mezcla por software en nuestro programa. -Motivación: Evitar la diferencia en los niveles de amplitud sonoros. Actualmente Deseo

Área de Instrumentación Jorge Maella Mareca Instituto de Astrofísica de Canarias El Reto: Búsqueda de la Polifonía en la emisión sonora (2). -La polifonía es posible programando la reproducción sonora con el API DirectSound, parte de DirectX. -Idea: Enviar a reproducir N sonidos cada N milisegundos. El API los mezcla con los que ya hay reproduciéndose. -Programación: Viable, Se Realizó: Uso de threads ó interrupciones de reloj. -Inconvenientes: Se producen multitud de retardos que impiden que la reproducción quede limpia El sistema operativo, el API o el hardware. -Es un tema abierto que da mucho juego, en un futuro se puede continuar con él. -La polifonía es posible programando la reproducción sonora con el API DirectSound, parte de DirectX. -Idea: Enviar a reproducir N sonidos cada N milisegundos. El API los mezcla con los que ya hay reproduciéndose. -Programación: Viable, Se Realizó: Uso de threads ó interrupciones de reloj. -Inconvenientes: Se producen multitud de retardos que impiden que la reproducción quede limpia El sistema operativo, el API o el hardware. -Es un tema abierto que da mucho juego, en un futuro se puede continuar con él.

Área de Instrumentación Jorge Maella Mareca Instituto de Astrofísica de Canarias Documentación -Finalizo con la lista de documentos realizados: - “VisionEspressoUSB_v1.1.doc” - “Calibrado_v1.2.doc” - “AlternativasDeCompresion_v1.0.doc” - “VisionSonidosModificados_v1.1.doc” - “VisionPolifoniaDS_v1.0.doc” - “EstadoDelSoftwareEAV_v1.0.doc” -Finalizo con la lista de documentos realizados: - “VisionEspressoUSB_v1.1.doc” - “Calibrado_v1.2.doc” - “AlternativasDeCompresion_v1.0.doc” - “VisionSonidosModificados_v1.1.doc” - “VisionPolifoniaDS_v1.0.doc” - “EstadoDelSoftwareEAV_v1.0.doc”

Área de Instrumentación Jorge Maella Mareca Instituto de Astrofísica de Canarias Preguntas