Área de Instrumentación INSTITUTO DE ASTROFÍSICA DE CANARIAS Jorge Maella Mareca Instituto de Astrofísica de Canarias Realización de Software en el proyecto.

Presentación del tema: "Área de Instrumentación INSTITUTO DE ASTROFÍSICA DE CANARIAS Jorge Maella Mareca Instituto de Astrofísica de Canarias Realización de Software en el proyecto."— Transcripción de la presentación:

1 Área de Instrumentación INSTITUTO DE ASTROFÍSICA DE CANARIAS Jorge Maella Mareca Instituto de Astrofísica de Canarias Realización de Software en el proyecto EAV Autor: Jorge Maella Mareca Dirección: Luis Fernando Rodríguez Ramos Nicolás Sosa García Autor: Jorge Maella Mareca Dirección: Luis Fernando Rodríguez Ramos Nicolás Sosa García

2 Área de Instrumentación Jorge Maella Mareca Instituto de Astrofísica de Canarias Contenido de la exposición -Proyecto Espacio Acústico Virtual (EAV) -Adaptación del software a la nueva plataforma -Proceso de Calibrado software de las cámaras. -Sonidos: Estructura actual y trabajos realizados. -Documentación. -Turno de preguntas. -Proyecto Espacio Acústico Virtual (EAV) -Adaptación del software a la nueva plataforma -Proceso de Calibrado software de las cámaras. -Sonidos: Estructura actual y trabajos realizados. -Documentación. -Turno de preguntas.

3 Área de Instrumentación Jorge Maella Mareca Instituto de Astrofísica de Canarias Espacio Acústico Virtual -Objetivo: Percepción del entorno usando únicamente sonidos - Dispositivo electrónico: Transforma las imágenes del entorno en “imágenes sonoras” - Tecnología: Visión Espacial + Espacialización de sonidos - Destinado a las personas ciegas -Objetivo: Percepción del entorno usando únicamente sonidos - Dispositivo electrónico: Transforma las imágenes del entorno en “imágenes sonoras” - Tecnología: Visión Espacial + Espacialización de sonidos - Destinado a las personas ciegas

4 Área de Instrumentación Jorge Maella Mareca Instituto de Astrofísica de Canarias Adaptación a la nueva plataforma: Prototipo Anterior -Computador modelo Matrox 4Sight – II -Framegrabber Matrox Meteor – II /Multi – Channel -Captura de vídeo no entrelazado -Captura de dos imágenes de 320 x 240 píxeles a la vez. Una de cada cámara. -Demasiado grande para ser portable. -Computador modelo Matrox 4Sight – II -Framegrabber Matrox Meteor – II /Multi – Channel -Captura de vídeo no entrelazado -Captura de dos imágenes de 320 x 240 píxeles a la vez. Una de cada cámara. -Demasiado grande para ser portable. Motivación para el Cambio

5 Área de Instrumentación Jorge Maella Mareca Instituto de Astrofísica de Canarias Presentación de la nueva Plataforma -Computador Espresso Pocket PC -Dimensiones reducidas, 150 x 106 x 32 mm. -Potencia: Intel Celeron 700MHz, 256MB RAM -Integra hardware de sonido SoundBlaster compatible -Computador Espresso Pocket PC -Dimensiones reducidas, 150 x 106 x 32 mm. -Potencia: Intel Celeron 700MHz, 256MB RAM -Integra hardware de sonido SoundBlaster compatible

6 Área de Instrumentación Jorge Maella Mareca Instituto de Astrofísica de Canarias Captura de Imágenes: USB + Vídeo entrelazado -Captura de imágenes mediante bus USB. -Inconveniente: Solo se puede capturar una señal de vídeo con USB -Cámaras deben poder trabajar en modo entrelazado. -Captura de una imagen 320 x 240 píxeles, que se separan en dos, derecha e izquierda de 320 x 120. - Líneas pares, cámara derecha e impares izquierda. -Captura de imágenes mediante bus USB. -Inconveniente: Solo se puede capturar una señal de vídeo con USB -Cámaras deben poder trabajar en modo entrelazado. -Captura de una imagen 320 x 240 píxeles, que se separan en dos, derecha e izquierda de 320 x 120. - Líneas pares, cámara derecha e impares izquierda.

7 Área de Instrumentación Jorge Maella Mareca Instituto de Astrofísica de Canarias Software del EAV: Estructura + Cambios a realizar -Estructura del programa de Estereovisión: Bucle que realiza lo siguiente: - Capturar Imágenes y rectificarlas - Transformarlas en imágenes sonoras. - Reproducir los sonidos e iterar en el proceso. -Primer trabajo: Modificar la captura de vídeo con USB. Uso de las librerías hechas por Miguel Núñez. Separar la imagen entrelazada en dos por software. -Estructura del programa de Estereovisión: Bucle que realiza lo siguiente: - Capturar Imágenes y rectificarlas - Transformarlas en imágenes sonoras. - Reproducir los sonidos e iterar en el proceso. -Primer trabajo: Modificar la captura de vídeo con USB. Uso de las librerías hechas por Miguel Núñez. Separar la imagen entrelazada en dos por software.

8 Área de Instrumentación Jorge Maella Mareca Instituto de Astrofísica de Canarias Software del EAV: Estructura + Cambios a realizar (2) -Problemillas...: Cambio en la versión de las librerías encargadas de la realización del cálculo estéreo de VidereDesign. Promoción de la versión 2.1 a la 2.3. Cambio en la versión del API de sonido WaveOut. -Resultados: Buenos. Aumento en las prestaciones. Mayor número de imágenes capturadas por segundo. Picos de hasta 15 im/seg. Media entre 7 y 9. Versión anterior entre 6 y 7. -Problemillas...: Cambio en la versión de las librerías encargadas de la realización del cálculo estéreo de VidereDesign. Promoción de la versión 2.1 a la 2.3. Cambio en la versión del API de sonido WaveOut. -Resultados: Buenos. Aumento en las prestaciones. Mayor número de imágenes capturadas por segundo. Picos de hasta 15 im/seg. Media entre 7 y 9. Versión anterior entre 6 y 7.

9 Área de Instrumentación Jorge Maella Mareca Instituto de Astrofísica de Canarias Calibrado Software de las Cámaras - ¿qué es? - Procedimiento para calcular un conjunto de parámetros de las lentes con ayuda de los cuales se realizará el cálculo estéreo de las imágenes para obtener el mapa de profundidades. - Parámetros de tipo, de distorsión individual de las lentes y relación espacial entre las dos cámaras. -Realizado con el software SRI Small Vision System del fabricante de las cámaras, Videre Design. -Mi Tarea: Estandarizar y Documentar el proceso. - ¿qué es? - Procedimiento para calcular un conjunto de parámetros de las lentes con ayuda de los cuales se realizará el cálculo estéreo de las imágenes para obtener el mapa de profundidades. - Parámetros de tipo, de distorsión individual de las lentes y relación espacial entre las dos cámaras. -Realizado con el software SRI Small Vision System del fabricante de las cámaras, Videre Design. -Mi Tarea: Estandarizar y Documentar el proceso.

10 Área de Instrumentación Jorge Maella Mareca Instituto de Astrofísica de Canarias Sonidos: Estructura del software encargado de la Reproducción. -Fichero de la colección de sonidos: Col.bin. 2.5 Millones de muestras de 2 bytes - > 5MBytes. Se carga a memoria al comenzar la ejecución -Datos Técnicos: Frecuencia de muestreo 48KHz. Un sonido tiene 1024 muestras estéreo -> Duración: 21 ms Separación entre la emisión de 2 sonidos -> 1ms. Máximo número de sonidos por frame -> 153. -Se envían a reproducir todos los sonidos de un frame mezclados por software. -Fichero de la colección de sonidos: Col.bin. 2.5 Millones de muestras de 2 bytes - > 5MBytes. Se carga a memoria al comenzar la ejecución -Datos Técnicos: Frecuencia de muestreo 48KHz. Un sonido tiene 1024 muestras estéreo -> Duración: 21 ms Separación entre la emisión de 2 sonidos -> 1ms. Máximo número de sonidos por frame -> 153. -Se envían a reproducir todos los sonidos de un frame mezclados por software.

11 Área de Instrumentación Jorge Maella Mareca Instituto de Astrofísica de Canarias Primera Tarea: Estudio de técnicas de compresión del buffer de sonidos -Motivación Se espera tener colecciones de sonidos de cientos de Mbytes. En los portátiles el consumo condiciona la memoria. -Estudio de varias técnicas: Compresión en memoria sin pérdidas: - Redes neuronales, tablas de búsqueda, tablas estilo cache. Compresión con pérdidas: Algoritmo de mu – law. Compresión en disco: huffman, lempel/Ziv. -Estudio y documentación, no implementación. -Motivación Se espera tener colecciones de sonidos de cientos de Mbytes. En los portátiles el consumo condiciona la memoria. -Estudio de varias técnicas: Compresión en memoria sin pérdidas: - Redes neuronales, tablas de búsqueda, tablas estilo cache. Compresión con pérdidas: Algoritmo de mu – law. Compresión en disco: huffman, lempel/Ziv. -Estudio y documentación, no implementación.

12 Área de Instrumentación Jorge Maella Mareca Instituto de Astrofísica de Canarias Segunda Tarea: Búsqueda de una reproducción sonora más limpia. -Motivación: Dos defectillos en la reproducción: Entre la emisión de dos imágenes sonoras aparece siempre un pequeño silencio. Evitar cortes bruscos en la reproducción sonora. -Realización: Programación de otra manera del API WaveOut CALLBACK + encolar paquetes de sonidos. Sincronización por cita con semáforos. -Prestaciones: Igual que el anterior, pero... Problema: Un frame siempre retrasa su emisión el tiempo de emisión de otro - > 172ms. Eso es mucho. -Motivación: Dos defectillos en la reproducción: Entre la emisión de dos imágenes sonoras aparece siempre un pequeño silencio. Evitar cortes bruscos en la reproducción sonora. -Realización: Programación de otra manera del API WaveOut CALLBACK + encolar paquetes de sonidos. Sincronización por cita con semáforos. -Prestaciones: Igual que el anterior, pero... Problema: Un frame siempre retrasa su emisión el tiempo de emisión de otro - > 172ms. Eso es mucho.

13 Área de Instrumentación Jorge Maella Mareca Instituto de Astrofísica de Canarias El Reto: Búsqueda de la Polifonía en la emisión sonora. -Polifonía: Provocar que varios sonidos suenen a la vez sin tener que realizar la mezcla por software en nuestro programa. -Motivación: Evitar la diferencia en los niveles de amplitud sonoros. -Polifonía: Provocar que varios sonidos suenen a la vez sin tener que realizar la mezcla por software en nuestro programa. -Motivación: Evitar la diferencia en los niveles de amplitud sonoros. Actualmente Deseo

14 Área de Instrumentación Jorge Maella Mareca Instituto de Astrofísica de Canarias El Reto: Búsqueda de la Polifonía en la emisión sonora (2). -La polifonía es posible programando la reproducción sonora con el API DirectSound, parte de DirectX. -Idea: Enviar a reproducir N sonidos cada N milisegundos. El API los mezcla con los que ya hay reproduciéndose. -Programación: Viable, Se Realizó: Uso de threads ó interrupciones de reloj. -Inconvenientes: Se producen multitud de retardos que impiden que la reproducción quede limpia El sistema operativo, el API o el hardware. -Es un tema abierto que da mucho juego, en un futuro se puede continuar con él. -La polifonía es posible programando la reproducción sonora con el API DirectSound, parte de DirectX. -Idea: Enviar a reproducir N sonidos cada N milisegundos. El API los mezcla con los que ya hay reproduciéndose. -Programación: Viable, Se Realizó: Uso de threads ó interrupciones de reloj. -Inconvenientes: Se producen multitud de retardos que impiden que la reproducción quede limpia El sistema operativo, el API o el hardware. -Es un tema abierto que da mucho juego, en un futuro se puede continuar con él.

15 Área de Instrumentación Jorge Maella Mareca Instituto de Astrofísica de Canarias Documentación -Finalizo con la lista de documentos realizados: - “VisionEspressoUSB_v1.1.doc” - “Calibrado_v1.2.doc” - “AlternativasDeCompresion_v1.0.doc” - “VisionSonidosModificados_v1.1.doc” - “VisionPolifoniaDS_v1.0.doc” - “EstadoDelSoftwareEAV_v1.0.doc” -Finalizo con la lista de documentos realizados: - “VisionEspressoUSB_v1.1.doc” - “Calibrado_v1.2.doc” - “AlternativasDeCompresion_v1.0.doc” - “VisionSonidosModificados_v1.1.doc” - “VisionPolifoniaDS_v1.0.doc” - “EstadoDelSoftwareEAV_v1.0.doc”

16 Área de Instrumentación Jorge Maella Mareca Instituto de Astrofísica de Canarias Preguntas