“PARTITURA 3D: Un modelo de sonificación de imágenes”                                          Alberto Carretero Aguado Proyecto Fin de Carrera Ingeniería Técnica en Informática de Sistemas Departamento de Matemática Aplicada I Tutor: D. Pedro Real Jurado Sevilla, septiembre de 2007

1.- Resumen e Introducción Diseñaremos una aplicación llamada “PARTITURA-3D”, que realiza una conversión de vóxeles de imágenes 3D generadas por VOXELO a sonidos sintéticos o pregrabados en la tarjeta de sonido. Interés matemático, tecnológico, artístico y pedagógico: Topología y parámetros de las imágenes digitales Estudio del fenómeno sonoro e implementación de las principales técnicas de síntesis Aplicación en sistemas pedagógicos y de composición musical algorítmica

2.- ¿Qué es el sonido y cómo se digitaliza? La señal sonora. Parámetros físicos (amplitud, frecuencia, forma de onda, fase…) y musicales (altura, intensidad, timbre, duración…) Espectros: componentes parciales del sonido. Teorema de Fourier Representación del sonido digital. Sampling (Teorema de Nyquist)

3.- Las imágenes 3D con VOXELO Características de la herramienta VOXELO y modo de uso para el propósito de la sonificación. Fichero de texto que genera para la comunicación con PARTITURA-3D. Posibles mejoras de futuro en cuanto a la conexión entre las dos aplicaciones. Trabajo conjunto entre los desarrolladores.

4.- Teoría aplicada en la implementación de la sonificación de imágenes Problemas de la sonificación de imágenes 2D (conversión ImagenSonido) Clasificación de métodos Mapeo de parámetros (parcial o total) Control virtual de objetos y simulación sonora Formas de concebir el tiempo (parámetro esencial del sonido a diferencia de la imagen) Escaneo (caso particular: escaneo “Raster”) Sondeo Punteros y caminos Extrapolación a imágenes 3D  Problemas de superposiciones

5.- Teoría aplicada en la implementación de la síntesis de sonido Modulación de frecuencia (FM) y de anillo LFO: Low frequency oscillator Filtros (síntesis sustractiva) Delay (retardo) Localización espacial del sonido (panorámica en estéreo) Asignación de parámetros del sonido en nuestra sonificación 3D Eje X: Intensidad Eje Y: Altura y panorámica Eje Z: Tiempo Color (RGB): Timbre 

6.- El lenguaje MAX/MSP Entorno de desarrollo creado en el IRCAM del Centro de Arte Contemporáneo “Georges Pompidou” de París. Comercializa Cycling’74 Filosofía de programación: Objetos, conexiones, mensajes. Tiempo real Interfaz gráfica. Lenguaje interpretado que se ejecuta sobre la marcha Control MIDI en MAX. Módulos de Audio en MSP

7.- Esquema de la implementación Patch principal: Sonificación de imágenes Interpretación de fichero de VOXELO: Analizador sintáctico Creación de listas de notas. Operaciones conjuntistas Asignación de canales MIDI. Problema de superposición Módulo de secuenciación: reproducción en el tiempo de eventos MIDI almacenados Patch auxiliar: Síntesis de sonidos Sintetizador con dos osciladores y posibilidad de FM o anillo Efectos: LFO, Filtro, Envolvente de Amplitud, Delay, Panorámica Almacenamiento de resultados en fichero WAV convencional (u otro formato estándar)

8.- La aplicación PARTITURA-3D Instalación de VOXELO, MAX/MSP Runtime y PARTITURA 3-D Síntesis de sonidos  modo manual o automático Ajustes de parámetros deseados para la sonificación Completar el proceso para obtener sonido a partir de la imagen 3D

9.- Escenarios de pruebas Prueba a  Ejemplos simples de pocos sonidos, formas geométricas Prueba b  “Cumpleaños feliz” en modo MIDI y síntesis automática Prueba c  “Microinvención”: Modo manual de síntesis

10.- Conclusiones y miras de futuro Valoración de resultados de este proyecto interdisciplinar: música y nuevas tecnologías. Comprobación de objetivos iniciales. Otros trabajos en el campo de la sonificación de imágenes Aplicaciones: medicina, discapacitados, música, danza… Centros de investigación en todo el mundo Centrados sobre todo en imágenes 2D (3D  innovador) Evaluación del software. Posibles mejoras o variantes. Conversión a PD: Open Source. Integración con VOXELO. Difusión. Aplicaciones en el campo artístico y pedagógico Las bases del proceso inverso: “Imagenización de sonidos” Aplicaciones de esta transformación: P2P, nuevas transformaciones de imágenes. Investigación de tercer ciclo universitario en un futuro  I + D + I