Proyecto Fin de Carrera Departamento de Tecnología Electrónica 1 E.T.S.I.Telecomunicación Universidad de Málaga DESARROLLO Y DISEÑO DE MUNDOS VIRTUALES PARA LA NAVEGACIÓN A TRAVÉS DE UN SISTEMA BCI Autor: Manuel Jesús Romero Perales Autor: Manuel Jesús Romero Perales Tutor: Ricardo Ron Angevín Tutor: Ricardo Ron Angevín

Proyecto Fin de Carrera Departamento de Tecnología Electrónica 2 Sistema BCI Sistema BCI Realidad Virtual y VRML Realidad Virtual y VRML Objetivos Objetivos Herramientas utilizadas Herramientas utilizadas Modelado de los mundos Modelado de los mundos Integración y pruebas Integración y pruebas Conclusiones y líneas futuras Conclusiones y líneas futuras

Proyecto Fin de Carrera Departamento de Tecnología Electrónica 3 Conversor A/D Almacen. datos Cancelación Artefactos Obtención características Traducción Características /Clasificación PROCESADO SEÑAL ADQUISICIÓN SEÑAL InterfazControl ControladorDispositivo APLICACIÓN Señal Señaldigitalizada Configuración Sistema ComandosDispositivo FEEDBACK Amplif. Sensores Pantalla USUARIO USUARIO (Actividad cerebral)

Proyecto Fin de Carrera Departamento de Tecnología Electrónica 4 Refuerzos Positivos o negativos Reposo e imaginar movimiento Señal EEG Ritmos ,b [8-32Hz] Funciones motoras Síncrono o asíncrono Obtener y proporcionar información Técnicas invasivas y no invasivas

Proyecto Fin de Carrera Departamento de Tecnología Electrónica 5 - Información proceso mental - Concentración, motivación e inmersión - Impacto visual Adaptación de usuario Evitar frustración, cansancio Reducir tiempo respuesta MEJORAR ENTRENAMIENTO - Controlar actividad mental - Usabilidad del sistema - Aprendizaje no adecuado

Proyecto Fin de Carrera Departamento de Tecnología Electrónica 6 Sistema BCI Sistema BCI Realidad Virtual y VRML Realidad Virtual y VRML Objetivos Objetivos Herramientas utilizadas Herramientas utilizadas Modelado de los mundos Modelado de los mundos Integración y pruebas Integración y pruebas Conclusiones y líneas futuras Conclusiones y líneas futuras

Proyecto Fin de Carrera Departamento de Tecnología Electrónica 7   Permite generar un mundo artificial o sintético en el cuál el usuario tiene la impresión de estar presente, por el que puede navegar e interactuar en tiempo real. - Inmersiva, No inmersiva - De proyección - Mundo muerto - Mundo real - Mundo fantástico - Representación - Realimentación háptica (colisiones) - Demora - Malestar por uso prolongado MUNDOS VIRTUALES

Proyecto Fin de Carrera Departamento de Tecnología Electrónica 8  VRML (Virtual Reality Modelling Language) Formato de archivo que describe objetos tridimensionales y multimedia interactivos dentro de una escena virtual ISO/IEC 14772) - Lenguaje de modelado (ISO/IEC 14772) - Mundo virtual  fichero *.WRL estructurado en nodos - Objetos pueden modificarse y animarse en ejecución - Objetos 3D y multimedia interactivos (imagen, audio, etc.)  NODOS - Visualización  browsers o visores (en tiempo real).

Proyecto Fin de Carrera Departamento de Tecnología Electrónica 9 Sistema BCI Sistema BCI Realidad Virtual y VRML Realidad Virtual y VRML Objetivos Objetivos Herramientas utilizadas Herramientas utilizadas Modelado de los mundos Modelado de los mundos Integración y pruebas Integración y pruebas Conclusiones y líneas futuras Conclusiones y líneas futuras

Proyecto Fin de Carrera Departamento de Tecnología Electrónica 10  motivación, concentración de usuario Diseño e implementación de mundos virtuales: Ambientes reales, familiares o conocidos Integración con BCI existente Respuesta en tiempo real Mejorar etapa entrenamiento Entornos de simulación Reforzar biofeedback

Proyecto Fin de Carrera Departamento de Tecnología Electrónica 11 Sistema BCI Sistema BCI Realidad Virtual y VRML Realidad Virtual y VRML Objetivos Objetivos Herramientas utilizadas Herramientas utilizadas Modelado de los mundos Modelado de los mundos Integración y pruebas Integración y pruebas Conclusiones y líneas futuras Conclusiones y líneas futuras

Proyecto Fin de Carrera Departamento de Tecnología Electrónica 12 Software de desarrollo Herramienta CAD: 3D Studio Max 9 - Minimizan tiempo de modelado - Modelos detallados (mejor acabados) Virtual Reality Toolbox (Matlab) Equipamiento hardware Interacción BCI – Mundo virtual - Para modelos complejos - PC con memoria y hardware gráfico (Pentium Core2Duo, 1Gb RAM, 256Mb tarjeta gráfica). - Polígrafo 4 canales (amplificador), tarjeta adquisición, gorro y electrodos (generador de señal). - Conversión a VRML

Proyecto Fin de Carrera Departamento de Tecnología Electrónica 13 Sistema BCI Sistema BCI Realidad Virtual y VRML Realidad Virtual y VRML Objetivos Objetivos Herramientas utilizadas Herramientas utilizadas Modelado de los mundos Modelado de los mundos Integración y pruebas Integración y pruebas Conclusiones y líneas futuras Conclusiones y líneas futuras

Proyecto Fin de Carrera Departamento de Tecnología Electrónica 14  Estructura de la vivienda  Texturización de estructura Editor de Materiales (3DStudio) Texturas Mapeo de texturas

Proyecto Fin de Carrera Departamento de Tecnología Electrónica 15  Exteriores - Plano de suelo (césped) - Plano de horizonte - Semiesfera (cielo)  Visualización limitada  se emplean formas sencillas (poco polígonos)

Proyecto Fin de Carrera Departamento de Tecnología Electrónica 16  Decoración interior Elementos prediseñados No concebidos para VRML Número de polígonos muy elevado Optimización Retexturización de mobiliario

Proyecto Fin de Carrera Departamento de Tecnología Electrónica 17  Decoración interior Elementos diseñados (p.e. cortinas) - Formas curvas  aprox. triángulos - En gran número en la escena

Proyecto Fin de Carrera Departamento de Tecnología Electrónica 18  Bloques básicos

Proyecto Fin de Carrera Departamento de Tecnología Electrónica 19  Modelado de detalle Módulo de Aulas Módulo de Aulas Escaleras bajada patio Escaleras bajada patio Salón de actos Salón de actos Pasillos interiores Pasillos interiores Biblioteca y cafetería Biblioteca y cafetería Columnas Columnas

Proyecto Fin de Carrera Departamento de Tecnología Electrónica 20  Texturización PROCESO - Realización de fotografías - Obtención de texturas - Almacenamiento (JGP) - Mapeo de texturas en las geometrías Texturas para estructura Texturas para estructura Texturas para puertas, ventanas y decoración Texturas para puertas, ventanas y decoración

Proyecto Fin de Carrera Departamento de Tecnología Electrónica 21  Cambio de perspectiva de diseño - Pocos elementos en la escena - Una textura - Importancia de la ubicación de los objetos - Sensación de movimiento Plano de vuelo Plano de vuelo Avión Avión

Proyecto Fin de Carrera Departamento de Tecnología Electrónica 22  Material de textura y texturización Cuadrícula Cuadrícula Textura definitiva (Simétrica) Textura definitiva (Simétrica) Modificar “gizmo” para obtener ciclicidad

Proyecto Fin de Carrera Departamento de Tecnología Electrónica 23  Ubicación de los elementos Punto de vista PLANO AVIÓN

Proyecto Fin de Carrera Departamento de Tecnología Electrónica 24  Ubicación de los elementos

Proyecto Fin de Carrera Departamento de Tecnología Electrónica 25  Iluminación de Vivienda y ETSIT - Luz principal (“Omni” o PointLight)  SOL - 3 luces de apoyo (SpotLight )  menor intensidad  Iluminación Simulador - Una fuente de luz (DirectionalLight)

Proyecto Fin de Carrera Departamento de Tecnología Electrónica 26 Sistema BCI Sistema BCI Realidad Virtual y VRML Realidad Virtual y VRML Objetivos Objetivos Herramientas utilizadas Herramientas utilizadas Modelado de los mundos Modelado de los mundos Integración y pruebas Integración y pruebas Conclusiones y líneas futuras Conclusiones y líneas futuras

Proyecto Fin de Carrera Departamento de Tecnología Electrónica 27 - Paso previo adecuación de los mundos modelados: - Incorporar sensores de proximidad - Conversión a VRML Nodo VRML “silla” Nodo VRML “silla” - Integración de la Interfaz de navegación en el mundo virtual. Punto de Vista Punto de Vista o Cámara Interfaz NC Interfaz NC Interfaz CI Interfaz CI

Proyecto Fin de Carrera Departamento de Tecnología Electrónica 28 - El interfaz no controla la “silla”. - Punto de vista y avión inmóviles. - Implementación de movimiento - Avance, giros, ascenso y descenso.  Integración con Simulador de Vuelo - Virtual Reality ToolBox.

Proyecto Fin de Carrera Departamento de Tecnología Electrónica 29  Visualización de mundos  Respuesta correcta OBJETIVOS - Escalado - Respuesta en tiempo real  visualización continuada - Colisiones con objetos y estructuras - Animación de la escena al seleccionar un movimiento

Proyecto Fin de Carrera Departamento de Tecnología Electrónica 30 Sistema BCI Sistema BCI Realidad Virtual y VRML Realidad Virtual y VRML Objetivos Objetivos Herramientas utilizadas Herramientas utilizadas Modelado de los mundos Modelado de los mundos Integración y pruebas Integración y pruebas Conclusiones y líneas futuras Conclusiones y líneas futuras

Proyecto Fin de Carrera Departamento de Tecnología Electrónica 31 - Desarrollo y diseño de mundos virtuales: - Representan ambientes reales y conocidos. - Refuerzan biofeedback del usuario. - Limites de exploración los impone el usuario. - Entornos de simulación y evaluación seguros. - Potente herramienta de modelado, limitada por VRML.

Proyecto Fin de Carrera Departamento de Tecnología Electrónica 32 - Aumentar inmersión del usuario - Incrementar interactividad entre objetos Involucrar más sentidos Experimentación simultanea Colisiones encadenadas - Impresión más realista de los mundos OpenGL o DirectX Visión estereoscópica

Proyecto Fin de Carrera Departamento de Tecnología Electrónica 33 E.T.S.I.Telecomunicación Universidad de Málaga DESARROLLO Y DISEÑO DE MUNDOS VIRTUALES PARA LA NAVEGACIÓN A TRAVÉS DE UN SISTEMA BCI Autor: Manuel Jesús Romero Perales Autor: Manuel Jesús Romero Perales Tutor: Ricardo Ron Angevín Tutor: Ricardo Ron Angevín