Proyecto Fin de Carrera Departamento de Tecnología Electrónica 1 E.T.S.I.Telecomunicación Universidad de Málaga DESARROLLO Y DISEÑO DE MUNDOS VIRTUALES PARA LA NAVEGACIÓN A TRAVÉS DE UN SISTEMA BCI Autor: Manuel Jesús Romero Perales Autor: Manuel Jesús Romero Perales Tutor: Ricardo Ron Angevín Tutor: Ricardo Ron Angevín

Proyecto Fin de Carrera Departamento de Tecnología Electrónica 2 Sistema BCI Sistema BCI Realidad Virtual y VRML Realidad Virtual y VRML Objetivos Objetivos Herramientas utilizadas Herramientas utilizadas Modelado de los mundos Modelado de los mundos Integración y pruebas Integración y pruebas Conclusiones y líneas futuras Conclusiones y líneas futuras

Proyecto Fin de Carrera Departamento de Tecnología Electrónica 3 Conversor A/D Almacen. datos Cancelación Artefactos Obtención características Traducción Características /Clasificación PROCESADO SEÑAL ADQUISICIÓN SEÑAL InterfazControl ControladorDispositivo APLICACIÓN Señal Señaldigitalizada Configuración Sistema ComandosDispositivo FEEDBACK Amplif. Sensores Pantalla USUARIO USUARIO (Actividad cerebral)

Proyecto Fin de Carrera Departamento de Tecnología Electrónica 4 Refuerzos Positivos o negativos Reposo e imaginar movimiento Señal EEG Ritmos ,b [8-32Hz] Funciones motoras Síncrono o asíncrono Obtener y proporcionar información Técnicas invasivas y no invasivas

Proyecto Fin de Carrera Departamento de Tecnología Electrónica 5 - Información proceso mental - Concentración, motivación e inmersión - Impacto visual Adaptación de usuario Evitar frustración, cansancio Reducir tiempo respuesta MEJORAR ENTRENAMIENTO - Controlar actividad mental - Usabilidad del sistema - Aprendizaje no adecuado

Proyecto Fin de Carrera Departamento de Tecnología Electrónica 6 Sistema BCI Sistema BCI Realidad Virtual y VRML Realidad Virtual y VRML Objetivos Objetivos Herramientas utilizadas Herramientas utilizadas Modelado de los mundos Modelado de los mundos Integración y pruebas Integración y pruebas Conclusiones y líneas futuras Conclusiones y líneas futuras

Proyecto Fin de Carrera Departamento de Tecnología Electrónica 7   Permite generar un mundo artificial o sintético en el cuál el usuario tiene la impresión de estar presente, por el que puede navegar e interactuar en tiempo real. - Inmersiva, No inmersiva - De proyección - Mundo muerto - Mundo real - Mundo fantástico - Representación - Realimentación háptica (colisiones) - Demora - Malestar por uso prolongado MUNDOS VIRTUALES

Proyecto Fin de Carrera Departamento de Tecnología Electrónica 8  VRML

Proyecto Fin de Carrera Departamento de Tecnología Electrónica 9 Sistema BCI Sistema BCI Realidad Virtual y VRML Realidad Virtual y VRML Objetivos Objetivos Herramientas utilizadas Herramientas utilizadas Modelado de los mundos Modelado de los mundos Integración y pruebas Integración y pruebas Conclusiones y líneas futuras Conclusiones y líneas futuras

Proyecto Fin de Carrera Departamento de Tecnología Electrónica 10  motivación, concentración de usuario Diseño e implementación de mundos virtuales: Ambientes reales, familiares o conocidas Integración con BCI existente Respuesta en tiempo real Mejorar etapa entrenamiento Entornos de simulación Reforzar biofeedback

Proyecto Fin de Carrera Departamento de Tecnología Electrónica 11 Sistema BCI Sistema BCI Realidad Virtual y VRML Realidad Virtual y VRML Objetivos Objetivos Herramientas utilizadas Herramientas utilizadas Modelado de los mundos Modelado de los mundos Integración y pruebas Integración y pruebas Conclusiones y líneas futuras Conclusiones y líneas futuras

Proyecto Fin de Carrera Departamento de Tecnología Electrónica 12 Software de desarrollo Herramienta CAD: 3D Studio Max 9 - Minimizan tiempo de modelado - Modelos detallados y mejor acabados Virtual Reality Toolbox (Matlab) Equipamiento hardware Interacción BCI – Mundo virtual - Para modelos complejos - PC con memoria y hardware gráfico (Pentium Core2Duo, 1Gb RAM, 256Mb tarjeta gráfica). - Polígrafo 4 canales (amplificador), tarjeta adquisición, gorro y electrodos (generador de señal).

Proyecto Fin de Carrera Departamento de Tecnología Electrónica 13 Sistema BCI Sistema BCI Realidad Virtual y VRML Realidad Virtual y VRML Objetivos Objetivos Herramientas utilizadas Herramientas utilizadas Modelado de los mundos Modelado de los mundos Integración y pruebas Integración y pruebas Conclusiones y líneas futuras Conclusiones y líneas futuras

Proyecto Fin de Carrera Departamento de Tecnología Electrónica 14  Estructura de la vivienda  Texturización

Proyecto Fin de Carrera Departamento de Tecnología Electrónica 15  Exteriores

Proyecto Fin de Carrera Departamento de Tecnología Electrónica 16  Decoración interior Elementos prediseñados Elementos diseñados (cortinas) No concebidos para VRML Número de polígonos muy elevado Hay que optimizarlos

Proyecto Fin de Carrera Departamento de Tecnología Electrónica 17  Bloques básicos

Proyecto Fin de Carrera Departamento de Tecnología Electrónica 18  Modelado de detalle Módulo de Aulas Módulo de Aulas Escaleras bajada patio Escaleras bajada patio Salón de actos Salón de actos Pasillos interiores Pasillos interiores Biblioteca y cafetería Biblioteca y cafetería Columnas Columnas

Proyecto Fin de Carrera Departamento de Tecnología Electrónica 19  Texturización

Proyecto Fin de Carrera Departamento de Tecnología Electrónica 20  Cambio de perspectiva de diseño - Poco elementos en la escena - Una textura - Importancia de la ubicación de los objetos - Animación

Proyecto Fin de Carrera Departamento de Tecnología Electrónica 21

Proyecto Fin de Carrera Departamento de Tecnología Electrónica 22 Sistema BCI Sistema BCI Realidad Virtual y VRML Realidad Virtual y VRML Objetivos Objetivos Herramientas utilizadas Herramientas utilizadas Modelado de los mundos Modelado de los mundos Integración y pruebas Integración y pruebas Conclusiones y líneas futuras Conclusiones y líneas futuras

Proyecto Fin de Carrera Departamento de Tecnología Electrónica 23 - Paso previo adecuación de los mundos modelados: - Incorporar sensores de proximidad - Conversión a VRML Nodo VRML “silla” Nodo VRML “silla” - Integración de la Interfaz de navegación en el mundo virtual. Punto de Vista Punto de Vista o Cámara Interfaz NC Interfaz NC Interfaz CI Interfaz CI

Proyecto Fin de Carrera Departamento de Tecnología Electrónica 24 - El interfaz no controla la “silla”. - Punto de vista y avión inmóviles. - Implementación de movimiento - Avance continuo, giros, ascenso y descenso.  Integración con Simulador de Vuelo

Proyecto Fin de Carrera Departamento de Tecnología Electrónica 25

Proyecto Fin de Carrera Departamento de Tecnología Electrónica 26 Sistema BCI Sistema BCI Realidad Virtual y VRML Realidad Virtual y VRML Objetivos Objetivos Herramientas utilizadas Herramientas utilizadas Modelado de los mundos Modelado de los mundos Integración y pruebas Integración y pruebas Conclusiones y líneas futuras Conclusiones y líneas futuras

Proyecto Fin de Carrera Departamento de Tecnología Electrónica 27 - Desarrollo y diseño de mundos virtuales: - Representan ambientes reales y conocidos. - Refuerzan biofeedback del usuario. - Limites de exploración los impone el usuario. - Entornos de simulación y evaluación seguros. - Potente herramienta de modelado, limitada por VRML.

Proyecto Fin de Carrera Departamento de Tecnología Electrónica 28 - Aumentar inmersión del usuario - Incrementar interactividad entre objetos Involucrar más sentidos Experimentación simultanea Colisiones encadenadas - Impresión más realista de los mundos OpenGL o DirectX Visión estereoscópica

Proyecto Fin de Carrera Departamento de Tecnología Electrónica 29 E.T.S.I.Telecomunicación Universidad de Málaga DESARROLLO Y DISEÑO DE MUNDOS VIRTUALES PARA LA NAVEGACIÓN A TRAVÉS DE UN SISTEMA BCI Autor: Manuel Jesús Romero Perales Autor: Manuel Jesús Romero Perales Tutor: Ricardo Ron Angevín Tutor: Ricardo Ron Angevín