App. Realidad VirtualA. García-Alonso1 >> Aplicaciones << Realidad Virtual Virtual Reality LINK LINK

App. Realidad VirtualA. García-Alonso2 Apuntes históricos 1970Plotter 1975Vector images (“osciloscopio”) Tektronix 1980raster (“terminals”, PCs, micros) 1983(z) depth-buffer (3D, Clark “geometry engine”) 1985Workstation Silicon Graphics 1992CAVE (Carolina Cruz Neira, Tom DeFanti) 2000GPU NVidia … 2005Consolas Nintendo, Sony, Microsoft TfnoMóvil, TVstereo, autostereo

VR-IntroducciónA. García-Alonso3 Terminología Visualización (3D) interactiva GPU (Graphic Processing Unit), ancestors : –graphic accelerator –graphic engine Real time Real time feedback –Capture user interaction –Generate 3D images Interfaces –“Desktop” –Visualización 3D

VR-IntroducciónA. García-Alonso4 Terminología Telepresencia  Visualización –retransmitir vs. generar Simulación  Visualización –refresco, problemas específicos Simulación & Animación –variedad hasta el equívoco Imágenes estereoscópicas

VR-IntroducciónA. García-Alonso5 Interacción persona-computador Historia –Tarjetas perforadas(lotes) –Terminal alfanumérico(interacción) –Gráficos por ordenador (interacción gráfica : GUI ) –Sistemas de ventanas (desktop metaphor) Investigación presente y Futura expansión –Realidad Virtual y Realidad Aumentada –Sistemas colaborativos –3D GUI (sobremesa, proyectado, aumentado) –Sistemas “User oriented”

App. Realidad VirtualA. García-Alonso6 Technologies Telepresence Virtual Reality –VR vs. Interactive visualization Augmented Reality Mixed Reality VIDEOS

App. Realidad VirtualA. García-Alonso7 Inmersión Recibir acciones de la(s) persona(s) + Modelo físico (geometría + propiedades) + Simulación ( leyes físicas + relaciones + IA ) + Generar sensaciones => I N M E R S I Ó N ligaduras mecánicas gravedad, electrostática,... térmicas comportamientos (rebaños/ia)

App. Realidad VirtualA. García-Alonso8 Inmersión Recibir de la(s) persona(s)input devices ( capture ) + Modelo físico estruct. Datos ( modelado ) + Simulación algorit. ( animación ) + Generar sensaciones output devices ( rendering ) => I N M E R S I Ó N

App. Realidad VirtualA. García-Alonso9 Areas de aplicación Visualización científica –Fluidos –Deformaciones Arquitectura y decoración Entrenamiento de operadores (máquinas y vehículos) “Simuladores” Medicina CAD, fabricación, montaje, mantenimiento,...

App. Realidad VirtualA. García-Alonso10 Comunicación en el mundo real Real environment (medio ambiente real: mundo y personas) –Vista ¿ gestos ? –Oido ¿ habla ? –Tacto bidireccional (coupled) !!! (temperatura, fuerza, presión, rugosidad, etc.) –Gusto ¿ ser “gustado” ? –Olfato ¿ olor segregado ? Virtual environment –Nos limitaremos a comunicación : VE ↔ usuario –Prescindimos de : avatar(es) ↔ usuario (clases de Amalia)

App. Realidad VirtualA. García-Alonso11 Comunicación : del VE al usuario Nos muestra imágenes Nos habla o genera sonidos Realimentación háptica Nos ofrece sabores u olores

App. Realidad VirtualA. García-Alonso12 Comunicación : del usuario al VE Nos ve: capta posiciones (visión/sensores) e interpreta –Cuerpo y extremidades, mano, cara (o sólo boca) –Reconoce gestos (posiciones o secuencia movimientos) Nos oye (comando, lenguaje natural) Realimentación háptica ¿nos saborea o nos huele?  Acción directa input devices : mouse, wand, haptic, glove, …

App. Realidad VirtualA. García-Alonso13 Temas Conceptos : inmersión, interacción, captura, modelado, animación, rendering, telepresencia, VR, AR, haptic Equipos : displays y hápticos Geometría : modelos & challenges Image rendering APIs Práctica : openGL, estéreo, haptic.

App. Realidad VirtualA. García-Alonso14 Estereo Pasivo : cines Activo : home estereo TV Autoestereo Otros : anaglyph images (anaglifos), goggles (+ lentillas, proyección directa sobre ojo), holográficos

App. Realidad VirtualA. García-Alonso15 Sistema visual Cuadro o película (parte de una pared) –No inmersivo Proyección envolvente (estéreo panel suficientemente grande, pantalla curva, o varias paredes) –Inmersión parcial Pantalla transparente (placa o “gafas”) –Inmersión parcial Inmersion (gemelos -goggles-, periscopio -boom-, casco -head mounted display-, CAVE) –Pura imagen virtual

VR-IntroducciónA. García-Alonso16 Gráficos por Computador (Visualización)

VR-IntroducciónA. García-Alonso17 Gráficos por Computador Base para el principal subsistema de salida en VR –(recordar esquema) IGS : Image Generation System –distintos niveles de abstraccion o encapsulamiento librerías gráficas sistemas gráficos visualizadores de ficheros –problemas de I/O

VR-IntroducciónA. García-Alonso18 IGS : Image Generation System librerías gráficas –OpenGL, Direct3D,... sistemas gráficos –Inventor, Performer –Sistemas para visualizar bases de datos geométricas muy grandes (HP, SGI, SGI & Microsoft, Second life) –Simuladores visualizadores de ficheros –DXF, Catia, SolidEdge,... VRML, X3D

VR-IntroducciónA. García-Alonso19 Conceptos básicos frame buffer –pixel, resolución –memoria en la tarjeta gráfica 256 colores tabla de colores + índice de color true color ( ) –refresco de la memoria gráfica –información referida a un pixel: RGB (8 x 3 bits) RGBA profundidad Z (2 ó 4 bytes) doble buffering GPUs

VR-IntroducciónA. García-Alonso20 Conceptos básicos “frame” o cuadro –tiempo real –“off line” generación / reconocimiento (síntesis/análisis) –cooperación texturas i/f de usuario generación, síntesis, infografía, GxC –modelos –animación –visualización

VR-IntroducciónA. García-Alonso21 Elementos de GxC modelos –geometría y topología –materiales –fuentes de luz animación –posición cuerpos, luces, cámaras,... –transformación de cámara (perspectiva, paralela,...) –cambios de propiedades en el tiempo, –deformaciones, –crecimiento, –leyes físicas o comportamientos,...

VR-IntroducciónA. García-Alonso Visualización –interactiva o en tiempo real / en espera o en lote –visibilidad e iluminación –modelo interacción luz-superficie –luz ambiente –sombras –transparencia –reflejos –profundidad de campo,.....

VR-IntroducciónA. García-Alonso23 El proceso de generación de imagen limpiar frame buffer y z-buffer definir posición y orientación de la cámara (otros parametros no suelen variar de frame a frame) definir luces recorrer cuerpos declarar su posición (matriz) recorrer superficies definir material enviar los polígonos “swap” de frame buffers

Field of view & aspect ratio z y α y x z

Immersive Interactive novels … we can follow different choices that lead to different plots Videogames we are inside the plot our actions “affect the future” On line gaming … Virtual worlds …

App. Realidad VirtualA. García-Alonso27 zzzzz zzz aaa –xxx –fffff gggg xxxxxxxx