A. García-Alonso1 Masters : SIA & ICSI LINK LINK

A. García-Alonso2 Presentación Profesor Biografía –etapas Biografía –aaa

A. García-Alonso3 Presentación alumnas/os Encuesta –bbb

A. García-Alonso4 Asignaturas SIA : Visualización Interactiva y Cooperativa en Realidad Virtual y de Simulación 3D –Realidad Virtual ICSI Realidad virtual y aumentada: interacción 3D multimodal –Realidad Virtual –Realidad Aumentada –interacción 3D multimodal : hápticos

A. García-Alonso5 Temas I 4 a 22 Feb Conceptos, Hª, terminología Equipos Generación imágenes en VR –Conceptos –Modelos –Generar imágenes –3D (tecnología estéreo) Problemas geométricos en VR APIs (práctica) : openGL

A. García-Alonso6 Temas II 25 Feb en adelante (obligatorio para ICSI, libre para SIA) AR –Markers –Sin markers –Generación imágenes para AR Hápticos –equipos –geometría –“haptic rendering”

VR-IntroducciónA. García-Alonso7 Generar Imágenes (Gráficos por Computador) Interacción

A. García-Alonso8 Areas de aplicación Viedojuegos “Simuladores” Medicina Entrenamiento de operadores (máquinas y vehículos) Arquitectura y decoración CAD, fabricación, montaje, mantenimiento,... Visualización científica (fluidos, deformaciones) Preparación de efectos especiales en cine Mundos virtuales VR-Introducción

A. García-Alonso9 GxC apuntes históricos 1970Plotter 1975Vector images (“osciloscopio”) Tektronix 1980raster (“terminals”, PCs, micros) 1983(z) depth-buffer (3D, Clark “geometry engine”) 1985Workstation Silicon Graphics 1992VR : CAVE (Carolina Cruz Neira, Tom DeFanti) 2000GPU NVidia … 2005Consolas Nintendo, Sony, Microsoft TfnoMóvil, TVstereo, autostereo VR-Introducción

A. García-Alonso10 Interacción persona-computador Historia –Tarjetas perforadas(lotes) –Terminal alfanumérico(interacción) –Gráficos por ordenador (interacción gráfica : GUI ) –Sistemas de ventanas (desktop metaphor) Presente y Futuro –Realidad Virtual y Realidad Aumentada –Sistemas colaborativos –3D GUI (sobremesa, proyectado, aumentado) –Wearable computing VR-Introducción

A. García-Alonso11 Terminología Telepresencia  Visualización –retransmitir (Mars Rover) vs. generar (videojuego) Simulación  Visualización –Prudencia al usar el término “simulación”(siguiente transparencia : “real time”) Animación –variedad hasta el equívoco 3D –Academia : modelos, animación, simulación –Público gral : imágenes estereoscópicas VR-Introducción

A. García-Alonso12 Terminología Visualización –Interactiva (“tiempo real”) (videojuegos,…) GPU, sombras, … –Imagen a imagen (cine, animación, …) Raytracing, Radiosity Real time (tiempo respuesta / cps Hz) –Control (electrónica, mecánica,…) –GxC, VR (videojuegos, ingeniería, modelado, animación) Capturar interación del usuario (input devices, visual, táctil,…) Actualizar procesos Generar Feedback (imágenes, haptico, audio, …) VR-Introducción

A. García-Alonso13 Terminología Interfaces –“Desktop” –Visualización imágenes “modelos/entornos 3D” (visualización interactiva) –3D estéreo –Inmersiva (VR, AR, MR) VR-Introducción

A. García-Alonso14 Terminología : 3D (estereo) Pasivo, Activo, Autoestereo Cines, home, publicidad Otros : anaglyph images (anaglifos), goggles (+ lentillas, proyección directa sobre ojo), holográficos VR-Introducción

A. García-Alonso15 Terminología : immersión Pantalla (NO inmersivo) Proyección envolvente (panel suficientemente grande, pantalla curva, o varias paredes) (inmersión parcial) Inmersion (gemelos -goggles-, periscopio -boom-, casco -head mounted display-, CAVE) (SI inmersivo) Consideraciones sobre 3D VR-Introducción

A. García-Alonso16 Inmersión Recibir acciones de la(s) persona(s) + Modelo físico (geometría + propiedades) + Simulación ( leyes físicas + relaciones + IA ) + Generar sensaciones => I N M E R S I Ó N ligaduras mecánicas gravedad, electrostática,... térmicas comportamientos (rebaños/ia) VR-Introducción

A. García-Alonso17 Inmersión Recibir de la(s) persona(s)input devices ( capture ) + Modelo físico estruct. Datos ( modelado ) + Simulación algorit. ( animación ) + Generar sensaciones output devices ( rendering ) => I N M E R S I Ó N VR-Introducción

A. García-Alonso18 Comunicación : RE / VE Real environment (medio ambiente real: mundo y personas) –Vista gestos, acciones –Oído habla –Tacto bidireccional (coupled) !!! (temperatura, fuerza, presión, rugosidad, etc.) –Gusto ¿ ser “gustado” ? –Olfato ¿ olor segregado ? Virtual environment –Nos limitaremos a comunicación : VE ↔ usuario –Prescindimos de : avatar(es) ↔ usuario (clases de Amalia) VR-Introducción

A. García-Alonso19 Comunicación : del VE al usuario Nos muestra imágenes Nos habla o genera sonidos Realimentación háptica Nos ofrece sabores u olores VR-Introducción

A. García-Alonso20 Comunicación : del usuario al VE Nos ve: capta posiciones (visión/sensores) e interpreta –Cuerpo y extremidades, mano, cara (o sólo boca) –Reconoce gestos (posiciones o secuencia movimientos) Nos oye (comando, lenguaje natural) Realimentación háptica ¿nos saborea o nos huele?  Acción directa input devices : mouse, wand, haptic, glove, … VR-Introducción

A. García-Alonso21 Gráficos por Computador Base para el principal subsistema de salida en VR –(recordar esquema) IGS : Image Generation System –distintos niveles de abstraccion o encapsulamiento librerías gráficas sistemas gráficos visualizadores de ficheros –problemas de I/O

VR-IntroducciónA. García-Alonso22 IGS : Image Generation System librerías gráficas –OpenGL, Direct3D,... sistemas gráficos –Inventor, Performer, Ogre, OSG, … –Sistemas para visualizar bases de datos geométricas muy grandes (HP, SGI, SGI & Microsoft, Second life) –Simuladores visualizadores de ficheros –DXF, Catia, SolidEdge,... VRML, X3D

VR-IntroducciónA. García-Alonso23 Conceptos básicos frame buffer –pixel, resolución –memoria en la tarjeta gráfica 256 colores tabla de colores + índice de color true color ( ) –refresco de la memoria gráfica –información referida a un pixel: RGB (8 x 3 bits) RGBA profundidad Z (2 ó 4 bytes) doble buffering GPUs

VR-IntroducciónA. García-Alonso24 Conceptos básicos “frame” o cuadro –tiempo real –“off line” generación / reconocimiento (síntesis/análisis) –cooperación texturas i/f de usuario generación, síntesis, infografía, GxC –modelos –animación –visualización

VR-IntroducciónA. García-Alonso25 Elementos de GxC modelos –geometría y topología –materiales –fuentes de luz animación –posición cuerpos, luces, cámaras,... –transformación de cámara (perspectiva, paralela,...) –cambios de propiedades en el tiempo, –deformaciones, –crecimiento, –leyes físicas o comportamientos,...

VR-IntroducciónA. García-Alonso Visualización –interactiva o en tiempo real / en espera o en lote –visibilidad e iluminación –modelo interacción luz-superficie –luz ambiente –sombras –transparencia –reflejos –profundidad de campo,.....

VR-IntroducciónA. García-Alonso27 El proceso de generación de imagen limpiar frame buffer y z-buffer definir posición y orientación de la cámara (otros parámetros no suelen variar de frame a frame) ( definir luces ) recorrer cuerpos declarar su posición (matriz) recorrer superficies definir material enviar los polígonos “swap” de frame buffers