Alex (Alejandro) García-Alonso Master : ICSI - KIZA Alex (Alejandro) García-Alonso http://www.sc.ehu.es/ccwgamoa A. García-Alonso

Presentación Profesor Biografía etapas A. García-Alonso

Presentación alumnas/os nombre, titulación y procedencia, ubicación: empresa, grupo investigación, buscando … Encuesta A. García-Alonso

Asignatura ICSI Realidad virtual y aumentada: interacción 3D multimodal Realidad Virtual Realidad Aumentada interacción 3D multimodal : hápticos A. García-Alonso

Contenido Conceptos, Hª, terminología, equipos Rendering (generación imágenes en VR) Conceptos Generar imágenes 3D (tecnología estéreo) Problemas geométricos en VR Modelos Problemas APIs (práctica) : openGL A. García-Alonso

Contenido AR Hápticos Markers Sin markers Generación imágenes para AR equipos geometría “haptic rendering” A. García-Alonso

Repositorio (links) Profesor: http://www.sc.ehu.es/ccwgamoa/ Repositorio asignatura: http://www.sc.ehu.es/ccwgamoa/clases Otras presentaciones : http://www.sc.ehu.es/ccwgamoa/docencia/Material/Presentaciones Otro material : http://www.sc.ehu.es/ccwgamoa/docencia/Material A. García-Alonso

Generar Imágenes (Gráficos por Computador) & Interacción VR-Introducción A. García-Alonso

Areas de aplicación Videojuegos “Simuladores” Medicina Entrenamiento de operadores (máquinas y vehículos) Arquitectura y decoración CAD, fabricación, montaje, mantenimiento, ... Visualización científica (fluidos, deformaciones) Preparación de efectos especiales en cine Mundos virtuales VR-Introducción A. García-Alonso

GxC apuntes históricos 1970 Plotter 1975 Vector images (“osciloscopio”) Tektronix 1980 raster (“terminals”, PCs, micros) 1983 (z) depth-buffer (3D, Clark “geometry engine”) 1985 Workstation Silicon Graphics 1992 VR : CAVE (Carolina Cruz Neira, Tom DeFanti) 2000 GPU NVidia … 2005 Consolas Nintendo, Sony, Microsoft TfnoMóvil, TVstereo, autostereo … holographic … (impresión 3D, additive manufacturing) VR-Introducción A. García-Alonso

Interacción persona-computador Historia Tarjetas perforadas (lotes) Terminal alfanumérico (interacción) Gráficos por ordenador (interacción gráfica : GUI ) Sistemas de ventanas (desktop metaphor) Presente y Futuro Realidad Virtual y Realidad Aumentada Sistemas colaborativos 3D GUI (sobremesa, proyectado, aumentado) Wearable computing VR-Introducción A. García-Alonso

Terminología Telepresencia  Visualización Simulación  Visualización retransmitir (Mars Rover) vs. generar (videojuego) Simulación  Visualización Prudencia al usar el término “simulación”(siguiente transparencia : “real time”) Animación variedad hasta el equívoco 3D Academia : modelos, animación, simulación Público gral : imágenes estereoscópicas VR-Introducción A. García-Alonso

Terminología Visualización Real time (tiempo respuesta / cps Hz) Interactiva (“tiempo real”) (videojuegos,…) GPU, sombras, … Imagen a imagen (cine, animación, …) Raytracing, Radiosity Real time (tiempo respuesta / cps Hz) Control (electrónica, mecánica,…) GxC, VR (videojuegos, ingeniería, modelado, animación) Capturar interación del usuario (input devices, visual, táctil,…) Actualizar procesos Generar Feedback (imágenes, haptico, audio, …) VR-Introducción A. García-Alonso

Terminología Interfaces “Desktop” Visualización imágenes “modelos/entornos 3D” (visualización interactiva) 3D estéreo Inmersiva (VR, AR, MR) VR-Introducción A. García-Alonso

Terminología : 3D (estereo) Pasivo, Activo, Autoestereo Cines, home, publicidad Otros : anaglyph images (anaglifos), goggles (+ lentillas, proyección directa sobre ojo), holográficos Proyección : uno o varios paneles Proyección envolvente : pantalla curva, cave(s) (TM) Pantalla transparente : placa o “gafas” Inmersion : boom, gogles, head mounted display Workbench, “bola” VR-Introducción A. García-Alonso

Terminología : immersión Pantalla (NO inmersivo) Proyección envolvente (panel suficientemente grande, pantalla curva, o varias paredes) (inmersión parcial) Inmersion (gemelos -goggles-, periscopio -boom-, casco -head mounted display-, CAVE) (SI inmersivo) Holográficos : ¿inmersion, presencia? Proyección : uno o varios paneles Proyección envolvente : pantalla curva, cave(s) (TM) Pantalla transparente : placa o “gafas” Inmersion : boom, gogles, head mounted display Workbench, “bola” VR-Introducción A. García-Alonso

Inmersión Recibir acciones de la(s) persona(s) + Modelo físico (geometría + propiedades) Simulación ( leyes físicas + relaciones + IA ) Generar sensaciones => I N M E R S I Ó N ligaduras mecánicas gravedad, electrostática, ... térmicas comportamientos (rebaños/ia) VR-Introducción A. García-Alonso

Inmersión Recibir de la(s) persona(s) input devices ( capture ) + Modelo físico estruct. Datos ( modelado ) Simulación algorit. ( animación ) Generar sensaciones output devices ( rendering ) => I N M E R S I Ó N VR-Introducción A. García-Alonso

Comunicación : RE / VE Real environment (medio ambiente real: mundo y personas) Vista gestos, acciones Oído habla Tacto bidireccional (coupled) !!! (temperatura, fuerza, presión, rugosidad, etc.) Gusto Olfato Virtual environment usuario VE (fluidos, trampas, física,…) Avatares (el usuario puede ser puro espectador o haber interacción) VR-Introducción A. García-Alonso

Comunicación : del VE al usuario Nos muestra imágenes Nos habla o genera sonidos Realimentación háptica Nos ofrece sabores u olores VR-Introducción A. García-Alonso

Comunicación : del usuario al VE Nos ve: capta posiciones (visión/sensores) e interpreta Cuerpo y extremidades, mano, cara (o sólo boca) Reconoce gestos (posiciones o secuencia movimientos) Nos oye (comando, lenguaje natural) Realimentación háptica ¿nos saborea o nos huele? Acción directa input devices : mouse, wand, haptic, glove, … VR-Introducción A. García-Alonso

Gráficos por Computador Base para el principal subsistema de salida en VR (recordar esquema) IGS : Image Generation System distintos niveles de abstraccion o encapsulamiento librerías gráficas sistemas gráficos problemas de I/O VR-Introducción A. García-Alonso

IGS : Image Generation System librerías gráficas Direct3D, OpenGL, webGL, ... Sistemas/motores gráficos Inventor, Performer, OSG, Ogre, Unity, Unreal Engine, … VR-Introducción A. García-Alonso

Conceptos básicos frame buffer pixel, resolución memoria en la tarjeta gráfica 256 colores tabla de colores + índice de color true color (8 + 8 + 8) refresco de la memoria gráfica información referida a un pixel: RGB (8 x 3 bits) RGBA profundidad Z doble buffering GPUs VR-Introducción A. García-Alonso

Conceptos básicos “frame” o cuadro tiempo real “off line” generación / reconocimiento (síntesis/análisis) Fronteras difusas texturas i/f de usuario AR generación, síntesis, infografía, GxC modelos animación Visualización (rendering) VR-Introducción A. García-Alonso

Elementos de GxC modelos animación geometría y topología materiales fuentes de luz animación posición cuerpos, luces, cámaras, ... transformación de cámara (perspectiva, paralela, ...) cambios de propiedades en el tiempo, deformaciones, crecimiento, leyes físicas o comportamientos, ... VR-Introducción A. García-Alonso

..... Visualización interactiva o en tiempo real / en espera o en lote visibilidad e iluminación modelo interacción luz-superficie luz ambiente sombras transparencia reflejos profundidad de campo, ..... VR-Introducción A. García-Alonso

El proceso de generación de imagen limpiar frame buffer y z-buffer definir posición y orientación de la cámara (otros parámetros no suelen variar de frame a frame) ( definir luces ) recorrer cuerpos declarar su posición (matriz) recorrer superficies definir material enviar los polígonos “swap” de frame buffers VR-Introducción A. García-Alonso