Alex (Alejandro) García-Alonso

Presentación del tema: "Alex (Alejandro) García-Alonso"— Transcripción de la presentación:

1 Alex (Alejandro) García-Alonso
Master : ICSI - KIZA Alex (Alejandro) García-Alonso A. García-Alonso

2 Presentación Profesor
Biografía etapas A. García-Alonso

3 Presentación alumnas/os
nombre, titulación y procedencia, ubicación: empresa, grupo investigación, buscando … Encuesta A. García-Alonso

4 Asignatura ICSI Realidad virtual y aumentada: interacción 3D multimodal Realidad Virtual Realidad Aumentada interacción 3D multimodal : hápticos A. García-Alonso

5 Contenido Conceptos, Hª, terminología, equipos
Rendering (generación imágenes en VR) Conceptos Generar imágenes 3D (tecnología estéreo) Problemas geométricos en VR Modelos Problemas APIs (práctica) : openGL A. García-Alonso

6 Contenido AR Hápticos Markers Sin markers Generación imágenes para AR
equipos geometría “haptic rendering” A. García-Alonso

7 Repositorio (links) Profesor: http://www.sc.ehu.es/ccwgamoa/
Repositorio asignatura: Otras presentaciones : Otro material : A. García-Alonso

8 Generar Imágenes (Gráficos por Computador) & Interacción
VR-Introducción A. García-Alonso

9 Areas de aplicación Videojuegos “Simuladores” Medicina
Entrenamiento de operadores (máquinas y vehículos) Arquitectura y decoración CAD, fabricación, montaje, mantenimiento, ... Visualización científica (fluidos, deformaciones) Preparación de efectos especiales en cine Mundos virtuales VR-Introducción A. García-Alonso

10 GxC apuntes históricos
1970 Plotter 1975 Vector images (“osciloscopio”) Tektronix 1980 raster (“terminals”, PCs, micros) 1983 (z) depth-buffer (3D, Clark “geometry engine”) 1985 Workstation Silicon Graphics 1992 VR : CAVE (Carolina Cruz Neira, Tom DeFanti) 2000 GPU NVidia … 2005 Consolas Nintendo, Sony, Microsoft TfnoMóvil, TVstereo, autostereo … holographic … (impresión 3D, additive manufacturing) VR-Introducción A. García-Alonso

11 Interacción persona-computador
Historia Tarjetas perforadas (lotes) Terminal alfanumérico (interacción) Gráficos por ordenador (interacción gráfica : GUI ) Sistemas de ventanas (desktop metaphor) Presente y Futuro Realidad Virtual y Realidad Aumentada Sistemas colaborativos 3D GUI (sobremesa, proyectado, aumentado) Wearable computing VR-Introducción A. García-Alonso

12 Terminología Telepresencia  Visualización Simulación  Visualización
retransmitir (Mars Rover) vs. generar (videojuego) Simulación  Visualización Prudencia al usar el término “simulación”(siguiente transparencia : “real time”) Animación variedad hasta el equívoco 3D Academia : modelos, animación, simulación Público gral : imágenes estereoscópicas VR-Introducción A. García-Alonso

13 Terminología Visualización Real time (tiempo respuesta / cps Hz)
Interactiva (“tiempo real”) (videojuegos,…) GPU, sombras, … Imagen a imagen (cine, animación, …) Raytracing, Radiosity Real time (tiempo respuesta / cps Hz) Control (electrónica, mecánica,…) GxC, VR (videojuegos, ingeniería, modelado, animación) Capturar interación del usuario (input devices, visual, táctil,…) Actualizar procesos Generar Feedback (imágenes, haptico, audio, …) VR-Introducción A. García-Alonso

14 Terminología Interfaces “Desktop”
Visualización imágenes “modelos/entornos 3D” (visualización interactiva) 3D estéreo Inmersiva (VR, AR, MR) VR-Introducción A. García-Alonso

15 Terminología : 3D (estereo)
Pasivo, Activo, Autoestereo Cines, home, publicidad Otros : anaglyph images (anaglifos), goggles (+ lentillas, proyección directa sobre ojo), holográficos Proyección : uno o varios paneles Proyección envolvente : pantalla curva, cave(s) (TM) Pantalla transparente : placa o “gafas” Inmersion : boom, gogles, head mounted display Workbench, “bola” VR-Introducción A. García-Alonso

16 Terminología : immersión
Pantalla (NO inmersivo) Proyección envolvente (panel suficientemente grande, pantalla curva, o varias paredes) (inmersión parcial) Inmersion (gemelos -goggles-, periscopio -boom-, casco -head mounted display-, CAVE) (SI inmersivo) Holográficos : ¿inmersion, presencia? Proyección : uno o varios paneles Proyección envolvente : pantalla curva, cave(s) (TM) Pantalla transparente : placa o “gafas” Inmersion : boom, gogles, head mounted display Workbench, “bola” VR-Introducción A. García-Alonso

17 Inmersión Recibir acciones de la(s) persona(s) +
Modelo físico (geometría + propiedades) Simulación ( leyes físicas + relaciones + IA ) Generar sensaciones => I N M E R S I Ó N ligaduras mecánicas gravedad, electrostática, ... térmicas comportamientos (rebaños/ia) VR-Introducción A. García-Alonso

18 Inmersión Recibir de la(s) persona(s) input devices ( capture ) +
Modelo físico estruct. Datos ( modelado ) Simulación algorit. ( animación ) Generar sensaciones output devices ( rendering ) => I N M E R S I Ó N VR-Introducción A. García-Alonso

19 Comunicación : RE / VE Real environment (medio ambiente real: mundo y personas) Vista gestos, acciones Oído habla Tacto bidireccional (coupled) !!! (temperatura, fuerza, presión, rugosidad, etc.) Gusto Olfato Virtual environment usuario VE (fluidos, trampas, física,…) Avatares (el usuario puede ser puro espectador o haber interacción) VR-Introducción A. García-Alonso

20 Comunicación : del VE al usuario
Nos muestra imágenes Nos habla o genera sonidos Realimentación háptica Nos ofrece sabores u olores VR-Introducción A. García-Alonso

21 Comunicación : del usuario al VE
Nos ve: capta posiciones (visión/sensores) e interpreta Cuerpo y extremidades, mano, cara (o sólo boca) Reconoce gestos (posiciones o secuencia movimientos) Nos oye (comando, lenguaje natural) Realimentación háptica ¿nos saborea o nos huele? Acción directa input devices : mouse, wand, haptic, glove, … VR-Introducción A. García-Alonso

22 Gráficos por Computador
Base para el principal subsistema de salida en VR (recordar esquema) IGS : Image Generation System distintos niveles de abstraccion o encapsulamiento librerías gráficas sistemas gráficos problemas de I/O VR-Introducción A. García-Alonso

23 IGS : Image Generation System
librerías gráficas Direct3D, OpenGL, webGL, ... Sistemas/motores gráficos Inventor, Performer, OSG, Ogre, Unity, Unreal Engine, … VR-Introducción A. García-Alonso

24 Conceptos básicos frame buffer pixel, resolución
memoria en la tarjeta gráfica 256 colores tabla de colores + índice de color true color ( ) refresco de la memoria gráfica información referida a un pixel: RGB (8 x 3 bits) RGBA profundidad Z doble buffering GPUs VR-Introducción A. García-Alonso

25 Conceptos básicos “frame” o cuadro
tiempo real “off line” generación / reconocimiento (síntesis/análisis) Fronteras difusas texturas i/f de usuario AR generación, síntesis, infografía, GxC modelos animación Visualización (rendering) VR-Introducción A. García-Alonso

26 Elementos de GxC modelos animación geometría y topología materiales
fuentes de luz animación posición cuerpos, luces, cámaras, ... transformación de cámara (perspectiva, paralela, ...) cambios de propiedades en el tiempo, deformaciones, crecimiento, leyes físicas o comportamientos, ... VR-Introducción A. García-Alonso

27 ..... Visualización interactiva o en tiempo real / en espera o en lote
visibilidad e iluminación modelo interacción luz-superficie luz ambiente sombras transparencia reflejos profundidad de campo, ..... VR-Introducción A. García-Alonso

28 El proceso de generación de imagen
limpiar frame buffer y z-buffer definir posición y orientación de la cámara (otros parámetros no suelen variar de frame a frame) ( definir luces ) recorrer cuerpos declarar su posición (matriz) recorrer superficies definir material enviar los polígonos “swap” de frame buffers VR-Introducción A. García-Alonso