A. García-Alonso1 Sistemas Gráficos Interactivos Master : Ingeniería Informática Mª Carmen (Mamen) Hernández Alejandro (Alex) García-Alonso

A. García-Alonso2 Presentación Profesores Biografía –etapas

A. García-Alonso3 Presentación alumnas/os Presentación –nombre, –titulación y procedencia, –ubicación: empresa, grupo investigación, buscando … Encuesta

A. García-Alonso4 Asignatura Alcance de la asignatura –Computación gráfica entornos virtuales contenidos multimedia 3D –Metodologías, técnicas, programas, normas y estándares Técnicas presentar imágenes 3D interactivas –Específico para una aplicación (local, app) Librerías (openGL) Graphics toolkit (openscenegraph) Motores (Unity, …) –Genérico: da soporte a todas las aplicaciones webGL “Granja GPU” : streaming

A. García-Alonso5 Organización Clases –Teoría y seminarios (Martes, Alex) –Prácticas webGL (Jueves, Mamen) Evaluación –15% asistencia y participación –35% documentación (de la aplicación) –50% trabajo (la aplicación) Entregas Descripción aplicación (18Febrero) Diseño aplicación (2 marzo) Cada 2 o 3 semanas entrega de seguimiento Entrega final del trabajo y documentación –1ª convocatoria : 20 de mayo –2ª convocatoria : 10 junio

A. García-Alonso6 Ejemplos Aplicaciones webGL Prsentación interactiva, los links están en la página de la asignatuta

A. García-Alonso7 Contenido Conceptos, Hª, terminología Fundamentos geométricos (transformaciones, cámara) Iluminación de un punto de una superficie (polygon shading) Ray Tracing, Radiosidad Estereoscopía Sistemas inmersivos y holográficos Fundamentos modelos geométricos (descripción de VE) Problemas geométricos (colisiones: VE y haptico) Augmented Reality Additive Manufacturing (3D print)

A. García-Alonso8 Repositorio (links) Repositorio asignatura: e-gela Otras presentaciones : Otro material :

VR-IntroducciónA. García-Alonso9 Sistemas Gráficos Interactivos Generar Imágenes (Gráficos por Computador) & Interacción

A. García-Alonso10 Areas de aplicación Videojuegos “Simuladores” Medicina Entrenamiento de operadores (máquinas y vehículos) Arquitectura y decoración CAD, fabricación, montaje, mantenimiento,... Visualización científica (fluidos, deformaciones) Preparación de efectos especiales en cine Mundos virtuales VR-Introducción

A. García-Alonso11 GxC apuntes históricos 1970Plotter 1975Vector images (“osciloscopio”) Tektronix 1980raster (“terminals”, PCs, micros) 1983(z) depth-buffer (3D, Clark “geometry engine”) 1985Workstation Silicon Graphics 1992VR : CAVE (Carolina Cruz Neira, Tom DeFanti) 2000GPU NVidia … 2005Consolas Nintendo, Sony, Microsoft TfnoMóvil, TVstereo, autostereo … holographic … (impresión 3D, additive manufacturing) VR-Introducción

A. García-Alonso12 Interacción persona-computador Historia –Tarjetas perforadas(lotes) –Terminal alfanumérico(interacción) –Gráficos por ordenador (interacción gráfica : GUI ) –Sistemas de ventanas (desktop metaphor) Presente y Futuro –Realidad Virtual y Realidad Aumentada –Sistemas colaborativos –3D GUI (sobremesa, proyectado, aumentado) –Wearable computing VR-Introducción

A. García-Alonso13 Terminología Telepresencia  Visualización –retransmitir (Mars Rover) vs. generar (videojuego) Simulación  Visualización –Prudencia al usar el término “simulación”(siguiente transparencia : “real time”) Animación –variedad hasta el equívoco 3D –Academia : modelos, animación, simulación –Público gral : imágenes estereoscópicas VR-Introducción

A. García-Alonso14 Terminología Visualización –Interactiva (“tiempo real”) (videojuegos,…) GPU, sombras, … –Imagen a imagen (cine, animación, …) Raytracing, Radiosity Real time (tiempo respuesta / cps Hz) –Control (electrónica, mecánica,…) –GxC, VR (videojuegos, ingeniería, modelado, animación) Capturar interación del usuario (input devices, visual, táctil,…) Actualizar procesos Generar Feedback (imágenes, haptico, audio, …) VR-Introducción

A. García-Alonso15 Terminología Interfaces –“Desktop” –Visualización imágenes “modelos/entornos 3D” (visualización interactiva) –3D estéreo –Inmersiva (VR, AR, MR) VR-Introducción

A. García-Alonso16 Terminología : 3D (estereo) Pasivo, Activo, Autoestereo Cines, home, publicidad Otros : –anaglyph images (anaglifos), –goggles (+ lentillas, proyección directa sobre ojo), –holográficos VR-Introducción

A. García-Alonso17 Terminología : immersión Pantalla (NO inmersivo) Proyección envolvente (panel suficientemente grande, pantalla curva, o varias paredes) (inmersión parcial) Inmersion (gemelos -goggles-, periscopio -boom-, casco -head mounted display-, CAVE) (SI inmersivo) Consideraciones sobre 3D VR-Introducción

A. García-Alonso18 Sistemas Gráficos Interactivos Recibir de la(s) persona(s)input devices ( capture ) + Modelo físico estruct. Datos ( modelado ) + Simulación algorit. ( animación ) + Generar sensaciones output devices ( rendering ) => Entorno Virtual VR-Introducción

A. García-Alonso19 Comunicación : RE / VE RE : Real environment (medio ambiente real: mundo y personas) –Vista gestos, acciones –Oído habla –Tacto bidireccional (coupled) !!! (temperatura, fuerza, presión, rugosidad, etc.) –Gusto –Olfato VE : Virtual environment –Nos limitaremos a comunicación : VE ↔ usuario –Prescindimos de : avatar(es) ↔ usuario VR-Introducción

A. García-Alonso20 Comunicación : del VE al usuario Nos muestra imágenes Nos habla o genera sonidos Realimentación háptica Nos ofrece sabores u olores VR-Introducción

A. García-Alonso21 Comunicación : del usuario al VE Nos ve: capta posiciones (visión/sensores) e interpreta –Cuerpo y extremidades, mano, cara (o sólo boca) –Reconoce gestos (posiciones o secuencia movimientos) Nos oye (comando, lenguaje natural) Realimentación háptica ¿nos saborea o nos huele?  Acción directa input devices : mouse, wand, haptic, glove, … VR-Introducción

A. García-Alonso22 Gráficos por Computador Base para el principal subsistema de salida en VR –(recordar esquema) IGS : Image Generation System –distintos niveles de abstraccion o encapsulamiento Librerías Toolkits Motores –problemas de I/O

VR-IntroducciónA. García-Alonso23 IGS : Image Generation System librerías gráficas –OpenGL, webGL, Direct3D,... sistemas gráficos –Inventor, Performer, Ogre, OSG, Unity, … –Motores gráficos

VR-IntroducciónA. García-Alonso24 Conceptos básicos frame buffer –pixel, resolución –memoria en la tarjeta gráfica 256 colores tabla de colores + índice de color true color ( ) –refresco de la memoria gráfica –información referida a un pixel: RGB (8 x 3 bits) RGBA profundidad Z doble buffering GPUs

VR-IntroducciónA. García-Alonso25 Conceptos básicos “frame” o cuadro –tiempo real –“off line” generación / reconocimiento (síntesis/análisis) –Fronteras difusas texturas i/f de usuario AR generación, síntesis, infografía, GxC –modelos –animación –Visualización (rendering)

VR-IntroducciónA. García-Alonso26 Elementos de GxC modelos –geometría y topología –materiales –fuentes de luz animación –posición cuerpos, luces, cámaras,... –transformación de cámara (perspectiva, paralela,...) –cambios de propiedades en el tiempo, –deformaciones, –crecimiento, –leyes físicas o comportamientos,...

VR-IntroducciónA. García-Alonso Visualización –interactiva o en tiempo real / en espera o en lote –visibilidad e iluminación –modelo interacción luz-superficie –luz ambiente –sombras –transparencia –reflejos –profundidad de campo,.....

VR-IntroducciónA. García-Alonso28 El proceso de generación de imagen limpiar frame buffer y z-buffer definir posición y orientación de la cámara (otros parámetros no suelen variar de frame a frame) ( definir luces ) recorrer cuerpos declarar su posición (matriz) recorrer superficies definir material enviar los polígonos “swap” de frame buffers