Universidad Simón Bolívar Departamento de Computación y Tecnología de la Información Computación Gráfica II 3D User Interfaces Integrantes: Javier Vargas.

Presentación del tema: "Universidad Simón Bolívar Departamento de Computación y Tecnología de la Información Computación Gráfica II 3D User Interfaces Integrantes: Javier Vargas."— Transcripción de la presentación:

1 Universidad Simón Bolívar Departamento de Computación y Tecnología de la Información Computación Gráfica II 3D User Interfaces Integrantes: Javier Vargas José Luigi Giannandrea Sartenejas, 15 de Febrero de 2011

2 3D User Interfaces Contenido Interfaces de usuario 3D y videojuegos Definiciones Interfaces 3D en videojuegos Técnicas de Interacción espacial 3D Interfaces Basadas en Bosquejos para Computación Gráfica Modelado de Formas 3D Animación Editores Especializados

3 Interfaces de usuario 3D y videojuegos Interfaces de usuario 3D y videojuegos

4 Interfaces de usuario 3D y videojuegos ¿Que es una interfaz de usuario 3D? Es una interfaz de usuario que implica interacción humano-computadora en la cual las tareas del usuario son llevadas a cabo en un contexto espacial tridimensional a través de dispositivos de entrada 3D o 2D con mapeo directo a 3D. Comprende tanto dispositivos de entrada como técnicas de interacción para la manipulación efectiva de contenido 3D altamente dinámico generado por computadora.

5 Interfaces de usuario 3D y videojuegos ¿Que es una interfaz de usuario 3D?

6 Interfaces de usuario 3D y videojuegos Interfaces 3D en videojuegos Existen tres tipos de interacción básicos: 1) Mapeo de dispositivos de entrada 2D y botones para controlar el ambiente 3D. Ej.: Teclado, ratón, joysticks y joypads. Método tradicional. Usado desde el inicio de los videojuegos.

7 Interfaces de usuario 3D y videojuegos Interfaces 3D en videojuegos Existen tres tipos de interacción básicos: 2) Simulación del mundo real a través de replicas de objetos existentes. Ej.: Lo guitarra de Guitar Hero y volantes de conducción. No necesariamente proveen interacción 3D pero si permiten una experiencia más realista.

8 Interfaces de usuario 3D y videojuegos Interfaces 3D en videojuegos Existen tres tipos de interacción básicos: 3) Verdadero seguimiento en tres dimensiones de los movimientos del usuario y sus gestos. Ej.: Sony EyeToy, Microsoft Kinect (basados puramente en cámaras), PlayStation Move (basado en cámara y control remoto) y Wiimote (basado puramente con control remoto). El usuario controla el juego con su cuerpo.

9 Interfaces de usuario 3D y videojuegos Técnicas de interacción espacial 3D Cuatro tareas básicas (se combinan para lograr tareas más complejas): 1.Navegación: Movimiento de un lugar a otro. 2.Selección: Escogencia de un objeto o conjunto de objetos con algún propósito. 3.Manipulación: Cambio en las propiedades de un objeto o conjunto de objetos (frecuentemente posición y orientación). 4.Control del sistema: Cambio de estado del sistema o modo de interacción. (Ej. en 2D: Menús y líneas de comando).

10 Interfaces de usuario 3D y videojuegos Técnicas de interacción espacial 3D: Navegación La navegación se basa en desplazamiento, viaje de un lugar a otro. Existen varios asuntos que considerar en una interfaz 3D: Velocidad y aceleración, rotación del mundo, restricciones del movimiento y condiciones de la entrada. Cuatro de las más comunes técnicas de navegación 3D son: 1. Gaze-Directed Steering 2. Pointing 3. Map-Based Travel 4. “Grabbing the air”

11 Interfaces de usuario 3D y videojuegos Técnicas de interacción espacial 3D: Navegación Gaze-Directed Steering (Dirección guiada por la vista): El usuario se mueve en la dirección a la que apuntan sus ojos (cabeza). Es probablemente la técnica más común. Fácil de implementar y de usar. Su desventaja es que algunas veces se encuentra limitada de forma en que el usuario no puede mirar hacia los lados mientras se mueve en una dirección.

12 Interfaces de usuario 3D y videojuegos Técnicas de interacción espacial 3D: Navegación Pointing: Técnica de direccionamiento en la cual el usuario continuamente especifica la dirección de movimiento. Similar a Gaze-Directed Steering pero sigue la orientación de las manos para determinar la dirección de movimiento. Puede ser dificil de aprender para algunos usuarios, pero es mas flexible que el movimiento guiado por la vista.

13 Interfaces de usuario 3D y videojuegos Técnicas de interacción espacial 3D: Navegación Map-based Travel : Técnica basada en un objetivo. El usuario se representa como un icono en un mapa 2D. Para moverse el usuario arrastra este icono desde una posición hasta otra y al soltarlo el sistema anima de forma suave el movimiento del usuario desde la posición inicial hasta la posición final.

14 Interfaces de usuario 3D y videojuegos Técnicas de interacción espacial 3D: Navegación Grabbing the air: Usa la metáfora de tomar literalmente el mundo a tu alrededor (usualmente un espacio vacío) y halarte a ti mismo a través de él usando gestos de las manos. Similar a subir por una cuerda solo que la cuerda existe en cualquier lado y te lleva en cualquier dirección.

15 Interfaces de usuario 3D y videojuegos Técnicas de interacción espacial 3D: Selección Es el proceso de accesar a un objeto o conjunto de objetos en un ambiente 3D. Íntimamente relacionado con manipulación. ¿Como expresar que quieres seleccionar un objeto? Presionando un botón, a través de un gesto o un comando de voz. Retroalimentación al usuario dependiendo del objeto que está a punto de seleccionar. Diversas técnicas. Muchas requieren un avatar (representación virtual) de la mano del usuario. La mayoría basadas en algoritmos eficientes de intersección y listas de objetos seleccionables en la escena (para no hacer pruebas sobre todos los objetos del mundo).

16 Interfaces de usuario 3D y videojuegos Técnicas de interacción espacial 3D: Selección Cuatro técnicas comunes: 1. Virtual Hand (Mano virtual ) 2. Ray-casting 3. Occlusion (Oclusión) 4. Arm extensión (Extensión de brazo)

17 Interfaces de usuario 3D y videojuegos Técnicas de interacción espacial 3D: Selección Virtual Hand: Técnica más común. Basada en el “contacto directo” de la mano de usuario con los objetos virtuales. En ausencia de retroalimentación táctil la selección se lleva a cabo interceptando la mano virtual (que se encuentra en la misma posición de la mano real) con un objeto virtual.

18 Interfaces de usuario 3D y videojuegos Técnicas de interacción espacial 3D: Selección Ray-casting: Otra técnica común. Usa la metáfora de un rayo que se extiende al infinito a partir de la mano. El primer objeto interceptado por el rayo es elegible para la selección. Es una técnica eficiente y requiere que el usuario varíe solo dos grados de libertad (rotación horizontal y vertical de la muñeca) contra los 3 grados requeridos por la técnica Virtual Hand.

19 Interfaces de usuario 3D y videojuegos Técnicas de interacción espacial 3D: Selección Técnicas de oclusión: Trabajan en el plano de la imagen. Los objetos son seleccionados cuando son cubiertos o tapados por la mano virtual desde el punto de vista del usuario. Geométricamente esto significa que un rayo emana del ojo del usuario atraviesa la mano y luego intercepta al objeto.

20 Interfaces de usuario 3D y videojuegos Técnicas de interacción espacial 3D: Selección Arm-Extension: Basada en la mano virtual simple pero usa un mapeo no lineal entre la mano física y la mano virtual, de forma que el alcance del usuario se ve extendido.

21 Interfaces de usuario 3D y videojuegos Técnicas de interacción espacial 3D: Manipulación Íntimamente relacionada (co-dependiente) con la técnica de selección utilizada. Cuando un objeto es manipulado debe desactivarse la técnica y la retroalimentación de la selección. ¿Qué pasa cuando el objeto se suelta? ¿Permanece en su última posición? ¿Se adhiere a un GRID? ó ¿cae por gravedad hasta colisionar con algún otro objeto solido? Los requerimientos de la aplicación determinan el comportamiento.

22 Interfaces de usuario 3D y videojuegos Técnicas de interacción espacial 3D: Manipulación Tres técnicas comunes: 1. HOMER 2. Scaled-World Grab 3. World in Miniature (Mundo en miniatura)

23 Interfaces de usuario 3D y videojuegos Técnicas de interacción espacial 3D: Manipulación HOMER (Hand-Centered Object Manipulation Extending Ray- Casting): Utiliza la técnica de ray-casting para la selección y una vez seleccionado el objeto mueve la mano virtual hasta el objeto para una manipulación orientada a la mano. Se basa en un mapeo lineal de la posición de la mano real.

24 Interfaces de usuario 3D y videojuegos Técnicas de interacción espacial 3D: Manipulación Scaled-World Grab: Se utiliza normalmente con la técnica de oclusión para la selección. Cuando se hace la selección el usuario es escalado en un valor mayor a o igual a 1 (se hace más grande) o el mundo es escalado en un valor menor o igual a 1 (se hace mas pequeño) de forma que la mano virtual toque el objeto que está ocultando.

25 Interfaces de usuario 3D y videojuegos Técnicas de interacción espacial 3D: Manipulación Scaled-World Grab: Si el usuario no se mueve (y no usa lentes estereoscópicos) no hay percepción del escalamiento. Por otro lado cuando el usuario mueve bien sea la mano o la cabeza se da cuenta de que es un gigante y puede manipular el objeto directamente.

26 Interfaces de usuario 3D y videojuegos Técnicas de interacción espacial 3D: Manipulación World-in-Miniature (WIM): En esta técnica se usa una “casa de muñecas” (dollhouse) para representar el mundo. A través de esta el usuario manipula indirectamente los objetos en el ambiente. Cada objeto en el WIM se selecciona usando la técnica de la mano virtual y al mover alguno de ellos el efecto es el de mover el objeto (de tamaño real) en el mundo siguiendo una correspondencia. Incluso esta técnica se puede usar para navegación incluyendo una representación del usuario en el WIM. En este caso la navegación se hace de manera similar a la navegación basada en mapas pero incluyendo una tercera dimensión.

27 Interfaces de usuario 3D y videojuegos Técnicas de interacción espacial 3D: Manipulación World-in-Miniature (WIM):

28 Interfaces de usuario 3D y videojuegos Técnicas de interacción espacial 3D: Control del sistema Provee un mecanismo para introducir comandos de modo que el usuario pueda cambiar tanto el estado del sistema como el modo de interacción con el mismo. El usuario selecciona un comando de un conjunto de estos. Menús gráficos, comandos de voz, gestos, herramientas de selección. Técnicas se basan en selección. Requiere una buena retroalimentación visual puesto que el usuario necesita saber no solo lo que está seleccionando sino también lo que sucederá si lo selecciona.

29 Interfaces de usuario 3D y videojuegos Técnicas de interacción espacial 3D: Control del sistema Menús Gráficos: Son los equivalentes 3D de los menús 2D. Se distinguen tres tipos: 1. Hand-Oriented Menus 2. Converted 2D Menus 3. 3D Widgets

30 Interfaces de usuario 3D y videojuegos Técnicas de interacción espacial 3D: Control del sistema Menús Gráficos: Son los equivalentes 3D de los menús 2D. Se distinguen tres tipos: 1. Hand-Oriented Menus 2. Converted 2D Menus 3. 3D Widgets

31 Interfaces de usuario 3D y videojuegos Técnicas de interacción espacial 3D: Control del sistema Menús Gráficos: Son los equivalentes 3D de los menús 2D. Se distinguen tres tipos: 1. Hand-Oriented Menus 2. Converted 2D Menus 3. 3D Widgets

32 Interfaces de usuario 3D y videojuegos Técnicas de interacción espacial 3D: Control del sistema Comandos de voz: Permite la inicialización, selección y ejecución de comandos. Técnica poderosa: Libera al usuario de usar sus manos o gestos corporales y es natural. Sin embargo: Puede ser agotadora para el usuario y no puede ser usada en todos los contextos.

33 Interfaces de usuario 3D y videojuegos Técnicas de interacción espacial 3D: Control del sistema Comandos de voz: Vocabulario limitado. El usuario necesita aprender los comandos antes de poder usarlos. Problemas si la lista de comandos es muy grande. Normalmente no hay representaciones visuales para los comandos de voz. Necesita de retroalimentación que indique que el comando ha sido aceptado (normalmente sonidos).

34 Interfaces de usuario 3D y videojuegos Técnicas de interacción espacial 3D: Control del sistema Gestos y posturas: Usa la metáfora de la mano como la herramienta (la mano literalmente se convierte en la herramienta). Los gestos se corresponden con los comandos. Es una técnica poderosa. Sin embargo: El usuario debe aprender todas las posturas y gestos. Puede ser agotadora para el usuario.

35 Interfaces de usuario 3D y videojuegos Técnicas de interacción espacial 3D: Control del sistema Gestos y posturas: Normalmente el usuario no puede tener acceso a un menú grafico cuando trabaja con gestos. Se necesita de una fuerte retroalimentación.

36 Interfaces de usuario 3D y videojuegos Técnicas de interacción espacial 3D: Control del sistema Herramientas: Físicas: Utilería (Objetos del mundo real duplicados en el mundo virtual). Forma relacionada con la función que cumplen. Multiplexados en espacio: Solo realizan una acción. Multiplexados en tiempo: Realizan varias acciones a lo largo del tiempo. (Mouse) Pueden ser usadas sin verlas. (Ej.: Pen and Tablet). Virtuales: Herramientas que solo existen en el mundo virtual. (Ej.: Correa de herramientas). El usuario debe poder ver la herramienta para poder usarla.

37 Interfaces de usuario 3D y videojuegos Técnicas de interacción espacial 3D: Control del sistema Herramientas: Físicas

38 Interfaces de usuario 3D y videojuegos Técnicas de interacción espacial 3D: Control del sistema Herramientas: Virtuales

39 Interfaces Basadas en Bosquejos 3 Interfaces Basadas en Bosquejos para Computación Gráfica

40 Interfaces Basadas en Bosquejos 3 Tiene su fundamento en el hecho de ofrecer una interfaz más natural y similar al comportamiento entre humanos al momento de comunicar sus ideas.

41 Interfaces Basadas en Bosquejos 3 También persigue evitar en la medida de lo posible el manejo explícito de las profundidades en ciertos casos, haciendo esto por inferencia.

42 Interfaces Basadas en Bosquejos 3 Este tipo de interfaces podemos encontrarlas en sistemas de: Modelado de Formas 3D Animación Editores Especializados

43 Modelado de Formas 3D 3.1 Modelado de Formas 3D

44 3.1 Modelado de Formas 3D Se refiere a los métodos mediante los cuales se permite la representación de formas en tres dimensiones de acuerdo a especificaciones hechas por el usuario, complementadas o no con sugerencias del sistema.

45 Modelado de Formas 3D 3.1 Modelado de Formas 3D Se pueden subdividir en grupos como: Métodos Arquitectónicos Métodos de Forma Libre Métodos de Deformación

46 3.1.1 Modelos Arquitectónicos Son métodos de diseño de formas, donde el objetivo básico es la creación de modelos en tres dimensiones a partir de primitivas básicas, en dos dimensiones. El sistema termina de interpretar la creación de la 3ra dimensión basada en inferencia o por selección directa del usuario.

47 3.1.1 Modelos Arquitectónicos Algunas técnicas que implementan este modelo son: SKETCH Interfaz de Sugerencias

48 3.1.1.1 SKETCH Mediante la especificación de algunos trazos en dos dimensiones, se infiere el resto de la figura en tres dimensiones. Se considera que cada objeto esta encima de otro.

49 Ejemplos usando SKETCH 3.1.1.1 SKETCH

50 3.1.1.2 Interfaz de Sugerencias El usuario provee algunas pistas acerca de lo que desea diseñar. Posteriormente el sistema muestra una serie de sugerencias posibles, que permiten al usuario elegir la mas adecuada y eliminan la posibilidad de ambigüedad.

51 3.1.1.2 Interfaz de Sugerencias El sistema presenta las distintas alternativas en miniatura y con un simple click se completa la interacción. El sistema permite ser ampliado con módulos de sugerencias más avanzados, que agregarán poder a la forma de interacción.

52 3.1.1.2 Ejemplos usando Interfaz de Sugerencias Interfaz de Sugerencias

53 3.1.2 Modelos de Forma Libre Existen modelos de interacción que permiten la creación de formas libres, donde la decisión de diseño depende más del usuario. La inferencia del trazo en tres dimensiones sigue siendo definido por el sistema. Como ejemplos tenemos:

54 3.1.2.1 Sistema Teddy Con este sistema el usuario modela mediante trazos parte de la geometría en 2D. Al concluir el trazado, el sistema genera la forma en tres dimensiones, para recomenzar el ciclo. Se crean modelos de mallas poligonales de baja densidad, y con la limitante de modelado de superficies con topología esférica.

55 3.1.2.1 Sistema Teddy Especialmente se ve su aplicación en algunos video juegos para la creación de personajes por parte del jugador.

56 3.1.2.1 Sistema Teddy Especialmente se ve su aplicación en algunos video juegos para la creación de personajes por parte del jugador.

57 3.1.2.2 Mallado de Fibras Este método permite al usuario especificar los contornos de figuras a través de curvas de control, que pasarán a definir la imagen 3D. Una vez establecidas las curvas de control por parte del usuario, el mallado se obtiene por métodos de optimización.

58 3.1.2.3 Plushie Este sistema mediante trazos simples, también genera la imagen correspondiente en tres dimensiones. Esta orientado al diseño de juguetes de peluche, dado que computa al momento del trazado los recortes que serían necesarios para el juguete físico.

59 3.1.2.3 Plushie Ejemplo de uso de Plushie

60 3.1.3 Técnicas de Deformación Las deformaciones de un modelo también requieren de una interfaz que permita hacer realidad los cambios que se persiguen. Muy ligado al tema de animación Entre estas técnicas tenemos:

61 3.1.3.1 Bosquejo de Esqueleto El usuario realiza el trazado inicial que define el esqueleto del modelo. El trazado anterior se convierte en un punto de origen y referencia. El usuario dibuja la posición destino, mediante un segundo trazo. El sistema realiza la deformación del esqueleto y por ende, del modelo

62 3.1.3.1 Bosquejo de Esqueleto Ejemplos de deformación por bosquejo de esqueleto.

63 3.1.3.2 Bosquejo de Silueta En este método el usuario selecciona una región a la que se aplicará la deformación. Posteriormente, mediante otro trazo se dibuja la silueta resultante deseada. El sistema realiza la deformación, preservando en la medida de lo posible la distorsión que pueda generarse entre ambas siluetas.

64 3.1.3.2 Bosquejo de Silueta Ejemplos de deformación por bosquejo de silueta.

65 3.2 Técnicas de Animación Igualmente existen técnicas de animación que utilizan como entrada interfaces que trabajan a través de bosquejos. El usuario puede realizar los trazos iniciales y finales, dejando como tarea al sistema el resto del trabajo. Entre ellas tenemos:

66 Control de Poses Articuladas El Usuario define mediante trazos simples la geometría del objeto que desea animar posteriormente. Se trazan las articulaciones y el proceso se repite en varios cuadros similares a los “key frames” El sistema halla por métodos de optimización el resto del movimiento y genera una animación. 3.2.1 Control de Poses Articuladas

67 Ejemplo de Control de Poses articuladas 3.2.1 Control de Poses Articuladas

68 Trazado de Movimiento Este modelo permite al usuario, una vez creada la representación que quiere animar, recrear la misma simplemente especificando el camino que dicho objeto debe seguir. Tiene una serie de movimientos predefinidos y consideraciones físicas para poder lograr el efecto animado. 3.2.2 Trazado de Movimiento

69 Ejemplo de Trazado de Movimiento 3.2.2 Trazado de Movimiento

70 Animación por Actuación Se refiere al método por el cual el usuario especifica una serie de manejadores (puntos de control) sobre el objeto. Al mover los manejadores se puede establecer un cambio sobre la geometría, dejando para el sistema la generación de las poses intermedias 3.2.2 Animación por Actuación

71 3.3 Editores de Propósito Especial Se refiere a modelos de aplicaciones que permiten crear y manipular objetos que tienen geometrías complejas. Entre los casos más destacados tenemos: Modelado de Arboles y Flores Diseño y manipulación de vestuario

72 3.3.1 Modelado de Arboles y Flores Para el caso de Arboles, el usuario dibuja la silueta de las ramificaciones en un plano. El sistema se encarga de lanzar aleatoriamente ramas en todas direcciones y de acuerdo a ciertos parámetros se crean las hojas del mismo.

73 Modelado de Arboles y Flores Para el caso de flores, el sistema provee herramientas para la creación de los distintos elementos de la flor (pétalos, estambres) La creación de dichos elementos se hace también por trazos simples. Una vez completados los elementos, el sistema ensambla el resultado. 3.3.1 Modelado de Arboles y Flores

74 3.3.2 Diseño y Manipulación de Vestuario Este caso es complejo también por la complejidad de la física del material. En el diseño de vestuario, el usuario especifica la forma del traje con trazos sobre el personaje.

75 3.3.2 Diseño y Manipulación de Vestuario Para manipular el vestuario, el usuario establece marcas sobre el vestido diseñado y sobre el objeto a vestir. El sistema adosa el vestuario de la manera más adecuada, cumpliendo con la especificación.

76 3.4 Ventajas y Desventajas Ventajas y Desventajas de Métodos por Bosquejos Ventajas: - Interacción más simple con las herramientas de diseño. - Abstracción mayor en el modelado de objetos complejos. - Velocidad en la creación de objetos. Desventajas: -Baja complejidad y detalle de los modelos generados en algunos casos.

77 Contenido Próxima Exposición Contenido Próxima Exposición: Introducción a los dispositivos Hápticos de Interacción. Sistemas de entretenimiento actuales (Nintendo Wii, Microsoft Kinect y PlayStation Move): Caracteristicas ¿Cómo funcionan? ¿En que se diferencian? Ejemplos