Interacción persona-ordenador Dispositivos, estilos y paradigmas

Objetivos zOfrecer una visión general de los dispositivos de interacción zConocer diferentes estilos y paradigmas de interacción zMostrar el estado actual y la evolución futura de la interacción

Contenidos zDispositivos para la interacción zEstilos de interacción yInterfaz por línea de órdenes yMenús y navegación yLenguaje natural yManipulación directa yInteracción asistida zParadigmas de interacción yRealidad virtual yComputación ubicua yRealidad aumentada zComparación de los paradigmas de interacción

Dispositivos para la interacción zTeclado y pantalla zApuntadores zVoz y sonido zRastreo ocular zOtros dispositivos

Teclado zEs el dispositivo más usado

Apuntadores zIdeales para manipular objetos en pantalla zRatón zTrackball zTouchpad zJoystick

Rastreo ocular zEl ojo como herramienta de interacción zMuy útiles para personas discapacitadas

Rastreo ocular Técnica PCCR zSe ilumina el ojo con un haz IR zEl haz se refleja en la córnea y aparece en la superficie del ojo zUna cámara recoge las imágenes y calcula a partir de ellas el centro de la pupila zEl vector que va hasta el reflejo corneal indica la dirección de la mirada

zIntolerancia al movimiento de la cabeza yLa cámara debe enfocar al ojo ySolución: fijar la cámara a la cabeza zRetardos en la transmisión de datos yVelocidad de los movimientos oculares zÁngulos límites yAveriguar dónde se mira en profundidad zNaturaleza intrusiva zMovimientos involuntarios del ojo yDistinguir cuándo se mira algo con atención Rastreo ocular Problemas y limitaciones

Vision key (HK Eyecan Ltd) Rastreo ocular Modelos comerciales VCS (Vision Control Systems) Eyegaze System (LC Technologies Inc)

Otros dispositivos zPantalla táctil yCajeros, puntos de información, dispositivos móviles yUso intuitivo yUno o varios usuarios, Multi-touch zLápiz yReconocimiento de escritura. Tinta digital

zAromas yGeneración automática de aromas yAplicaciones: juegos, cine, realidad virtual zSensor de huellas dactilares Otros dispositivos

zInteracción por Gestos yGesture pendant: reconoce gestos y los convierte en órdenes yWiimote Georgia Institute of Technology Otros dispositivos

zInterfaces comestibles yTaste Screen: combina sabores y los dispensa en la pantalla Dan Maynes-Aminzade (Universidad de Stanford) Otros dispositivos

Estilos de interacción zInteracciones yTodos los intercambios que suceden entre la persona y el ordenador (Baecker and Buxton, 1987) Estilo de interacción: término genérico que agrupa las diferentes maneras en que los usuarios se comunican o interaccionan con el ordenador Preece, 1994 Estilo de interacción: término genérico que agrupa las diferentes maneras en que los usuarios se comunican o interaccionan con el ordenador Preece, 1994

Estilos de interacción zEstilos de interacción predominantes: yInterfaz por línea de órdenes yMenús y navegación yLenguaje Natural yManipulación directa yInteracción asistida

zPrimer estilo de interacción de uso generalizado y todavía hoy en uso zConsiste en dar instrucciones directamente al ordenador mediante yPalabras enteras yAbreviaturas yCaracteres yTeclas de función zEjemplos: yls -la (UNIX) ydir *.htm (MS-DOS) Interfaz por línea de órdenes más fáciles de recordar más rápidas de ejecutar copy cp CTRL + z

zVentajas yFlexibilidad xLas opciones de la orden pueden modificar su comportamiento xLa orden puede ser aplicada a muchos objetos a la vez yPermite la iniciativa del usuario yEs atractivo para usuarios expertos xOfrece acceso directo a la funcionalidad del sistema yPotencialmente rápido para tareas complejas yCapacidad para hacer macros zDesventajas yRequiere un memorización y entrenamiento importantes xNo hay indicación visual de la orden que se necesita xMás útil para usuarios expertos que para usuarios noveles yGestión de errores pobre Interfaz por línea de órdenes

C:\TMP\> dir El volumen en unidad C es PCDOS_6 Número de Serie del Volumen es 1D8F-82B0 Directorio de C:\TMP : :08 HELP TXT :08 CARTA DOC :51 4 archivo(s) bytes bytes libres C:\TMP\>del help.txt C:\TMP\>dir El volumen en unidad C es PCDOS_6 Número de Serie del Volumen es 1D8F-82B0 Directorio de C:\TMP : :08 CARTA DOC :51 3 archivo(s) bytes bytes libres C:\TMP\>

Menús y navegación zMenú: yConjunto de opciones visualizadas en pantalla que se pueden seleccionar y llevan a la ejecución de una acción asociada zSuelen estructurarse jerárquicamente zExisten guías de estilo para diseñar menús yNúmero ideal de opciones: entre 3 y 8

Menús y navegación zVentajas yEntrenamiento reducido, menos tecleo yPermiten el uso de herramientas de gestión de diálogos yToma de decisión estructurada zDesventajas yPueden resultar lentos para usuarios experimentados xSolución: atajos de teclado yOcupan mucho espacio en la interfaz xSolución: menús desplegables y pop-up yRequieren una visualización rápida

Lenguaje natural Fragmento del vídeo “El navegante del conocimiento”

Lenguaje natural Interacción mediante la voz zReconocimiento del habla zSíntesis de voz zIdentificación y verificación de la persona que habla zComprensión del lenguaje natural

Lenguaje natural Reconocimiento del habla zReconocimiento de palabras aisladas yRequiere que se hagan pausas entre palabras zReconocimiento de voz continua yNo requiere pausas, se puede hablar continuo zDependiente del que habla yRequiere el entrenamiento de los usuarios zIndependiente del que habla yPuede reconocer a cualquier usuario

Lenguaje natural Síntesis de voz zConcatenación ySe graban registros digitales de voz (palabras, frases o segmentos de palabras) ySe construyen nuevas frases organizando palabras en el orden correcto (problema: entonación) zSíntesis por reglas yNo se utiliza voz humana directamente yLa síntesis se controla por reglas de fonemas o reglas relacionadas con el contexto de una frase xAl utilizar fonemas (bloque básico de una palabra) el sistema puede articular un vocabulario indefinido de palabras xFonema es la unidad mas pequeña que hace que cambie una palabra

Lenguaje natural Identificación y verificación zIdentificar a la persona que habla ySe contrasta con una base de datos de voces conocidas zVerificar la persona que habla y‘Mi voz es mi contraseña’

Lenguaje natural Comprensión del LN zComprender el sentido del texto hablado o escrito zPermite la comunicación con el ordenador en el propio lenguaje de la persona zSistemas actuales yVocabulario limitado yDominio restringido

Lenguaje natural Aplicaciones zReconocimiento de órdenes habladas (manos libres) yDictado por la voz (tratamiento de texto, generación de informes) zSíntesis de voz (ojos libres) yRevisar grandes volúmenes de texto, confirmar órdenes y selecciones, operar bajo condiciones en las que la visualización no es práctica zIdentificación y verificación de la persona por la voz yControl de acceso, personalización, bloqueo y desbloqueo de elementos, transacciones comerciales por Internet zComprensión del lenguaje natural yAcceso a BD, sistemas de pregunta y respuesta, teleoperación xNatural Language interfaces on the web,

Lenguaje natural Beneficios y problemas zBeneficios yConocimiento del propio lenguaje yUso de la voz, por tanto manos libres zProblemas yDiferencias en lenguajes, argots, voces xPueden ser necesarios diálogos de clarificación yInterfaces todavía no inteligentes

zCaracterísticas: (Schneiderman, 1991) yRepresentación continua de los objetos y acciones de interés yCambio de una sintaxis de órdenes compleja por la manipulación de objetos y acciones yAcciones rápidas, incrementales y reversibles que provocan un efecto visible inmediato en el objeto seleccionado zPosible gracias a las pantallas gráficas de alta resolución y los dispositivos apuntadores zHistoria: Xerox Star, Apple Macintosh zEntorno más común: interfaz WIMP yWindows, Icons, Menus, Pointers Manipulación directa

Manipulación directa Beneficios y problemas zBeneficios yLos nuevos usuarios aprenden más rápidamente yLos usuarios expertos pueden trabajar rápidamente yLos usuarios ven rápidamente el resultado de sus acciones yLas acciones son reversibles zProblemas ySe necesitan más recursos yNo todas las tareas pueden ser descritas por objetos concretos yNo todas las acciones se pueden hacer directamente

Interacción asistida Fragmento del vídeo “El navegante del conocimiento”

Interacción asistida zLa manipulación directa exige que el usuario explicite todas las tareas y controle todos los eventos zEl creciente número de nuevos usuarios exige un cambio en la forma de interactuar con el ordenador zLa interacción asistida usa la metáfora del asistente personal o agente que colabora con el usuario yEl usuario no dirige la interacción yTrabaja de forma cooperativa con el agente o agentes zSe reduce el esfuerzo del usuario zAgentes vs Asistentes

Interacción asistida zEjemplo: aumento del número de menús e iconos en Word

Interacción asistida Agentes de la interfaz zAgente: es un programa que el usuario ve como un asistente o programa que le ayuda y no como una herramienta zTiene características propias de la inteligencia humana yCapacidad de aprender, inferencia, adaptabilidad, independencia, creatividad, etc. (Lieberman, 97) zEl usuario no ordena, delega tareas al agente (Maes, 94) zEl agente es más discreto que el asistente yTrabaja en segundo plano y actúa por propia iniciativa cuando encuentra información que puede ser relevante para el usuario yPuede afectar a los objetos de la interfaz sin instrucciones explícitas del usuario

Interacción asistida – agentes Características zAutonomía yTrabaja en segundo plano yObserva al usuario y las fuentes de información disponibles zInteligencia yActúa por propia iniciativa ySe adapta a múltiples situaciones, variando su estrategia zUso personal ySe adapta y aprende del usuario yNo insiste en una solución si el usuario decide otra

Interacción asistida – agentes Integración con aplicaciones zPara poder interaccionar con agentes las aplicaciones deben tener ciertas propiedades: yProgramable yControlable yExaminable

Interacción asistida – agentes Ejemplo: Microsoft Agent

Interacción asistida Asistentes, magos, guías zSon entidades computacionales que nos asisten en el uso de las aplicaciones existentes zEl usuario tan sólo dice lo que quiere hacer zPueden ser capaces de aprender del usuario zEl asistente es activado por el usuario

Interacción asistida - asistentes Ejemplos

Paradigmas de interacción zSon los modelos de los que se derivan todos los sistemas de interacción zLos paradigmas interactivos actuales son: yEl ordenador de sobremesa yLa realidad virtual yLa computación ubicua yLa realidad aumentada

Realidad virtual zEl ordenador crea un entorno sensorial que es dinámicamente controlado por las acciones de la persona, aparentando ser real para ella zDispositivos especiales zAspectos fundamentales: yInteractividad yCombinación de sentidos. Inmersión ySensación de realidad. Realimentación sensorial en tiempo real (visual, auditiva, táctil)

Realidad virtual Dispositivos zDispositivos de posicionamiento zDispositivos de visualización zDispositivos de navegación

zLos posicionadores determinan la posición y la orientación de una parte del cuerpo en relación a un punto fijo zLa mayoría de los dispositivos de interacción utilizados en RV llevan un posicionador Posicionamiento Objetivo

zLa latencia es el "retardo entre el cambio de la posición y orientación del objetivo que es seguido y el informe de este cambio al ordenador” zSi la latencia es mayor de 50 milisegundos lo notará el usuario y puede causar nausea o vértigo Posicionamiento Latencia

zPosicionadores mecánicos yEstructura articulada ajustable yRápidos y exactos pero incómodos zPosicionadores electromagnéticos yEmisor externo de campos electromagnéticos yDetector en usuario. Envía al ordenador yEl ordenador calcula por triangulación yPopulares pero inexactos. Les afecta el metal Posicionamiento Dispositivos (1/2)

zPosicionadores ultrasónicos y3 emisores fijos de ondas sonoras y 3 receptores en el usuario yPrecisan línea de visión directa emisor-receptor zPosicionadores infrarrojos yEmisores fijos y cámaras receptoras. Triangulación yPrecisan línea directa entre emisor y cámara zPosicionadores inerciales yConservación del momento angular. Giroscopios yGrandes volúmenes de trabajo Posicionamiento Dispositivos (2/2)

Realidad virtual Visualización zDispositivos yGafas LCD resplandecientes xEn cada momento se permite la visión de un ojo xLa imagen de la pantalla cambia ligeramente para cada ojo (izquierda-derecha) xLas gafas conmutan de un ojo a otro a 60Hz xLigeros, sin cables y fáciles de usar xHay que mirar a la pantalla: no hay inmersión yCasco (HMD, Head Mounted Display)

Visualización Casco (HMD) zColocan una pantalla enfrente de cada ojo zEl ambiente virtual presentado se controla por la orientación de los sensores montados en el casco zEl ordenador reconoce el movimiento de la cabeza y genera una nueva perspectiva zUnas lentes y espejos agrandan la vista y llenan el campo visual

Visualización Tipos de cascos zHMD con LCD yBaja resolución y contraste. Retardo zHMD proyectado yCRT con cables de fibra óptica. Mayor resolución y contraste. Caro y complejo zHMD con CRT pequeño yCRT. Más incómodo (peso y calor) zHMD con LED de columna única yCrea una imagen virtual que ‘flota’ delante del usuario yPermite interactuar con el mundo virtual y el real a la vez zProblema común: movilidad (cable)

Visualización Tipos de cascos zMonitor Omnidireccional Binocular (BOOM, Binocular Omni- Orientation Monitor) JPL, Nasa

Visualización Audio 3D zEl sonido aumenta considerablemente la sensación de realidad zDebe modelar las condiciones ambientales: yFuente y dirección del sonido yEfectos ambientales (eco) yRuido de fondo zIdea: crear un campo de sonido tridimensional zGran potencial para discapacitados (ciegos) Difícil con sonidos pregrabados

Realidad virtual Navegación zDispositivos yRatón 3D xRatón con posicionador xÚtil para navegar y seleccionar yPalanca de mando xPalanca con posicionador yGuante xMás intuitivo. Permite manipular objetos xVarias tecnologías

Navegación Guante zFibra óptica yDataglobe (VPL Research) yRed de fibras ópticas colocadas a lo largo de los dedos. En un extremo hay un LED y en otro un fotosensor yLas fibras tienen algunos cortes. Al doblar los dedos la luz escapa por ellos yLa cantidad de luz detectada por el fotosensor es una medida de cuánto se ha doblado el dedo

Navegación Guante zMedidas mecánicas yDexterous Hand Master, DHM yExoesqueleto que se sujeta a los dedos con bandas de velcro yUn sensor mecánico mide la flexión del dedo yMide movimientos de lado a lado de un dedo yMás exacto pero más difícil de usar

Navegación Guante zGalgas extensométricas yPowerglobe de Mattel (Nintendo) yMenos exacto, bajo precio yTiras de plástico recubiertas de tinta conductora colocadas a lo largo del dedo yAl doblar el dedo varía la resistencia eléctrica de la tinta

Realidad virtual Háptica zUn problema en los sistemas de realidad virtual es la falta de estímulos para el sentido del tacto zSi un usuario trata de tomar una copa virtual, yNo hay una manera no visual para informarle de que la copa está en contacto con su mano virtual yTampoco hay un mecanismo para no permitir a la mano virtual traspasar la copa

Realidad virtual Háptica zLa investigación háptica intenta resolver estos problemas y puede ser subdividida en dos subcampos: yretroalimentación de fuerza (kinestética) yretroalimentación táctil

Realidad virtual Háptica zRetroalimentación de fuerza: dispositivos que interactúan con músculos y tendones y dan la sensación de que se aplica una fuerza yProporcionan una reacción de fuerza al usuario en respuesta a su acción zRetroalimentación táctil: dispositivos que interactúan con los nervios de la piel que indican la presencia de calor, presión y textura yIndicar al usuario si está en contacto con un objeto virtual, o la textura del objeto

Realidad virtual + háptica Cybergrasp

Realidad virtual + háptica Cybertouch

Realidad virtual Aplicaciones zExploración por el usuario de un mundo virtual creado por el ordenador yExploración de diseños de arquitectura

Realidad virtual Aplicaciones zInteracción con otros usuarios participantes en la misma aplicación yJuegos tridimensionales o simulaciones de combates militares

Realidad virtual Aplicaciones zAcción a distancia sobre el mundo real a través de una representación virtual del mismo yCirugía a distancia yManipulación remota

Ejemplo Perforaciones petrolíferas zNorsk Hydro yUsa datos obtenidos en revisiones sísmicas para ofrecer imágenes 3D de reservas de petróleo

Ejemplo Mantenimiento de aviones

Computación ubicua zLa Computación Ubicua trata de extender la capacidad computacional al entorno del usuario zPermite que: yla capacidad de información esté presente en todas partes yen forma de pequeños dispositivos muy diversos yque permiten interacciones de poca dificultad yconectados en red a servidores de información zEl diseño y localización de los dispositivos son específicos de la tarea objeto de interacción zEl ordenador queda relegado a un segundo plano, intentando que resulte “transparente” al usuario (ordenador invisible)

Computación ubicua zOrigen: Mark Weiser, Xerox PARC, 1991 zHay una gran variedad de dispositivos: yInsignias activas yMarcas yTabletas yPizarras, etc. zLos usuarios no interaccionan directamente con ordenadores, sino con dispositivos de diverso tipo y tamaño

Mark Weiser y su grupo en un entorno ubicuo Computación ubicua Insignias activas Marca

Computación ubicua Necesidades zNecesidades para la computación ubicua: yOrdenadores baratos y de bajo consumo yProgramas de ejecución ubicua yRed que lo unifique todo

Computación ubicua Laboratorio de Sony (I) A) Problemas con las pizarras blancas actualesB) La aproximación multi-dispositivo

Computación ubicua Laboratorio de Sony (II)

Computación ubicua Beneficios y problemas zBeneficios ySimplicidad o invisibilidad de la interacción yFiabilidad zProblemas yPérdida de privacidad (insignia activa) yTecnología no asentada yNo resuelve todos los problemas

Realidad aumentada zLa RA trata de reducir las interacciones con el ordenador utilizando la información del entorno como una entrada implícita zLa RA integra el mundo real y el computacional: yEl mundo real aparece aumentado por información sintética ySe consigue una disminución importante del coste interactivo yLos objetos cotidianos se convierten en objetos interactivos (el mundo es la interfaz)

zMétodo más común: ySolapamiento entre la información digital y la real mediante visualizadores en casco o proyecciones de vídeo yLa situación del usuario se reconoce automáticamente (tiempo, posición, objetos, códigos de barra, rfid…) Realidad aumentada

Realidad Aumentada Aplicaciones

Realidad aumentada Corrientes existentes (1) zAplicar la realidad virtual al mundo real ySe aumenta o mejora la visión que el usuario tiene del mundo real con información adicional sintetizada yLa información se superpone mediante el uso de gafas especializadas

Realidad aumentada Corrientes existentes (2) zUsar dispositivos que aumentan la realidad e interaccionan directamente con ella yEl usuario interactúa con el mundo real, que está aumentado con información sintetizada yNo se trata de superponer la información real con la virtual, sino de hacer participar a objetos cotidianos como un lápiz o una mesa que interactúan con el sistema de forma automática

Realidad aumentada Ordenadores corporales zObjetivos: yLlevar encima el ordenador yInteractuar con el usuario según el contexto yEnlazar la información del entorno personal con la de un sistema informático zCaracterísticas: yComodidad yNaturalidad yIntegración con la vestimenta MIT Media Lab. Wearable computers

Comparación de los paradigmas de interacción [Rekimoto, 1995] A) Sobremesa D) Realidad AumentadaC) Computación Ubicua B) Realidad Virtual C Computador R Mundo Real Comparación de paradigmas de interacción  Persona - Computador  Persona - Mundo real  Mundo real - Computador

C onclusiones zExiste una amplia variedad de dispositivos de interacción. Es importante conocer sus posibilidades para saber cómo aplicarlos zExisten diferentes formas de realizar la interacción zEl problema a resolver y los conocimientos del usuario decidirán el estilo de interacción idóneo en cada caso zEn el futuro coexistirán todos los estilos de interacción en una mezcla que mejorará el conjunto En un futuro no muy lejano...