Utilización de Agentes Animados para interfaces avanzadas de ayuda Grupo de Tratamiento del Habla, Dpto. Ingeniería Electrónica To begin the narration, switch to Slide View and wiggle the mouse over Merlin’s name on the slide. Please see the accompanying documentation for information about authoring scripts and the command syntax. You can put any text that you want right here. As much as you want. And use whatever punctuation that you want (e.g. <!$^*&#($%^*). Cut and paste freely. But only as long as it is above the demarcation line below(you might want to think of it as the magic marker). ^*#{}#*^ SHOW C:\win2000\msagent\chars\merlin.acs, 83, 80 PLAY Confused SAY ¡Hola, muy buenas!¿Cómo están ustedes?. PLAY RestPose SAY Si quieren conocer algo acerca de los Agentes Microsoft, soy el más indicado para contarsélo. SAY Por favor, permítanme presentarme. PLAY Greet PLAY Explain SAY Soy Merlín, uno de los personajes de la tecnología Agentes Microsoft. SLIDE 2 = SAY Les voy a contar cómo pueden humanizar sitios Web, aplicaciones e incluso presentaciones, como esta misma. Autor: Jesús Heras Parra Tutor: Juan Manuel Montero Martínez

Índice Objetivos Los Agentes Animados y MS Agent La Biblioteca Agentes.DLL La integración en el Analizador de Estilo Conclusiones y Líneas futuras ^*#{}#*^ PLAY RestPose SLIDE 3 = PLAY RestPose

Introducción Objetivo Medios Aplicación práctica Agentes Animados en interfaces avanzadas Medios IDE Microsoft Visual C++ 6.0 Microsoft Agent 2.0 Aplicación práctica Biblioteca (DLL) que facilite la integración de MSAgent Completar la GUI del Analizador de estilo para textos en inglés científico/técnico (ANNESTE) Actualización de la GUI Inclusión de un Agente Animado ^*#{}#*^ PLAY RestPose SLIDE 4 = PLAY RestPose

Agentes Animados (I) Definición Uso Recursos Agente informático con apariencia de personaje Uso En interfaces conversacionales buscando una interacción más natural entre persona y máquina Recursos Elementos no verbales de comunicación Expresiones faciales, gestos corporales, miradas expresivas Humanizan la comunicación Convencionalismos sociales Dotados de personalidad Trasmiten y reconocen emociones

Agentes Animados (II) Ventajas de las GUI con Agentes Inconvenientes Forma natural de incluir entrada y salida de voz Pueden hacer un sistema más amigable usuario más cooperativo Enriquecen la interfaz: Entrada multimodal Salida multimedia Inconvenientes Coste de implementación Los propios de las SUI (Spoken UI) Lentitud Turnos de palabra Errores de reconocimiento ... Rechazo inicial de los usuarios adaptados a las GUI convencionales ^*#{}#*^ PLAY RestPose SLIDE 5 = PLAY RestPose

Microsoft Agent (I) Definición Ventajas Inconvenientes Componente usable desde cualquier lenguaje de programación que soporte ActiveX Ofrece servicios programables de animación de personajes Facilita incorporar síntesis de habla y reconocimiento de voz Ventajas Compatible SAPI (TTS y SR) Existencia de personajes de uso libre Varias herramientas para crear un personaje propio Licencia sin royalties Inconvenientes Complejidad de programación Motor de reconocimiento: Habla aislada y Click-to-Speak Proceso de instalación complicado MS Windows

Microsoft Agent (III) Tecnología Base Aplicación cliente Agent (1) Crear Objeto Agent (2) Chequea el Registro (3) Lanza Proceso (4) Devuelve el puntero a la interfaz IAgent AgentSrv.exe (5) Llama a los miembros de la interfaz, ej. pIAgent->Load() HKEY_CLASSES_ROOT CLSID_AgentServer LocalServer32 = C:\...\AgentSrv.Exe Agent Aplicación cliente pIAgent Tecnología Base Servidor de Automatización OLE Los clientes se conectan al servidor y solicitan servicios a través de interfaces según el estándar COM

Microsoft Agent (IV) Interfaces de programación IAgentNotifySink IAgent IAgentCharacter IAgentCommands IUnknown Interfaces de programación Servicios a través de punteros a interfaces Captura de eventos de usuario IAgentBalloon IAgentSpeechInputProperties IAgentAudioProperties IAgentCommandsWindow IAgentPropertySheet

La biblioteca Agentes.DLL Motivación Facilitar la integración de MSAgent en aplicaciones Agrupando servicios Ocultando los requerimientos de COM Servicios de base Conectar y desconectar del servidor Agent Cargar y descargar personaje Acceso a las distintas ventanas de la interfaz Servicios de voz Insertar y eliminar comandos de voz Sintetizar texto o reproducir fichero de audio Servicios visuales Mostrar y Ocultar personaje Ejecutar animaciones Desplazamiento del personaje Señalar un punto con el personaje He creado una biblioteca... empleada en el proyecto de Javier Martínez Salas

Analizador de Estilo (I) Analiza textos en inglés técnico mediante cálculo de variables lingüísticas valoración mediante reglas de experto (tipologías) Orientado a experto, no a usuario final GUI Doc/Vista (MDI) Resultados Clases C++: Personaje Interactivo Módulos C : Analizar Estilo Control ActiveX: Navegación PFC de Rogelio Vargas Páginas Web Librería Agentes.dll PFC de Pilar Santamaría

Analizador de Estilo (II) Funciones del Agente Animado Animar una IU algo árida Anfitrión: presentación del programa Tutor: guía paso a paso Explicar los resultados del análisis a un no lingüista Agente inteligente Experto del dominio “tablas de resultados” Ayuda a completar la tarea “mejorar el estilo” Recursos Desplazamientos por pantalla concentrando la atención del usuario sobre determinados puntos Gestos y animaciones Síntesis de voz Reconocimiento de comandos de voz (activación contextos) Apertura de ventanas de resultados o páginas Web Recursos: ejemplos relativos al analizador para hacer menos abstracta la presentación

Ventana de resultados (I) Originalmente sin agente ni cuadro de diálogo ^*#{}#*^ SAY Entonces, ¿Para qué pueden ser usados los Agentes? LOOP 5=Searching PLAY Suggest SAY Soy como un actor que puede desempeñar un montón de roles. MOVE 2, 32 PLAY GestureLeft SAY Puedo ser como un anfitrión que saluda a los usuarios la primera vez que encienden el ordenador o instalan una aplicación. PLAY RestPose SAY Puedo ser un guía turístico y hacer una breve explicación acerca de lo que está disponible en un sitio Web o de las capacidades de una aplicación. MOVE 60, 45 SAY o puedo ser un tutor que muestra cómo puede llevarse a cabo una tarea paso a paso. PLAY GestureRight SAY Puedo actuar como un agente de ventas, o dirigir al usuario a través de una serie de preguntas hasta la toma de una decisión. PLAY GetAttention PLAY GetAttentionContinued SAY También, puedo entregar mensajes como recordatorios, avisos, alertas, o cosas similares. PLAY GetAttentionReturn MOVE 2, 75 SAY Puedo actuar como asistente personal que busque información en Internet. LOOP 4=Reading SAY ...y la lea en voz alta. PLAY Pleased SAY Puedo ser divertido, manteniendo la atención de los niños para enseñarles o entretenerles, por ejemplo, leyéndoles cuentos. PLAY Explain SAY Estos son sólo unos de los muchos roles que los desarrolladores pueden escribir para mi. SLIDE 9=PLAY RestPose

Ventana de resultados (II) Con agente ^*#{}#*^ SAY Entonces, ¿Para qué pueden ser usados los Agentes? LOOP 5=Searching PLAY Suggest SAY Soy como un actor que puede desempeñar un montón de roles. MOVE 2, 32 PLAY GestureLeft SAY Puedo ser como un anfitrión que saluda a los usuarios la primera vez que encienden el ordenador o instalan una aplicación. PLAY RestPose SAY Puedo ser un guía turístico y hacer una breve explicación acerca de lo que está disponible en un sitio Web o de las capacidades de una aplicación. MOVE 60, 45 SAY o puedo ser un tutor que muestra cómo puede llevarse a cabo una tarea paso a paso. PLAY GestureRight SAY Puedo actuar como un agente de ventas, o dirigir al usuario a través de una serie de preguntas hasta la toma de una decisión. PLAY GetAttention PLAY GetAttentionContinued SAY También, puedo entregar mensajes como recordatorios, avisos, alertas, o cosas similares. PLAY GetAttentionReturn MOVE 2, 75 SAY Puedo actuar como asistente personal que busque información en Internet. LOOP 4=Reading SAY ...y la lea en voz alta. PLAY Pleased SAY Puedo ser divertido, manteniendo la atención de los niños para enseñarles o entretenerles, por ejemplo, leyéndoles cuentos. PLAY Explain SAY Estos son sólo unos de los muchos roles que los desarrolladores pueden escribir para mi. SLIDE 9=PLAY RestPose

Analizador de Estilo (II) Comentar Tablas Análisis de resultados: clasificación en buenos y malos Alabará las categorías con mejores resultados Comentará aquellas con peor puntuación Sugerirá mejorar en determinadas categorías ^*#{}#*^ SAY Entonces, ¿Para qué pueden ser usados los Agentes? LOOP 5=Searching PLAY Suggest SAY Soy como un actor que puede desempeñar un montón de roles. MOVE 2, 32 PLAY GestureLeft SAY Puedo ser como un anfitrión que saluda a los usuarios la primera vez que encienden el ordenador o instalan una aplicación. PLAY RestPose SAY Puedo ser un guía turístico y hacer una breve explicación acerca de lo que está disponible en un sitio Web o de las capacidades de una aplicación. MOVE 60, 45 SAY o puedo ser un tutor que muestra cómo puede llevarse a cabo una tarea paso a paso. PLAY GestureRight SAY Puedo actuar como un agente de ventas, o dirigir al usuario a través de una serie de preguntas hasta la toma de una decisión. PLAY GetAttention PLAY GetAttentionContinued SAY También, puedo entregar mensajes como recordatorios, avisos, alertas, o cosas similares. PLAY GetAttentionReturn MOVE 2, 75 SAY Puedo actuar como asistente personal que busque información en Internet. LOOP 4=Reading SAY ...y la lea en voz alta. PLAY Pleased SAY Puedo ser divertido, manteniendo la atención de los niños para enseñarles o entretenerles, por ejemplo, leyéndoles cuentos. PLAY Explain SAY Estos son sólo unos de los muchos roles que los desarrolladores pueden escribir para mi. SLIDE 9=PLAY RestPose

Analizador de Estilo (II) Diálogo Interactivo Activación de contextos Bajo nivel de profundidad Escenarios con pocas excepciones Iniciativa mixta El personaje propone alternativas y el usuario elige (Interfaz de apoyo a la toma de decisiones) El usuario consulta la Ventana de Comandos de Voz Activos y solicita una tarea ^*#{}#*^ SAY Entonces, ¿Para qué pueden ser usados los Agentes? LOOP 5=Searching PLAY Suggest SAY Soy como un actor que puede desempeñar un montón de roles. MOVE 2, 32 PLAY GestureLeft SAY Puedo ser como un anfitrión que saluda a los usuarios la primera vez que encienden el ordenador o instalan una aplicación. PLAY RestPose SAY Puedo ser un guía turístico y hacer una breve explicación acerca de lo que está disponible en un sitio Web o de las capacidades de una aplicación. MOVE 60, 45 SAY o puedo ser un tutor que muestra cómo puede llevarse a cabo una tarea paso a paso. PLAY GestureRight SAY Puedo actuar como un agente de ventas, o dirigir al usuario a través de una serie de preguntas hasta la toma de una decisión. PLAY GetAttention PLAY GetAttentionContinued SAY También, puedo entregar mensajes como recordatorios, avisos, alertas, o cosas similares. PLAY GetAttentionReturn MOVE 2, 75 SAY Puedo actuar como asistente personal que busque información en Internet. LOOP 4=Reading SAY ...y la lea en voz alta. PLAY Pleased SAY Puedo ser divertido, manteniendo la atención de los niños para enseñarles o entretenerles, por ejemplo, leyéndoles cuentos. PLAY Explain SAY Estos son sólo unos de los muchos roles que los desarrolladores pueden escribir para mi. SLIDE 9=PLAY RestPose

Conclusiones (I) Nueva API de manejo de Agentes Animados Uso de la API desde el sistema Servivox de desarrollo de aplicaciones multimedia Creación de DLL con MS Visual C++ 6.0 Nueva versión del analizador de estilo ANESTTE Inclusión de una interfaz con agentes animados Actualización de la GUI Interfaz Documento/vista Inclusión de Controles ActiveX (Navegador) Primera versión de un módulo de diálogo para ayuda al escritor

Conclusiones (II) Dificultades De gran ayuda Elevado coste de desarrollo de IU’s con Agentes Sincronización de voz con expresiones faciales y gestos animaciones en general Las acciones o respuestas del usuario son muy variadas e imprevisibles Debido a la presencia de un personaje “vivo” Necesidad de conocimientos sobre COM/OLE para la programación de MS Agent De gran ayuda Herramienta Class Wizard de Microsoft Visual generación y organización de código Colección MSDN: información técnica muy completa

Líneas futuras Mejora del módulo de diálogo y explicación Modelo de usuario Confianza Estrategias de confirmación Evaluación con usuarios finales Manejo de la aplicación sólo con voz Es un sistema con iniciativa del sistema, se podría ir hacia iniciativa mixta Incorporando un modelado del usuario (las preguntas, las gramáticas serían dependientes del nivel de destreza que suponemos que tiene el usuario) También se podría emplear una medida de la confianza que tenemos en haber reconocido bien, para plantear diferentes estrategias de confirmación: - no confirmar porque estamos seguros de haber reconocido bien - volver a preguntar porque estamos seguros de haber reconocido mal - etc Se podría plantear que toda la aplicación se pudiese manejar sólo con voz (la aplicación no es para escribir, sino para evaluar el estilo de un texto ya escrito)

Utilización de Agentes Animados para interfaces avanzadas de ayuda Grupo de Tratamiento del Habla, Dpto. Ingeniería Electrónica ^*#{}#*^ PLAY Hide END ETSIT Madrid Noviembre de 2002