INTEGRACIÓN DE SISTEMAS DE DIÁLOGO HABLADO EN LA NUEVA GENERACIÓN DE ENTORNOS COMPUTACIONALES DE ACCESO A LA INFORMACIÓN. PROYECTO JUNTA CYL

NUESTRO OBJETIVO Interactuar con voz con personajes 3D.

¿Qué sabemos hacer? Sabemos hacer sistemas de diálogo con VoiceXML Sabemos interactuar con personajes 3D VRML.

Tenemos proyectandos David de Francisco Marcos DNI Sergio García García dni z Sabemos especificar escenas VRML con XML JAXP, JAXB

Tenemos proyectandos Montse Realizó un proyecto para interactuar con escenas VRML José Antonio Está trabajando para mejorarlo y hacer el interfaz con voz. Somos conscientes de nuestra necesidad de emplear a más gente. Podría haber dinero para pagarles.

Arquitectura Interacción clásica

Arquitectura dialogo Interacción vocal

Arquitectura applet dialogo Interacción multimodal

Descripción Cada objeto VRML tendrá un componente asociado que define su comportamiento. Objeto 3D y Componente se comunican mediante un applet JAVA El usuario interactúa con el Objeto 3D y reacciona el Componente. El usuario interactúa con el gestor de diálogo. El Componente hace que evolucione el diálogo.

Planteamiento display consola teclado Servidor contenidos Iexplorer url actuadores navegación

Planteamiento Input Voz/texto Gestor dialogo Servidor contenidos Iexplorer vxml actuadores Informe de resultados Acciones colaterales+[informe] Output Voz/texto

Planteamiento Gran distancia entre estos dos mundos Nosotros no queremos que se sustituyan sino que se complementen. vrml vxml

Arquitectura A CV GD CN A JAS eai mapping uri

Arquitectura CV: Consola virtual User -> CV Movimiento de la cámara. Lanzar eventos CV-> User Muestra objetos 3D A CV GD CN A JAS eai mapping uri A: abatar. Reflejo 3D. Objeto en vrml CV->A Mediante un applet pueden cambiarse los atributos de A A-> CV También pueden leerse los atributos de A.

Arquitectura CN A Es el controlador de A. Módulo software, posiblemente objeto java que controla el objeto A. CN A A Empleando un applet. Pueden leerse y cambiarse las propiedades de A. A CV GD CN A JAS eai mapping uri CN A es la inteligencia de A. Debe conocer el entorno de A para poder interactuar. Cada abatar A tendrá asociado su correspondiente CN A

Arquitectura JAS Sirve para gestionar planificar y ejecutar los diálogos. Los posibles diálogos se almacenan en un banco de datos. A CV GD CN A JAS eai mapping uri CN A Cuando la lógica decide que hay que ejecutar un diálogo identifica el diálogo y le envía le id a JAS. JAS ejecuta el diálogo accediendo a GD JAS devuelve el resultado del diálogo a CN A que actúa en consecuencia.

Arquitectura ¿cómo sabe CV la relación A->CN A ? Fichero de configuración que describe el mundo virtual. En este fichero se especifica la correspondencia. Este fichero se interpreta al ser descargado. El intérprete irá añadiendo A en una escena VRML y cargando el CN correspondiente (posiblemente lanzando un thread). ¿dónde está el interprete? Tal vez un applet. ¿Cómo hacer que CN A dialogue? Indica el diálogo a realizar y espera el resultado.

Clases AplicaciónActorAcción 0:n 1:1 Escenario Parámetros Apariencia guionIni guión Tarea Controlador Update

Flujo AplicaciónActorAcción Dialogo inicial Dialogo Tarea Controlador Dialogo Tarea Controlador upDate

Componentes Aplicación Actor Acción Consola vrml Gestor dialogo Respuesta= Dialoga(dialogoInicial) UpDate(id, Cambios) Respuesta= Dialoga(dialogo) UpDate(Cambios) UpDate(Id, Cambios) Lanza( )

Bitácora