INTEGRACIÓN DE SISTEMAS DE DIÁLOGO HABLADO EN LA NUEVA GENERACIÓN DE ENTORNOS COMPUTACIONALES DE ACCESO A LA INFORMACIÓN. PROYECTO JUNTA CYL

NUESTRO OBJETIVO Interactuar con voz con personajes 3D.

¿Qué sabemos hacer? Sabemos hacer sistemas de diálogo con VoiceXML Sabemos interactuar con personajes 3D VRML.

Tenemos proyectandos David de Francisco Marcos DNI44903809 David_de_fco@hotmail.com 983205676 617030008 Sergio García García dni 71127974z Serggar@wanadoo.es 983540464 651147501 Sabemos especificar escenas VRML con XML JAXP, JAXB

Tenemos proyectandos Montse José Antonio Realizó un proyecto para interactuar con escenas VRML José Antonio Está trabajando para mejorarlo y hacer el interfaz con voz. Somos conscientes de nuestra necesidad de emplear a más gente. Podría haber dinero para pagarles.

Arquitectura Interacción clásica

Arquitectura dialogo Interacción vocal

Arquitectura applet dialogo Interacción multimodal

Descripción Cada objeto VRML tendrá un componente asociado que define su comportamiento. Objeto 3D y Componente se comunican mediante un applet JAVA El usuario interactúa con el Objeto 3D y reacciona el Componente. El usuario interactúa con el gestor de diálogo. El Componente hace que evolucione el diálogo.

Planteamiento Iexplorer display url teclado consola actuadores Servidor contenidos teclado consola actuadores navegación

Planteamiento Input Iexplorer Voz/texto vxml Output Voz/texto Gestor Servidor contenidos Output Voz/texto Gestor dialogo actuadores Informe de resultados Acciones colaterales+[informe]

Planteamiento Gran distancia entre estos dos mundos Nosotros no queremos que se sustituyan sino que se complementen. vrml vxml

Arquitectura CV A eai CNA uri mapping GD uri JAS

Arquitectura CV: Consola virtual User -> CV CV-> User GD CNA JAS eai mapping uri CV: Consola virtual User -> CV Movimiento de la cámara. Lanzar eventos CV-> User Muestra objetos 3D A: abatar. Reflejo 3D. Objeto en vrml CV->A Mediante un applet pueden cambiarse los atributos de A A-> CV También pueden leerse los atributos de A.

Arquitectura A CV GD CNA JAS eai mapping uri CNA Es el controlador de A. Módulo software, posiblemente objeto java que controla el objeto A. CNA <-> A Empleando un applet. Pueden leerse y cambiarse las propiedades de A. CNA es la inteligencia de A. Debe conocer el entorno de A para poder interactuar. Cada abatar A tendrá asociado su correspondiente CNA

Arquitectura A CV GD CNA JAS eai mapping uri JAS Sirve para gestionar planificar y ejecutar los diálogos. Los posibles diálogos se almacenan en un banco de datos. CNA Cuando la lógica decide que hay que ejecutar un diálogo identifica el diálogo y le envía le id a JAS. JAS ejecuta el diálogo accediendo a GD JAS devuelve el resultado del diálogo a CNA que actúa en consecuencia.

Arquitectura ¿cómo sabe CV la relación A->CNA? Fichero de configuración que describe el mundo virtual. En este fichero se especifica la correspondencia. Este fichero se interpreta al ser descargado. El intérprete irá añadiendo A en una escena VRML y cargando el CN correspondiente (posiblemente lanzando un thread). ¿dónde está el interprete? Tal vez un applet. ¿Cómo hacer que CNA dialogue? Indica el diálogo a realizar y espera el resultado.

Clases Aplicación Actor Acción 0:n 1:1 0:n 0:n guión Escenario Parámetros 0:n Apariencia guionIni Tarea Update Controlador

Flujo Aplicación Actor Acción Dialogo inicial Tarea Dialogo upDate Tarea Dialogo upDate Controlador upDate Tarea Dialogo upDate Controlador

Componentes Aplicación Actor Acción UpDate(Id, Cambios) Consola vrml Lanza( ) Actor Gestor dialogo Respuesta= Dialoga(dialogoInicial) UpDate(Cambios) Acción Respuesta= Dialoga(dialogo)

Bitácora 4-6-2003 13-6-2003 18-6-2003 25-6-2003 2-7-2003