INTEGRACIÓN DE SISTEMAS DE DIÁLOGO HABLADO EN LA NUEVA GENERACIÓN DE ENTORNOS COMPUTACIONALES DE ACCESO A LA INFORMACIÓN. PROYECTO JUNTA CYL.

Presentación del tema: "INTEGRACIÓN DE SISTEMAS DE DIÁLOGO HABLADO EN LA NUEVA GENERACIÓN DE ENTORNOS COMPUTACIONALES DE ACCESO A LA INFORMACIÓN. PROYECTO JUNTA CYL."— Transcripción de la presentación:

1 INTEGRACIÓN DE SISTEMAS DE DIÁLOGO HABLADO EN LA NUEVA GENERACIÓN DE ENTORNOS COMPUTACIONALES DE ACCESO A LA INFORMACIÓN. PROYECTO JUNTA CYL

2 NUESTRO OBJETIVO Interactuar con voz con personajes 3D.

3 ¿Qué sabemos hacer? Sabemos hacer sistemas de diálogo con VoiceXML Sabemos interactuar con personajes 3D VRML.

4 Tenemos proyectandos David de Francisco Marcos DNI44903809 David_de_fco@hotmail.com 983205676 David_de_fco@hotmail.com 617030008 Sergio García García dni 71127974z Serggar@wanadoo.es 983540464 Serggar@wanadoo.es 651147501 Sabemos especificar escenas VRML con XML JAXP, JAXB

5 Tenemos proyectandos Montse Realizó un proyecto para interactuar con escenas VRML José Antonio Está trabajando para mejorarlo y hacer el interfaz con voz. Somos conscientes de nuestra necesidad de emplear a más gente. Podría haber dinero para pagarles.

6 Arquitectura Interacción clásica

7 Arquitectura dialogo Interacción vocal

8 Arquitectura applet dialogo Interacción multimodal

9 Descripción Cada objeto VRML tendrá un componente asociado que define su comportamiento. Objeto 3D y Componente se comunican mediante un applet JAVA El usuario interactúa con el Objeto 3D y reacciona el Componente. El usuario interactúa con el gestor de diálogo. El Componente hace que evolucione el diálogo.

10 Planteamiento display consola teclado Servidor contenidos Iexplorer url actuadores navegación

11 Planteamiento Input Voz/texto Gestor dialogo Servidor contenidos Iexplorer vxml actuadores Informe de resultados Acciones colaterales+[informe] Output Voz/texto

12 Planteamiento Gran distancia entre estos dos mundos Nosotros no queremos que se sustituyan sino que se complementen. vrml vxml

13 Arquitectura A CV GD CN A JAS eai mapping uri

14 Arquitectura CV: Consola virtual User -> CV Movimiento de la cámara. Lanzar eventos CV-> User Muestra objetos 3D A CV GD CN A JAS eai mapping uri A: abatar. Reflejo 3D. Objeto en vrml CV->A Mediante un applet pueden cambiarse los atributos de A A-> CV También pueden leerse los atributos de A.

15 Arquitectura CN A Es el controlador de A. Módulo software, posiblemente objeto java que controla el objeto A. CN A A Empleando un applet. Pueden leerse y cambiarse las propiedades de A. A CV GD CN A JAS eai mapping uri CN A es la inteligencia de A. Debe conocer el entorno de A para poder interactuar. Cada abatar A tendrá asociado su correspondiente CN A

16 Arquitectura JAS Sirve para gestionar planificar y ejecutar los diálogos. Los posibles diálogos se almacenan en un banco de datos. A CV GD CN A JAS eai mapping uri CN A Cuando la lógica decide que hay que ejecutar un diálogo identifica el diálogo y le envía le id a JAS. JAS ejecuta el diálogo accediendo a GD JAS devuelve el resultado del diálogo a CN A que actúa en consecuencia.

17 Arquitectura ¿cómo sabe CV la relación A->CN A ? Fichero de configuración que describe el mundo virtual. En este fichero se especifica la correspondencia. Este fichero se interpreta al ser descargado. El intérprete irá añadiendo A en una escena VRML y cargando el CN correspondiente (posiblemente lanzando un thread). ¿dónde está el interprete? Tal vez un applet. ¿Cómo hacer que CN A dialogue? Indica el diálogo a realizar y espera el resultado.

18 Clases AplicaciónActorAcción 0:n 1:1 Escenario Parámetros Apariencia guionIni guión Tarea Controlador Update

19 Flujo AplicaciónActorAcción Dialogo inicial Dialogo Tarea Controlador Dialogo Tarea Controlador upDate

20 Componentes Aplicación Actor Acción Consola vrml Gestor dialogo Respuesta= Dialoga(dialogoInicial) UpDate(id, Cambios) Respuesta= Dialoga(dialogo) UpDate(Cambios) UpDate(Id, Cambios) Lanza( )

21 Bitácora 4-6-2003 13-6-2003 18-6-2003 25-6-2003 2-7-2003