INTEGRACIÓN DE SISTEMAS DE DIÁLOGO HABLADO EN LA NUEVA GENERACIÓN DE ENTORNOS COMPUTACIONALES DE ACCESO A LA INFORMACIÓN. PROYECTO JUNTA CYL.

Presentación del tema: "INTEGRACIÓN DE SISTEMAS DE DIÁLOGO HABLADO EN LA NUEVA GENERACIÓN DE ENTORNOS COMPUTACIONALES DE ACCESO A LA INFORMACIÓN. PROYECTO JUNTA CYL."— Transcripción de la presentación:

1 INTEGRACIÓN DE SISTEMAS DE DIÁLOGO HABLADO EN LA NUEVA GENERACIÓN DE ENTORNOS COMPUTACIONALES DE ACCESO A LA INFORMACIÓN. PROYECTO JUNTA CYL

2 NUESTRO OBJETIVO Interactuar con voz con personajes 3D.

3 ¿Qué sabemos hacer? Sabemos hacer sistemas de diálogo con VoiceXML
Sabemos interactuar con personajes 3D VRML.

4 Tenemos proyectandos David de Francisco Marcos DNI44903809
Sergio García García dni z Sabemos especificar escenas VRML con XML JAXP, JAXB

5 Tenemos proyectandos Montse José Antonio
Realizó un proyecto para interactuar con escenas VRML José Antonio Está trabajando para mejorarlo y hacer el interfaz con voz. Somos conscientes de nuestra necesidad de emplear a más gente. Podría haber dinero para pagarles.

6 Arquitectura Interacción clásica

7 Arquitectura dialogo Interacción vocal

8 Arquitectura applet dialogo Interacción multimodal

9 Descripción Cada objeto VRML tendrá un componente asociado que define su comportamiento. Objeto 3D y Componente se comunican mediante un applet JAVA El usuario interactúa con el Objeto 3D y reacciona el Componente. El usuario interactúa con el gestor de diálogo. El Componente hace que evolucione el diálogo.

10 Planteamiento Iexplorer display url teclado consola actuadores
Servidor contenidos teclado consola actuadores navegación

11 Planteamiento Input Iexplorer Voz/texto vxml Output Voz/texto Gestor
Servidor contenidos Output Voz/texto Gestor dialogo actuadores Informe de resultados Acciones colaterales+[informe]

12 Planteamiento Gran distancia entre estos dos mundos
Nosotros no queremos que se sustituyan sino que se complementen. vrml vxml

13 Arquitectura CV A eai CNA uri mapping GD uri JAS

14 Arquitectura CV: Consola virtual User -> CV CV-> User
GD CNA JAS eai mapping uri CV: Consola virtual User -> CV Movimiento de la cámara. Lanzar eventos CV-> User Muestra objetos 3D A: abatar. Reflejo 3D. Objeto en vrml CV->A Mediante un applet pueden cambiarse los atributos de A A-> CV También pueden leerse los atributos de A.

15 Arquitectura A CV GD CNA JAS eai mapping uri CNA Es el controlador de A. Módulo software, posiblemente objeto java que controla el objeto A. CNA <-> A Empleando un applet. Pueden leerse y cambiarse las propiedades de A. CNA es la inteligencia de A. Debe conocer el entorno de A para poder interactuar. Cada abatar A tendrá asociado su correspondiente CNA

16 Arquitectura A CV GD CNA JAS eai mapping uri JAS Sirve para gestionar planificar y ejecutar los diálogos. Los posibles diálogos se almacenan en un banco de datos. CNA Cuando la lógica decide que hay que ejecutar un diálogo identifica el diálogo y le envía le id a JAS. JAS ejecuta el diálogo accediendo a GD JAS devuelve el resultado del diálogo a CNA que actúa en consecuencia.

17 Arquitectura ¿cómo sabe CV la relación A->CNA?
Fichero de configuración que describe el mundo virtual. En este fichero se especifica la correspondencia. Este fichero se interpreta al ser descargado. El intérprete irá añadiendo A en una escena VRML y cargando el CN correspondiente (posiblemente lanzando un thread). ¿dónde está el interprete? Tal vez un applet. ¿Cómo hacer que CNA dialogue? Indica el diálogo a realizar y espera el resultado.

18 Clases Aplicación Actor Acción 0:n 1:1 0:n 0:n guión Escenario
Parámetros 0:n Apariencia guionIni Tarea Update Controlador

19 Flujo Aplicación Actor Acción Dialogo inicial Tarea Dialogo
upDate Tarea Dialogo upDate Controlador upDate Tarea Dialogo upDate Controlador

20 Componentes Aplicación Actor Acción UpDate(Id, Cambios) Consola vrml
Lanza( ) Actor Gestor dialogo Respuesta= Dialoga(dialogoInicial) UpDate(Cambios) Acción Respuesta= Dialoga(dialogo)

21 Bitácora