La descarga está en progreso. Por favor, espere

La descarga está en progreso. Por favor, espere

Objetivo: CREACIÓN DE UN AGENTE EMOCIONAL INTERACTIVO Caso de uso:ASISTENTE PERSONAL DOMÉSTICO Requisitos: 1.ARQUITECTURA ESCALABLE 2.INTERFAZ CON.

Presentaciones similares


Presentación del tema: "Objetivo: CREACIÓN DE UN AGENTE EMOCIONAL INTERACTIVO Caso de uso:ASISTENTE PERSONAL DOMÉSTICO Requisitos: 1.ARQUITECTURA ESCALABLE 2.INTERFAZ CON."— Transcripción de la presentación:

1

2

3

4 Objetivo: CREACIÓN DE UN AGENTE EMOCIONAL INTERACTIVO Caso de uso:ASISTENTE PERSONAL DOMÉSTICO Requisitos: 1.ARQUITECTURA ESCALABLE 2.INTERFAZ CON MÚLTIPLES MODALIDADES 3.COMPORTAMIENTO EMOCIONAL 4.COMPORTAMIENTO PERSONALIZADO 5.FUNCIONALIDAD DE ASISTENTE DOMÓTICO 6.COMPAÑERO DE JUEGOS

5 X10 – [ZLÖTNIK,07] ROOMBA– [CANCELA,09] BRAZO ROBÓTICO– [LSED,09] INFRARROJOS – [GUIRAO,06] CARA ROBÓTICA [SANZ, 08] OPENCV IDENTIFICADOR DE LOCUTOR. [GARCÍA, 07] RECONOCEDOR DE HABLA Y COMPRENSIÓN. [GHT] SINTETIZADOR DE HABLA CON EMOCIONES. [BARRA, 08]

6

7 HARDWARE TRATAMIENTO DE IMÁGENES TRATAMIENTO DE IMÁGENES MODELO DE COMPORTA- MIENTO MODELO DE COMPORTA- MIENTO COMPRENSIÓN RECONOCIMIENTO IDENTIFICACIÓN DE LOCUTOR IDENTIFICACIÓN DE LOCUTOR MODELO DE EMOCIONES MODELO DE EMOCIONES MODELO DE RELACIONES MODELO DE RELACIONES TASK 1 TASK 2 TASK N CONTROL DE CARA ROBÓTICA CONTROL DE CARA ROBÓTICA SÍNTESIS DE VOZ SÍNTESIS DE VOZ HARDWARE SENSOR DE CARICIAS SENSOR DE CARICIAS

8 – PRIMERA APROXIMACIÓN: Comunicación por SOCKETS INCONVENIENTES: Mecanismo de bajo nivel. Necesidad de interpretar datos y de controlar los procesos de comunicación – SOLUCIÓN ALTERNATIVA:S.O.A.P. (Simple Object Access Protocol) CARACTERÍSTICAS: Protocolo de alto nivel Permite definir estructuras de datos Flexibilidad en cuanto al protocolo de transporte utilizado. Típicamente HTTP Mensajes legibles para las personas, aunque costoso (basados en XML) Similar a llamadas a procedimientos locales (métodos rémotos)

9 EJEMPLO DE COMUNICACIÓN: Respuesta a un Concepto Reconocedor de Habla e Identificación de Locutor Módulo de Comporta- miento Control de Conversación Sintetizador NUEVA FRASE NUEVO CONCEPTO LOCUTOR MODO ID NUEVO CONCEPTO PARÁMETROS Emociones Modelo de Relaciones EVENTO EMOCIONAL NUEVA FRASE DEL LOCUTOR RELACIÓN PARÁMETROS+ EMOCIÓN+ RELACIÓN FRASE A SINTETIZAR ACTUALIZACIÓN EMOCIONES EMOCIÓN

10 JABÓN – SOAP C++ CODE GENERATOR – [Rodríguez Losada] Genera los servicios web a partir de las cabeceras.h Características: Fácil utilización Gratuito Genera Código C++ Portable Librería dinámica de código abierto Muy rápido No requiere instalación SERVIVOX recoSoapClient Módulo Central recoSoapServer recoSoapService Petición XML Ejecución remota int FraseReconocida (frase, conceptos, usuarioId, numFrases, direccionArchivo) Ejecución remota int FraseReconocida (frase, conceptos, usuarioId, numFrases, direccionArchivo) Descodificación de XML Llamada al método Llamada local int FraseReconocida (frase, conceptos, usuarioId, numFrases, direccionArchivo) Llamada local int FraseReconocida (frase, conceptos, usuarioId, numFrases, direccionArchivo) Retorno valor Codificación XML Descodificación de XML recoSoap.h recoSoapInterface

11

12 DETECCIÓN DE CARICIAS MEDIANTE SENSOR INFRARROJO INTERFAZ VISUAL NO INTRUSIVA BASADA EN OPENCV SÍNTESIS DE VOZ CON EMOCIONES RECONOCIMIENTO DE HABLA CON COMPRENSIÓN IDENTIFICACIÓN DE LOCUTOR CONTROL DE CARA ROBÓTICA EXPRESIVA

13 CONTROL VERBAL INALÁMBRICO DE ASPIRADORA ROBÓTICA ROOMBA Comienzo/Paro de limpiar Vuelta a la estación de carga ADAPTACIÓN EFECTUADA: Creación de un cliente SOAP de control de la comunicación Configuración Rootooth Comunicación Bluetooth PC-ROOMBA CONTROL DE LUCES MEDIANTE X10 Encendido/Apagado dispositivo ADAPTACIÓN EFECTUADA: Creación de cliente SOAP para solicitud remota de acciones Creación script en perl para acceso remoto a la función de control de X10 del sistema DRAC

14 DETECCIÓN DE CARICIAS MEDIANTE SENSOR INFRARROJO ADAPTACIÓN EFECTUADA: Conexión e instalación de driver para acceso por puerto paralelo Lectura periódica del sensor Filtrado por software de lectura ruidosa JUEGO 3 EN RAYA CON BRAZO ROBÓTICO Sensores de control del tablero Funcionamiento autónomo ADAPTACIÓN EFECTUADA: Comunicación de la situación del juego vía tftp (trivial ftp)

15 CONTROL VERBAL DE EQUIPO HI-FI POR INFRARROJOS Encendido/Apagado ADAPTACIÓN EFECTUADA: Creación de un cliente SOAP capaz de comunicarse con el módulo de control de iRTrans INTERFAZ VISUAL NO INTRUSIVA BASADA EN OPENCV Detección de movimiento Detección de caras Detección de luz ADAPTACIÓN EFECTUADA: Creación de un cliente SOAP (facedetect.c) Procesos de filtrado para detectar: Luz: N muestras por encima del nivel Cara: N caras en un cierto tiempo

16 CONTROL DE CARA ROBÓTICA EXPRESIVA Expresión de emociones sencillas: enfado, alegría, miedo, neutra, tristeza Parpadeo involuntario en función del estado emocional ADAPTACIÓN EFECTUADA: Creación de una cara robótica a partir de 5 servomotores Creación de servidor SOAP para control de los servos

17 RECONOCIMIENTO DE HABLA CON COMPRENSIÓN Reconocimiento independiente de locutor Vocabulario y Gramática flexibles Comprensión automática basada en ejemplos Umbral de confianza ADAPTACIÓN EFECTUADA: Creación de un servidor SOAP para la comunicación

18 SÍNTESIS DE VOZ CON EMOCIONES Elección de frases mediante conceptos, emociones y relación. Aleatoriedad: cada frase, una probabilidad Hot configuration ADAPTACIÓN EFECTUADA: Creación de un servidor SOAP para el proceso de síntesis Acceso al servidor remoto vía ssh Reproducción mediante unidad virtual SAMBA Síntesis por doble proceso SERVIDOR SOAP SERVIDOR SOAP HTS LINUX HTS LINUX. TXT. WAV Módulo de Comporta- miento SOAPSSH SAMBA

19 MODELO DE RELACIONES CON IDENTIFICACIÓN DE LOCUTOR BASADA EN LAS CARACTERÍSTICAS DEL HABLA Identificación de locutor basada en BIC parámetro λ ADAPTACIÓN EFECTUADA: Experimentos de identificación con parámetro λ Protocolo de presentación

20 Modo 1: Identificación de frases a partir de la historia de 30 locutores EXPERIMENTOS IDENTIFICADOR DE LOCUTOR

21 Modo 2: Detección de cambios de usuario a partir de la historia de 5 frases de 1 locutor conocido en una población de 30 EXPERIMENTOS IDENTIFICADOR DE LOCUTOR Necesidad de protocolo de presentación

22 PROTOCOLO DE PRESENTACIÓN Por defecto Confirmar nuevo usuario Nombre Locutor = candidato Modo Presentación Nombre Locutor = candidato Modo Presentación Fin de presentación Lugar de residencia Locutor = candidato Modo Presentación Lugar de residencia Locutor = candidato Modo Presentación Año de nacimiento Locutor = candidato Modo Presentación Año de nacimiento Locutor = candidato Modo Presentación Profesión Locutor = candidato Modo Presentación Profesión Locutor = candidato Modo Presentación Locutor = candidato Modo Presentación Locutor = candidato Modo Presentación A:Presentación/Q: ¿Eres Nuevo? A:No A:Cualquier Concepto A:Sí

23

24 Emotional Generator Emotional Response NIF Generator NIFs Fisiológica (survival) Seguridad (safety) Afiliación (changes) Estima (success) Autorrealización (ethics) Task A Task B Task C Task D Task E Task F Task G New event ESCALABLE NECESIDADES CUANTIFICADAS Y PRIORIZADAS DeseabilidadInesperadoUrgenciaRelevanciaInfrecuencia RESPUESTA EMOCIONAL INDEPENDIENTE DE TAREA

25 –FISIOLÓGICA (SURVIVAL): – SEGURIDAD (SAFETY):

26 –ESTIMA (SUCCESS): –AUTORREALIZACIÓN (ETHICS):

27 –AFILIACIÓN (CHANGES):

28 –DESEABILIDAD: ¿Cómo satisface el evento la necesidad? –INESPERADO: ¿El evento sigue la tendencia a corto plazo?

29 –URGENCIA: ¿La tendencia actual nos acercaría o alejaría de un nivel crítico? –RELEVENCIA: En esta situación, ¿pequeños eventos pueden llevar a la zona crítica?

30 –INFRECUENCIA: ¿Es la primera vez que ocurre este evento, o se ha producido en el pasado?

31 –ACOTADAS ENTRE 0 Y 100 –ALEGRÍA, TRISTEZA, MIEDO, SORPRESA Y ENFADO –ATENUADAS SEGÚN τ –Emociones positivas vs negativas –NEUTRAL

32

33 1.ES CAPAZ DE SIMULAR ESTADOS EMOCIONALES Y EXPRESARLOS 2.SISTEMA EMOCIONAL JERARQUIZADO BASADO EN MASLOW QUE IMPLEMENTA UNA ARQUITECTURA DE SUBSUNCIÓN DE BROOKS 3.ARQUITECTURA DISTRIBUÍDA MULTITAREA ESCALABLE 4.INTEGRACIÓN DE IDENTIFICADOR DE LOCUTOR Y CREACIÓN DE MECANISMO DE PRESENTACIÓN 5.INTEGRACIÓN DE SINTETIZADOR BASADO EN HMM CON FRASES DETERMINADAS POR CONCEPTOS Y ALEATORIEDAD 6.INTEGRACIÓN DE TECNOLOGÍAS: CONTROL X10 CONTROL INFRARROJOS BRAZO ROBÓTICO CARA ROBÓTICA CONTROL BLUETOOTH ROOMBA FOTOSENSOR PARA CARICIAS ARQUITECTURA C/S COMUNICACIÓN CON SOAP

34

35 1.UTILIZACIÓN DE NECESIDADES COMO MOTIVADORES 2.MEJORA DE LA EXPRESIÓN DE LAS EMOCIONES 3.APRENDIZAJE DE COMPORTAMIENTOS 4.MEJORA DE LA INTERFAZ VISUAL BASADA EN OPENCV 5.INCLUSIÓN DE NUEVAS TAREAS Y MEJORA DE LAS EXISTENTES 6.INTEGRACIÓN DE LOS MÓDULOS DE SÍNTESIS, RECONOCIMIENTO EMOCIONES Y RELACIONES EN EL PROYECTO ROBONAUTA

36

37 –FISIOLÓGICA (SURVIVAL): – SEGURIDAD (SAFETY): IF (PROMEDIO > UMBRAL LUZ ) ELSE –ESTIMA (SUCCESS): IF (ÉXITO) ELSE IF (FRACASO) –AUTORREALIZACIÓN (ETHICS) IF (MOVIMIENTO LEGAL) ELSE

38 –AFILIACIÓN (CHANGES): Efecto de eventos determinado por su repetición. MODELADO DE OCURRENCIAS: Histograma + Ventana de Parzen. MODIFICACIÓN DEL N-VALUE: ATENUACIÓN PERIÓDICA:

39 –DESEABILIDAD: ¿Cómo satisface el evento a la necesidad? –INESPERADO: ¿El evento sigue la tendencia a corto plazo? –URGENCIA: ¿La tendencia producida es peligrosa para la necesidad?

40 –RELEVENCIA: ¿En esta situación pequeños eventos pueden llevar a la zona crítica? –INFRECUENCIA: ¿Es la primera vez que ocurre este evento, o se ha producido en el pasado?

41 Signo(Deseabilidad)K1K2K3f(peso)τ Alegría +0.5 Peso>>0 Sorpresa + 0.5Peso~0 Tristeza -Peso>>0 Miedo -0.5 ~0 Enfado -0.5~0


Descargar ppt "Objetivo: CREACIÓN DE UN AGENTE EMOCIONAL INTERACTIVO Caso de uso:ASISTENTE PERSONAL DOMÉSTICO Requisitos: 1.ARQUITECTURA ESCALABLE 2.INTERFAZ CON."

Presentaciones similares


Anuncios Google