Expression Recognizer Antonio Ávila Membrives David Ávila Membrives Jorge Cantón Ferrero Dirigido por Juan Manuel Cordero Valle Escuela Técnica Superior de Ingeniería Informática 2005/2006 Dpto. Lenguajes y Sistemas Informáticos

-Introducción -Sistemas de Captura de Movimiento: Motion Capture en inglés. Usados en el cine, videojuegos, TV, etc. Captura instantánea de movimientos humanos. Eficiente en tiempo y coste respecto a animación tradicional. Dpto. Lenguajes y Sistemas Informáticos (ETSII) Reconocedor de Expresiones

-Sistemas de Captura de Movimiento Facial -De reciente aparición (no del todo desarrollados). -Basados en los sistemas de motion capture. -Metodo: -Capturar la posición de marcas reflectantes situadas en la cara del actor. -Usarlas para “deformar” la cara virtual, dotándola de expresividad.

Dpto. Lenguajes y Sistemas Informáticos (ETSII) Reconocedor de Expresiones -Sistemas de Captura de Movimiento Facial -De reciente aparición (no del todo desarrollados). -Basados en los sistemas de motion capture. -Método: -Capturar la posición de marcas reflectantes situadas en la cara del actor. -Usarlas para “deformar” la cara virtual, dotándola de expresividad.

Dpto. Lenguajes y Sistemas Informáticos (ETSII) Reconocedor de Expresiones -Sistemas de Captura de Movimiento Facial -De reciente aparición (no del todo desarrollados). -Basados en los sistemas de motion capture. -Método: -Capturar la posición de marcas reflectantes situadas en la cara del actor. -Usarlas para “deformar” la cara virtual, dotándola de expresividad.

Dpto. Lenguajes y Sistemas Informáticos (ETSII) Reconocedor de Expresiones -Problemas -Coste (Más de € ). -No apto para animaciones cartoon y rostros no humanoides. -No extendido en animación facial. -Una propuesta para solucionar dichos inconvenientes: -Reconocimiento de Expresiones

Dpto. Lenguajes y Sistemas Informáticos (ETSII) Reconocedor de Expresiones -Reconocedor de Expresiones -¿Y si reconocemos directamente las expresiones del actor, en vez de una “maraña” de puntos?

Dpto. Lenguajes y Sistemas Informáticos (ETSII) Reconocedor de Expresiones -Reconocedor de Expresiones -¿Y si reconocemos directamente las expresiones del actor, en vez de una “maraña” de puntos? -Beneficios: -Permite comprender mejor el comportamiento facial. -Más control sobre la expresividad humana. -Más fácil de desarrollar aplicaciones.

Dpto. Lenguajes y Sistemas Informáticos (ETSII) Reconocedor de Expresiones -Reconocedor de Expresiones -¿Y si reconocemos directamente las expresiones del actor, en vez de una “maraña” de puntos? -Beneficios: -Permite comprender mejor el comportamiento facial. -Más control sobre la expresividad humana. -Más fácil de desarrollar aplicaciones.

Dpto. Lenguajes y Sistemas Informáticos (ETSII) Reconocedor de Expresiones -Reconocedor de Expresiones -¿Y si reconocemos directamente las expresiones del actor, en vez de una “maraña” de puntos? -Beneficios: -Permite comprender mejor el comportamiento facial. -Más control sobre la expresividad humana. -Más fácil de desarrollar aplicaciones.

Dpto. Lenguajes y Sistemas Informáticos (ETSII) Reconocedor de Expresiones -Reconocedor de Expresiones -¿Y si reconocemos directamente las expresiones del actor, en vez de una “maraña” de puntos? -Beneficios: -Permite comprender mejor el comportamiento facial. -Más control sobre la expresividad humana. -Más fácil de desarrollar aplicaciones.

Dpto. Lenguajes y Sistemas Informáticos (ETSII) Reconocedor de Expresiones -Comparativa - Captura la posición de las marcas. - Deforma la cara virtual con la información de dichos puntos. - “Como si manipulásemos una masa de plastilina con los dedos”. - Coste prohibitivo. - Inválido para morfología no humana

Dpto. Lenguajes y Sistemas Informáticos (ETSII) Reconocedor de Expresiones -Comparativa - Captura la posición de las marcas. - Deforma la cara virtual con la información de dichos puntos. - “Como si manipulásemos una masa de plastilina con los dedos”. - Coste prohibitivo. - Inválido para morfología no humana - Captura la posición de las marcas (en 2D). - Reconoce las expresiones que el actor ha gesticulado. - Reconstruye la cara con la información de las expresiones. - Coste bajo. - Apta en morfología no humana.

Dpto. Lenguajes y Sistemas Informáticos (ETSII) Reconocedor de Expresiones -Costes de Implantación -Usar el sistema requiere los siguientes materiales:

Dpto. Lenguajes y Sistemas Informáticos (ETSII) Reconocedor de Expresiones -Costes de Implantación -Usar el sistema requiere los siguientes materiales: -Cámara Web con luz incorporada.

Dpto. Lenguajes y Sistemas Informáticos (ETSII) Reconocedor de Expresiones -Costes de Implantación -Usar el sistema requiere los siguientes materiales: -Cámara Web con luz incorporada. -Marcas reflectantes (Hechas a partir de un chaleco reflectante)

Dpto. Lenguajes y Sistemas Informáticos (ETSII) Reconocedor de Expresiones -Costes de Implantación -Usar el sistema requiere los siguientes materiales: -Cámara Web con luz incorporada. -Marcas reflectantes (Hechas a partir de un chaleco reflectante) -Coste total de ¡ 30 € ! -Una mejora sustancial

Dpto. Lenguajes y Sistemas Informáticos (ETSII) Reconocedor de Expresiones -Diseño Arquitectura general del Sistema: -Modelo Cliente-Servidor Subsistemas: -Tracker -Kernel -API

Dpto. Lenguajes y Sistemas Informáticos (ETSII) Reconocedor de Expresiones -Tracker -Extracción y seguimiento de puntos faciales Patrones de Diseño State Singleton Strategy Idiom Factory

Dpto. Lenguajes y Sistemas Informáticos (ETSII) Reconocedor de Expresiones -Kernel -Extracción y seguimiento de puntos faciales Patrones de Diseño State Singleton Observador / Observable

Dpto. Lenguajes y Sistemas Informáticos (ETSII) Reconocedor de Expresiones -API -Función de intermediario entre el Kernel y la aplicación de usuario -Situado en el nodo Cliente Patrones de Diseño Observador / Observable

Dpto. Lenguajes y Sistemas Informáticos (ETSII) Reconocedor de Expresiones Implementación -Lenguaje de programación C#

Dpto. Lenguajes y Sistemas Informáticos (ETSII) Reconocedor de Expresiones Implementación -Lenguaje de programación C# -IDE Visual Studio.Net 2005

Dpto. Lenguajes y Sistemas Informáticos (ETSII) Reconocedor de Expresiones Implementación -Lenguaje de programación C# -IDE Visual Studio.Net Librerías usadas: OpenCV (Intel) SharperCV (Peter Wentworth).NET Remoting (Microsoft) Ogre (LGPL) SDL (LGPL)

Dpto. Lenguajes y Sistemas Informáticos (ETSII) Reconocedor de Expresiones WebCam (Baja exposición)

Dpto. Lenguajes y Sistemas Informáticos (ETSII) Reconocedor de Expresiones WebCam (Baja exposición) Binarización (Ruido blanco)

Dpto. Lenguajes y Sistemas Informáticos (ETSII) Reconocedor de Expresiones Erosión (Adelgazamiento Componentes blancas)

Dpto. Lenguajes y Sistemas Informáticos (ETSII) Reconocedor de Expresiones Clustering Erosión (Adelgazamiento Componentes blancas)

Dpto. Lenguajes y Sistemas Informáticos (ETSII) Reconocedor de Expresiones Lucas-Kanade (Optical Flow) Instante T

Dpto. Lenguajes y Sistemas Informáticos (ETSII) Reconocedor de Expresiones Lucas-Kanade (Optical Flow) Instante TInstante T+1

Dpto. Lenguajes y Sistemas Informáticos (ETSII) Reconocedor de Expresiones Plantilla Nube de puntos

Dpto. Lenguajes y Sistemas Informáticos (ETSII) Reconocedor de Expresiones Plantilla Nube de puntos identificación de puntos

Dpto. Lenguajes y Sistemas Informáticos (ETSII) Reconocedor de Expresiones SeriedadAbrir bocaLevantar cejasRisa 100%0%

Dpto. Lenguajes y Sistemas Informáticos (ETSII) Reconocedor de Expresiones Abrir boca Levantar cejasRisa 10%0%100% Seriedad 0%

Dpto. Lenguajes y Sistemas Informáticos (ETSII) Reconocedor de Expresiones Abrir boca Levantar cejasRisa 0%100%0% Seriedad 0%

Dpto. Lenguajes y Sistemas Informáticos (ETSII) Reconocedor de Expresiones Sistema distribuido Broadcasting Parámetros de configuración TCP/IP Flujo de expresiones UDP Servidor App Usuario 1 App Usuario 2 App Usuario 3

Dpto. Lenguajes y Sistemas Informáticos (ETSII) Reconocedor de Expresiones Aplicaciones de uso Infografía y animación digital Ocio y videojuegos (EyeToy) Nuevos interfaces hombre-máquina uso para personas discapacitados

Dpto. Lenguajes y Sistemas Informáticos (ETSII) Reconocedor de Expresiones >

Dpto. Lenguajes y Sistemas Informáticos (ETSII) Reconocedor de Expresiones Conclusiones ✔ Resolver un problema vanguardista ✔ Objetivos muy exigentes como Bajo coste y tiempo real ✔ Organización y planificación minuciosa ✔ Uso de muy diversas tecnologías ✔ Arquitectura distribuida ✔ Diseño e implementación de algoritmos complejos ✔ Sistema compacto, elevadamente flexible y bajo coste de implantación y uso

Dpto. Lenguajes y Sistemas Informáticos (ETSII) Reconocedor de Expresiones Agradecimientos “A Juan Manuel Cordero Valle por confiar en nuestra idea” “A Indisys por permitirnos usar el modelo 3D del actor virtual” “A todos los presentes, gracias por asistir”