An HMM-Based Threshold Model Approach for Gesture Recognition Hyeon-Kyu Lee and Jin H. Kim IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 21, NO. 10, OCTOBER

introduccion Gesto: parte del movimiento de la mano que tiene un significado Ambigüedad de segmentación: determinar cuando comienza y cuando termina el gesto dentro de una trayectoria. Como se componen gestos en secuencia. Variabilidad espacio-temporal: el mismo gesto varia en amplitud y velocidad cada vez que se ejecuta.

Se utilizan Hidden Markov models por su capacidad de modelar la variabilidad espacio-temporal El modelado de los “no-gestos” obliga la introducción de un modelo umbral que es capaz de reconocer todos los gestos. La complejidad del modelo-umbral es proporcional al numero de gestos.

Proponen la mezcla de estados basada en la entropía cruzada, para reducir la complejidad del modelo-umbral. Utilizan HMM discretos con Baum-Welch reestimación.

Planteamiento del problema Localizar un gesto predefinido en las trayectorias en el plano 2D descritas por la mano, una vez segmentada… Un gesto es una secuencia espacio-temporal de vectores de características.

Un gesto y los representantes obtenidos mediante cuantización vectorial.

Lenguaje de gestos definido cuya semántica son los comandos de PowerPoint

Confusiones entre gestos debidas a movimientos imprevistos y a la similitud entre los gestos.

Estructura generica de los HMM utilizados para representar gestos.

Hidden markov models HMM es una colección de estados conectados por transiciones probabilisticas. Cada transición tiene asociadas dos probabilidades –La probabilidad de pasar de estado –La probabilidad de emitir un vector de caracteristicas

Conjunto de estados Alfabeto observable Matriz de probabilidades de transición entre estados Matriz de probabilidades de emisión del output Distribución inicial de los estados HMM

El modelo-umbral contiene todos los modelos de gestos. Proporciona el nivel de confianza para decidir si el reconocimiento dado por el modelo con mayor verosimilitud es aceptable. Todos los estados están conectados

Mantiene las probabilidades output de cada estado y sus auto-transiciones. Los estados representan los subpatrones posibles La conectividad completa permite que se reconozcan los patrones y subpatrones en cualquier orden La verosimilitud del reconocimiento por el modelo-umbral es el base-line para los demas modelos.

Gesture spotter Identifica el comienzo y final de los gestos. Utiliza un algoritmo de Viterbi Obtener la secuencia óptima de estados Dadas las observaciones

Secuencia máximo verosimil hasta el instante t Transiciones nulas Información para el backtracking, estado previo maxverosimil

Secuencia óptima

Un gesto debe de producir mayor verosimilitud en un modelo de gesto que en el modelo umbral. Un modelo que no es un gesto debe producir la mayro verosimilitud en el modelo umbral.

El instante de tiempo en que se cumplen las condiciones es el candidate end point el CEP se determina por backtracking Existen muchos CEP, el problema es determinar los mas apropiados

Reduccion dela complejidad Es preciso reducir la complejidad del modelo umbral. Proponen el uso de la entropía relativa Entropia relativa o distancia de Kullback-Leiber Introduce simetría.

Complejidad del sistema de localización de los gestos