Sesión 5: Modelos Ocultos de Markov

Presentación del tema: "Sesión 5: Modelos Ocultos de Markov"— Transcripción de la presentación:

1 Sesión 5: Modelos Ocultos de Markov

2 Modelos Ocultos de Markov
Cadenas de Markov Modelos Ocultos de Markov Problemas básicos Evaluación Secuencia óptima Aprendizaje Aplicaciones Reconocimiento de voz Reconocimiento de gestos Incertidumbre - HMM, L.E. Sucar

3 Incertidumbre - HMM, L.E. Sucar
Máquina de estados Es un dispostivo de procesamiento de información especificado por: Un conjunto de estados, S Un estado incial, S0 Un conjunto finito de entradas, I Un conjunto finito de salidas, S Una función de transición de Si -> Sj Una función de salida de Si -> O Incertidumbre - HMM, L.E. Sucar

4 Incertidumbre - HMM, L.E. Sucar
Cadena de Markov (MM) Máquina de estados finitos en la que: Las transiciones de un estado a otro no son determinísticas La probabilidad de transición de un estado a otro sólo depende del estado actual (y no de los anteriores) – propiedad de Markov Incertidumbre - HMM, L.E. Sucar

5 Incertidumbre - HMM, L.E. Sucar
Ejemplo Estados del clima: Lluvioso (q1) Nublado (q2) Soleado (q3) Probabilidades de transición: Probabilidades iniciales: Incertidumbre - HMM, L.E. Sucar

6 Incertidumbre - HMM, L.E. Sucar
Ejemplo q1 q2 q3 Incertidumbre - HMM, L.E. Sucar

7 Especificación de un MM
Conjunto de estados Q = {q1 ... qn} Una vector de probabilidades iniciales, P = {p1 ... pn}, pi = P (S0 = qi) Un matriz de probabilidades de transición, A = {aij}, donde aij = P (St = qj | St-1 = qi) En forma compacta: L = {A, P} Incertidumbre - HMM, L.E. Sucar

8 Incertidumbre - HMM, L.E. Sucar
Propiedades 1. Si pi = 1 2. Sj aij = 1 3. P (St = qj | St-1 = qi, St-2 = qk, ...) = P (St = qj | St-1 = qi) Incertidumbre - HMM, L.E. Sucar

9 Incertidumbre - HMM, L.E. Sucar
Salidas A cada estado le corresponde una salida, Oi Una secuencia de observaciones de t = 1 a t = T se denota por: O = {o1 ... oT} Incertidumbre - HMM, L.E. Sucar

10 Incertidumbre - HMM, L.E. Sucar
Preguntas Probabilidad de pertenencia: probabilidad de cierta secuencia de estados Probabilidad de permanencia: probabilidad de que permanezca en cierto estado por cierto tiempo Permanencia promedio: tiempo esperado de permanencia en un estado Incertidumbre - HMM, L.E. Sucar

11 Preguntas Probabilidad de pertenencia:
P(qj qk ql ...) = a0j ajk akl ... Probabilidad de permanencia: P (di ) = aii d-1 (1 - aii) Permanencia promedio: E{d} = S di P(di ) E{d} = S di aii d-1 (1 - aii) = 1/(1 - aii) Incertidumbre - HMM, L.E. Sucar

12 Incertidumbre - HMM, L.E. Sucar
Ejemplos de Preguntas Dado el modelo del clima - Probabilidad de pertenencia: Dado que el tiempo inicial es soleado, cual es la P de que sea sol, sol, lluv, lluv, sol, nub, sol? Probabilidad de permanencia: Probabilidad de que este nublado por 3 días seguidos? Permanencia promedio: Tiempo esperado que permanezca nublado? Incertidumbre - HMM, L.E. Sucar

13 Estimación de parámetros
Dada una secuencia de observaciones, se pueden determinar los parámetros (A, P) del modelo: Probabilidades iniciales: pi ~ g0i / N Probabilidades de transición: aij ~ gij / gi Donde: g0i = número de veces que el estado i es el inicial gi = número de veces que pasa por el estado i gij = número de transiciones del estado i al j Incertidumbre - HMM, L.E. Sucar

14 Incertidumbre - HMM, L.E. Sucar
Ejemplo de estimación Obtener los parámetros del modelo dada la secuencia: q2q2q3q3q3q3q1q1q3q2q3q3q3q3q3q3q2q2 q2q1q2q2q1q1q3 Incertidumbre - HMM, L.E. Sucar

15 Modelos Ocultos de Markov (HMM)
Es un modelo de Markov en que los estados no son directamente observables Se puede ver como un doble proceso estocástico: Un proceso estocástico “escondido” que es no observable Otro proceso estocástico que produce la secuencia de observaciones Incertidumbre - HMM, L.E. Sucar

16 Incertidumbre - HMM, L.E. Sucar
Ejemplo Se tienen dos monedas (M1 y M2) que se seleccionan en forma aleatoria Cada moneda esta cargada: M1 – P=0.8 de águila M2 – P=0.8 de sol Se tiran en secuencia (N) las moneda y sólo se observa la salida (A o S) Incertidumbre - HMM, L.E. Sucar

17 Incertidumbre - HMM, L.E. Sucar
Ejemplo q1 q2 Sol Águila Incertidumbre - HMM, L.E. Sucar

18 Especificación de un HMM
Conjunto de estados Q = {q1 ... qn} y de posibles observaciones O {o1 ... om} Una vector de probabilidades iniciales, P = {p1 ... pn}, pi = P (S0 = qi) Un matriz de probabilidades de transición, A = {aij}, donde aij = P (St = qj | St-1 = qi) Un vector de probabilidades de salida por cada estado (matriz), B = {bik}, donde bik = P (Ot = ok | St = qi) En forma compacta: l = {A, B, P} Incertidumbre - HMM, L.E. Sucar

19 Ejemplo - especificación
A: B: Incertidumbre - HMM, L.E. Sucar

20 Incertidumbre - HMM, L.E. Sucar
Preguntas básicas Dado el modelo, calcular la probabilidad de una secuencia de observaciones (evaluación) Dado el modelo, obtener la secuencia de estados más probable correspondiente a una secuencia de observaciones (secuencia óptima) Dada una secuencia de observaciones, ajustar los parámetros del modelo (aprendizaje) Incertidumbre - HMM, L.E. Sucar

21 Evaluación – método directo
Dada la secuencia de observaciones: O1 O2 O3 O4 ... Pueden ser generados por diferentes secuencias de estados, considerando una: S1 S2 S3 S4 ... Entonces la probabilidad de las observaciones y dicha secuencia de estado es: P(O, Qi) = pq1 bq1 (O1) aq12 bq2 (O2) ... aq(T-1)T bqt (OT) Incertidumbre - HMM, L.E. Sucar

22 Evaluación – método directo
Considerando todas las secuencias: P(O) = SQ P(O, Qi) Qué es lo mismo que: P(O) = SQ [ pq1 bq1 (O1) aq12 bq2 (O2) ... aq(T-1)T bqt (OT) ] Incertidumbre - HMM, L.E. Sucar

23 Evaluación – método directo
Número de operaciones Para cada término: 2T Número de posibles secuencias (sumatoria) NT Total: 2T x NT Por ejemplo, N=5 y T=100 -> 1072 operaciones! Se requiere de un método más eficiente! Incertidumbre - HMM, L.E. Sucar

24 Evaluación – método iterativo
Se basa en la idea de ir evaluando en paralelo la probabilidad de estados/observaciones para cada tiempo q1 q1 qo q2 q2 Incertidumbre - HMM, L.E. Sucar

25 Evaluación – método iterativo
Se define la variable “forward”: at(i) = P (O1 O2 O3 O Ot , St = qi) Es decir, la probabilidad de una secuencia parcial de observaciones y que llegue a cierto estado Incertidumbre - HMM, L.E. Sucar

26 Incertidumbre - HMM, L.E. Sucar
Algoritmo Inicialización at(1) = P (O1, S1 = qi) = pi bi (O1) Inducción at+1(j) = [ Si at(i) aij ] bj (Ot+1) Terminación P(O) = Si aT(i) Incertidumbre - HMM, L.E. Sucar

27 Incertidumbre - HMM, L.E. Sucar
Complejidad En cada iteración se tiene del orden de N multiplicaciones y N sumas Para las T iteraciones: N2 x T Incertidumbre - HMM, L.E. Sucar

28 Incertidumbre - HMM, L.E. Sucar
Secuencia óptima Encontrar la secuencia de estados óptima dada la secuencia de observaciones Óptimo se puede definir de diferentes maneras: Estados más probables Secuencia total más probable Incertidumbre - HMM, L.E. Sucar

29 Definiciones Variable “backward”:
bt(i) = P (Ot+1 Ot OT , St = qi) En forma iterativa: bt(j) = [ Sj bt+1(j) aij ] bj (Ot+1) Definiendo: bT(j) = 1 Incertidumbre - HMM, L.E. Sucar

30 Definiciones Por lo tanto, combinando ambas definiciones:
P (O, St = qi) = at(i) bt(i) Y entonces: P(O) = Sj at(i) bt(i) Incertidumbre - HMM, L.E. Sucar

31 Incertidumbre - HMM, L.E. Sucar
Cálculo iterativo q1 q2 qo q1 q1 q2 q2 OT O1 O2 Ot Incertidumbre - HMM, L.E. Sucar

32 Más definiciones Probabilidad condicional:
gt(i) = P (St = qi | O) = P (St = qi , O) / P (O) En términos de a y b: gt(i) = at(i) bt(i) / P(O) gt(i) = at(i) bt(i) / Si at(i) bt(i) Incertidumbre - HMM, L.E. Sucar

33 Incertidumbre - HMM, L.E. Sucar
Estados más probable El estado individual más probable para el tiempo t es: ARG MAX i gt(i) El problema es que la concatenación de los estados más probables no necesariamente corresponde a la secuencia más probable Incertidumbre - HMM, L.E. Sucar

34 Secuencia más probable
Secuencia total más probable es: MAX P(Q | O) Dado que P(Q|O) = P(Q,O) / P(O), entonces es equivalente a: MAX P(Q , O) Incertidumbre - HMM, L.E. Sucar

35 Algoritmo de Viterbi Antes de ver el algoritmo es necesario definir otra variable La subsecuencia de estados óptimos hasta el tiempo t: dt(i) = P (S1 S St = qi, O1 O2 ... Ot ) En forma iterativa: dt+1(i) = [ MAX dt(i) aij ] bj (Ot+1) Incertidumbre - HMM, L.E. Sucar

36 Incertidumbre - HMM, L.E. Sucar
Algoritmo Inicialización: d1(i) = pi bi (O1) y1(i) = 0 Recursión dt(i) = MAXi [dt-1(i) aij ] bj (Ot) yt(i) = ARGMAXi [dt(i)] Terminación P* = MAXi [dT(i)] qT* = ARGMAXi [dT(i)] Backtracking qt* = yt+1(qt+1* ) Incertidumbre - HMM, L.E. Sucar

37 Incertidumbre - HMM, L.E. Sucar
Aprendizaje Consiste en determinar los parámetros del modelo, l = {A, B, P}, dada una secuencia de observaciones Para ello, se buscan los parámetros que maximizen P(O | l) – no se pueden obtener con precisión Número de parámetros: N + N2 + N x M Incertidumbre - HMM, L.E. Sucar

38 Algoritmo de Baum-Welch
Otra variable auxiliar – probabilidad de estar en el estado i en t y pasar a j en t+1 dada la secuencia de observaciones: xt(i,j) = P (St = qi , St+1 = qj | O) = P (St = qi , St+1 = qj , O) / P (O) En términos de a y b: xt(i,j) = at(i) aij bj (Ot+1) bt+1(j) / P(O) xt(i,j) = at(i) aij bj (Ot+1) bt+1(j) / Si Sj at(i) aij bj (Ot+1) bt+1(j) Incertidumbre - HMM, L.E. Sucar

39 Algoritmo de Baum-Welch
La variable gt(i) se puede calcular como: gt(i) = Sj xt(i,j) Esta variable sumada sobre todos los tiempos da una estimación del número de veces que se pasa por el estado “i” St gt(i) Mientras que la suma sobre t de xt(i,j) da una estimación del número de transiciones de “i -> j”: St xt(i,j) Incertidumbre - HMM, L.E. Sucar

40 Re-estimación de los parámetros
Probabilidades iniciales – número de veces en el estaod “i” en t=1: pi= g1(i) Probabilidades de transición – número de transiciones de “i -> j” entre el número de veces en “i” aij = St xt(i,j) / St gt(i) Probabilidades de salidas – número de veces en estado “j” y observar “k” entre el número de veces en dicho estado: bjk = St,O = k gt(i) / St gt(i) Incertidumbre - HMM, L.E. Sucar

41 Re-estimación de los parámetros
Se inicia con ciertos valores (al azar) y se van mejorando iterativamente (se repite el proceso varias veces) Se obtiene un estimador de máxima verosimilitud No se garantiza el óptimo global Incertidumbre - HMM, L.E. Sucar

42 Incertidumbre - HMM, L.E. Sucar
Aplicaciones Modelado de procesos dinámicos, como: Reconocimiento de voz Reconocimiento de gestos Incertidumbre - HMM, L.E. Sucar

43 Incertidumbre - HMM, L.E. Sucar
Reconocimiento de voz Se modela a nivel palabra o fonema utilizando HMM Las observaciones consisten de vectores de característcas obtenidas del procesamiento de la señal de voz Se utilizan secuencias de voz para el entrenamiento y, posteriormente durante reconocimiento, se obtiene la probabilidad de cada modelo (palabra o fonema), seleccionando la de mayor probabilidad Incertidumbre - HMM, L.E. Sucar

44 Incertidumbre - HMM, L.E. Sucar
Reconocimiento de voz Palabra: “tomato” ey t ow m t ow aa Fonema ini mid fin Incertidumbre - HMM, L.E. Sucar

45 Reconocimiento de gestos
Seguimiento de la mano en una secuencia imágenes Incertidumbre - HMM, L.E. Sucar

46 Incertidumbre - HMM, L.E. Sucar
Características Observaciones: cambio en X (DX) cambio en Y (DY) cambio en área (DA) cambio en razón X-Y (DR) Cada una se codifica en 3 valores: (+, 0, -), lo que da un total de 81 posibles observaciones X2,Y2 X1,Y,1 A2 A1 Incertidumbre - HMM, L.E. Sucar

47 Incertidumbre - HMM, L.E. Sucar
Se utiliza un HMM para cada gesto (5 gestos): 3 estados: gestos simples 5 estados: gestos complejos Incertidumbre - HMM, L.E. Sucar

48 Incertidumbre - HMM, L.E. Sucar
Referencias L. R. Rabiner, B. H. Juang, “An introduction to hidden Markov models”, IEEE ASSP, Enero 1986. L. R. Rabiner, “A tutorial on hidden Markov Models and selected applications in speech recognition”, IEEE 1989. J. K. Kemeny, J. L. Snell, “Finite Markov Chains”, Van Nostrand, 1965. Incertidumbre - HMM, L.E. Sucar

49 Incertidumbre - HMM, L.E. Sucar
Actividades Hacer ejercicio de HMM Incertidumbre - HMM, L.E. Sucar