Robust parameter estimation for mixture model

Presentación del tema: "Robust parameter estimation for mixture model"— Transcripción de la presentación:

1 Robust parameter estimation for mixture model
Sladju Tadjudin, David A Landgrebe IEEE Geos. Rem. Sens. 38,1, p.439

2 Resumen Modelo: mezcla de gausianas
Estimación : Expectación/maximización Inconveniente: influencia de los outliers Solución: rechazar los outliers en función d e un umbral de distancia. Peligro: rechazar pixels válidos

3 Expectación/Maximización
Método iterativo para aproximar los estimadores Maximo Verosimiles de los parametros en un modelo de mezcla de densidades

4 EM En la formulación incompleta, cada muestra no etiquetada se considera como una muestra etiquetada cuya etiqueta se ha perdido

5 EM g(x|F) es la pdf de los datos incompletos
f(y|F) es la pdf de los datos completos La estimación ML involucra maximizar L(F)=log g(x|F) EM itera una fase de estimación de las asignaciones de etiquetas con otra de estimación de los parámetros

6 F es el vector de parametros
Expectation/ Maximization “+” denota proximo “c” denota actual F es el vector de parametros -prior prob -Medias -varianzas y muestras etiquetadas x muestras no etiq.

7 EM EM converge localmente al estimador ML del vector de parámetros
Suelen realizarse varios intentos con condiciones iniciales distintas. Los elementos de la muestra (etiquetados) son buenas condiciones iniciales

8 EM Los outliers pueden tener probabilidades a posteriori significativas para algunos de los componentes Identificación de los outliers: umbral ji-cuadrado antes de comenzar

9 EM Problemas Pixels válidos pueden ser declarados outliers Conforme crecen las dimensiones, todos tienden a ser outliers Solución: asignar a cada pixel una medida de su tipicidad.

10 Estimación robusta La medida de la tipicidad se basa en que todas las densidades componente son elipticamente simétricas y exponenciales

11 w función peso Estimador de la covarianza modificado

12 Robust estimation La constante de ajuste está escogida de forma que
Las muestras de entrenamiento tienen peso unitario Las muestras no etiquetadas tienen pesos inversamente proporicionales a la distancia respecto de la media

13

14

15 Experimentos Compara ML, EM y REM ML solo utiliza datos etiquetados
exp 1 a 4 AVIRIS Cuatro clases 20 canales extraidos, 200 canales se usan Las reducciones del numero de canales se hace muestreando uniformemente

16

17 Exp 1 Compara EM y REM sin outliers (generando los datos)
5 repeticiones de los experimentos

18

19 EXP 2 Reduce el numero de muestras de entrenamiento No outliers

20

21 Exp 3 Reduce el numero de muestras test (no etiquetadas) No outliers
EM y REM comparables

22

23 Exp 4 Datos reales 200 muestras de entrenamiento
REM mejora a EM, indica la existencia de outliers

24

25 Exp 5 Datos multiespectrales 12 bandas Se tiene ground truth
EM con dos valores de umbral 1% y 5%

26

27

28

29 Conclusiones REM funciona mejor que ML y EM en presencia de outliers
Cuando hay pocas muestras EM y REM mitigan el fenomeno Hughes Limitaciones de REM Función de peso dependiente de las estadisticas de las clases Con un numero de muestras cercano a la dimensionalidad el estimador de covarianza es inestable