Propuestas de una estadística moderna en estudios relacionados con el cambio climático Ana Justel Departamento de Matemáticas Universidad Autónoma de Madrid

Propuestas de una estadística moderna en estudios relacionados con el cambio climático Ana Justel - Universidad Autónoma de Madrid En los últimos años la estadística se enfrenta a la necesidad de desarrollar nuevos métodos para extraer la información rápida y eficazmente de grandes bases de datos, pero también que nos permitan aprender de datos problemáticos y escasos. En esta conferencia se presentarán varios problemas reales, relacionados con indicadores para el estudio del cambio climático, que en la mayoría de los casos han motivado el desarrollo de nuevos procedimientos estadísticos. Muchos de los trabajos tienen su origen en el análisis de los datos registrados en la Antártida por el equipo del proyecto Limnopolar, uno de los lugares donde las condiciones de trabajo son más extremas por el aislamiento, la dificultad de acceso y la meteorología. Los problemas estadísticos que trataremos incluyen el concepto de tendencia para datos funcionales en el estudio de series de temperaturas en la región de la Península Antártica, aprovechando datos “defectuosos” y escasos. Cluster de series temporales para agrupar países con intereses comunes frente a los compromisos del Protocolo de Kyoto. Selección de variables en análisis cluster para identificar diferencias en las pautas de consumo eléctrico de los hogares. Detección de cambios de variabilidad en series de temperaturas para predecir indirectamente el momento en que se congela/descongela un lago antártico, y así estimar el número de días con actividad biológica. Estimación robusta de parámetros relacionados con la presencia de especies como bioindicadores. Análisis de la varianza para seleccionar indicadores de impacto en áreas protegidas de la Antártida.

Cluster de series temporales para agrupar países con intereses comunes frente a los compromisos del Protocolo de Kyoto Selección de variables en análisis cluster para identificar diferencias en las pautas de consumo eléctrico de los hogares Concepto de tendencia para datos funcionales en el estudio de series de temperaturas en la región de la Península Antártica, aprovechando datos “defectuosos” y escasos Detección de cambios de variabilidad en series temporales para predecir indirectamente el momento en que se congela/descongela un lago antártico, y estimar el número de días con actividad biológica Estimación robusta de parámetros relacionados con la presencia de especies como bioindicadores Análisis de la varianza para seleccionar indicadores de impacto en áreas protegidas de la Antártida

Análisis multivariante Problemas estadísticos Análisis multivariante Series temporales Cluster de series temporales para agrupar países con intereses comunes frente a los compromisos del Protocolo de Kyoto

Análisis multivariante Problemas estadísticos Análisis multivariante Series temporales Selección de variables en análisis cluster para identificar diferencias en las pautas de consumo eléctrico de los hogares Datos funcionales

Análisis multivariante Problemas estadísticos Análisis multivariante Series temporales Concepto de tendencia para datos funcionales en el estudio de series de temperaturas en la región de la Península Antártica, aprovechando datos “defectuosos” y escasos Datos funcionales

Análisis multivariante Problemas estadísticos Análisis multivariante Series temporales Detección de cambios de variabilidad en series temporales para predecir indirectamente el momento en que se congela/descongela un lago antártico, y estimar el número de días con actividad biológica Datos funcionales Robustez

Análisis multivariante Problemas estadísticos Análisis multivariante Series temporales Estimación robusta de parámetros relacionados con la presencia de especies como bioindicadores Datos funcionales Robustez

Análisis multivariante Series temporales Problemas estadísticos Análisis multivariante Series temporales Análisis de la varianza para seleccionar indicadores de impacto en áreas protegidas de la Antártida Análisis de la varianza Datos funcionales Robustez

Análisis multivariante Series temporales Problemas estadísticos Análisis multivariante Series temporales Análisis de la varianza Datos funcionales Robustez

Cluster de series temporales basado en densidades de predicción Cluster de series temporales para agrupar países con intereses comunes frente a los compromisos del Protocolo de Kyoto Cluster de series temporales basado en densidades de predicción Andrés M. Alonso Universidad Carlos III de Madrid José Ramón Berrendero Universidad Autónoma de Madrid Adolfo Hernández Universidad Complutense de Madrid Ana Justel

Emisiones de CO2 en 24 países industrializados Planteamiento del problema Observamos los datos históricos de emisiones de CO2 y queremos clasificar en grupos o “CLUSTERS” a los países Emisiones de CO2 en 24 países industrializados

Planteamiento del problema El objetivo de las técnicas estadísticas de ANÁLISIS CLUSTER o de CONGLOMERADOS es identificar grupos de individuos con características comunes a partir de la observación de varias variables en cada uno de ellos Esta técnica no debe ser confundida con el análisis discriminante y los métodos de asignación, que parten de un conocimiento previo de los grupos (seguimiento de pacientes sometidos que reciben tratamiento o placebo)

Planteamiento del problema Un CLUSTER es un grupo de individuos que, cuando la dimensión lo permite, el ojo humano identifica como homogéneos entre sí y separados de los individuos de los otros clusters

Planteamiento del problema Métodos para encontrar clusters Cluster jerárquico. Se parte de tantos clusters como datos tiene la muestra y en cada paso se van juntando dos clusters siguiendo algún criterio especificado, hasta obtener un único cluster con todos los datos Criterios de optimización. Producen una partición de los objetos en un número especificado de grupos siguiendo un criterio de optimización. El más conocido es k-MEDIAS En general, se busca HOMOGENEIDAD dentro de los grupos y HETEROGENEIDAD entre grupos

Planteamiento del problema Observamos series temporales y queremos clasificarlas en grupos o “CLUSTERS” ¿Podemos utilizar las técnicas habituales del análisis multivariante para encontrar los clusters?

Planteamiento del problema Procedimientos cluster tradicionales ignoran la estructura de autocorrelación de la serie y no proporcionan buenos resultados Necesidad de desarrollar nuevos procedimientos cluster para series temporales Algunos trabajos previos se basan en los modelos que generan las observaciones, o en el último dato observado El problema se complica mucho más con SERIES TEMPORALES MULTIVARIANTES, cuando observamos más de una variable para cada individuo a lo largo del tiempo

Proyectamos en el futuro Planteamiento del problema Observamos SERIES TEMPORALES MULTIVARIANTES y queremos clasificarlas en grupos o “CLUSTERS” X n h T p 2 1 ˆ ) ( , + L M O Proyectamos en el futuro

Los resultados, en general, serán diferentes Planteamiento del problema En muchas situaciones en la vida real, estamos interesados en las PREDICCIONES en un momento específico del futuro Modelo Presente Futuro Los resultados, en general, serán diferentes

Planteamiento del problema En muchas situaciones en la vida real, estamos interesados en las PREDICCIONES en un momento específico del futuro Dam construction Fuente: Manuel Ruiz, UAM Daxi Village, China

Planteamiento del problema ¿Por qué clusters de predicciones? Se reduce la dimensionalidad del problema Se incluye información tanto del presente como del pasado de las series En muchos problemas, el interés real se centra en el comportamiento futuro ó en si las series convergen o no a un cierto nivel Desarrollo sostenible Emisiones de CO2 (Protocolo de Kyoto) Convergencia económica

Planteamiento del problema Además, nuestro método se basa en clasificar las series por las distancias entre las DENSIDADES DE LAS PREDICCIONES, no sólo en la predicciones puntuales. Esto permite distinguir entre situaciones donde las predicciones puntuales son similares, pero las densidades completas proporcionan más información.

Metodología para clasificar series temporales PASO 1. Calcular las densidades de predicción PASO 2. Calcular la matriz de discrepancias entre las series (usando las densidades de predicción) PASO 3. Aplicar análisis cluster tradicional

Metodología para clasificar series temporales PASO 1. Calcular las densidades de predicción Si no asumimos ninguna distribución para los datos necesitamos usar métodos de remuestreo (“sieve bootstrap”) para calcular la densidad de predicción Con el bootstrap extraemos B valores de la distribución de la predicción en el momento específico del futuro que nos interesa Estimamos la densidad de la predicción aplicando métodos no paramétricos a los B valores bootstrap Se puede desarrollar una versión más sencilla de implementar asumiendo normalidad o basando la agrupación en predicciones puntuales

Metodología para clasificar series temporales Esquema del procedimiento BOOTSTRAP

Metodología para clasificar series temporales PASO 2. Calcular la matriz de discrepancias (D) Para cada par de series calculamos la distancia L2 entre las funciones de densidad de las predicciones Estimamos cada distancia con , que se calcula a partir de los estimadores no paramétricos de las densidades de predicción usando la muestra de predicciones bootstrap Hemos probado que es estimador consistente de Dij Hemos hecho unas simulaciones para comparar Dij y

Metodología para clasificar series temporales PASO 3. Aplicar análisis cluster tradicional La matriz de discrepancias obtenida se utiliza como input de un procedimiento cluster Los métodos jerárquicos se pueden ejecutar conociendo sólo la MATRIZ de DISCREPANCIAS, los que se basan en criterios de optimización no nos sirven

Metodología para clasificar series temporales Criterios para unir grupos en métodos jerárquicos Enlace sencillo (single linkage): unir por la distancia al individuo más cercano del grupo Enlace promedio (average linkage): unir por la media de las distancias a todos los individuos del grupo Enlace completo (complete linkage): unir por la distancia al individuo más alejado del grupo ...

Metodología para clasificar series temporales Dendograma Los clusters están representados mediante trazos horizontales y las etapas de la fusión mediante trazos verticales {1,2},3,{4,5} ¿Cuántos cluster hay? Tests formales, intuición (conocimiento del problema)

El caso de las emisiones de CO2 Protocolo de Kyoto Impone límites en las emisiones de CO2 y otros cinco gases, “responsables” del calentamiento global. Negociado en Kyoto en 1997, entra en vigor en 2005 con la ratificación de Rusia (cuando es aceptado por los países responsables del 55% de las emisiones a nivel mundial). El objetivo es reducir al menos un 5% (respecto de los niveles de 1990) antes de 2012, pero con objetivos distintos según regiones (UE 8%, Japón 6%) Aplicamos la técnica de CLUSTER PARA SERIES TEMPORALES para crear grupos de países con intereses comunes que puedan compartir experiencias o políticas para alcanzar las reducciones comprometidas

El caso de las emisiones de CO2 Protocolo de Kyoto - Emisiones de CO2 1960-1999 Toneladas per capita En 24 países industrializados

El caso de las emisiones de CO2 Basado en el dato de 1999 Basado en la predicción de 2012

El caso de las emisiones de CO2 Basado en el dato de 1999 Basado en la densidad de la predicción de 2012

El caso de las emisiones de CO2 Protocolo de Kyoto - ¿Cluster con el último dato o con las predicciones?

El caso de las emisiones de CO2 Protocolo de Kyoto - ¿Cluster con el último dato o con las predicciones?

Data source: Cuesta–Albertos and Fraiman (2006) Selección de variables en análisis cluster para identificar diferencias en las pautas de consumo eléctrico de los hogares Selección de variables para análisis cluster Ricardo Fraiman Universidad de San Andrés, Argentina Ana Justel Universidad Autónoma de Madrid Marcela Svarc Data source: Cuesta–Albertos and Fraiman (2006)

Consumo eléctrico en 88 hogares argentinos Se miden 96 variables: consumo de electricidad en intervalos de 15 minutos en un día – Datos funcionales Cuesta–Albertos y Fraiman (2006) encuentran dos clusters con un método k-medias para datos funcionales El primer cluster tiene 33 hogares, y el segundo 55

Objetivo Buscamos el subconjunto de variables más pequeño posible que explique las agrupaciones de los datos que hemos encontrado, o un porcentaje alto de ellas. Es habitual que el número de variables, que no debemos confundir con la cantidad de información, sea demasiado elevado. Aplicación Análisis exploratorio de datos. Ayuda a interpretar los cluster que se forman Reducir la dimensión. Para nuevos conjuntos de datos

Selección de variables Trataremos de eliminar variables “RUIDOSAS”, que son las no informativas y/o REDUNDANTES, que no aportan información que no este contenida en otras variables

“AFTER-CLUSTER” Método de selección de variables El método cluster es bueno Encontrar los grupos con un método cluster El método cluster genera una partición del espacio Seleccionar las variables “AFTER-CLUSTER” Método de selección de variables Proponemos un método:- consistente estadísticamente - no paramétrico - fácil de usar

Optimizing criteria K-medias Hierarchical clustering

SELECCIÓN DE VARIABLES “AFTER” CLUSTER Probamos a clasificar sólo con las variables de todos los subconjuntos posibles y elegimos el ÓPTIMO: más pequeño y que más explique Cuando se elimina la información de las variables “ruidosas”. Esperamos que NO CAMBIEN los clusters (los datos se quedan en la misma partición) La CLAVE está en tener en cuenta que la partición se define en el espacio de variables original, así que para reasignar los datos a los cluster no puedo eliminar variables aunque sean ruidosas EN LUGAR DE ELIMINAR VARIABLES DEBEMOS “DESACTIVARLAS”

Desactivar variables ruidosas Que una variable sea ruidosa significa que su DISTRIBUCIÓN DE PROBABILIDAD es la misma en todos los clusters Esto nos sugiere “cancelar” el efecto de una variable sustituyendo todos los valores que toma por la MEDIA

Resultados con datos simulados El método para seleccionar variables funciona muy bien para eliminar variables ruidosas, pero es incapaz de detectar variables con información redundante.

Ejemplo con datos simulados Data source: Tadesse, Sha and Vannucci (2005)

El mejor predictor de Xi basado en las variables del subconjunto Eliminar variables redundantes La extensión más natural es cambiar MEDIAS por MEDIAS CONDICIONALES El mejor predictor de Xi basado en las variables del subconjunto En la practica, calculamos la media condicional con una regresión no paramétrica que hace uso de la información local, de un número de VECINOS MÁS CERCANOS que tenemos que fijar También probamos que este método de selección de variables es consistente

Ejemplo con datos simulados Método basado en la media condicional Data source: Tadesse, Sha and Vannucci (2005)

El método basado en la MEDIA CONDICIONAL sirve para eliminar las variables “RUIDOSAS” y las REDUNDANTES, pero requiere Un tamaño muestral grande para calcular la esperanza condicionada Mucho esfuerzo computacional Elegir el número adecuado de vecinos más cercanos, que es un problema sin resolver El método basado en la MEDIA MARGINAL es más simple.

Consumo de electricidad – Datos funcionales 96 variables: consumo eléctrico en intervalos de 15 minutos en un día Un número demasiado elevado para calcular todas las posibles combinaciones Data source: Cuesta–Albertos and Fraiman (2006) Diseñamos un algoritmo de busqueda forward-backward para encontrar las “ventanas de tiempo” más relevantes para el procedimiento de cluster.

Consumo de electricidad – Datos funcionales Resultados con 100 permutaciones Para calcular la media condicionada, consideramos 5, 10 and 33 vecinos más cercanos Usar el algoritmo de la media condicionada, en lugar del de la media que es más rápido, significa reduccir del número de intervalos que caracterizan a los dos tipos de consumidores

Consumo de electricidad – Datos funcionales Resultados con 100 permutaciones La elección del número de vecinos más cercanos (NN) afecta al resultado (es un problema importante que resolver) Los resultados con 5-NN son bastante satisfactorios

Consumo de electricidad – Datos funcionales Madrugada (3:00 a 4:00) • Mañana (7:00 a 9:00) • Tarde (15:00 a 19:00) • Noche (21:00 a 24:00) Los intervalos no sombreados corresponden a las variables seleccionadas

Consumo de electricidad – Datos funcionales Madrugada (3:00 a 4:00) Data source: Cuesta–Albertos and Fraiman (2006) Mañana (7:00 a 9:00) Tarde (15:00 a 19:00) Noche (21:00 a 24:00)

Consumo de electricidad – Datos funcionales La información redundante, especialmente de tarde y noche, queda resumida con el algoritmo de la media condicional con 5-NN Cuando aceptamos algunos errores de clasificación, se reduce la eficiencia y deja de ser importante el comportamiento en la madrugada

Consumo de electricidad – Datos funcionales Se obtienen resultados similares para 10-NN y 33-NN

Concepto de tendencia para datos funcionales en el estudio de series de temperaturas en la región de la Península Antártica, aprovechando datos “defectuosos” y escasos Nociones de tendencia para series de datos funcionales: Aplicación al estudio del calentamiento global en la Antártida Ricardo Fraiman Universidad de San Andrés, Argentina Ana Justel Universidad Autónoma de Madrid Pamela Llop Universidad Nacional del Litoral, Argentina

Temperaturas registradas en la Base Antártica Española Juan Carlos I (BAE-JCI)

Temperaturas registradas en la Base Antártica Española Juan Carlos I (BAE-JCI)

Temperaturas registradas en la Base Antártica Española Juan Carlos I (BAE-JCI)

DATOS CON INTERPOLACIÓN “shape preserving”

DATOS CON INTERPOLACIÓN “shape preserving”

DATOS CON INTERPOLACIÓN “shape preserving”

Eliminadas (insuficientes datos) Season Percentage of observed data First observed data Last observed data 1987/1988 6.53 1864 2160 1988/1989 65.42 645 2158 1989/1990 71.11 230 2086 1990/1991 61.90 433 1991/1992 71.39 539 1992/1993 5.13 1243 2131 1993/1994 65.79 529 2040 1994/1995 59.03 143 1995/1996 69.91 87 1720 1996/1997 31.30 1478 1997/1998 84.40 185 2102 1998/1999 95.23 71 1999/2000 90.42 168 2000/2001 93.33 67 2001/2002 97.17 1 2002/2003 99.35 2003/2004 90.23 1976 2004/2005 92.08 14 2005/2006 100 2006/2007 Eliminadas (insuficientes datos) 1076 datos empleados cada año S = 17 T = 1076

Estadístico 1 de tendencia de funciones Se define como el vector de rangos medios en cada instante LSE linear trend

Estadístico 1 de tendencia de funciones Se define como el vector de rangos medios en cada instante Robust linear trend

Estadístico 1 de tendencia de funciones Se define como el vector de rangos medios en cada instante Non parametric trend

Estadístico 2 de tendencia de funciones Cada conjunto de barras corresponde a una curva y cuenta el número de veces a lo largo del tiempo en que el rango es 1, 2, …, 17

Estadístico 2 de tendencia de funciones Se define para cada curva se puede interpretar como un vector de “rango” de las curvas

Detección de cambios de variabilidad en series temporales para predecir indirectamente el momento en que se congela/descongela un lago antártico, y estimar el número de días con actividad biológica Dinámica del comportamiento de los lagos de la Antártida en tres años con diferentes condiciones climáticas Antonio Quesada1, Antonio Camacho2, Eduardo Fernández-Valiente1, Carlos Rochera2, Ana Justel1, Manuel Toro3, Eugenio Rico1, Manuel Bañón4 1Universidad Autónoma de Madrid 2Universidad de Valencia 3CEDEX, Ministerio de Fomento 4Instituto Nacional de Meteorología

Con los datos de la temperatura del agua, una serie de la que ya tenemos cinco años de historia, estimamos indirectamente cuándo se congelan los lagos en la Península Byers (Islas Shetland del Sur, Antártida) Esta variable es muy importante porque determina el tiempo que dura el ciclo de actividad biológica Nunca hemos estado allí para verlo BUSCAMOS EL MOMENTO EN EL QUE SE PRODUCE EL CAMBIO EN LA VARIABILIDAD DE LAS TEMPERATURAS DEL AGUA COMO INDICADOR DE LA CONGELACIÓN Incluso este método indirecto presenta muchos problemas, la falta de energía durante algún invierno provocó fallos en los registros, la serie está llena de datos “missing” y atípicos

Lago LIMNOPOLAR

Batimetría del Lago LIMNOPOLAR Superficie estimada 22.172,5 m2 Volumen estimado 58.577,81 m3 Profundidad media estimada 2,64 m. Profundidad máxima estimada 5,45 m

Cuando el lago está congelado se estima un incremento del 121% con respecto al volumen normal del lago

Lake Year Thaw date Freeze date Ice-free days Limnopolar 2002 Dec 22, 2001 Mar 26, 2002 95 Somero Mar 27, 2002 96 2003 Jan 20, 2003 Apr 10, 2003 Mar 7, 2003 Apr 28, 2003 66 2004 Feb 11, 2004 Mar 23, 2004 41

Estimación robusta de parámetros relacionados con la presencia de especies como bioindicadores Utilización del fitoplacton como indicador biológico para la evaluación de la eutrofización en los embalses españoles Carlos Nuño CEDEX, Ministerio de Fomento Caridad Hoyos Ana Justel Universidad Autónoma de Madrid

Óptimos y rangos de tolerancia de especies fitoplactónicas UTILIZACIÓN DEL FITOPLACTON COMO INDICADOR BIOLÓGICO PARA LA EVALUACIÓN DE LA EUTROFIZACIÓN EN LOS EMBALSES ESPAÑOLES C. NUÑO, C. DE HOYOS, A. JUSTEL Óptimos y rangos de tolerancia de especies fitoplactónicas

u k = óptimo de la especie k t k = tolerancia de la especie k Yik = abundancia de la especie k en la muestra i X i = magnitud de la variable ambiental estudiada en la muestra i

Óptimos y rangos de tolerancia de especies fitoplactónicas UTILIZACIÓN DEL FITOPLACTON COMO INDICADOR BIOLÓGICO PARA LA EVALUACIÓN DE LA EUTROFIZACIÓN EN LOS EMBALSES ESPAÑOLES C. NUÑO, C. DE HOYOS, A. JUSTEL Óptimos y rangos de tolerancia de especies fitoplactónicas En la mayor parte de los casos la barra de error y el box-plot dan el mismo resultado Algunas especies no son consideradas indicadoras debido al amplio rango de tolerancia (barra de error) Si utilizamos la mediana y el rango intercuartílico pasan a ser especies indicadoras ¿ Box-plot o barra de error ?

Estimación robusta de parámetros relacionados con la presencia de especies como bioindicadores Medición del impacto de la actividad humana en los suelos de una Zona Especialmente Protegida de la Antártida Pablo Tejedo1, Ana Justel2, Eugenio Rico1, Javier Benayas1, Antonio Quesada3 1Departamento de Ecología, UAM 2Departamento de Matemáticas, UAM 3Departamento de Biología, UAM

Estudio del impacto de los investigadores de la expedición LIMNOPOLAR Lugar: Península Byers, SPA Nº. 126, Livingston Island, Archipiélago South Shetland. Antártida El principal objetivo es contrastar la efectividad de las recomendaciones que hace el SCAR para minimizar el impacto ambiental que causan las expediciones científicas Modelo para la gestión de los campamentos o del turismo que aumenta cada año a un ritmo exponencial

Indicadores de impacto I1- ABUNDANCIA DE FAUNA EDÁFICA I2 - RESISTENCIA A LA COMPACTACIÓN I3 - DENSIDAD APARENTE Relacionan el nivel de uso de un sendero (estimado en pisadas) con su degradación física y biológica La efectividad de los indicadores se prueba en dos zonas experimentales de suelo no pisado, bajo condiciones controladas. Las medidas obtenidas con diferentes intensidades de uso muestran la evolución de los indicadores en función del número de pisadas.

Indicadores de impacto Los tres indicadores muestran que el impacto siempre crece cuando aumenta el número de pisadas

Indicadores de impacto Los tres indicadores muestran que el impacto siempre crece cuando aumenta el número de pisadas El indicador de fauna edáfica es susceptible de sufrir los efectos de una distribución patching de las especies

Indicadores de impacto Los tres indicadores muestran que el impacto siempre crece cuando aumenta el número de pisadas El indicador de fauna edáfica es susceptible de sufrir los efectos de una distribución patching de las especies Existe una alta correlación entre las medidas de densidad aparente y resistencia a la compactación. La densidad aparente no proporciona información relevante que no proporcione la resistencia a la compactación, mucho más sencilla de medir

No hay diferencias significativas ANOVA p-valor < 0,0001 No hay diferencias significativas La presencia de los investigadores supone un impacto estadísticamente significativo sobre los frágiles suelos antárticos, aunque la alteración no es estadísticamente apreciable con un uso ocasional de nivel 2

El impacto y la capacidad de recuperación a corto plazo (del suelo depende del nivel de uso al que haya sido sometido el sendero. Los cambios en la capa activa del permafrost pueden influir en la regeneración

Muchas gracias Agradecimiento a mis coautores Andrés Alonso Manuel Bañón Javier Benayas José Ramón Berrendero Antonio Camacho Eduardo Ferdz-Valiente Ricardo Fraiman Adolfo Hernández Caridad Hoyos Pamela Llop Carlos Nuño Antonio Quesada Eugenio Rico Carlos Rochera Marcela Svarc Pablo Tejedo Manuel Toro Muchas gracias