Enric Aguilar Center for Climate Change, C3 URV de Tarragona, España.

Presentación del tema: "Enric Aguilar Center for Climate Change, C3 URV de Tarragona, España."— Transcripción de la presentación:

1 Enric Aguilar Center for Climate Change, C3 URV de Tarragona, España.
QUICKQC Enric Aguilar Center for Climate Change, C3 URV de Tarragona, España.

2 ÍNDICE CONCEPTO PRUEBAS INCLUÍDAS EJECUCIÓN

3 CONCEPTO QUICKQC.R és un software en desarrollo para control de calidad de redes de series climáticas en formato R-Climdex. Dado un conjunto de estaciones ejecuta una serie de tests de control de calidad y etiqueta aquellos valores que no pasan el control de calidad, creando una nueva versión de los datos QUICKQC.R nos ahorra tiempo por dos razones: toma una serie de decisiones por nosotros, siempre que las mismas sean seguras Realiza secuencialmente el control de calidad de todas las estaciones de la red con tan solo una llamada de comando desde el prompt de R QUICKQC.R nos ofrece sendas salidas gráficas y de texto para comprobar la caliad de las decisiones tomadas. Los valores que no pasan el QC se etiquetan a para no confundir con valores perdidos originales.

4 PRUEBAS INCLUÍDAS (GENERALES)
Limpieza de fichero: elimina registros en los que los valores de las tres variables son valores perdidos. No es estrictamente necesario, pero facilita un análisis más confortable. Detección de duplicados: busca fechas duplicadas. En caso que los valores de temperatura y precipitación estén también duplicados, elimina la duplicación. En caso contrario, vuelca en el fichero de resultados del QC el valor para posterior análisis Limpieza de caracteres: elimina los valores tipo carácter que existan. Si se trata de comas, las sustituye por puntos Años malos: inspecciona la presencia de valores de año incorrecto. Si existe una decisión segura (i.e 960  1960) la toma).

5 EJECUCIÓN Guardar el fichero quickqc.R en el directorio en el que se encuentra nuestra red de datos diarios en formato Rclimdex y nuestro fichero de estaciones Entrar en R y cargar el código: source(‘quickqc.R’) Instalar los paquests fitdistrplus y evd : el código es capaz de hacerlo por sí mismo, pero ante Ejecutar la función principal : iterate(‘nombredemificherodeestationes.txt’) Esperar a que el código finalice. SALIDA: sinker.txt ; output_tables.pdf

6 PRUEBAS INCLUÍDAS (TEMPERATURA)
TX = 0 y TN = 0 : no pasan el QC (-88.8) TX < TN : se intenta estimar si una de ellas es correcta; si se puede determinar, la otra es convertida a valor perdido; si no se puede determinar, ambas son convertidas a valor perdido. Demasiados iguales en un mes: si existen más de x valores iguales de TX, TN, en un mes, no pasan el QC Valores imposibles de TX, TN: no pasan el QC (configurable) Outliers a partir de diagrama de caja (no acción, sólo etiquetado) Continuidad de la distribución empírica de temperatura (ver siguiente diapositiva)

7 PRUEBAS INCLUÍDAS (II). CONTINUIDAD
Supongamos que el récord válido de temperatura en una serie es de 30.5 ºC De superarse durante una ola de calor, ¿qué valor parece legítimo como nuevo récord? 30.8 35.8 40.3 Obviamente, la respuesta correcta es 30.8; el segundo valor nos deja alguna duda, el tercero es evidentemente erróneo. El test de continuidad de la distribución empírica se basa en esta premisa.

8 PRUEBAS INCLUÍDAS (II). CONTINUIDAD
Supongamos que el récord válido de temperatura en una serie es de 30.5 ºC De superarse durante una ola de calor, ¿qué valor parece legítimo como nuevo récord? 30.8 35.8 40.3

9 PRUEBAS INCLUÍDAS (III). CONTINUIDAD
Distribución empírica con error Distribución empírica corregida (error cambiado a -88.8)

10 PRUEBAS INCLUÍDAS (PRECIPITACIÓN)
Outliers a partir de periodos de retorno de 500 años de la distribución de pareto  convertidos a -88.8 Precipitación acumulada (valor grande precedido de muchos ceros) Valores imposibles Rachas demasiado largas sin/con precipitación

11 iterate (statfile='stations
iterate (statfile='stations.txt',sinker=1,outpdf=1,pcup=1000,txup=60,txlow=-10, tnup=35,tnlow=-40,rantx=5,rantn=5,jumpmax = 20,retorno=500,cadena=500,acumsuspect=200,tolerados=10) # statfile: fichero de estaciones. Debe ser local. # sinker: controla el output de texto. Si sinker = 1, sale a un fichero, de lo contrario, pantalla # outpdf: controla el output de gráficos. Si outpdf = 1, sale a un fichero, de lo contrario a pantatlla # NOTA: solo se recomienda que sinker y outpdf sean distintos de 1 si estamos usando knitr. # pcup: valor máximo permitido de precip acumulada diaria. Por encima, convertido a # txup: idem para tx # tnup: idem para tn # txlow: valor mínimo permitido para tx; por debajo se resetea a # tnlow: idem para tn # rantx : número de IQRs por encima/debajo de p75/25 para determinar outliers de tx # rantn: ídem tn # retorno: periodo de retorno para la distro de pareto # cadena: número máximo de días secos/húmedos permitidos # acumsuspect: valor de precipitación a partir del cual sospechar de precipitación acumulada # tolerados: número de ceros tolerados para declarar el sospechoso como acumulado. # maxjump: valor máximo tolerado de la diferencia interdiaria