BOOSTING REGRESSION TREES CON STATISTICA TÉCNICAS AVANZADAS DE REGRESIÓN EN CIENCIAS NATURALES Y SU APLICACIÓN CON R Luis M. Carrascal & Javier Seoane Elegimos: Classification Analysis cuando la variable respuesta es nominal. Regression Analysis cuando la variable respuesta es continua.

Podemos elegir variables predictoras categóricas o continuas

Elegimos algunos parámetros Number of additive terms: número máximo de árboles que se realizarán. Dentro de esa serie, se eligirá el número óptimo de árboles. Random test data proportion: proporción (tanto por uno) de las unidades muestrales originales que no serán utilizadas para contruir el modelo; se emplearán para su validación. Las muestras se extraen utilizando un procedimiento azaroso identificado en Seed for random number generator.

Elegimos algunos parámetros … Stopping parameters: Minimum n of cases en los nodos antes de generar un criterio de ramificación Minimum n in child node en las puntas terminales del árbol

Elegimos algunos parámetros … Maximum n of levels indica la profundidad máxima del árbol que permitimos al dejarle crecer. Maximum n of nodes indica el máximo número de nodos+puntas que puede llegar a alcanzar el árbol

Árbol con n of levels = 5 Árbol con Maximum n of nodes = 13 En otras ocasiones la ‘tree complexity” se mide como el número de ramificaciones (en este caso = 6). Maximum n of nodes = 2·# ramificaciones + 1

Elegimos algunos parámetros … Learning rate: mide la tasa de aprendizaje del proceso ‘boosting’ considerando los residuos de los árboles de regresión previamente efectuados

Efecto de la ‘learning rate’

Para más detalles sobre el efecto de ‘learning rate’ consultad:

Secuencia de árboles Varianza de los residuos de la muestra * análisis (train) * test Importancia de las variables predictoras (¡OJO! en la muestra de “análisis”) RESULTADOS

Para obtener los valores * observados * predichos * residuales De las muestras * Analysis * Test * Todas Para obtener el ‘normal probability plot’ de los residuos PREDICCIONES

Una vez obtenida la hoja de los valores predichos y observados, damos ‘clic’ con el botón derecho del ratón en el nombre del documento ( ) y a continuación seleccionamos ‘Use as Active Input’

Relación entre valores predichos y observados (… gráficamente)

Si hacemos varios procesos de ‘boosting trees’ con diferentes extracciones al azar de datos (Seed for random number generator) podemos promediar los valores predichos por diferentes procesos ‘boosting trees’. Este es un modo mucho más eficaz de producir predicciones más atinadas. De entrada, los ‘boosting trees’ producen mejores predicciones que un árbol clásico de regresión crosvalidado. De salida, el promedio de 10 procesos ‘boosting trees’ genera una R 2 observado-predicho bastante mejor que un solo proceso ‘boosting tree’. Y si no … he aquí la prueba.

RESULTADOS DEL PROMEDIO DE 10 PROCESOS ‘BOOSTING TREES’

… COMPARADO CON: