“REAL ADABOOST” CON FUSIÓN CONTROLADA POR PUERTA (GCF-RAB) Aníbal R. Figueiras-Vidal G2PI-DTSC-UCIIIM 1

ÍNDICE 1. DECISIÓN MÁQUINA 2. CONJUNTOS 3. COMITÉS 4. BOOSTING 5. GCF-RAB 6. DISEÑOS CONSIDERADOS 7. RESULTADOS 8. LÍNEAS DE TRABAJO - 1 - 2

1. DECISION MÁQUINA Máquina: información (supervisión) H0 × Hi × . H I × Fw(x) Dj x H M + Máquina: información (supervisión) (semisupervisión) Propósitos: explicativo (Occam) predictivo (“No free lunch”) -2- 3 3

2. CONJUNTOS (Occam vs. Epicuro) Ventajas:  potencia expresiva a menor coste de diseño  eventualmente, mejor interpretabilidad Familias:  comités : aprendices y fusión separados  cooperativos : aprendices y fusión simultáneos  “boosting” (y NCL)  MoE -3- 4

3. COMITÉS Aprendices: “diversidad”  arquitectura  aprendizaje: datos variables inicialización algoritmo . . . (extremo: expertos regionales) (también diseños cooperativos) Fusión: fija (promedio) / entrenable (comb. lineal) global (anteriores) / local (mayoría; puerta) . . . Ejs. importantes:  “bagging” (aprendices con “booststrap”) (“wagging”, etc.)  RF (variables y datos) (se basan en aprendices inestables) (RF: pierden inteligibilidad; paralelas a Inteligencia Colectiva… ¡mal pensada!) (fusión puerta) -4- 5

4. BOOSTING (1) A. AdaBoost Aprendices: decisores débiles y duros Combinación lineal: Objetivo: y se diseña aprendiz a aprendiz: -5- 6 6

4. BOOSTING (2) Minimizando -6- 7 7 7

4. BOOSTING (3) Algoritmo AdaBoost 1. 2. 2.1. 2.2. a. b. Condición de parada: 4. 5. Vuelta a 2 -7- 8 8 8 8

4. BOOSTING (4) Esquema -8- 9 9 9 9

4. BOOSTING (5) B. Real AdaBoost Aprendices: decisores débiles y blandos Combinación lineal: Se minimiza la cota superior del coste exponencial -9- 10 10

4. BOOSTING (6) Resultan:  para , ha de minimizarse admitiendo : parámetro de separación o corte (“edge”)  tras ello, queda y anulando la derivada -10- 11 11 11

4. BOOSTING (7) Algoritmo Real AdaBoost 1. 2. Para 2.1. 2.2. a. b. 3. Condición de parada 4. 5. Vuelta a 2 -11- 12 12 12

4. BOOSTING (8) Casi nunca sobreajusta; explicaciones  por trabajar con  Breiman: por construir con aprendices blandos y énfasis Cuando sobreajusta: por énfasis excesivo sobre muestras imposibles  arreglarlo: selección de muestras regularización énfasis mixtos . . .  alternativa: fusión local (“débil”) -12- 13 13 13

5. GCF-RAB (1) Idea siendo una capa de RBF; p.ej., gaussianas dados Entrenamiento (tipo “arcing”) , de forma convencional (min error cuadrático muestral enfatizado) , por gradiente sobre usando -13- 14

5. GCF-RAB (2) reuniendo expresiones y se toma ; con lo que se tiene -14- 15

5. GCF-RAB (3) Arquitectura -15- 16

6. DISEÑOS CONSIDERADOS (1) A. Selección de centroides También Shin-Cho + Hwang-Bang A.1. Preselección (S-C) y proximidad a la frontera: corrección: Se preseleccionan las muestras con y Se explora A.2. Selección (APC-III H-B) muestra de mayor excluir muestras en una hiperesfera de radio iterar hasta que no queden muestras -16- 17

6. DISEÑOS CONSIDERADOS (2) (promedio de distancias mínimas) 1. ( (no. nodos aprendices MLP)) 2. : agrupamiento en torno a # : no. de muestras -17-

7. RESULTADOS EXPERIMENTALES (50 X 5-fold) RAB GCF-RAB 1 GCF-RAB 2 ab 19.4±0.02 19.3±0.3 19.1±0.3 br 2.6±0.4 2.3±0.4 2.2±0.3 co 29.0±0.2 28.1±0.8 27.4±0.8 cr 2.5±0.0 he 8.9±1.8 8.4±1.8 8.1±1.9 io 4.5±0.9 4.2±1.7 4.0±1.0 kw 11.7±0.01 11.7±0.1 11.7±0.2 ri 9.7±0.01 8.6±0.3 8.5±0.2 (carga en operación: órdenes similares, si se utilizan LUTs) -18- 19

8. LÍNEAS DE TRABAJO Mejores métodos de selección de centroides (también paso a paso) Inclusión de énfasis generalizados Otras puertas (complementarias: aprendices locales + fusión global)  Extensiones a otros métodos constructivos (NCL, etc.) -19- 20