Descargar la presentación
La descarga está en progreso. Por favor, espere
Publicada porPeppi Ciervo Modificado hace 10 años
1
“REAL ADABOOST” CON FUSIÓN CONTROLADA POR PUERTA (GCF-RAB)
Aníbal R. Figueiras-Vidal G2PI-DTSC-UCIIIM 1
2
ÍNDICE 1. DECISIÓN MÁQUINA 2. CONJUNTOS 3. COMITÉS 4. BOOSTING
5. GCF-RAB 6. DISEÑOS CONSIDERADOS 7. RESULTADOS 8. LÍNEAS DE TRABAJO - 1 - 2
3
1. DECISION MÁQUINA Máquina: información (supervisión)
H0 × Hi × . H I × Fw(x) Dj x H M + Máquina: información (supervisión) (semisupervisión) Propósitos: explicativo (Occam) predictivo (“No free lunch”) -2- 3 3
4
2. CONJUNTOS (Occam vs. Epicuro)
Ventajas: potencia expresiva a menor coste de diseño eventualmente, mejor interpretabilidad Familias: comités : aprendices y fusión separados cooperativos : aprendices y fusión simultáneos “boosting” (y NCL) MoE -3- 4
5
3. COMITÉS Aprendices: “diversidad” arquitectura
aprendizaje: datos variables inicialización algoritmo . . . (extremo: expertos regionales) (también diseños cooperativos) Fusión: fija (promedio) / entrenable (comb. lineal) global (anteriores) / local (mayoría; puerta) . . . Ejs. importantes: “bagging” (aprendices con “booststrap”) (“wagging”, etc.) RF (variables y datos) (se basan en aprendices inestables) (RF: pierden inteligibilidad; paralelas a Inteligencia Colectiva… ¡mal pensada!) (fusión puerta) -4- 5
6
4. BOOSTING (1) A. AdaBoost Aprendices: decisores débiles y duros
Combinación lineal: Objetivo: y se diseña aprendiz a aprendiz: -5- 6 6
7
4. BOOSTING (2) Minimizando -6- 7 7 7
8
4. BOOSTING (3) Algoritmo AdaBoost 1. 2. 2.1. 2.2. a. b.
Condición de parada: 4. 5. Vuelta a 2 -7- 8 8 8 8
9
4. BOOSTING (4) Esquema -8- 9 9 9 9
10
4. BOOSTING (5) B. Real AdaBoost
Aprendices: decisores débiles y blandos Combinación lineal: Se minimiza la cota superior del coste exponencial -9- 10 10
11
4. BOOSTING (6) Resultan: para , ha de minimizarse admitiendo
: parámetro de separación o corte (“edge”) tras ello, queda y anulando la derivada -10- 11 11 11
12
4. BOOSTING (7) Algoritmo Real AdaBoost 1. 2. Para 2.1. 2.2. a. b.
3. Condición de parada 4. 5. Vuelta a 2 -11- 12 12 12
13
4. BOOSTING (8) Casi nunca sobreajusta; explicaciones
por trabajar con Breiman: por construir con aprendices blandos y énfasis Cuando sobreajusta: por énfasis excesivo sobre muestras imposibles arreglarlo: selección de muestras regularización énfasis mixtos . . . alternativa: fusión local (“débil”) -12- 13 13 13
14
5. GCF-RAB (1) Idea siendo una capa de RBF; p.ej., gaussianas dados
Entrenamiento (tipo “arcing”) , de forma convencional (min error cuadrático muestral enfatizado) , por gradiente sobre usando -13- 14
15
5. GCF-RAB (2) reuniendo expresiones y se toma ; con lo que se tiene
-14- 15
16
5. GCF-RAB (3) Arquitectura -15- 16
17
6. DISEÑOS CONSIDERADOS (1)
A. Selección de centroides También Shin-Cho + Hwang-Bang A.1. Preselección (S-C) y proximidad a la frontera: corrección: Se preseleccionan las muestras con y Se explora A.2. Selección (APC-III H-B) muestra de mayor excluir muestras en una hiperesfera de radio iterar hasta que no queden muestras -16- 17
18
6. DISEÑOS CONSIDERADOS (2)
(promedio de distancias mínimas) 1. ( (no. nodos aprendices MLP)) 2. : agrupamiento en torno a # : no. de muestras -17-
19
7. RESULTADOS EXPERIMENTALES
(50 X 5-fold) RAB GCF-RAB 1 GCF-RAB 2 ab 19.4±0.02 19.3±0.3 19.1±0.3 br 2.6±0.4 2.3±0.4 2.2±0.3 co 29.0±0.2 28.1±0.8 27.4±0.8 cr 2.5±0.0 he 8.9±1.8 8.4±1.8 8.1±1.9 io 4.5±0.9 4.2±1.7 4.0±1.0 kw 11.7±0.01 11.7±0.1 11.7±0.2 ri 9.7±0.01 8.6±0.3 8.5±0.2 (carga en operación: órdenes similares, si se utilizan LUTs) -18- 19
20
8. LÍNEAS DE TRABAJO Mejores métodos de selección de centroides
(también paso a paso) Inclusión de énfasis generalizados Otras puertas (complementarias: aprendices locales + fusión global) Extensiones a otros métodos constructivos (NCL, etc.) -19- 20
Presentaciones similares
© 2024 SlidePlayer.es Inc.
All rights reserved.