Multiclasificadores para minería de datos Cèsar Ferri 1 1 Dep. de Sistemes Informàtics i Computació,Universitat Politècnica de València,València, Spain Reunión red minería de datos Madrid 2004

2 Métodos Multiclasificadores zMétodos que construyen un conjunto de hipótesis y entonces combinan las predicciones del conjunto.

3 Métodos Multiclasificadores zLa precisión obtenida por esta combinación de hipótesis supera, generalmente, la precisión de cada componente individual del conjunto. ySubsana el problema del sobreajuste de los datos de entrenamiento. yCombinar hipótesis puede verse también como un incremento en el poder expresivo del lenguaje de representación.

4 Métodos Multiclasificadores zLa calidad del modelo combinado depende en alto grado de la precisión y diversidad de los componentes del conjunto dado un conjunto de clasificadores {h 1, h 2, h 3 } y un nuevo dato x w h 1  h 2  h 3 si h 1 (x) es incorrecto, h 2 (x) y h 3 (x) también lo serán w h 1  h 2  h 3 si h 1 (x) es incorrecto, h 2 (x) y h 3 (x) pueden ser correctos

5 Métodos Multiclasificadores z Los dos puntos clave que afectan la calidad final de un modelo multiclasificador son principalmente: yLa construcción de modelos lo suficientemente diferentes y precisos. yLa forma de combinación de los modelos.

6 Métodos ensemble zEstos métodos construyen un conjunto de hipótesis utilizando una sola técnica de aprendizaje.

7 Métodos híbridos zTécnicas de aprendizaje formadas por partes de otras técnicas de aprendizaje básicas

8 Métodos de construcción de métodos ensemble z Dietterich ha establecido una taxonomía de métodos de construcción de conjuntos de clasificadores o regresores: yManipulación de los datos de entrenamiento yManipulación de los atributos de entrada yManipulación de los datos de salida yMétodos aleatorios

9 Problemas de los métodos multiclasificadores zAlto consumo de recursos para entrenar el conjunto de modelos zNecesidad de almacenar todos los modelos del conjunto zIncremento considerable del tiempo de respuesta (throughput) zPérdida de la comprensiblidad del modelo

10 Algunas soluciones zPodar el ensemble yMiniboosting (Quinlan) yPruning Adaptative Boosting (Margineantu & Dietterich) zUtilización de estructuras que compartan las partes comunes entre los modelos (multi- árboles)

11 Extracción de reglas comprensibles zMétodo Combined Multipled Models (Domingos 1997)

12 Delegating Classifiers z(Ferri, Flach, Hernández 2004)