Support Vector Machines.  Vocabulario básico: ◦ Repositorio de datos ◦ Atributos y Instancias ◦ Aprendizaje supervisado  Clasificación (Clase) ◦ Aprendizaje.

Presentación del tema: "Support Vector Machines.  Vocabulario básico: ◦ Repositorio de datos ◦ Atributos y Instancias ◦ Aprendizaje supervisado  Clasificación (Clase) ◦ Aprendizaje."— Transcripción de la presentación:

1 Support Vector Machines

2  Vocabulario básico: ◦ Repositorio de datos ◦ Atributos y Instancias ◦ Aprendizaje supervisado  Clasificación (Clase) ◦ Aprendizaje no supervisado  Agrupación (Clustering)  Asociación (relaciones entre atributos) ◦ KDD y Data Mining

3  Introducción  Marco Teórico  Extensiones  Ejemplos  Conclusiones

4  Introducción  Marco Teórico  Extensiones  Ejemplos  Conclusiones

5  Desarrolladas por Vapnik en los laboratorios AT&T (90s)  Sólidas bases teóricas: teoría VC, que caracteriza las propiedades del aprendizaje automático (60s)  Inicialmente desarrolladas para clasificación (aplicación práctica original: reconocimiento óptico de caracteres, OCR)

6  Introducción  Marco Teórico  Extensiones  Ejemplos  Conclusiones

7

8

9  Dado el espacio H en el que hay definido un producto escalar se define un hiperplano en el mismo  Se construye un clasificador basado en la función de decisión

10  Entre todos los posibles se escoge aquel tenga distancia mínima de unidad a los puntos de entrenamiento  Es un problema de optimización con restricciones, que se puede resolver mediante el método de los multiplicadores de Lagrange.

11  No tenemos por que calcular w explícitamente, el clasificador puede construirse como:  El problema depende únicamente del producto escalar entre los puntos de entrenamiento en el espacio de características H

12  El hiperplano queda definido por un subconjunto de los vectores de entrenamiento, los Vectores de Soporte (SV), que son aquellos con α > 0.

13

14  Introducción  Marco Teórico  Extensiones  Ejemplos  Conclusiones

15  Con el clasificador hiperplanar se trabaja en exclusiva con productos escalares sobre el espacio de características, si se hace la sustitución (kernel trick):  Se puede suponer que la función k encierra tanto un producto escalar como una traslación de los vectores (Φ-image) a un nuevo espacio de características, tal vez de mayor dimensionalidad que el original.

16 Φ’’ Φ’Φ’ Φ’’’

17

18

19

20

21

22  Modificación de la función objetivo de SVC.  One Vs Rest. M clases, se obtienen M clasificadores que distinguen una clase de las demás.  Pairwise Classification. Un clasificador por cada par de clases, M clases implican (M- 1)M/2 clasificadores.

23  Error-Correcting Output Coding. Se basa en dividir el conjunto de clases en grupos que se clasifican, con una adecuada partición se puede llegar a determinar la clase.  SVM-Tree.

24  En la práctica, puede no haber hiperplano separador (ej.: consecuencia del ruido)  Se tolera una cierta cantidad de clasificación errónea, es decir, de ejemplos mal clasificados mediante 'variables de holgura' (slack variables, ξ)

25  Hay dos tipos: ◦ C-SVM donde C (0,∞) representa el compromiso (trade-off) entre maximización del margen y minimización del error de entrenamiento. ◦ V-SVM donde ν (0,1] es tanto proporcional a la fracción de errores como de vectores de soporte  Se ha demostrado que ambos tipos de clasificadores son equivalentes.

26

27  Introducción  Marco Teórico  Extensiones  Ejemplos  Conclusiones

28 Kernel lineal  Vectores de Soporte= 256  error medio= 0.5  C=100000

29 Kernel Gaussiano  Vectores de soporte = 210  error medio = 0.002  C = 1

30 Kernel polinomial  Vectores de soporte = 13  error medio = 0  C = 1

31 Kernel Gaussiano  Vectores de soporte = 433  error medio = 0.05  C = 1

32 Kernel polinomial  Vectores de soporte = 665  error medio = 0.09  C = 1

33 Kernel polinomial  Vectores de soporte = 14  error medio = 0  C = 1

34 Kernel Gaussiano  Vectores de soporte = 140  error medio = 0.02  C = 1

35  Introducción  Marco Teórico  Extensiones  Hiperplano de marco relajado  Ejemplos  Conclusiones

36  La elección del kernel, incluyendo el valor de sus parámetros,para un problema es crítica para el rendimiento del método  También es crítica la adecuada elección del parámetro C (o ν su caso)  De ahí se deduce que aunque el método se vende como convexo, sólo lo es para un kernel fijado, sus parámetros y parámetro del SVC (sea C-SVC o ν-SVC)

37  Incorporación de selección de características en el algoritmo (p.e.: “Bayesian approach to SVM”) o mediante filtros  Sistematización de selección y creación de kernels para un problema dado  Optimización de parámetros automática (C, ν, y específicos del kernel)

38  Mejora de rendimiento: algoritmos de aproximación para ciertos cálculos, heurísticas (cacheado de resultados, descarte de ejemplos, etc...)  Aprendizaje “on line” de SVMs

39  Teoría VC: desarrollada por Vapnik y Chervonenkis, su concepto más conocido es el de dimensión VC  Dimensión VC: para una función de clasificación da su capacidad máxima de discriminación. Su interés radica en que a partir de ésta se puede evaluar una cota al error esperado de un clasificador

40  Margen de clasificador hiperplanar: ancho de separación entre cualquier punto de entrenamiento y el hiperplano  Vector de soporte (Support Vector, SV): puntos de entrenamiento con α > 0, únicos influyentes en el hiperplano solución  Kernel trick: sustitución del producto escalar en la formulación del clasificador hiperplanar por una función kernel que lo generaliza a problemas no lineales

41  V. Vapnik and A. Chervonenkis, Theory of Pattern Recognition, Nauka, Moscow, 1974.  N. Cristianini and J. Shawe-Taylor, An Introduction to Support Vector Machines, Cambridge University Press, Cambridge, 2000.  J. Shawe-Taylor and N. Cristianini, Kernel Methods for Pattern Analysis, Cambridge University Press, Cambridge, 2004.