deds Funciones kernel en espacios discretos. Aplicación a la evaluación del riesgo de crédito* La tesi que presentem a continuacio titulada: “Estructures matemátiques per al model qualitatiu d’ordres de magnitud absoluts”, es troba situada dins del marc del que es coneix com a formalismes matemàtics per al raonament qualitatiu. Comencem l’exposició donant una visió global dels objectius d’aquest treball. Núria Agell ESADE-URL Mónica Sánchez MA2-UPC GREC- Grup de Recerca en Enginyeria del Coneixement * Proyecto MERITO: TIC2002-04371-C02/01 aaade

INDICE Introducción Trabajos relacionados Kernels discretos deds INDICE Introducción Trabajos relacionados Kernels discretos Aplicación a un problema financiero Conclusiones y problemas abiertos Tot i que el treball que presentem en la memòria està estructurat en sis capítols, els seus continguts es poden agrupar en tres eixos principals. En primer lloc el que anomenem construcció del model en el qual es defineix el model qualitatiu en el que es basa el treball. En aquesta primera part es recullen els antecedents del tema i també s’afageixen resultats nous. RED MINERÍA DE DATOS Y APRENDIZAJE Madrid, Mayo 2004 aaade

1. Introducción Planteamiento: Aplicación: deds 1. Introducción Planteamiento: Diseño de máquinas con aprendizaje, máquinas de soporte vectorial SVM, útiles para trabajar en problemas en los que aparecen datos no numéricos. Construcción de Kernels sobre estructuras discretas. Aplicación: Problemas en los que las variables están descritas cualitativamente por sus órdenes de magnitud. Evaluación del riesgo financiero de crédito (Proyecto MERITO). RED MINERÍA DE DATOS Y APRENDIZAJE Madrid, Mayo 2004 aaade

2. Trabajos relacionados deds 2. Trabajos relacionados Watkins, C et al.(1999): Clasificación de textos Smola, A. J. et al. (1997): Predicción de series temporales Brown, M et al. (1999): Bioinformática (genética) Müller, K. R. et al. (2001): Reconocimiento de cadenas de ADN Haussler, D. et al. (1999): Detección de homologías entre proteinas Angulo, C (2001): SVM en problemas de multi-clasificación Cristianini, N et al. (2000): Construcción de Kernels RED MINERÍA DE DATOS Y APRENDIZAJE Madrid, Mayo 2004 aaade

Las funciones kernel y el espacio de características deds 3. Kernels discretos Las funciones kernel y el espacio de características 1. Datos numéricos: los datos se proyectan en el espacio de características donde serán linealmente separables (Vapnik 1995) No linealmente separables X1 X4 X2 X11 X5 X8 X14 X18 X7 X9 X17 X10 X3 X13 X6 X16 X19 X12 y5 y2 y14 y15 y6 y8 y10 y11 y4 y3 y7 y9 y13 X15 y16 y12 K RED MINERÍA DE DATOS Y APRENDIZAJE Madrid, Mayo 2004 aaade

Las funciones kernel y el espacio de características deds Las funciones kernel y el espacio de características 2. Datos no numéricos: variables descritas en un espacio discreto ( sin estructura euclídea)  ( ) ( ) A Rn K K producto escalar usual en Rn K kernel existente RED MINERÍA DE DATOS Y APRENDIZAJE Madrid, Mayo 2004 aaade

Dos maneras de construir Kernels en estructuras discretas Directamente kernel apropiado A partir de una función característica y kernels usuales. RED MINERÍA DE DATOS Y APRENDIZAJE Madrid, Mayo 2004

4. Aplicación a un problema financiero: predicción del riesgo de crédito El RATING es una valoración cualificada sobre el riesgo de una emisión de una empresa que refleja la probabilidad de impago del emisor Variables cuantitativas Ratios financieros Variables cualitativas Sector País Variables iniciales Variable Final: Riesgo de crédito Ca Caa B Ba Baa A Aa Aaa Agencias de RATING Moody’s, Standard & Poor’s Experiencia de los analistas En la determinación del RATING los valores numéricos de los ratios financieros de la empresa son menos relevantes que su orden de magnitud. RED MINERÍA DE DATOS Y APRENDIZAJE Madrid, Mayo 2004

Modelo de órdenes de magnitud absolutos: OM(n) deds Modelo de órdenes de magnitud absolutos: OM(n) ? Un cop introduida la relació de precisió passem a donar el concerpte de base i de igualtat qualitativa. Donat XÎS s’anomena base de X al conjunt d’etiquetes bàsiques diferents del zero que són més precises que X, i base ampliada quan a més considerem el zero. S’observa de forma immediata que qualsevol etiqueta de l’espai de quantitats es pot obtenir fent la unió dels elements de la seva base ampliada. Per exemple l’etiqueta [N7,P5] s’obté com la unió de la seva base es a dir des de N7 fins a P5. En quant al concepte d’igualtat qualitativa, aquesta modelitza la possibilitat de ser iguals. Direm que X es qualitativament igual a Y si existeix un altre element Z de S que es a la vegada més precís que els dos donats. Això és equivalent a dir que la intersecció entre X i Y sigui no buida o bé que la intersecció entre les bases de X i Y sigui no buida. En l’EXEMPLE les etiquetes [N7,P5] i + són qualitativament iguals ja que l’etiqueta [N1,P5] és més precisa que les dues donades. - + Base de un elemento: [ ] 4 3 , P N N n N n-1 N 7 N 6 N 5 N 4 N 3 N 2 N 1 P 1 P 2 P 3 P 4 P 5 P 6 P 7 P n-1 P n Igualdad cualitativa: RED MINERÍA DE DATOS Y APRENDIZAJE Madrid, Mayo 2004 aaade

Construcción de kernels en OM(n) deds Construcción de kernels en OM(n) Problemas en los que el orden de magnitud de algunas de las variables aportan más información que sus propios valores numéricos K Sk X1 (X1) X2 K((X1), (X2)) (X2) K’ kernel??? k = número de variables de entrada descritas por sus órdenes de magnitud RED MINERÍA DE DATOS Y APRENDIZAJE Madrid, Mayo 2004 aaade

Construcción de la función  en el espacio de órdenes de magnitud Ampliación a un básico U: fijada una etiqueta básica US1 se define: Alejamiento con signo respecto U: fijada una etiqueta básica US1 se define: RED MINERÍA DE DATOS Y APRENDIZAJE Madrid, Mayo 2004

... Ejemplo: X=[N3, P1] XU=[N3, P3] a1 a2 a3 an-1 -a1 -a2 -a3 -an-1 P1 Ampliación y alejamiento con signo respecto P3: X=[N3, P1] XU=[N3, P3] a1 a2 a3 an-1 -a1 -a2 -a3 -an-1 P1 P2 P3 Pn Pn-1 N1 N2 N3 Nn Nn-1 ... U=P3 asU(X)= -2 Función posicionamiento (X) recoge los alejamientos con signo de X respecto de todos los elementos básicos RED MINERÍA DE DATOS Y APRENDIZAJE Madrid, Mayo 2004

Construcción de la función  en el espacio de órdenes de magnitud Posicionamiento de un elemento: Posicionamiento global: RED MINERÍA DE DATOS Y APRENDIZAJE Madrid, Mayo 2004

Ejemplo: X1=[N2, P1] X2=[N1, P2] -a3 -a1 a1 a2 N3 N2 N1 P1 P2 P3 Posicionamiento con 2 variables de entrada pertenecientes a un OM(3) X1=[N2, P1] X2=[N1, P2] -a3 -a1 a1 a2 N3 N2 N1 P1 P2 P3 asN3(X1)= +1 asN2(X1)=0 asN1(X1)= 0 as0(X1)=0 asP1(X1)= 0 asP2(X1)= -1 asP3(X1)= - 2 (X1)=(1,0,0,0,0,-1,-2)R7 (X2)=(2,1,0,0,0,0,-1)R7 (X1,X2)=(1,0,0,0,0,-1,-2, 2,1,0,0,0,0,-1)R7 RED MINERÍA DE DATOS Y APRENDIZAJE Madrid, Mayo 2004

Construcción del kernel K’ refleja el posicionamiento global de las variables de entrada: ¡¡puede que las imágenes no sean linealmente separables!! Proposición: Si K:Rm Rm  R es un kernel sobre Rm, y :A  Rm es una aplicación, entonces la aplicación: K’:A  A  R definida como K’(X,Y)=K((X), (Y)) es un kernel sobre A Componemos la función  con un kernel conocido de R(2n+1)k para obtener K’, kernel sobre Sk: K’(X,Y)=K((X), (Y)) kernels usuales: Gaussiano: G(x,y)=exp (-||x-y||2/c) Polinómico: P(x,y)=(<x, y> +)d RED MINERÍA DE DATOS Y APRENDIZAJE Madrid, Mayo 2004

Etiquetas básicas: S1={NG,NP,0,PP,PG} 4. Ejemplos X, Y, Z empresas con tres descriptores cualitativos cada una en un espacio OM(2) (p.e. endeudamiento, rentabilidad y valor de mercado). Etiquetas básicas: S1={NG,NP,0,PP,PG} X=(PP, [NG, NP], [NP, PG]) (X)=(3,2,1,0,-1,0,0,-2,-2,-3,1,0,0,0,0), Y=([PP, PG], NP, 0) (Y)=(3,2,2,0,0,1,0,-1,-2,-3,2,1,0,-1,-2), Z=(NG,PP, [NG, NP]) (Z)=(0,-1,-2,-3,-4,3,2,1,0,-1,0,0,-2,-2,-3) Considerando el kernel Gaussiano: K’(X,Y)=G((X), (Y))= exp (-||(x)-(y)||2/c) RED MINERÍA DE DATOS Y APRENDIZAJE Madrid, Mayo 2004

En el caso particular de las tres empresas consideradas: K’(X,Y)=exp[-||(X)-(Y)||2/c]=exp[-11/c] K’(X,Z)=exp[-||(X)-(Z)||2/c]=exp[-93/c] K’(Y,Z)=exp[-||(Y)-(Z)||2/c]=exp[-90/c]. c A mayor proximidad entre los valores cualitativos de los descriptores de las empresas, se tienen mayores valores en el Kernel. Resultados mayores se corresponden a patrones más similares. RED MINERÍA DE DATOS Y APRENDIZAJE Madrid, Mayo 2004

En el caso particular de las tres empresas consideradas: Considerando el kernel Polinómico: K’’(X,Y)= P((X), (Y))= (< (x), (y)> +)d En el caso particular de las tres empresas consideradas: K’’(X,Y)=[<(X),(Y)>+]d=(32+)d K’’(X,Z)=[<(X),(Z)>+]d=(1+)d K’(Y,Z)=[<(Y),(Z)>+]d=(7+)d RED MINERÍA DE DATOS Y APRENDIZAJE Madrid, Mayo 2004

5. Conclusiones y problemas abiertos Construcción de un kernel para problemas en los que las variables están descritas sobre una escala ordinal. El kernel se ha construido a partir de la composición de una función posicionamiento  con kernels predefinidos. Esta función  captura la información sobre el alejamiento entre etiquetas cualitativas. RED MINERÍA DE DATOS Y APRENDIZAJE Madrid, Mayo 2004

Problemas abiertos Aplicación del método dado en problemas de predicción del riesgo financiero de crédito (RATING) Definir una estructura de espacio métrico en Sk Analizar otras funciones para medir el grado de alejamiento entre etiquetas cualitativas. Definir nuevos KERNELS que permitan combinar información cualitativa e información cuantitativa RED MINERÍA DE DATOS Y APRENDIZAJE Madrid, Mayo 2004