Leyes de potencia Hemos visto que las leyes de potencia (power laws) suelen aparecer en redes complejas. Típicamente, en la distribución de grados Cuando hay modularidad jerárquica, en la distribución de clustering en función del grado A veces en la distribución de betweenness. También aparecen en tamaños de cascadas de fallas, tamaños de componentes conexas, distribución de pesos, etc etc etc.

Leyes de potencia Ergo: es importante saber distinguirlas, estimar su exponente, y (por si sirve) conocer algunos mecanismos que las generan. Lo básico: x e y están relacionadas por una ley de potencia, si se cumple Una variable aleatoria [continua] sigue una ley de potencia si su densidad de probabilidad es

Leyes de potencia y por lo tanto tenemos la recta en log-log: y la invarianza de escala: La función acumulada será

Leyes de potencia Problema: la densidad explota cuando x0. Solución: por lo general se asume un valor mínimo xmin. En tal caso, y la función de densidad pasa a ser

Leyes de potencia Cuando la variable es discreta: La densidad es nuevamente proporcional a x-a. La distribución acumulada ahora es simplemente la suma. El xmin suele ser 1 (ojo: no puede ser 0). Con frecuencia sirve, pero no es riguroso: tratar la variable como si fuera una muestra de una v.a. continua (y usar la fórmula para la acumulada, etc.)

Leyes de potencia “célebres” Ley de Zipf Georges Zipf, lingüista, intentó determinar el “tamaño” (en realidad, frecuencia) de la 3ª, 8ª o 100ª palabra más común del inglés. Lo que encontró (su “ley”) indica que la frecuencia es inversamente proporcional al ranking: con el exponente muy cerca de 1. Luego se confirmó en otros idiomas.

Leyes de potencia “célebres” Ley de Pareto Vilfredo Pareto, economista, estudió la distribución del ingreso. La ley de Pareto se expresa en términos de la distribución acumulada (probabilidad de que alguien gane x o más): en la notación de leyes de potencia, ese k es k = a-1, donde a es el exponente de la ldp.

Leyes de potencia “célebres” Relación entre ambas: Si despreciamos los “empates”, decir “el r-ésimo tiene x” es equivalente a decir “r tienen x o más”. Ergo, Zipf y Pareto describen la misma cosa, pero con los ejes invertidos. Zipf hubiese dicho: “el ingreso de la r-ésima persona con mayor ingreso es x~r-” mientras que Pareto dice “la fracción de gente que gana x o más es r~x-1/ ”

Leyes de potencia “célebres” Para distribuciones de Pareto suele mencionarse el “principio de Pareto” o “regla de 80 y 20”. Pareto observó que el 80% de la tierra en Italia pertenecía al 20% de la gente. No hay nada mágico en el nº 80; es simplemente una regla mnemotécnica. Se aplica en negocios: el 80% de las ventas viene del 20% de los clientes. A nivel mundial, hoy, se cumple en la distribución de ingreso.

Leyes de potencia “célebres” Microsoft: eliminando el 20% de bugs más frecuentes, se evita el 80% de las BSD. El 80% de los crímenes los comete el 20% de los criminales. Etc, etc.

Leyes de potencia por todos lados

Leyes de potencia por todos lados Ejemplos de algunos mecanismos que producen LDP: Si Y tiene distribución exponencial, fY(y)~ eay y otra variable X depende exponencialmente de Y, X ~ ebY entonces X sigue una LDP, fX(x) ~ x-(1+a/b)

Leyes de potencia por todos lados Monos tipeando al azar (Miller, 1957). Supongamos que aprietan el espacio con probabilidad q. El resto de las teclas son equiprobables, (1-q)/m. La frecuencia de las palabras generadas sigue una LDP. No es aplicable al lenguaje, pero sirve como modelo nulo.

Leyes de potencia por todos lados Minimización de esfuerzo. El costo de enviar la palabra j-ésima en ranking de frecuencia es (bajo una codificación razonable) El costo medio de la comunicación será El contenido promedio de información en un mensaje es Al minimizar el costo por unidad de información, C/H,

Leyes de potencia por todos lados Fenómenos críticos: En las cercanías de un punto crítico (donde se produce un cambio de fase), las cantidades por lo general escalan como leyes de potencia. Probabilidad p de que una celda este ocupada. ¿Cuál es el tamaño medio de los clusters?

Leyes de potencia por todos lados pc = 0.5927462… Si p < pc, el tamaño medio es independiente del tamaño de la grilla. Si p > pc, el tamaño medio diverge (es del tamaño de la grilla). Para p=pc, hay LDP de tamaños de clusters.

Leyes de potencia por todos lados Criticalidad auto-organizada: Supongamos que en cada instante t=0,1,..., puede aparecer un árbol en cada celda con probabilidad p. Supongamos además que con probabilidad q, aparecen incendios (y queman todo el cluster).  El sistema se estabiliza en un punto crítico, así que la distribución de tamaño de los incendios sigue una LDP.

Leyes de potencia por todos lados Otro mecanismo, que es el que ya vimos (via Barabasi-Albert): rich get richer. Sugerido por primera vez por Yule para la distribución de la cantidad de especies, dentro de los géneros biológicos. Supone que un genero adquiere especies nuevas con probabilidad proporcional a su tamaño. Cada m especies nuevas, la m+1-ésima crea un nuevo género. El resultado es que el tamaño de los géneros sigue

Leyes de potencia por todos lados Price, en 1965, sugiere algo equivalente para citaciones de papers: Cada paper nuevo cita (en promedio) m papers. La probabilidad de citar un paper es proporcional a la cantidad de citas que tiene, k. En realidad es proporcional a k+1: se agrega una “cita por defecto” para que los recién llegados puedan competir. El resultado también es

Leyes de potencia por todos lados El modelo de Barabasi-Albert aplica básicamente la misma idea, al hacer preferential attachment (“enlace preferencial”). Aprovechemos de ver un modelo que también genera un grafo tipo BA: modelo LCD (linearized chord diagram) de Bollobas-Riordan. Consideremos 2n nodos puestos en orden lineal:

Modelo LCD Generamos un matching al azar entre los nodos

Modelo LCD De izquierda a derecha, identificamos todos los extremos izquierdos hasta que topemos el primer extremo derecho; ahí cortamos. Luego aplicamos lo mismo sobre lo que sigue.

Modelo LCD El resultado son grafos equivalentes a los del modelo de enlace prefencial. Agregar un nuevo nodo: sería agregar un nuevo match.

Estimación ¿Cómo estimar el exponente de una LDP? Caso ideal:

Estimación Caso real: Hay muchas observaciones con valores pequeños… pero no tantas como podría haber Ruido en la cola En un sistema finito, tenemos muy pocas observaciones con valores de verdad grandes

Estimación fitted  true 

Estimación Primera idea: juntar los valores en intervalos (binning).

Estimación Refinamiento del binning: usar bins de tamaño exponencial. Los intervalos serán de tamaños (p.ej.) 2, 4, 8, 16, 32... Menos ruido en la cola Se obtienen puntos equiespaciados en el log-log. Problema: se pierde información.

Estimación Segundo truco: pasar a la acumulada, usando el hecho de que

Estimación Cantidad de visitantes a sitios de AOL, 1997 Datos en bruto:

Estimación Binning lineal, escala log log Recta de exponente 1.17. Claramente mala.

Estimación Binning exponencial

Estimación Pasando a acumulada Puede que sean dos LDP de exponente distinto, según rango. La cola cae con exponente más bien cercano a 2.4.

Estimación Pero además: ¿desde dónde rige la ley de potencia? xmin

Moby Dick scientific papers 1981-1997 AOL users visiting sites ‘97 bestsellers 1895-1965 AT&T customers on 1 day California 1910-1992

wars (1816-1980) Moon Solar flares richest individuals 2003 US family names 1990 US cities 2003

Estimación ¿Cómo calcular el exponente? Naïve: mínimos cuadrados (después de aplicar log/log).  NO ES bueno. Mucho mejor: máxima verosimilitud

Estimación ¿Cómo elegir el punto de corte (el xmin)? Para efectos prácticos, suele ser “a ojo”, o bien probando con varios y viendo cuál da el mejor ajuste. ¿El mejor ajuste? Es necesario comparar qué tan bueno es el ajuste con distintos xmin. La forma de hacerlo es también la que se necesita para comparar la LDP con otras posibles distribuciones (exponencial, lognormal, etc.)

Estimación Para evaluar si una muestra viene o no de una cierta distribución, se usa Kolmogorov-Smirnov. Se compara la función de distribución de la supuesta ley, con la empírica. Se evalúa la máxima diferencia (en módulo). donde FX es la del modelo, FY es la de los datos. Se calcula D = max(D+,D-).

Estimación Kolmogorov-Smirnov

Si de verdad uno quiere ser serio para estimar una LDP, leer Estimación Si de verdad uno quiere ser serio para estimar una LDP, leer “Power-law distributions in empirical data” A. Clauset, C. Shalizi y M. Newman http://arxiv.org/abs/0706.1062 Preview en http://cscs.umich.edu/~crshalizi/weblog/491.html “So You Think You Have a Power Law — Well Isn't That Special?” y usar el software disponible en http://www.santafe.edu/~aaronc/powerlaws/