¿Cómo trabajar en el grafo web? José Luis Alonso Berrocal Dpto. de Informática y Automática.

Presentación del tema: "¿Cómo trabajar en el grafo web? José Luis Alonso Berrocal Dpto. de Informática y Automática."— Transcripción de la presentación:

1 ¿Cómo trabajar en el grafo web? José Luis Alonso Berrocal http://reina.usal.es Dpto. de Informática y Automática.

2 http://reina.usal.es ¿Cómo trabajar en el grafo web? 2 Cibermetría aplicada: posicionamiento en el web. Actividad paralela. FESABID 2005. Estructura de enlaces en el web

3 http://reina.usal.es ¿Cómo trabajar en el grafo web? 3 Cibermetría aplicada: posicionamiento en el web. Actividad paralela. FESABID 2005. Recorrido del grafo web. Básicamente lo podemos recorrer: Recorrido en anchura (breadth-first). Recorrido en profundidad (depth-first). El mejor posible (best-first).

4 http://reina.usal.es ¿Cómo trabajar en el grafo web? 4 Cibermetría aplicada: posicionamiento en el web. Actividad paralela. FESABID 2005. Recorrido del grafo (II) Recorrido en anchura: 1-2-3-4-7-5-8-9-10-6 Recorrido en profundidad: 1-2-4-5-6-3-7-8-9-10

5 http://reina.usal.es ¿Cómo trabajar en el grafo web? 5 Cibermetría aplicada: posicionamiento en el web. Actividad paralela. FESABID 2005. Procedimiento básico WEB Urls a seguirUrls visitados Base de datos Ficheros ascii URL inicial Se carga la página Se carga la página Se extraen los URL Se extraen los URL Almacenar la información Almacenar la información Seguir el siguiente URL Seguir el siguiente URL Operaciones de normalización: - convertir URL a minúscula - Eliminar anclas - Emplear igual codificación - Heurística para pag. Defecto - Resolver URL relativo

6 http://reina.usal.es ¿Cómo trabajar en el grafo web? 6 Cibermetría aplicada: posicionamiento en el web. Actividad paralela. FESABID 2005. Recorrido avanzado

7 http://reina.usal.es ¿Cómo trabajar en el grafo web? 7 Cibermetría aplicada: posicionamiento en el web. Actividad paralela. FESABID 2005. Recorrido avanzado (II)

8 http://reina.usal.es ¿Cómo trabajar en el grafo web? 8 Cibermetría aplicada: posicionamiento en el web. Actividad paralela. FESABID 2005. WebBot Harvest-NG Webvac Spider SocSciBot 3 y SocSciBot_Tools SacarinoBot y EloisaBot Tools Web crawlers para captura de datos

9 http://reina.usal.es ¿Cómo trabajar en el grafo web? 9 Cibermetría aplicada: posicionamiento en el web. Actividad paralela. FESABID 2005. Sacarino (Sonda AutomatiCA para la Recuperación de INformaciÓn en el web)

10 http://reina.usal.es ¿Cómo trabajar en el grafo web? 10 Cibermetría aplicada: posicionamiento en el web. Actividad paralela. FESABID 2005. Sacarino (Clasificación)

11 http://reina.usal.es ¿Cómo trabajar en el grafo web? 11 Cibermetría aplicada: posicionamiento en el web. Actividad paralela. FESABID 2005. Sacarino (Clasificación II)

12 http://reina.usal.es ¿Cómo trabajar en el grafo web? 12 Cibermetría aplicada: posicionamiento en el web. Actividad paralela. FESABID 2005. Sacarino (Clasificación III)

13 http://reina.usal.es ¿Cómo trabajar en el grafo web? 13 Cibermetría aplicada: posicionamiento en el web. Actividad paralela. FESABID 2005. Creación de matrices

14 http://reina.usal.es ¿Cómo trabajar en el grafo web? 14 Cibermetría aplicada: posicionamiento en el web. Actividad paralela. FESABID 2005. Operaciones con matrices

15 http://reina.usal.es ¿Cómo trabajar en el grafo web? 15 Cibermetría aplicada: posicionamiento en el web. Actividad paralela. FESABID 2005. Matriz de distancia.

16 http://reina.usal.es ¿Cómo trabajar en el grafo web? 16 Cibermetría aplicada: posicionamiento en el web. Actividad paralela. FESABID 2005. Se pueden resumir los datos de la siguiente forma: Resumen de los datos

17 http://reina.usal.es ¿Cómo trabajar en el grafo web? 17 Cibermetría aplicada: posicionamiento en el web. Actividad paralela. FESABID 2005. Tratamiento de los datos

18 http://reina.usal.es ¿Cómo trabajar en el grafo web? 18 Cibermetría aplicada: posicionamiento en el web. Actividad paralela. FESABID 2005. Herramienta de cálculo

19 http://reina.usal.es ¿Cómo trabajar en el grafo web? 19 Cibermetría aplicada: posicionamiento en el web. Actividad paralela. FESABID 2005. Matriz sparse

20 http://reina.usal.es ¿Cómo trabajar en el grafo web? 20 Cibermetría aplicada: posicionamiento en el web. Actividad paralela. FESABID 2005. PageRank importancia pagina i paginas j que enlazan a pagina i Nº enlaces salientes desde página j importancia pagina j

21 http://reina.usal.es ¿Cómo trabajar en el grafo web? 21 Cibermetría aplicada: posicionamiento en el web. Actividad paralela. FESABID 2005. Estructura de enlaces en el web ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 01/200000000 0000001/500 1/20 00000 0 00 001/411/500 13245687910 0001/201/4001/20 0000100000 0 0 000000 000001/401/500 0000000 01 000001/401/500 1 2 3 4 5 6 7 8 9 10

22 http://reina.usal.es ¿Cómo trabajar en el grafo web? 22 Cibermetría aplicada: posicionamiento en el web. Actividad paralela. FESABID 2005. Resultado final ---- Iteraci ó n 1 ---- 0.050 0.070 0.150 0.195 0.125 0.100 0.100 0.045 0.120 0.045 NORM es 1.000000 Residual es 0.380000 ---- Iterati ó n 3 ---- 0.060 0.072 0.093 0.133 0.126 0.183 0.123 0.066 0.080 0.066 NORM es 1.000000 Residual es 0.297500 ---- Iteraci ó n 10 ---- 0.046 0.048 0.092 0.153 0.161 0.160 0.121 0.066 0.088 0.066 NORM es 1.000000 Residual es 0.017855 ---- Iteraci ó n 20 ---- 0.045 0.047 0.091 0.153 0.162 0.161 0.122 0.065 0.089 0.065 NORM es 1.000000 Residual es 0.000896 El “ eigen vector ” principal (contiene los valores del PageRank)

23 http://reina.usal.es ¿Cómo trabajar en el grafo web? 23 Cibermetría aplicada: posicionamiento en el web. Actividad paralela. FESABID 2005. Pajek

24 http://reina.usal.es ¿Cómo trabajar en el grafo web? 24 Cibermetría aplicada: posicionamiento en el web. Actividad paralela. FESABID 2005. Conversión a formato Pajek

25 http://reina.usal.es ¿Cómo trabajar en el grafo web? 25 Cibermetría aplicada: posicionamiento en el web. Actividad paralela. FESABID 2005. Representación del grafo

26 http://reina.usal.es ¿Cómo trabajar en el grafo web? 26 Cibermetría aplicada: posicionamiento en el web. Actividad paralela. FESABID 2005. Representación del grafo (II)

27 http://reina.usal.es ¿Cómo trabajar en el grafo web? 27 Cibermetría aplicada: posicionamiento en el web. Actividad paralela. FESABID 2005. Representación del grafo (III)

28 http://reina.usal.es José Luis Alonso Berrocal berrocal@usal.es