Pablo Íñigo Blasco 44.608.989-Y Rosa Mª Burrueco Jiménez 75.794.976-V Tutor: JUAN M. CORDERO VALLE Cotutor: RAFAEL CORCHUELO GIL Herramientas de Reaping.

Presentación del tema: "Pablo Íñigo Blasco 44.608.989-Y Rosa Mª Burrueco Jiménez 75.794.976-V Tutor: JUAN M. CORDERO VALLE Cotutor: RAFAEL CORCHUELO GIL Herramientas de Reaping."— Transcripción de la presentación:

1 Pablo Íñigo Blasco 44.608.989-Y Rosa Mª Burrueco Jiménez 75.794.976-V Tutor: JUAN M. CORDERO VALLE Cotutor: RAFAEL CORCHUELO GIL Herramientas de Reaping Máster en Ingeniería y Tecnología del Software

2 Índice Contexto Estado del arte Modelado Conclusiones

3 Contexto Web Wrapper Agent

4 Contexto Information retrieval VerifierOntologiser Extractor Query NavigatorFormFiller

5 Deep Web Obtención de páginas de entrenamiento Formularios Crawlers y Form-Fillers

6 Índice Contexto Estado del arte Modelado Conclusiones

7 Framework de comparación Secuencia de navegación Manipulación de formularios Almacenamiento de páginas Rellenado dinámico de campos Iteración de Hubs Lenguaje soportado

8 Framework de comparación Selenium Imacros Denodo Wget Aspseek Methanol /Methabot

9 Framework de comparación Herramienta Secuencia de navegación para la descarga Manipulan formularios Almacena páginas de interés Rellenado dinámico de campos Itera hubs Lenguaje Soportado DenodoSí DesconocidoSíNoPropio Wget No, utiliza búsqueda recursiva a través de enlaces NoSiNoSíN/A Selenium Cualquier secuencia grabada SíNo Java, Ruby, C#, Python, VB.NET, Perl, PHP

10 Índice Contexto Estado del arte Modelado Conclusiones

11 Reaper

12 Lenguaje de formularios Campos Controles Localizadores Resultados Producto Hub

13 Campos <httpGetRequest requestUrl = "http://www.barnesandnoble.com"/> … <httpGetRequest requestUrl = "http://www.barnesandnoble.com"/> …

14 Campos <httpGetRequest requestUrl = "http://www.barnesandnoble.com"/> … <httpGetRequest requestUrl = "http://www.barnesandnoble.com"/> …

15 Campos <httpGetRequest requestUrl = "http://www.barnesandnoble.com"/> … <httpGetRequest requestUrl = "http://www.barnesandnoble.com"/> …

16 Campos <httpGetRequest requestUrl = "http://www.barnesandnoble.com"/> … <httpGetRequest requestUrl = "http://www.barnesandnoble.com"/> …

17 Resultados

18

19 Resultados

20 Resultados

21 Resultados

22 Lenguaje de consultas Asignaciones y producto cartesiano Cálculo dinámico de valores y plan de reaping Dependencias

23 Asignaciones computers cars love under $10 over $50 computers cars love under $10 over $50

24 Asignaciones computers cars love under $10 over $50 computers cars love under $10 over $50

25 Asignaciones computers cars love under $10 over $50 computers cars love under $10 over $50

26 Asignaciones computers cars love under $10 over $50 computers cars love under $10 over $50

27 Dependencias computers cars under $10 love over $50 computers cars under $10 love over $50

28 Cálculo dinámico de valores computers cars love getIdealPrice(currentField) computers cars love getIdealPrice(currentField)

29 Resultados experimentales

30 Iberia TDG Scholar Amazon Barnes & Noble Yahoo Movies Ulises

31 Índice Contexto Estado del arte Modelado Conclusiones

32 Conclusiones Variaciones protegidas Modelo de formulario abstracto Modelo de consultas Proceso de reaping Características Itera hubs Cálculos dinámicos Dependencia entre campos

33 Problemas JavaScript Páginas intermedias Enlaces ocultos Sincronización

34 ¡Gracias! Herramientas de Reaping Pablo Íñigo Blasco 44.608.989-Y Rosa Mª Burrueco Jiménez 75.794.976-V Tutor: JUAN M. CORDERO VALLE Cotutor: RAFAEL CORCHUELO GIL