Pablo Íñigo Blasco Y Rosa Mª Burrueco Jiménez V Tutor: JUAN M. CORDERO VALLE Cotutor: RAFAEL CORCHUELO GIL Herramientas de Reaping Máster en Ingeniería y Tecnología del Software

Índice Contexto Estado del arte Modelado Conclusiones

Contexto Web Wrapper Agent

Contexto Information retrieval VerifierOntologiser Extractor Query NavigatorFormFiller

Deep Web Obtención de páginas de entrenamiento Formularios Crawlers y Form-Fillers

Índice Contexto Estado del arte Modelado Conclusiones

Framework de comparación Secuencia de navegación Manipulación de formularios Almacenamiento de páginas Rellenado dinámico de campos Iteración de Hubs Lenguaje soportado

Framework de comparación Selenium Imacros Denodo Wget Aspseek Methanol /Methabot

Framework de comparación Herramienta Secuencia de navegación para la descarga Manipulan formularios Almacena páginas de interés Rellenado dinámico de campos Itera hubs Lenguaje Soportado DenodoSí DesconocidoSíNoPropio Wget No, utiliza búsqueda recursiva a través de enlaces NoSiNoSíN/A Selenium Cualquier secuencia grabada SíNo Java, Ruby, C#, Python, VB.NET, Perl, PHP

Índice Contexto Estado del arte Modelado Conclusiones

Reaper

Lenguaje de formularios Campos Controles Localizadores Resultados Producto Hub

Campos <httpGetRequest requestUrl = " … <httpGetRequest requestUrl = " …

Campos <httpGetRequest requestUrl = " … <httpGetRequest requestUrl = " …

Campos <httpGetRequest requestUrl = " … <httpGetRequest requestUrl = " …

Campos <httpGetRequest requestUrl = " … <httpGetRequest requestUrl = " …

Resultados

Resultados

Resultados

Resultados

Lenguaje de consultas Asignaciones y producto cartesiano Cálculo dinámico de valores y plan de reaping Dependencias

Asignaciones computers cars love under $10 over $50 computers cars love under $10 over $50

Asignaciones computers cars love under $10 over $50 computers cars love under $10 over $50

Asignaciones computers cars love under $10 over $50 computers cars love under $10 over $50

Asignaciones computers cars love under $10 over $50 computers cars love under $10 over $50

Dependencias computers cars under $10 love over $50 computers cars under $10 love over $50

Cálculo dinámico de valores computers cars love getIdealPrice(currentField) computers cars love getIdealPrice(currentField)

Resultados experimentales

Iberia TDG Scholar Amazon Barnes & Noble Yahoo Movies Ulises

Índice Contexto Estado del arte Modelado Conclusiones

Conclusiones Variaciones protegidas Modelo de formulario abstracto Modelo de consultas Proceso de reaping Características Itera hubs Cálculos dinámicos Dependencia entre campos

Problemas JavaScript Páginas intermedias Enlaces ocultos Sincronización

¡Gracias! Herramientas de Reaping Pablo Íñigo Blasco Y Rosa Mª Burrueco Jiménez V Tutor: JUAN M. CORDERO VALLE Cotutor: RAFAEL CORCHUELO GIL