ESCUELA POLITÉCNICA DEL EJÉRCITO DEPARTAMENTO DE CIENCIAS DE LA COMPUTACIÓN TÍTULODEL PROYECTO: “SISTEMA AUTOMATIZADO DE BÚSQUEDA WEB (WEB CRAWLERS) DE PROMOCIONES DE TICKETS AÉREOS Y PORTAL WEB PARA LA AGENCIA DE VIAJES Y TURISMO MUNDO VALLE”. Autor: Christian Córdova

Agenda Introducción. Objetivo del Proyecto. Algoritmo Implementación Presentación de la Aplicación Conclusiones.

Introducción Definición Web Crawlers Es un programa que recorre las páginas del World Wide Web de forma metódica y automatizada, las descarga y procesa, comienzan visitando una lista de URL, identifican los hiperenlaces en dichas páginas y los añade a la lista a visitar de manera recurrente de acuerdo a determinado conjunto de reglas.

Introducción Entre ellos estan las arañas, bots, buscadores, web Crawlers. Algunas de las tareas más comunes de las arañas web están las siguientes: Crear el índice de una máquina de búsqueda. Analizar los enlaces de un sitio para buscar links rotos. Recolectar información de un cierto tipo, como precios de productos para recopilar un catálogo.

Introducción Los tipos de busqueda determinados para trabajar con las arañas web son: Índices de Búsqueda Motores de Búsqueda Metabuscadores

Objetivo General del Proyecto Analizar, Desarrollar e Implementar el Sistema Automatizado de Búsqueda Web (Web Crawlers) de promociones de Ticket Aéreos y Portal Web para la Agencia de Viajes y Turismo Mundo Valle Cía. Ltda., mediante la utilización de software libre.

Objetivos Específicos Investigar los principios en los que se basan los algoritmos de búsqueda de datos a través de grandes cantidades de información y seleccionar el más óptimo de ellos para este sistema. Analizar la administración y funcionamiento de la Agencia. Desarrollar el portal web de la agencia y el pago en línea Implementar y realizar las pruebas necesarias del sistema para detectar problemas de rendimiento.

Conceptos Generales del Proyecto

BUSCADOR Programa, que permite encontrar contenidos, archivos, páginas Web y demás recursos. Desde el punto de vista del usuario no es más que una página Web, desde el punto de vista de una página Web.

SECUENCIA BÁSICA DE UN BUSCADOR

Pseudo-Algoritmo Inicializar las URLs Verificar la finalización, agregar a la pila Encontrar los enlaces Procesar las páginas Agregar las URLs a ser procesadas ** la pila contiene una lista para el web crawler de URLs no visitadas con nuevas páginas y enlaces.

BÚSQUEDA DE INFORMACIÓN

BÚSQUEDA DE INFORMACIÓN

MODELO MDA- DESARROLLO BASADO EN MODELOS

PROCESO DE DESARROLLO DE SISTEMA CON MDA

METODOLOGÍA MIDAS-MDA

PROCESO DE DESARROLLO DE MIDAS

FASES DEL MÉTODO DE INDUCCIÓN POR SIMPLE ENUMERACIÓN 1 Observación. 2 Formulación de Hipótesis 3 Definir Población 4 Selección Muestral 5 Procedimiento 6 Tratamiento Estadístico 7 Comprobación de Hipótesis 8 Conclusiones

LA WEB COMO MODELO DE GRAFO DIRIGIDO

RECORRIDO DE GRAFO DIRIGIDO

REPRESENTACIÓN DE UN SITIO WEB 1 2 3 4 5 6 7 8 9 10 11 12 13

POBLACIÓN Nombre 1 Búsqueda secuencial 2 Búsqueda secuencial ordenada 3 Búsqueda en profundidad 4 Búsqueda en amplitud 5 Búsqueda de coste uniforme 6 Búsqueda en profundidad limitada 7 Búsqueda en profundidad iterativa 8 Búsqueda binaria Ord Nombre 9 Búsqueda binaria recursiva 10 Búsqueda por fuerza bruta, combinatoria o exhaustiva 11 Tablas Hash 12 Búsqueda bidireccional 13 Búsqueda por interpolación 14 Búsqueda de Fibonacci 15 Algoritmo de Dijkstra 16 Algoritmo de Johnson Ord Nombre 17 Búsqueda de Grover 18 Algoritmo de Prim 19 Algoritmo de Kruskal 20 Algoritmo de busqueda A* 21 Algoritmos IDA* 22 Poda alfa-beta 23 Algoritmo de Shor 24 Algoritmo de bellman-ford

SELECCIÓN DE LA MUESTRA 1 Búsqueda Secuencial 2 Búsqueda secuencial ordenada 3 Búsqueda en profundidad 4 Búsqueda en amplitud 5 Búsqueda de coste uniforme 6 Búsqueda en profundidad iterativa 7 Búsqueda por fuerza bruta, combinatoria o exhaustiva 8 Algoritmo de búsqueda A*

DIAGRAMA ESTADÍSTICO DE COMPLEJIDAD

COMPLEJIDAD DE LOS ALGORITMOS

ACTORES DEL SISTEMA

DIAGRAMA DE CASOS DE USO

ORGANIZACIÓN BÁSICA DEL SISTEMA

ARQUITECTURA MVC

ENTORNO DE TRABAJO

DESARROLLO DE LA APLICACIÓN

VALIDACIÓN DE DATOS Una prueba tiene éxito si descubre un defecto. DATOS CORRECTOS Una prueba tiene éxito si descubre un defecto. Prueba de unidad. Prueba de aceptación. Prueba de integración. Prueba general al sistema.

VALIDACIÓN DE DATOS Se evaluaron los parámetros: Navegación Componentes Configuración Seguridad Desempeño Resistencia

APLICACIÓN WEB

BFS - Breadth First Search

CONCLUSIONES La aplicación de la norma IEEE 830, permitió comprender y satisfacer los requerimientos de Mundo Valle, involucrando al personal en todas las etapas del desarrollo de la aplicación. El cumplimiento de normas y estándares colaboraron para que el desarrollo de este proyecto sea comprensible y fácil entendimiento para modificaciones futuras. Se logró un aplicativo de alta calidad, confiable y disponible los 365 días del año mediante una interfaz amigable dirigida a los clientes tanto internos como externos de la agencia. Uso de herramientas de código libre

CONCLUSIONES La implementación de la metodología MIDAS dirigido por los modelos que son: CIM, PIM y PSM se logró el diseño de la arquitectura enfocada al contenido hipertextual, funcionalidad y navegabilidad . En la etapa de implantación y pruebas se realizaron actividades de validación y verificación, donde se evaluó la integración, aceptación, diseño, contenido, navegabilidad, función y estructura del portal web;

CONCLUSIONES El método de inducción por simple enumeración El modelo de negocios de una agencia de viajes y turismo

FIN