75.06 Org. de Datos FeedReader Integrantes: Andrés Castaño (84538) Diego Costa (78189 ) Nahuel González (82868) Ignacio Marambio Catán (82694)
Temas de la Presentación 1. Diseño de la Aplicación 2. XML-RPC 3. Parser RSS 4. Interfaz Web 5. Organización de Archivos 6. Filtro Bayesiano 7. Stop Words 8. Reclasificación Automática 9. Prueba de Ejecución.
Diseño de la Aplicación FRONT-END DAEMON XML-RPC PARSER WEB ARCHIVOS
XML-RPC Aplicaciones Distribuidas. Conectar Aplicaciones que pueden estar implementadas en distintos lenguajes, y que se ejecutan en diversos sistemas operativos.
Parser: Arquitectura de Plug-Ins DAEMON Raptor Plug-In Ventajas: Elegir entre distintos Parsers (C/C++/Python). Actualizar el Parser, sin detener el servicio. UniversalFeedParser
Interfaz Web
Organización de Archivos feeds news tags
feeds index data datav
feeds index data datav
feeds index data datav
feeds index data datav
news data index 1.datatag index 1.index data 1.data 1.datatag
news data index 1.datatag index 1.index data 1.data 1.datatag
news data index 1.datatag index 1.index data 1.data 1.datatag
news data index 1.datatag index 1.index data 1.data 1.datatag
tags N.index index 1.index
Reorganización de Archivos Consiste en la eliminación de archivos y registros innecesarios. Se realiza a pedido del usuario por medio de una señal al proceso.
Filtro Bayesiano
Filtro Bayesiano: Filtro Bayesiano: Serialización Los datos del filtro se guardan en dos archivos por separado, uno de categorías y palabras (comprimido con front coding) y otro que guarda las frecuencias en forma de array. En ambos se incluye un encabezado que indica el checksum y la correcta finalización y el id de la serialización, para asegurarse que no se levantará un par de archivos inválidos
Filtro Bayesiano Filtro Bayesiano: Performance. Tiempo estimado para entrenar el filtro con palabras nunca vistas, con 32 categorías: ~1.5 seg. Tiempo estimado para agregar una categoría: ~0.25 seg. Tiempo estimado para eliminar una categoría: ~0.2 seg. Tiempo estimado para entrenar o clasificar una noticia de palabras, sin palabras desconocidas y 32 categorías : ~0.2 seg.
Stop Words Palabras que aparecen en casi todas las noticias, por lo no que brindan información sobre a que categorías pertenecen. Estas palabras se eliminan de la noticias, con lo que se obtiene una mejor clasificación. Se genera dinámicamente un archivo de stop words que luego es importado por el daemon.
Reclasificación Automática El Daemon toma bloques de noticias e intenta reclasificarlas por cada iteración. La cantidad de noticias y el tiempo entre iteraciones es parametrizable.