INQUIRE: EXTRACCIÓN DE INFORMACIÓN EN ARTÍCULOS MÉDICOS Felipe José Sellés Tur.

Presentación del tema: "INQUIRE: EXTRACCIÓN DE INFORMACIÓN EN ARTÍCULOS MÉDICOS Felipe José Sellés Tur."— Transcripción de la presentación:

1 INQUIRE: EXTRACCIÓN DE INFORMACIÓN EN ARTÍCULOS MÉDICOS Felipe José Sellés Tur

2 ¿Y esto cómo se hace? Cada día se coge la prensa escrita.

3 Se lee cuidadosamente buscando noticias relacionadas con la salud. ¿Y esto cómo se hace?

4 Cada día se coge la prensa escrita. Se lee cuidadosamente buscando noticias relacionadas con la salud. Se apunta manualmente cada noticia encontrada en una BD. Periódico Fecha Titular Personas relevantes Clasificación de la noticia Fuentes ¿Y esto cómo se hace?

5 Cada día se coge la prensa escrita. Se lee cuidadosamente buscando noticias relacionadas con la salud. Se apunta manualmente cada noticia encontrada en una BD. Periódico Fecha Titular Personas relevantes Clasificación de la noticia Fuentes ¿Y esto cómo se hace? ¿Y el texto de la noticia? ¿Productividad?

6 Cada día se coge la prensa escrita. Se lee cuidadosamente buscando noticias relacionadas con la salud. Se apunta manualmente cada noticia encontrada en una BD. Periódico Fecha Titular Personas relevantes Clasificación de la noticia Fuentes ¿Y esto cómo se hace? ¿Y el texto de la noticia? ¿Productividad?

7 Inquire Proyecto para la extracción de información de artículos médicos sobre los periódicos: El País, El Mundo, ABC, La Vanguardia y El Periódico y sus suplementos. Ampliación con extracción de noticias publicadas en la red: Crawler especializado Aplicación web para mostrar y gestionar las noticias descargadas Repositorio de artículos y diarios en pdf

8 ¿Cómo funciona? Crawler especializado Extracción de los artículos Clasificación de noticias Extracción de la información relevante

9 ¿Cómo funciona? Crawler especializado Extracción de los artículos Clasificación de noticias Extracción de la información relevante

10 Crawler especializado Utiliza webUtils, una librería que facilita las tareas de navegación y descarga web. Implementada por Javier Fernández Descarga a diario los pdf de los periódicos Accede a la web privada con login y password Navega hasta la sección de descargas Obtención de noticias Recorre las secciones de los portales online obteniendo ÚNICAMENTE los enlaces a las noticias Descarga las noticias

11 ¿Cómo funciona? Crawler especializado Extracción de los artículos Clasificación de noticias Extracción de la información relevante

12 Extracción de los artículos Obtención de las diferentes partes de una noticia (titular, subtitular, autor, texto…) Desde el pdf PDF2HTML herramienta que convierte el pdf a html Parseado del html para montar los artículos Desde la web Accediendo al DOM del documento descargado Filtrado del texto que buscamos con HTMLParser Titulares: …

13 Extracción de noticias con PDF2HTML

14 .. Vilagarcía combina erotismo, rock y gastronomía en el Salón del Atlántico.

15 Extracción de noticias con PDF2HTML.. Vilagarcía combina erotismo, rock y gastronomía en el Salón del Atlántico.

16 .. Vilagarcía combina erotismo, rock y gastronomía en el Salón del Atlántico. Extracción de noticias con PDF2HTML

17 ¿ Cómo extraemos las diferentes noticias y sus partes ?.. Vilagarcía combina erotismo, rock y gastronomía en el Salón del Atlántico. Clasificación de las líneas de texto

18 ¿ Cómo extraemos las diferentes noticias y sus partes ? Clasificamos el tipo de texto en función de su estilo... Vilagarcía combina erotismo, rock y gastronomía en el Salón del Atlántico. Clasificación de las líneas de texto

19 ¿ Cómo extraemos las diferentes noticias y sus partes ? Clasificamos el tipo de texto en función de su estilo. Titulares: negrita, tamaño grande… Subtitulares: color menos oscuro, tamaño mediano… Texto: tamaño pequeño….. Vilagarcía combina erotismo, rock y gastronomía en el Salón del Atlántico. Clasificación de las líneas de texto

20 .. Vilagarcía combina erotismo, rock y gastronomía en el Salón del Atlántico. ¿ Cómo extraemos las diferentes noticias y sus partes ? Clasificamos el tipo de texto en función de su estilo. Titulares: negrita, tamaño grande… Subtitulares: color menos oscuro, tamaño mediano… Texto: tamaño pequeño… Clasificación de las líneas de texto

21 .. Vilagarcía combina erotismo, rock y gastronomía en el Salón del Atlántico. ¿ Cómo extraemos las diferentes noticias y sus partes ? Clasificamos el tipo de texto en función de su estilo. Titulares: negrita, tamaño grande… Subtitulares: color menos oscuro, tamaño mediano… Texto: tamaño pequeño… Clasificación de las líneas de texto

22 ¿ Cómo extraemos las diferentes noticias y sus partes ? Clasificamos el tipo de texto en función de su estilo. Titulares: negrita, tamaño grande… Subtitulares: color menos oscuro, tamaño mediano… Texto: tamaño pequeño….. Vilagarcía combina erotismo, rock y gastronomía en el Salón del Atlántico. Clasificación de las líneas de texto

23 Montando el puzle ¿ Y ahora cómo se a que noticia pertenece cada línea de texto ?.. Vilagarcía combina erotismo, rock y gastronomía en el Salón del Atlántico.

24 Montando el puzle ¿ Y ahora cómo se a que noticia pertenece cada línea de texto ? Cada titular obtenido es un artículo al que falta agregar (si los tienen): Autor Subtitulo Entradilla Texto ….. Vilagarcía combina erotismo, rock y gastronomía en el Salón del Atlántico.

25 Montando el puzle.. Vilagarcía combina erotismo, rock y gastronomía en el Salón del Atlántico. ¿ Y ahora cómo se a que noticia pertenece cada línea de texto ? Cada titular obtenido es un artículo al que falta agregar (si los tienen): Autor Subtitulo Entradilla Texto … Obtengo la posición de la línea

26 Montando el puzle.. Vilagarcía combina erotismo, rock y gastronomía en el Salón del Atlántico. ¿ Y ahora cómo se a que noticia pertenece cada línea de texto ? Cada titular obtenido es un artículo al que falta agregar (si los tienen): Autor Subtitulo Entradilla Texto … Obtengo la posición de la línea Asigno a cada línea el titular al que pertenece Por proximidad Tipo de línea …

27 ¿Cómo funciona? Crawler especializado Extracción de los artículos Clasificación de noticias Extracción de la información relevante

28 Clasificación de las noticias Se clasifica el texto utilizando Infomap Utiliza una variante de LSA Aprende los vectores que representan los significados de las palabras Indexa los documentos en un corpus y puede realizar recuperación de información Implementación de un wrapper en java Obtiene los artículos médicos y los clasifica Tipo: Artículo, Opinión… Especialidad: Enfermedades infecciosas, Oncología… Tópico: VIH, pediatría… Corpus construido por Sonia Vázquez A partir de los datos históricos que se introducían a mano Errores por la introducción del texto manual Falta del cuerpo de la noticia, lo que supone la mayoría de la información

29 ¿Cómo funciona? Crawler especializado Extracción de los artículos Clasificación de noticias Extracción de la información relevante

30 Se trata de recuperar las personas, asociaciones, empresas, o medios de información que aparecen en las noticias Utiliza Freeling para obtener las diferentes entidades nombradas. Implementación de un Wrapper para lanzar Freeling en java Clasificación de las diferentes entidades Sociedad-Civil Científico-Sanitaria Industrial Uso de diccionarios para diferenciar las distintas entidades Expertos Empresas, Instituciones o asociaciones Revistas … Se guarda la información en una BD almacén.

31 La aplicación web La página de inicio muestra los periódicos sobre los que existen artículos médicos, obtenidos del PDF o de las hemerotecas on-line de los distintos periódicos. Se pueden consultar por fecha y periódico. Facilita enlaces a los pdfs descargados de cada periódico.

32 En la imagen siguiente se muestra uno de los pdfs que se obtienen automáticamente a diario, en concreto el del ABC. Además nos da la opción de descargarlo. Repositorio pdfs

33 Al seleccionar los artículos de un periódico, en este ejemplo El País, se muestra la extracción de la información (izquierda) junto a su fuente (derecha). En este caso se trata de un artículo pendiente de revisar extraído de la hemeroteca on-line de El País. Los datos del artículo se pueden modificar y editar, pudiendo guardar dichos cambios que quedarán almacenados en la base de datos. Información obtenida

34 A continuación se muestran más datos de los que se extraen de los artículos. En este caso se aprecia el titular, subtitular, el texto o el autor del artículo, entre otros datos. Como se ha comentado antes todos estos datos pueden ser modificados por el usuario. Información obtenida

35 En esta imagen se muestran los expertos extraídos del artículo. Estos pueden ser modificados, borrados o se pueden añadir nuevos; como mucho habrán 8 expertos. Información obtenida

36 Una vez revisado el artículo, guardamos los cambios, el artículo pasa de pendiente a revisado y se inserta una fila nueva en la BD. Finalidad: Base de datos

37 Ejemplo de cómo aprovechar la tecnología desarrollada para nuevos proyectos DOSSIER GPLSI

38 Dossier ¿Y si aprovechamos los módulos desarrollados para la obtención de noticias de cualquier género?

39 Dossier ¿Y si aprovechamos los módulos desarrollados para la obtención de noticias de cualquier género?

40 Dossier Dossier de prensa automatizado Información de los medios sobre tu empresa u organización Aprende de sus errores y mejora los resultados Procesa decenas de periódicos nacionales e internacionales

41 Dossier Dossier de prensa automatizado Información de los medios sobre tu empresa u organización Aprende de sus errores y mejora los resultados Procesa decenas de periódicos nacionales e internacionales Vigilancia competitiva Vigila cientos de fuentes cada día Extrae información de boletines oficiales Filtra información irrelevante Envía avisos programables Almacena la información ya procesada

42 Dossier Dossier de prensa automatizado Información de los medios sobre tu empresa u organización Aprende de sus errores y mejora los resultados Procesa decenas de periódicos nacionales e internacionales Vigilancia competitiva Vigila cientos de fuentes cada día Extrae información de boletines oficiales Filtra información irrelevante Envía avisos programables Almacena la información ya procesada Gestión Documental

43 Módulos principales Newsdowloader Es el núcleo de la aplicación, se compone principalmente de un crawler, un clasificador y un motor de búsqueda. Se encarga de descargar, clasificar las noticias y distribuirlas en los diferentes dossiers según esta clasificación. Dossier Se trata del portal del dossier. Es una aplicación web que permite administrar usuarios, gestionar las noticias que queremos publicar, generar el dossier en pdf o enviarlo por correo. Dossearch El buscador del dossier, permite realizar búsquedas en toda la hemeroteca con la posibilidad de filtrar entre fechas o periódicos en concreto.

44 ¿Más de lo mismo? Sí… pero no Aprovechamiento de los módulos para descargar y obtener noticias Implementación de nuevos módulos para acelerar la incorporación de nuevos periódicos Dapper XPATH RSS Nuevas fuentes Boletines oficiales

45 ¿Más de lo mismo? Sí… pero no Aprovechamiento de los módulos para descargar y obtener noticias Arranque y clasificación sin necesidad de un corpus. Uso de bolsa de palabras para clasificación inicial de noticias. La bolsa de palabras la define cada usuario según sus necesidades

46 ¿Más de lo mismo? Sí… pero no Aprovechamiento de los módulos para descargar y obtener noticias Arranque y clasificación sin necesidad de un corpus. Creación de dossier en pdf Posibilidad de envío por correo Edición del mensaje Configuración de lista de destinatarios

47 ¿Más de lo mismo? Sí… pero no Aprovechamiento de los módulos para descargar y obtener noticias Arranque y clasificación sin necesidad de un corpus. Creación de dossier en pdf Vigilancia y gestión documental Accede al portal y comparte la información obtenida rápidamente

48 ¿Más de lo mismo? Sí… pero no Aprovechamiento de los módulos para descargar y obtener noticias Arranque y clasificación sin necesidad de un corpus. Creación de dossier en pdf Vigilancia y gestión documental Buscador de noticias Indexación de las noticias Aplicación web buscador Filtrado por fecha Clustering de periódicos

49 La aplicación dossier

50 Menú de gestión del Dossier

51 Gestión de las noticias

52 Opciones del menú

53 Dossearch: El buscador

54 Muchas gracias por la atención ¿Preguntas, sugerencias?