Acerca del uso de métricas de calidad de Wikipedia Carlos Velázquez, Leticia Cagnina y Marcelo Errecalde  LIDIC - Departamento de Informática Universidad Nacional de San Luis carvear20@yahoo.com.ar,{lcagnina,merreca}@unsl.edu.ar

Wikipedia Enciclopedia Online más grande y popular Distintas líneas de investigación: Detección de Artículos Destacados Desarrollo de Métricas de Calidad Detección de Fallas de Calidad Solo el contenido o el historial de ediciones no es suficiente

Métricas de Calidad Vs Medidas de Calidad Métrica de Calidad Estimación cuantitativa Medidas a través de una fórmula Son subjetivas Informatividad, reputación, generalidad, completitud, etc. Medidas de Calidad Directamente medidas sobre el recurso Son objetivas Longitud, cantidad de imágenes, etc.

Métricas de Calidad Pueden ser utilizadas: Construir un ranking de artículos Características para representar documentos en tareas de categorización o Clustering Combinadas Para evaluar la precisión factual del contenido Web es necesario más control semántico: Sistema de extracción abierta Meronimia Hiperonimia

Soporte Factual Externo Objetivo: Determinar una métrica que estime el soporte externo de un documento. ¿Cuanta información en una Fuente Externa contribuye a mostrar que el contenido es bien conocido? ¿Como obtenerlo? Analizar la información de cada hecho del documento Estimar el soporte externo de cada hecho Determinar el soporte de un documento en base al conjunto total de hechos por documento

Soporte Factual Externo (continuación) Sea d un documento, Fd= {f1…fn} la colección de hechos extraídos de d. El Soporte Factual Externo de d se denota como:

Características de la fórmula Usar diferentes pesos implica dar diferente importancia a los hechos extraídos. Valor de confianza Ci (ReVerb) Wi = 1 Valor de confianza con umbral: Se(fi) muestra cuantas veces el hecho fi fue encontrado en la fuente externa. Ni Caso binario:

Características de la formula (continuación) Normalización: nor = 1 (Sin normalizar) nor = |Ld|(Número de líneas) nor = |Fd| (Número de hechos extraídos de d) nor = |Wd| (Número de palabras extraídas de d)

Combinaciones de métricas Se construyeron 24 codificaciones diferentes: Peso: C wi = ci U wi = 1 T Fórmula: Valor de confianza con umbral. Soporte Factual Externo: N Cantidad de hechos en d B Caso booleano Normalizaciones N Sin normalización L Basada en líneas F Basada en hechos W Basada en palabras

Datasets Artículos de Wikipedia: 2445 totales FA: 1000 Destacados NF: 1445 No Destacados NFr: 939 Regulares no Destacados NFor: 506 Original Research Fuente Externa (Reverb ClueWeb Extractions) 15 millones aserciones binarias de la Web Subconjunto de ClueWeb09

Problema Aplicando Matching Estricto entre los hechos y la Fuente Externa: Se produce bajo Recall Se tuvieron que proponer otras formas de Matching DS DS* - ME DS* - ML DS* - MG FA |FA| = 1000 |FA*| = 346 |FA*| = 960 |FA*| = 999 NFr |NFr| = 939 |NFr*| = 78 |NFr*| = 514 |NFr*| = 757 NFor |NFor| = 506 |Nfor*| = 75 |Nfor*| = 376 |Nfor*| = 477

Solución: Tipos de Matching relajados Local: Utiliza Jaccard evaluando cada componente del hecho Global: Utiliza Jaccard evaluando el hecho completo

Conclusiones A pesar del bajo recall del Matching Estricto, permite distinguir características del soporte factual externo. Global Matching y Local Matching presentan mejores resultados que Matching Estricto Trabajos Posteriores: Los mejores resultados se obtienen de las combinaciones con peso Ci, booleanas y con normalización basada en hechos Generalmente se obtienen mejores resultados combinados con FD, WC y las 24 combinaciones.

!Gracias! ¿Preguntas?