Tema 6. Evaluación de SRIs Sistemas de Gestión Documental

Introducción No todos los SRI son iguales. Las diferencias se notarán, especialmente, en los resultados que ofrezcan. Determinar lo bueno o lo malo que es un SRI es una medida de evaluación, que debe realizarse de forma estricta. Existen mucha posibilidades de evaluar, y muchos elementos que someter a evaluación. Nos centraremos únicamente en evaluación de resultados.

Objetivos Ayudar al proceso de selección de un SRI. Monitorizar y evaluar la efectividad de los SRI. Evaluar el proceso de generación de consultas para su mejora. Proporcionar datos para los análisis coste-beneficio de los SRI. Determinar los efectos de los cambios realizados en un SRI.

Elementos de evaluación Gestor de consultas Interpretación, evaluación de resultados. Gestor de datos Velocidad de ejecución, espacio. Proceso de creación de consultas Base de datos Contenidos, estructura, ámbito.

Criterio de evaluación Para evaluar resultados, el criterio de evaluación a considerar es la relevancia. La relevancia se puede ver desde dos puntos de vista: Cercanía de la respuesta a la pregunta Valor o utilidad de la respuesta para el usuario que formula la pregunta.

Medidas de evaluación Básicas Precisión Exhaustividad

Medidas de evaluación Avanzadas Fallout Exhaustividad Relevante Unica

Medidas de evaluación Avanzadas Novelty Ratio Coverage Sought Recall Relevantes y no conocidos respecto a los relevantes recuperados. Coverage Relevantes recuperados respecto a los relevantes conocidos por el usuario a priori. Sought Recall Relevantes revisados respecto a los relevantes que el usuario hubiese querido examinar a priori.

TREC ¿Qué es TREC? Text REtrieval Conference Conferencia que pretende apoyar en la investigación de la recuperación de información. Proporciona la infraestructura necesaria para una evaluación a gran escala de diferentes metodologías de recuperación de información.

TREC ¿Cómo funciona TREC? Inscripción en la conferencia. Selección de ‘tracks’ en los que se desea participar. Se obtiene un conjunto de prueba (datos, preguntas y respuestas) para evaluar el SRI de cada participante. Se somete el sistema del participante a las pruebas solicitadas, y se envían los resultados. Se publican los resultados de cada participante en todos los ‘tracks’.

TREC ‘Topics’ Se distinguen Tópicos de Consultas Tópico es la necesidad de información. Consulta es la traducción del tópico. Partes: número, título, descripción y narrativa.

TREC

TREC

TREC Cross-Language Búsqueda ad hoc de documentos escritos en un idioma utilizando palabras en otro idioma diferente.

TREC Filtering Para cada documento de un conjunto de documentos, decidir si se recupera (decisión binaria) en respuesta a una consulta. Subtareas Adaptive filtering. Se parte de una consulta y un conjunto de docs relevantes. Se analiza doc a doc y se decide para cada uno, se obtiene un juicio de relevancia, y se puede modificar el criterio de decisión en base a la respuesta. Batch filtering. Igual que el anterior, pero sin feedback. Routing. Se utiliza lógica no binaria.

TREC Interactive Investigar la búsqueda como proceso interactivo donde se observa tanto el proceso como el resultado. En la primera fase se observa como los usuarios actúan respecto a una serie de cuestiones planteadas. En la segunda fase se utilizan los resultados obtenidos en aplicación a sistemas que ayuden a los usuarios en las búsquedas.

TREC Question answering Investigar sistemas que contestan preguntas en lugar de devolver documentos. Subtareas: Main. Recuperar la respuesta en 50 caracteres. List. Ensamblar un conjunto de resultados como respuesta a la pregunta. Context. Respuesta a series de preguntas enlazadas, lo que supone un conocimiento del contexto.

TREC Video Promocionar el progreso en las búsquedas de contenido sobre el video digital. Tareas: Shot boundary detection Known item search General search

TREC Web Investigar el comportamiento de la recuperación de información en el web. Tareas Ad hoc. Homepage finding.

TREC Medidas de evaluación Se utilizan las medidas básicas de Precisión (Precision) y Exhaustividad (Recall) para las búsquedas ad hoc y búsquedas en el web. Para otros ‘tracks’ se definen medidas y métricas alternativas que ofrezcan una mejor evaluación del funcionamiento del sistema.

TREC Medidas de evaluación Evaluation Report Cross-language, ad hoc, web, routing filtering. Resumen de estadísticas, Medias de precisión-exhaustividad, Medias de precisión por documento, gráfico precisión-exhaustividad, histograma de precisión media según tópico.

TREC Medidas de evaluación Otras medidas Informe de evaluación de question answering Informe de evaluación de filtering Informe de evaluación de homepages

TREC Ejemplos de Informes Evaluation Report Question answering Resultados de pruebas ad hoc Resultados de pruebas ad hoc para el web Question answering Filtering Homepages