Assessment Methods for Information Quality Criteria Felix Naumann Felix Naumann Claudia Rolker Claudia Rolker (Año 2000)

Agenda Introducción Introducción Objetivos Objetivos Relaciones y características entre clases y factores Relaciones y características entre clases y factores Métodos de evaluación Métodos de evaluación - Accuracy vs. Practicality - Valores unitarios y rangos - Evaluando Subject-Criteria - Evaluando Subject-Criteria - Evaluando Object-Criteria - Evaluando Process-Criteria Confianza en métodos de evaluación de IQ Confianza en métodos de evaluación de IQ Conclusión Conclusión Criticas Criticas Preguntas Preguntas

Introducción Problema de la baja calidad de los datos Problema de la baja calidad de los datos Ausencia de métodos de evaluación en la mayoría de los proyectos Ausencia de métodos de evaluación en la mayoría de los proyectos Evaluar la correctitud de la calidad de IQ es difícil: Evaluar la correctitud de la calidad de IQ es difícil: Criterios son subjetivos-su evaluación no es automática Criterios son subjetivos-su evaluación no es automática Las fuentes de inf. no publican los metadata Las fuentes de inf. no publican los metadata Gran cantidad de datos Gran cantidad de datos Cambio sorpresivo en el contenido Cambio sorpresivo en el contenido

Objetivos Nueva clasificación: assessment-oriented Nueva clasificación: assessment-oriented Se divide en tres clases: Se divide en tres clases: Subject-Criteria Subject-Criteria Object-Criteria Object-Criteria Process-Criteria Process-Criteria Influenciadas por tres factores: Influenciadas por tres factores: El usuario El usuario La fuente de la información La fuente de la información El proceso de consulta El proceso de consulta

Relaciones y Características

Assessment Class IQ Criterion Assessment Method Subject Criteria Believability User experience Concise representation User sampling Interpretability Relevancy Continuous user assessment Reputation User experience Understandability User sampling Value-Added Continuous user assessment Object Criteria Completeness Parsing, sampling Customer Support Parsing, contract DocumentationParsing Objectivity Expert input PriceContract Reliability Continuous assessment SecurityParsing TimelinessParsing Verifiability Expert input Process Criteria Accuracy Sampling, cleansing techniques Amount of data Continuous assessment Availability Consistent representation Parsing Latency Continuous assessment Response time Continuous assessment

Métodos de evaluación para criterios de IQ Dos cualidades deseables en estos métodos son: exactitud y practicidad Dos cualidades deseables en estos métodos son: exactitud y practicidad Cualidades en conflicto Cualidades en conflicto Exactitud Exactitud Subject-Criteria Subject-Criteria Object-Criteria Object-Criteria Process-Criteria Process-Criteria Practicidad Practicidad Subject-Criteria Subject-Criteria Object-Criteria Object-Criteria Process-Criteria Process-Criteria

Valores unitarios y rangos Para evaluar correctamente se debe estar de acuerdo en una unidad de medida del criterio y en un rango dentro del cual se encuentran los valores Para evaluar correctamente se debe estar de acuerdo en una unidad de medida del criterio y en un rango dentro del cual se encuentran los valores Subject-Criteria (Difícil) Subject-Criteria (Difícil) Object-Criteria (Pto. de vista del experto) Object-Criteria (Pto. de vista del experto) Process-Criteria (Gral. bien definido) Process-Criteria (Gral. bien definido)

Evaluando subject-criteria Cuando evaluamos S-C esto es especialmente importante para: Proveer al usuario una definición exacta del criterio que ellos están evaluando Proveer al usuario una definición exacta del criterio que ellos están evaluando Dar el rango de valores Dar el rango de valores Proporcionar ejemplos al usuario Proporcionar ejemplos al usuario Métodos para evaluar subject-criteria: Experiencia del usuario Experiencia del usuario Muestreo de usuarios Muestreo de usuarios Evaluación continua del usuario Evaluación continua del usuario

Evaluación de object-criteria Pueden ser evaluados automáticamente Pueden ser evaluados automáticamente Métodos para evaluar subject-criteria: Métodos para evaluar subject-criteria: Contrato Contrato Análisis Análisis Muestreo Muestreo Entrada experta Entrada experta Evaluación continua Evaluación continua

Evaluando process-criteria Métodos para evaluar process-criteria Métodos para evaluar process-criteria Técnicas de limpieza (Cleansing) Técnicas de limpieza (Cleansing) Evaluación continua Evaluación continua Análisis Análisis

Confianza en los métodos de evaluación de IQ Confianza basica Confianza basica Confianza en subject-criteria (Baja) Confianza en subject-criteria (Baja) Asesores de tipo 1 (Ej.: gerente) Asesores de tipo 1 (Ej.: gerente) Asesores de tipo 2 (Ej.: jefe de proyecto) Asesores de tipo 2 (Ej.: jefe de proyecto) Confianza en object-criteria (Gral. alta) Confianza en object-criteria (Gral. alta) Contrato (Alta) Contrato (Alta) Análisis de contenido (Alta si evaluamos según criterio facility) Análisis de contenido (Alta si evaluamos según criterio facility) Muestreo (Alta y Baja) Muestreo (Alta y Baja) Expertos (Baja) Expertos (Baja) Evaluación continua (Baja y Alta) Evaluación continua (Baja y Alta) Confianza en process-criteria Confianza en process-criteria Técnicas Cleansing (Baja por técnicas de ajuste) Técnicas Cleansing (Baja por técnicas de ajuste) Evaluación continua (Análogo a Object-Criteria) Evaluación continua (Análogo a Object-Criteria) Análisis (Análogo a Object-Criteria) Análisis (Análogo a Object-Criteria) Fuente generales de baja confianza Fuente generales de baja confianza

CONCLUSIONES - Se presento una clasificación propia orientada a la evaluación. - No importa el método que se utilice y cual sea el criterio medido, nunca se va a obtener un valor exacto. Se puede obtener una aproximación con cierto error.

CRITICAS (+) Tiene un enfoque innovador (para la época) con respecto a otras investigaciones que se vienen realizando en el área, las cuales no tienen como meta evaluar la calidad de la información sino mejorarla. (+) Tiene un enfoque innovador (para la época) con respecto a otras investigaciones que se vienen realizando en el área, las cuales no tienen como meta evaluar la calidad de la información sino mejorarla. (-) Al ser la propuesta tan amplia en cuanto a la cantidad de métodos de evaluación no se trata en profundidad ninguno de estos. (-) Al ser la propuesta tan amplia en cuanto a la cantidad de métodos de evaluación no se trata en profundidad ninguno de estos.

PREGUNTAS PREGUNTAS