Using Quality of Data Metadata for Source Selection and Ranking Santiago López Andrés Margalef.

Presentación del tema: "Using Quality of Data Metadata for Source Selection and Ranking Santiago López Andrés Margalef."— Transcripción de la presentación:

1 Using Quality of Data Metadata for Source Selection and Ranking Santiago López Andrés Margalef

2 Agenda Introducción y Datos generales Motivación Objetivos Modelo Lenguaje de consulta Solución Propuesta Críticas Conclusión

3 Introduccion Usando la Calidad de Datos para la selección de fuentes de datos. Autores George Mihaila. (Doctorado en Universidad de Toronto, actualmente trabaja IBM). Louiqa Raschid. (UMIACS) María Esther Vidal. (UMIACS) Fecha Publicación ¿2000?

4 Motivación Crecimiento del uso de Internet Adopción formatos y estándares Cuales son los datos relevantes para un determinado problema? De los datos relevantes, cuales son los mejores?

5 Objetivos Usando calidad de datos… Selección de fuentes de datos Ranking de fuentes relevantes Score de rankeo

6 Modelo Bases del modelo Se basa en atributos de dimensión y de medición, los dominios de ellos y además de parámetros de calidad de los datos. Parámetros de calidad Completitud Edad de los datos (Recency) Frecuencia de actualización (Update Frecuency) Granularidad (Granularity)

7 Componentes del modelo SODA: conjunto de atributos dimensión como por ejemplo ciudad, tiempo. SOMA: conjunto de atributos de medición por ejemplo, temperatura, presión atmosférica. T 1 …T N son tipos relacionales, cada T i tienen un conjunto de atributos los cuales estos tienen determinados dominios. Los atributos pertenecen a la unión entre SODA y SOMA. Fuente S, que contiene los datos para cada T i comprendida.

8 Descriptores de calidad del contenido de una fuente (SCQD) Es una terna (t, cd, qods) -t: tipo relacionado a los datos (valor de Ti) -Cd: es el descriptor del contenido, comprende un conjunto de parejas de atributos y su respectivos dominio. Estos atributos pertenecen a SODA. -Qods: conjunto de descriptores de calidad de los datos.

9 Descriptor de calidad de dato (QOD) Es una tupla con los elementos (lcd, c, r, f, g, soma) los cuales -lcd: descriptor de contenido de alguna fuente, estos deben estar incluidos en el descriptor del contenido (cd). -c, r, f, g: corresponden a los parámetros de calidad de datos, completitud, edad de datos, frecuencia de actualización y granularidad respectivamente. -soma: subconjunto de todos los atributos de medición (SOMA).

10 Identificación de componentes

11 Proponen utilizar el formato WS-XML

12 Lenguaje de Consulta Notación similar a SQL.

13 Resultados de las Consultas Se devuelve una lista ordenada de las fuentes que verifican las condiciones impuestas en la consulta. A cada fuente se le asigna un score que indica el nivel de relevancia de la fuente. Combinando fuentes.

14 Solución Propuesta Ejemplo

15

16 Agrupando descriptores de contenido de las fuentes. (Buckets) Buckets del ejemplo

17 Surge un problema… Si bien se reduce el problema de eficiencia, igualmente es posible que la cantidad de buckets crezca considerablemente. Como se puede solucionar?… Extendiendo la solución empleando conjuntos parcialmente ordenados

18 Conjuntos parcialmente ordenados Relación de inclusión entre Buckets. B i esta incluido en B j si y solo si, los dominios comprendidos por los atributos de B i están incluidos estrictamente en los dominios de los atributos definidos en B j. Incompatibilidad Dos buckets son incompatibles si no son el mismo y ninguno esta incluido en el otro. Usando la inclusión entre buckets se agrupan buckets en diferentes niveles, cada nivel es un superbucket.

19 SuperBucket Consiste en la agrupación de los buckets incompatibles. Implícitamente si un bucket B i incluye a otro B j, entonces el superbucket que aloja B i incluye al superbucket que aloja B j Conjunto parcialmente ordenado(po-set) Conjunto de superbackets ordenados según la relación de inclusión

20 po-set del ejemplo

21 Combinaciones de SCQD Si no hay una fuente que cumpla con la consulta se pueden usar combinaciones de fuentes de datos, de manera tal que el resultado obtenido de esta combinación cumpla con las condiciones de la consulta, y como consecuencia esta combinación es relevante. Aquellos buckets tal que su lcd cumplan con algún elemento del lcd propuesto en la consulta serán los candidatos a formar parte de la combinación.

22 En este ejemplo los buckets candidatos son: B 32, B 31, B 12, resultando las siguientes combinación de fuentes: {S 1, S 2, S 6 }, {S 1, S 2, S 5 }, {S 2, S 4, S 6 }, {S 2,S 4, S 5 }.

23 Problemas Puede existir un numero muy grande de combinaciones de fuentes. Alternativa 1 Extender el po-set hacia un lattice. Se agregan todos los buckets generados a través de combinación de fuentes a la estructura de superbukets. El problema de esta solución ese que igualmente puede existir un crecimiento exponencial de la cantidad de buckets.

24 Alternativa 2 Construir parcialmente el lattice. Se agrega un bucket que contiene la combinación de las fuentes de los buckets mas generales. Solución sencilla, pero tiene como contrapartida la perdida de exactitud en los datos devueltos.

25 Según esta metodología el ejemplo retornaría el resultado a S 2 y S 3, cuando existe una mejor solución realizando la unión de S 1 y S 2

26 Criticas No es auto contenido Creación de scores no desarrollados. Elección de parámetros de calidad. No consigue una solución definitiva Ubicación de componentes de ejemplos inadecuada. Ausencia de fecha de publicación del articulo. Profundidad técnica sencilla de comprender Presenta ejemplos claros.

27 Conclusión Problemática adecuada a la realidad Solución no es completamente madura. Mejorar el desarrollo de las alternativas propuestas. Una buena idea para solucionar problemas que se presentan en la actualidad en esta area.

28 Preguntas