Tema 2. Indexación y Búsqueda

Presentación del tema: "Tema 2. Indexación y Búsqueda"— Transcripción de la presentación:

1 Tema 2. Indexación y Búsqueda
Sistemas de Gestión Documental

2 Introducción ¿Qué tipos de consulta puedo realizar?
¿Cómo puedo tratar (indexar) el texto para poder realizar mis consultas? ¿Necesito realizar alguna tarea previa a la indexación (preprocesado)? ¿Cómo se van a resolver las consultas? ¿Tengo alguna alternativa de ayuda?

3 Lenguajes de consulta Cada modelo de RI responderá a distintos tipos de consultas. Veremos QUE consultas se pueden hacer, y COMO se resuelven. Modelos básicos: consultas basadas en palabras clave (keywords). Modelos avanzados: consultas con procesamiento del lenguaje natural.

4 Palabras clave La consulta se compone de palabras clave que se deben buscar dentro de los documentos. Son intuitivas, fáciles de expresar, y permiten un ranking rápido. Constan de una sola palabra o de una combinación más o menos compleja de palabras.

5 Palabras clave Consultas de una palabra
Aceptada por todos los modelos. Algunos modelos permiten la separación de palabra en letras. Detección de palabras: letras y separadores  problema de identificación de separadores (válidos sólo en algunos casos). El resultado de la consulta es el conjunto de documentos que contienen la palabra. El ranking se soporta con medidas estadísticas como la frecuencia de términos y la frecuencia de documento inversa.

6 Palabras clave Consultas contextuales
Permiten búsquedas de palabras en ciertos contextos del documentos (proximidad). Operaciones contextuales: Frases. Secuencia de palabras. Permite la inclusión de palabras vacías dentro de la frase. Proximidad. Especificación de la distancia entre los términos o frases, según distintas unidades (palabras, párrafos) y características (unidireccional, bidireccional). El ranking de consultas de frases es similar al de consultas de términos. El ranking de proximidad no está muy claro como hacerlo.

7 Palabras clave Consultas booleanas
La forma más antigua de combinar términos. Sintaxis: términos combinados con operadores booleanos. Es un esquema composicional: los operandos pueden ser los resultados de otras operaciones. Producen conjuntos de documentos.

8 Palabras clave Consultas booleanas Arbol de consulta Operadores:
OR (a or b) AND (a and b) NOT (not b) BUT (a but b) No hay ranking en sistemas booleanos puros. traducción búsqueda contextual términos adyacentes and or

9 Palabras clave Lenguaje natural Eliminación completa de operadores.
Simple enumeración de términos y contextos. Se recuperan documentos que satisfagan parcialmente la consulta. El ranking será mayor cuanto más partes de la consulta se satisfagan. Completamente aplicable al modelo de RI de espacios vectoriales.

10 Patrones Se permiten búsquedas parciales de términos
Palabras completas (preservar) Prefijos (preser*) Sufijos (*cación) Subcadenas (*cans*) Rangos (1027 < x < 2077) Fallos permitidos (fuzzy) (~suarseneguer) (Distancia Levenshtein – mínimo número de inserciones, sustituciones y borrados necesario para igualar las dos cadenas) Ejercicio: (schwarzenegger || suarseneguer)

11 Patrones schwarzenegger suarseneguer
scuarseneguer (+c) schuarseneguer (+h) schwarseneguer (uw) schwarzeneguer (sz) schwarzenegger (ug)

12 Patrones Expresiones regulares (pro(blema|teina)(s|)(0|1|2|)*) problema02, proteinas, proteina00121, ... Unión (a|b) Concatenación (ab) Repetición (*) Patrones extendidos. Particularizaciones de los patrones extendidos, con un lenguaje de consulta más sencillo. Clases de caracteres (dígitos, posiciones, etc.) Expresiones condicionales Truncamientos Combinaciones de encaje exacto, encaje con errores

13 Consultas estructuradas
Estructura fija: campo Hipertexto Estructura jerárquica

14 Protocolos de Consulta
En red (on-line) Z39.50 WAIS (Wide Area Information Service) CDs (off-line) CCL (Common Command Language) CD-RDx (Compact Disc Read Only Data exchange) SFQL (Structured Full-text Query Language)

15 Indexación y búsqueda Vamos a ver las principales técnicas que permiten resolver las consultas. Consultas compuestas de palabras  documentos que las contienen Operaciones booleanas Algoritmos de búsqueda secuencial y búsqueda de patrones

16 Indexación Opciones de búsqueda Recorrido del texto
No hay preprocesamiento. Textos pequeños. Colecciones volátiles. Utilización de estructuras de apoyo (índices) Grandes colecciones. Colecciones estáticas. Ficheros invertidos, vectores de sufijos y ficheros de firmas.

17 Ficheros invertidos Es un mecanismo orientado al término para indexar una colección. Se compone de: Vocabulario (conjunto de palabras que aparecen en un texto). Ocurrencias (lista de las apariciones de cada palabra en el texto, una por cada palabra). Posiciones de palabras (facilitan las búsquedas de proximidad y de frases) Posiciones de caracteres (facilitan los accesos a las posiciones de los textos)

18 Ficheros invertidos Vocabulario Ocurrencias Fichero Invertido
Esto es un texto. Un texto tiene muchas palabras. Las palabras están compuestas de letras. Vocabulario Ocurrencias Compuestas De Es Están Esto Las Letras Muchas Palabras Texto Tiene Un 70... 81... 6... 64... 1... 51... 84... 34... 41, 55... 12, 22... 28... 9, 19... 13... 14... 2... 12... 1... 10... 15... 8... 9, 11... 4, 6... 7... 3, 5... Fichero Invertido

19 Ficheros invertidos Fichero invertido / Lista invertida
El primero hace referencia (apunta) a documentos, y el segundo a términos. Espacio que necesita el vocabulario Crecimiento: O(n), 0.4<  <0.6, n es el número de palabras en la base de datos Ejemplo: 1Gb de una colección de TREC-2 ocupa 5Mb. Espacio que necesitan las ocurrencias Crecimiento: O(n) En la práctica, 30% o 40% sobre el tam. del texto

20 Ficheros invertidos Se puede reducir el tamaño de las ocurrencias utilizando la técnica de direccionamiento de bloques: Bloque 1 Bloque Bloque Bloque 4 Esto es un texto. Un texto tiene muchas palabras. Las palabras están compuestas de letras. Vocabulario Ocurrencias Compuestas De Es Están Esto Las Letras Muchas Palabras Texto Tiene Un 4... 1... 3... 2... 1, 2... Fichero Invertido

21 Ficheros invertidos INDICE COLECCIÓN PEQUEÑA (1Mb) COLECCIÓN MEDIANA
COLECCIÓN GRANDE (2 Gb) PALABRAS 45% 73% 36% 64% 35% 63% DOCUMENTOS 19% 26% 18% 32% 47% BLOQUES (64K) 27% 41% 5% 9% BLOQUES (256) 25% 1.7% 2.4% 0.5% 0.7% Tamaños de un fichero invertido como porcentajes del total de la colección. La columna de la izquierda indica que no se han indexado stopwords. La columna de la derecha indica que se han indexado todos los términos.

22 Ficheros invertidos Búsqueda en ficheros invertidos (algoritmo)
Búsqueda de vocabulario Se buscan las palabras de la consulta en el vocabulario, separando en palabras las frases y búsquedas de proximidad. Recuperación de ocurrencias Manipulación de ocurrencias Se resuelven frases, proximidad u operaciones booleanas. Si se usa indexación de bloques, habrá que buscar posiciones exactas dentro de los bloques.

23 Ficheros invertidos Búsqueda de vocabulario
Búsqueda secuencial, Búsqueda binaria, Arboles B, Tablas Hash Las búsquedas de prefijos y rangos no se puede hacer con tablas hash. Las búsquedas contextuales se resolverán de forma distinta según el tipo de indexación utilizado. Un ejemplo: la búsqueda de una palabra en un fichero de 250Mb puede costar 0.08 s., mientras que la búsqueda de una frase (3 a 5 palabras) de 0.25 s a 0.35 s.

24 Ficheros invertidos Construcción
Una de las formas más utilizadas de implementación son los árboles Se mantienen 2 ficheros separados: Vocabulario, que se puede mantener en memoria y referencia a las ocurrencias. Ocurrencias, almacenadas de forma contigua. Se parte de un estado previo del índice. Se busca si el término existe SI  Se añade la entrada en las ocurrencias NO  Se añade al vocabulario, y se actualizan las ocurrencias.

25 Ficheros invertidos Construcción: Ejemplo
Esto es un texto. Un texto tiene muchas palabras. Las palabras están compuestas de letras. compuestas: 70 ‘c’ ‘l’ letras: 84 ‘m’ muchas: 34 ‘p’ ‘t’ palabras: 41,55 ‘e’ texto: 12,22 ‘i’ tiene: 28

26 Vectores de sufijos Los ficheros invertidos asumen que los textos son secuencias de palabras  se limita el tipo de búsquedas. Las consultas de tipo frases son más difíciles de resolver. Los vectores de sufijos permiten resolver de forma más eficiente consultas de tipo complejo.

27 Vectores de sufijos El inconveniente es que construirlos es un proceso costoso. Permite indexar palabras y caracteres. Se pueden aplicar a un mayor rango de aplicaciones. Para aplicaciones que utilizan exclusivamente palabras, los ficheros invertidos funcionan mejor, sin considerar la resolución de consultas complejas.

28 Vectores de sufijos ¿Cómo funciona?
Se considera el texto como una cadena de caracteres. Cada posición del texto se considera como un sufijo. Cada sufijo se identifica unívocamente por su posición. No es necesario indexar todas las posiciones del texto (por ejemplo, se pueden indexar sólo comienzos de palabras). Los elementos no indexados NO serán recuperables.

29 Vectores de sufijos Esto es un texto. Un texto tiene muchas palabras. Las palabras están compuestas de letras. texto. Un texto tiene muchas palabras. Las palabras están compuestas de letras. texto tiene muchas palabras. Las palabras están compuestas de letras. tiene muchas palabras. Las palabras están compuestas de letras. muchas palabras. Las palabras están compuestas de letras. palabras. Las palabras están compuestas de letras. palabras están compuestas de letras. compuestas de letras. letras.

30 Vectores de sufijos Arbol de sufijos
Esto es un texto. Un texto tiene muchas palabras. Las palabras están compuestas de letras. 70 ‘c’ Arbol de sufijos ‘l’ 84 ‘m’ 34 55 ‘p’ ‘ ’ ‘a’ ‘l’ ‘a’ ‘b’ ‘r’ ‘a’ ‘s’ ‘t’ ‘.’ 41 ‘e’ ‘x’ ‘t’ ‘o’ ‘ ’ 22 ‘i’ ‘.’ 28 12

31 Vectores de sufijos Arbol PAT (Patricia)
Esto es un texto. Un texto tiene muchas palabras. Las palabras están compuestas de letras. 70 ‘c’ Arbol PAT (Patricia) ‘l’ 84 1 ‘m’ 34 55 ‘p’ ‘ ’ ‘t’ 8 ‘.’ 41 ‘ ’ ‘e’ 22 2 ‘i’ 6 ‘.’ 28 12

32 Vectores de sufijos Vector de sufijos
Esto es un texto. Un texto tiene muchas palabras. Las palabras están compuestas de letras. compuestas muchas texto 70 84 34 55 41 22 12 28 70 84 34 55 41 22 12 28 Vector de sufijos

33 Vectores de sufijos Búsquedas
Se pueden buscar prefijos, frases y palabras en los árboles de sufijos. Las búsquedas en vectores de sufijos se pueden realizar de la misma manera, pero más rápidamente. Las búsquedas en los árboles determinan el subárbol que satisface la consulta. Las búsquedas en los vectores determinan el conjunto de valores que satisfacen la consulta.

34 Vectores de sufijos Buscar ‘palabras’. Arbol de sufijos 70 ‘c’ ‘l’ 84
‘m’ 34 55 ‘p’ ‘ ’ ‘a’ ‘l’ ‘a’ ‘b’ ‘r’ ‘a’ ‘s’ ‘t’ ‘.’ 41 ‘e’ ‘x’ ‘t’ ‘o’ ‘ ’ 22 ‘i’ ‘.’ 28 12

35 Vectores de sufijos Buscar ‘palabras’. Arbol PAT (Patricia) 70 ‘c’ ‘l’
84 1 ‘m’ 34 55 ‘p’ ‘ ’ ‘t’ 8 ‘.’ 41 ‘ ’ ‘e’ 22 2 ‘i’ 6 ‘.’ 28 12

36 Vectores de sufijos Buscar ‘palabras’. Vector de sufijos
Esto es un texto. Un texto tiene muchas palabras. Las palabras están compuestas de letras. compuestas muchas texto 70 84 34 55 41 22 12 28 70 84 34 55 41 22 12 28 Vector de sufijos

37 Ejercicio Crear un fichero invertido, un arbol de sufijos y un arbol PAT para el siguiente texto. (Nota: Extraer sólo información relevante, es decir, eliminar stopwords) La defensa de una idea comienza por la defensa de las ideas básicas que componen la idea principal.

38 Ficheros de firmas Son estructuras de índice orientadas a palabras, basadas en técnicas de hashing. Ocupan poco espacio (10%-20% sobre el tamaño del texto). Contrapartida: hay que hacer búsqueda secuencial sobre el índice. Apropiada para textos no excesivamente largos, su coste es lineal, con una constante bastante pequeña. Son menos eficientes que los ficheros invertidos para la mayoría de aplicaciones.

39 Ficheros de firmas Funcionamiento: Se divide el texto en bloques
Se determina una función de hash A cada bloque se asigna una máscara de bits que lo identifica unívocamente. Se crea una tabla hash que asigna a cada bloque el resultado de una función OR a nivel de bit para los términos en el bloque.

40 Ficheros de firmas Bloque 1 Bloque Bloque Bloque 4 Esto es un texto. Un texto tiene muchas palabras. Las palabras están compuestas de letras. 000101 110101 100100 101101 h(texto) = h(muchas) = h(palabras) = h(compuestas) = h(letras) =

41 Ficheros de firmas Búsquedas
Se compara el resultado de una función de hash W con la máscara correspondiente a una entrada en el índice Bi. Si W & Bi = W entonces el término se encuentra en el bloque. False drop. Hay que conseguir una buena función de hash para evitarlo.

42 Ficheros de firmas BUSQUEDA DE MUCHAS h(muchas) = 110000
Bloque 1 Bloque Bloque Bloque 4 Esto es un texto. Un texto tiene muchas palabras. Las palabras están compuestas de letras. 000101 110101 100100 101101 BUSQUEDA DE MUCHAS h(muchas) = h(muchas) & B1 = & =  h(muchas) & B2 = & = = h(muchas) & B3 = & =  h(muchas) & B4 = & =  h(texto) = h(muchas) = h(palabras) = h(compuestas) = h(letras) =

43 Ficheros de firmas BUSQUEDA DE TEXTO h(texto) = 000101
Bloque 1 Bloque Bloque Bloque 4 Esto es un texto. Un texto tiene muchas palabras. Las palabras están compuestas de letras. 000101 110101 100100 101101 BUSQUEDA DE TEXTO h(texto) = h(texto) & B1 = & = = h(texto) & B2 = & = = h(texto) & B3 = & =  h(texto) & B4 = & = = h(texto) = h(muchas) = h(palabras) = h(compuestas) = h(letras) =

44 Consultas booleanas Primero hay que recuperar los documentos según los términos. Posteriormente hay que resolver la relevancia de los documentos. Por último, hay que resolver las operaciones de conjuntos a través de los árboles sintácticos de la consulta.

45 Consultas booleanas Evaluación completa frente a evaluación perezosa:
AND AND 4 6 1 4 6 OR 1 4 6 2 4 6 2 3 7 AND AND AND 1 OR 4 OR ... 6 OR 4 3 4 3 6 7

46 Búsqueda secuencial Algoritmos para búsqueda de cadenas cuando el texto no tiene ningún tipo de estructura de apoyo asociada. Trataremos la búsqueda exacta de cadenas. Problema: dado un patrón P de longitud m y un texto T de longitud n (n>m), se trata de encontrar las posiciones del texto que contienen el patrón de búsqueda.

47 Búsqueda secuencial Es un problema informático tradicional
Existen multitud de algoritmos que se pueden aplicar. Sólo veremos los más importantes. En comparación, los algoritmos tendrán costes espaciales y temporales, de modo que a mayor coste temporal, menor coste espacial, y a la inversa.

48 Autómatas de estados finitos
Problema: Buscar la palabra CPU

49 Autómatas de estados finitos
Algoritmo Algoritmo Busqueda Secuencial Autómata Finito Empezar Estado  S0 Carácter  Primer carácter del texto Mientras (! Final de texto) Caso (Estado) S0: si (Carácter = C) entonces Estado  S1 fin si S1: si (Carácter = P) entonces Estado  S2 sino si (Carácter = C) entonces Estado  S1 sino Estado  S0 S2: si (Carácter = U) entonces Estado  S3 (ENCONTRADO + TERMINAR) Fin Caso Carácter  Leer siguiente carácter del texto Fin Mientras Fin

50 Fuerza Bruta Es el algoritmo más simple posible.
Consiste en probar todas las posibles posiciones del patrón en el texto. Se sitúa el patrón en la primera posición, y se compara carácter a carácter hasta encontrar un fallo o llegar al final del patrón. Se pasa a la siguiente posición y se repite el proceso. El proceso finaliza al alcanzar el final del texto.

51 Fuerza Bruta desvalijar una valija valija valija valija valija valija valija valija valija valija valija valija valija valija valija valija valija

52 Knuth-Morris-Prat El proceso de búsqueda no depende de la longitud de la cadena a buscar. No necesita hacer comparaciones para todos los caracteres en el documento de entrada. Cuando se produce una discordancia, los caracteres analizados con anterioridad definen el número de posiciones que se debe avanzar para continuar la búsqueda.

53 Knuth-Morris-Prat El funcionamiento del algoritmo es el siguiente:
Cuando se produce una discordancia en un carácter, se salta toda la cadena de búsqueda hasta la siguiente posición en la que se produjo el fallo, excepto en el caso en que se repitan patrones en los caracteres que ya han coincidido. El salto dependerá de la cadena de búsqueda, de forma que el salto será una función de la posición donde se produzca la discordancia.

54 Knuth-Morris-Prat D E S D E Ñ A R . . . D E S D E N
D E S D E S D E Ñ A R . . . D E S D E Ñ A R

55 Knuth-Morris-Prat D E S D E Ñ A M I E N T O . . . D E S D E Ñ A R ???

56 Knuth-Morris-Prat A B C A B C A C SALTO = COINCIDEN - REPETICION
POSICION CARACTER COINCIDEN REPETICION SALTO 1 A 2 B 3 C 4 5 6 7 8 9 10 SALTO = COINCIDEN - REPETICION

57 Knuth-Morris-Prat b a b c b a b c a b c a a b c a a b c a b c a b a c
1  El fallo se produce en la primera posición. Salto=1   El fallo se produce en la posición 4. Salto=3   El fallo se produce en la posición 1. Salto=1   El fallo se produce en la posición 8. Salto=3   El fallo se produce en la posición 5, pero se ha sobrepasado el final de la cadena. Fin del proceso. Cadena no encontrada.

58 Boyer-Moore El algoritmo de búsqueda se puede mejorar si el proceso de comparación comenzase por la derecha en lugar de por la izquierda, y el avance en caso de fallo se produjese como en casos anteriores hacia la derecha. La ventaja es que se pueden generar grandes saltos cuando el carácter que no coincide en el texto de entrada no existe en el patrón de búsqueda.

59 Boyer-Moore ES MAS FACIL DETERMINAR EL SALTO SALTO SALTO SALTO SALTO SALTO SALTO SALTO

60 Boyer-Moore Métodos para calcular el salto:
Algoritmo 1. Ante una discordancia de un carácter, el carácter del texto se compara con el patrón de búsqueda para determinar el salto hacia la derecha. Si el carácter no existe en el patrón de búsqueda se salta la cadena completa. Algoritmo 2. Si la discordancia se produce tras varias coincidencias, se salta en función de la repetición de patrones en la secuencia de búsqueda, y se alinea de nuevo usando ese valor. Se toma como salto el mayor de los dos valores.

61 Boyer-Moore R L T D A B C D A B C A B C D A B C A B C D A B C A B C D A B C Algorimto 1 Algorimto 2

62 Boyer-Moore f a b f a a b b d a b d a a b a b d a a b Algoritmo1=1
Algoritmo1=1 Algoritmo2=0 Salto=1 Algoritmo1=3 Algoritmo2=4 Salto=4 Hay completa concordancia. Fin del proceso. Cadena encontrada.

63 Búsqueda secuencial Patrones cortos en inglés

64 Búsqueda secuencial Patrones largos de ADN

65 Búsqueda secuencial Patrones cortos en texto aleatorio

66 Ejercicios 1. Dibujar los autómatas de estados finitos para la búsqueda de las siguientes cadenas: a) CIEN b) CENCERRO c) COCOLOCO d) DIENTE e) TONTOS e) DINADINO 2. Utilizando el algoritmo KMP, realizar las siguientes búsquedas de cadenas de texto: a) TERFTERA en TEDTHRETETERTERFTERFTERFTERA b) ACIECIACIEN en AACCIIAACIACIEACIECIACIEN c) KGRHRHKGH en KGRHKGRHRHKGKGRHRHKGH 3. Utilizando el algoritmo BM, realizar las siguientes búsquedas de cadenas de texto: a) PERCOPE en TERMOPERMIDOSPERCOPE b) AASLETDAAA en AAAAAATAAAAAASLETDAAA c) COMIDA en NO SIRVE DE NADA COMER EN ESTE RESTAURANTE SI NO TE GUSTA LA COMIDA

67 Feedback Los SRI no son perfectos en cuanto a precisión y exhaustividad. Es necesario repetir un proceso de consulta para alcanzar un resultado deseado para resolver NIOPs... ... ampliando la consulta (+ exhaustividad) ... reduciendo la consulta (+ precisión) En ambos casos, trabajar sin ayuda del sistema para mejorar la consulta es una tarea poco efectiva.

68 Feedback La ayuda del sistema para mejorar las consultas se conoce como ‘Relevance Feedback’. El Relevance Feedback conlleva la modificación automática de la consulta. El principal problema a resolver es encontrar términos que son relevantes (han sido indexados en documentos relevantes) pero que no se utilizan en la consulta.

69 Feedback Formulación de la consulta Mostrar hits no hits
Reformular la consulta o mostrar Nueva consulta Mostrar información recuperada Decidir el paso siguiente Nueva consulta Reformular consulta

70 Feedback La evolución del relevance feedback se ha llevado por dos vías: Asignación de nuevos pesos (reweighting) para los términos de la consulta basado en la distribución de estos términos en los documentos relevantes y no relevantes que han sido obtenidos para esa consulta. Modificación de los términos de la consulta, para contemplar nuevos términos que aparecen en documentos relevantes y eliminación de términos que aparecen en documentos no relevantes.

71 Feedback Primeros pasos
Maron y Kuhns (1960). Los términos relacionados con la consulta original deberían ser añadidos a la consulta. Salton (1971). Experimentos de relevance feedback sobre el sistema SMART. Rocchio (1965, 1971). Experimentos sobre reasignación de pesos y expansión de la consulta.

72 Feedback Primeros pasos Fórmula de Rocchio (modelo EV):
Q0 = Vector de la consulta inicial Ri = El vector del documento relevante i Si = El vector del documento no relevante i n1 = Número de documentos relevantes n2 = Número de documentos no relevantes

73 Feedback Evaluación del feedback
Comparación de datos compuestos de precisión – exhaustividad con y sin relevance feedback  Poco realista, puesto que sobre los mismos documentos vistos antes y después, seguro que hay mejora. Comparación de datos compuestos de precisión – exhaustividad, eliminando los documentos que el usuario ya ha visualizado (para la evaluación inicial se utilizan los x documentos más relevantes).

74 Feedback Reasignación de pesos. Basado en modelo probabilístico.
Wij = Peso del término i en la consulta j r = Número de documentos relevantes para la consulta j que tienen el término i R = Número total de documentos relevantes para la consulta j n = Número de documentos en la colección que tienen el término i N = Número de documentos de la colección

75 Feedback Expansión de la consulta.
Idealmente, se debería utilizar tesauros para buscar palabras relacionadas. La construcción manual de tesauros es costosa y poco efectiva. Se suele abordar el problema con la construcción automática de tesauros, aplicando técnicas de clustering y asociaciones término-término.

76 Feedback Expansión de la consulta. Asociaciones de términos.
Co-ocurrencia de términos. Se suele dar en los mismos documentos, y serán estos los que aparezcan en lo alto del nuevo ranking. Se mejora más la precisión que la exhaustividad. Clustering de términos. No da buenos resultados, y hay que limitar la expansión a los términos fuertemente relacionados. Nearest neighbor. Tampoco da buenos resultados. Se puede pedir al usuario que seleccione los términos a expandir, lo que mejora un poco el resultado.

77 Feedback Expansión de la consulta con reasignación de pesos. El mejor
Es la técnica más utilizada. Para el modelo EV, existen 3 métodos que son los estándares clásicos, combinan reasignación y expansión: Ide Regular Ide dec-hi Standard Rocchio Q0 = Vector de la consulta inicial Ri = El vector del documento relevante i Si = El vector del documento no relevante i S = El vector del documento menos relevante n1 = Número de documentos relevantes n2 = Número de documentos no relevantes  = 0,75  = 0,25 El mejor

78 Feedback Otras aproximaciones:
Considerar el(los) documento(s) relevante(s) para la primera consulta como una nueva consulta. Da buenos resultados, y se puede aplicar a cualquier sistema. Producción de lista de términos en todos los documentos recuperados en la primera iteración, ordenados por la frecuencia de aparición en el conjunto, para que el usuario seleccione. En sistemas booleanos, utilizar términos de documentos previamente recuperados para construir una nueva consulta, pero no para el nuevo ranking.

79 Feedback Cuando utilizar feedback
En sistemas booleanos  se mejora bastante el rendimiento. Opciones: Modificación automática de la consulta Producción de listas de términos ordenadas de importancia para que el usuario seleccione términos en la consulta siguiente. En sistemas EV. Se recomienda la formula de Ide dec-hi. Se aporta tanto reasignación de pesos como expansión de consulta. Hay que decidir cuanta expansión se realiza, pues en caso de exceso o defecto, los resultados empeoran. En sistemas probabilísticos, la reasignación de pesos y la expansión de la consulta son dos procesos separados sin ninguna interdependencia.

80 Feedback Proceso de adaptación: Proceso de optimización:
Caracterizar una NIOP para repetir una consulta hasta alcanzar un grado de satisfacción por parte del usuario. Proceso de optimización: Selección de la mejor forma de obtener automáticamente una consulta en base a la evaluación del usuario. Selección de los mejores algoritmos para cada usuario y situación en concreto.

81 Feedback Ejemplo de algoritmos de feedback para sistemas booleanos:
Colecciones estáticas: Algoritmo de feedback adaptativo Algoritmo de feedback selectivo Colecciones dinámicas: Utilizando técnica de documentos marcados.

82 Feedback Algoritmo de feedback adaptativo para colecciones estáticas:
1. Se seleccionan los documentos pertinentes del resultado de la consulta anterior (PQ). 2. Se construye un nuevo conjunto de documentos marcados combinando los documentos pertinentes del paso 1 con los documentos usados para la formulación de consultas anteriores (CM). 3. Se construye una consulta auxiliar (AQ) usando como entrada el conjunto de documentos marcados del paso 2 (CM) y aplicando algún algoritmo de indexación de consultas como el Algoritmo-M. 4. Se considera la formulación de una nueva consulta (NQ) eliminando de AQ todas las subconsultas que aparezcan en PQ y todas las subconsultas que contienen subconsultas incluidas en PQ. 5. Se realiza la consulta y se eliminan del resultado aquellos documentos que se hubiesen obtenido y mostrado al usuario en consultas previas. 6. El proceso finaliza cuando 6.1. AQ es una consulta vacía, o No hay nuevos documentos, o El usuario decide finalizar

83 Feedback Algoritmo de feedback adaptativo para colecciones dinámicas:
1. Selección de los documentos pertinentes de la última consulta. 2. Se construye un nuevo conjunto de documentos marcados combinando los obtenidos en el paso 1 con los de la consulta previa. 3. Se construye una consulta auxiliar AQ usando el conjunto marcado del paso 2 y las nuevas frecuencias de descriptores en la nueva colección, esto es, con datos actualizados para aplicar el algoritmo de indexación de consultas. 4. Se crea una consulta modificad MQ añadiendo a PQ las nuevas subconsultas de AQ: MQ=PQ U AQ. 5. Se seleccionan los documentos no pertinentes de la consulta anterior. 6. Las subconsultas de PQ que se usaron para encontrar los documentos no pertinentes se eliminan de MQ si no aparecen en AQ. 7. El resultado final se obtiene de la búsqueda en la nueva colección con la consulta final del paso 6. 8. El proceso finaliza cuando: 8.1. No existen documentos pertinentes nuevos, o No existen documentos no pertinentes nuevos, o AQ es una consulta vacía o no existe variación en MQ, o Si el usuario decide finalizar +E +P

84 Feedback Optimización
Criterio de selección del mejor algoritmo: max (r2/n), siendo r el número de docs pertinentes, n el número total de documentos devueltos. No se puede utilizar el criterio: P + E = ( r/c + r/n) – no se conoce c. Se utiliza el criterio

85 Feedback Justificacion:
K(k1,k2,...,kN), evaluación del usuario a la consulta V(v1,v2,...,vN), evaluación del sistema a la consulta Si  es el ángulo entre K y V, veremos que cos  = (E * P)½

86 Feedback Justificacion: r E = c P n * c * n
Veamos ahora que (E * P)½ no depende de c. Supongamos que q1 y q2 son dos consultas de la misma representación de la NIOP. El número de documentos relevantes para cada consulta es el mismo, luego c será invariante para cada variación de la formulación de la consulta: r i E = c P n 2 * c * n

87 Feedback Algoritmo de feedback selectivo para colecciones estáticas:
1. Se seleccionan los documentos relevantes de la última respuesta del sistema 2. Si la consulta anterior se basó en una consulta combinada de varios algoritmos, se comparan los algoritmos usando el criterio r2/n y se selecciona el mejor algoritmo 3. Se utiliza el mejor algoritmo para construir una consulta auxiliar AQ 4. Se construye una nueva consulta NQ eliminando de AQ todas las subconsultas que aparecen en PQ y las subconsultas que incluyen subconsultas de PQ. 5. Si NQ no está vacío, la búsqueda se realiza y se obtiene la salida preliminar 6. Se obtiene una nueva salida eliminando de la salida preliminar los documentos que aparecían en salidas anteriores. Esta nueva salida es la que se presenta al usuario.

88 Feedback Algoritmo de feedback selectivo para colecciones dinámicas:
1. Se seleccionan los documentos relevantes de la última respuesta del sistema, basándose en la evaluación del usuario de esta salida. 2. Si la consulta anterior se basó en una consulta combinada, construida por más de un algoritmo, se comparan los algoritmos usando el criterio r2/n y se selecciona el mejor algoritmo. 3. Usando el mismo criterio, se seleccionan las mejores subconsultas entre las consultas que no son la mejor, y si el valor del criterio para tales subconsultas es mayor que el valor máximo, entonces se seleccionan para ser usadas en la búsqueda sobre la nueva colección de documentos. 4. Los documentos relevantes encontrados en la consulta previa son añadidos a aquellos en base a los cuales se construyó la anterior consulta, es decir, se obtiene una consulta más precisa. 5. En base al nuevo conjunto marcado, se construye una consulta preliminar utilizando los mejores algoritmos. 6. La consulta final se construye añadiendo las mejores subconsultas originales (paso 3) a la consulta preliminar. 7. Se realiza la búsqueda usando la consulta final, y el resultado se presenta al usuario.