Content based Information Retrieval

Integrated Browsing and Querying for Image Databases Simone Santini University of California, San Diego Ramesh Jain University of California, San Diego IEEE MULTIMEDIA Vol. 7, No. 3; JULY-SEPTEMBER 2000, pp

Respuesta de un sistema de busqueda basada en contenidos de 1ª generacion utilizando características de color, textura y bordes

Semantic gap El usuario tiene en mente una semántica, escoge un ejemplo y unas características de búsqueda y …. No es facil corregir la búsqueda modificando las características de búsqueda: query refinement

Figure 2. A Modigliani portrait placed in a context that suggests "painting."

Figure 3. A Modigliani portrait placed in a context that suggests "face."

configuraciones Muestran las imágenes en una configuración que implica una cierta semántica Permite al usuario ajustar la búsqueda con pistas semánticas El objetivo es browsing del mapa cognitivo.

Figure 4. A schematic description of an interaction using a direct manipulation interface.

Redefinición de la medida de similaridad El usuario expresa interactivamente su noción de similaridad, El sistema reajusta las distancias entre las imágenes de acuerdo con las especificaciones del usuario

Concepto visual: conjunto de imágenes que el usuario considera equivalentes –Las imágenes agregadas se consideran como clusters que deben mantenerse unidos –Puede asociarse informacion de alto nivel a estos clusters

Figure 5. Interaction involving the creation of visual concepts.

Diccionarios visuales: Un subconjunto de imágenes etiquetadas manualmente Sirven de inicio para las búsquedas visuales No es necesario etiquetar todas las imágenes ni todos los detalles

Mediador Realiza la distribución de las operaciones de interrogación(query dispatch) Gestiona la realimentación de la medida de similitud mediante las configuraciones Gestiona el espacio de nombres

Figure 8. An example of the query dispatch process. Here the similarity criterion includes text and color similarity. The AND operator joins the results of the two criteria.

Visualizacion de los resultados Busca los más parecidos Presenta una configuración –Establece el criterio de búsqueda –Encuentara los k más cercanos a la query –Calcula las k(k-1) distancias y distribuye las imágenes de acuerdo a ellas.

Realimentacion de la similitud La similitud depende de un vector de parametros que es local a cada máquina La adaptación de la similitud se realiza modiante un proceso de optimización sobre los parámetros. Puede ser local o realizado en el mediador.

Figure 9. Adaptation of the similarity measure in a self-optimizing engine.

Figure 10. Mediator-assisted adaptation of the similarity measure in a non-self-optimizing engine.

Se trata de minimizar la distancia entre las imágenes tal como las especifica el usuario y mantenerse lo más cerca posible de la distancia natural

Search engines Specialized features: metodos estándar de imagen Descomposición mediante wavelets Búsqueda textual

Figure 12. The feature vector of the specialized feature engine containing three composite feature vectorsone each for color, structure, and texture.

Specialized features Color: el espacio HSV. Tres momentos de cada uno de los histogramas de los canales (9 param) Estructura: 8 filtros direccionales, se guardan los 3 momentos de cada histograma (24 param.) Textura: 30 filtros de Gabor, media y varianza (60 params),

Distancia natural Es la distancia de minkowski de orden p con pesos w.

Figure 13. Geodesics in the query space for (a) Euclidean space, (b) a space with one concentration of features, and (c) a space with two concentrations of features.

Text engine Figure 14. Text processing to create labels for the visual dictionary engine. Ditancia textual entre dos imágenes

ejemplo