Principles of Searching © Tefko Saracevic1 La búsqueda en la web & la web invisible Buscando lo difícil de buscar

Principles of Searching © Tefko Saracevic2 Definiciones de diccionario World wide web : Archivos conectados a través de Internet Enorme conjunto de documentos y otros archivos enlazados localizados en ordenadores conectados a través de Internet y utilizados para acceder, manipular, y descargar datos y programas Invisible - Definición de diccionario: Que no puede ser visto Web Invisible– No está en el diccionario

Principles of Searching © Tefko Saracevic3

Principles of Searching © Tefko Saracevic4 Qué es “web invisible?” Materiales que no incluyen, o no quieren incluir, los buscadores generales en su colección de páginas web (índices)  Inencontrables a través de los buscadores generales Contiene una enorme cantidad de recursos de información  En buena medida de mayor calidad y autoridad que la de la web visible  La calidad es su principal característica  Especializada  Parte de ella fluye, o está en streaming o en tiempo real  “No puedes bañarte dos veces en el mismo río”  Parte de ella gratuita Mucho más extensa que la Web visible

Principles of Searching © Tefko Saracevic5 en otras palabras… Hay mucho más en la web que o

Principles of Searching © Tefko Saracevic6 ¿Porqué los buscadores no cubren todo? Tamaño: La web es enorme, no pueden abarcarlo todo Factores Económicos: Los costes asociados son altos  Los buscadores viven de la publicidad  Cierto número de buscadores ofrecen resultados de pago FactoresTécnicos: Capacidad limitada  Algunos formatos de archivo son difíciles de tratar Spam: Eliminan lo malo pero se puede perder lo bueno Restricciones: Algunos sitios no permiten acceso a los buscadores Estructura profunda : Algunos sitios son complejos

Principles of Searching © Tefko Saracevic7 Cómo trabajan los buscadores? Crawlers, spiders: buscan contenido  Localizan sitios nuevos o modificados  De maneras periódica, no en cada búsqueda  Ningún buscador trabaja en tiempo real (salvo Gnews) Organización de contenido: etiquetado, ordenación  Indización para búsquedas o clasificación en directorios Bases de Datos, cachés: almacenamiento de contenidos Motor de búsqueda: en función de las demandas Interface: petición de búsqueda, visualización de resultados Todo ello basado en algoritmos varios, habitualmente ocultos o secretos

Principles of Searching © Tefko Saracevic8 Cobertura de los buscadores No cubren más allá de un 20%  Difícil (imposible) discernir & comparar cobertura Buscadores nacionales  Cobertura y orientación propia Muchos buscadores especializados  Cobertura propia hacia un tema de interés Fuentes independientes de material útil  Recopilaciones de recursos evaluados

Principles of Searching © Tefko Saracevic9 Los buscadores difieren Hay diferencias muy importantes entre los tipos de buscadores citados  Necesidad de saber cómo funcionan y en qué difieren Información sobre buscadores :  Search Engine Watch Search Engine Watch  noticias estadísticas, explicaciones, tutoriales…  Search Engine Showdown Search Engine Showdown  La guía de uso de la búsqueda web. Cuenta con biblioteca, nuevos enlaces, estadísticas, etc…

Principles of Searching © Tefko Saracevic10 Búsqueda en la web Invisible : Datos básicos Primer paso: Saber claramente qué estás buscando.  Limitar la búsqueda a recursos y herramientas apropiadas al tipo de información que estás buscando  Conocer las fuentes  Saber encontrar fuentes

Principles of Searching © Tefko Saracevic11 Fuentes especializadas - en la web invisible 1. Meta buscadores 2. Buscadores y catálogos especializados 3. Buscadores y catálogos temáticos 4. Fuentes de referencia 5. Bibliotecas 6. Bibliotecas virtuales 7. Bases de datos especialiuzadas 8. Sociedades, organizaciones 9. Libros!!!

Principles of Searching © Tefko Saracevic12 Metabuscadores Metabuscadores buscan en otros B.  Combiando resultados Dónde encontrar buscadores o metabuscadores:  SearchEngines.com SearchEngines.com Búsqueda en motores por asunto, localización geográfica o referencia  Search Engine Guide Search Engine Guide  Búsqueda categorizada por materias Search Engine Colossus  Directorio internacional de motores de búsqueda por países y materia entre 198 países y 61 territorios. Motores por idioma

Principles of Searching © Tefko Saracevic13 Ejemplos de motores Algunos motores ofrecen resultados organizados: Dogpile Devuelve resultados de motores de búsqueda determinados; ofrece la fuente, lo que facilita la comparación Surfwax Proporciona estadísticas y fuente; en algunos casos ofrece términos afines para delimitar la búsqueda Teoma Ofrece resultados con sugerencias para afinar la búsqueda. Está gestionado por Ask.com Turbo10 Facilita los resultados en clústers y se pueden seleccionar los diez motores con los que trabajar entre 1000 aprox.

Principles of Searching © Tefko Saracevic14 metabuscadores (cont.) Gran directorio  Complete Planet Complete Planet  directorio con más de 70,000 bsd y motores especializados Resultados con devolución gráfica  Vivisimo Vivisimo  Resultados en clústers  Webbrain Webbrain  Resultados en estructura arbórea. Original Kartoo Meta motor de búsqueda visual. Ofrece los resultados de una forma muy gráfica

Principles of Searching © Tefko Saracevic15 Motores y catálogos Cobertura general y específica  Open Directory Project Open Directory Project  Catálogo de la web global, llevado a cabo por voluntarios  BUBL LINK BUBL LINK  Recursos seleccionados de internet de cobertura académica (materias) organizado por la clasificación decimal de Dewey Resource Discovery Network Resource Discovery Network – UK Plataforma de búsqueda británica para contenidos educativos

Principles of Searching © Tefko Saracevic16 … Materias y dominios específicos…  Think Quest – Oracle Education Foundation Think Quest  Recursos educativos, programas, sitios web creados por estudiantes All Music Guide  Recurso sobre música, álbums y canciones  Internet Movie Database Internet Movie Database  Cine Genealogy links and surname search engines Muy especializado sobre genealogía y apellidos

Principles of Searching © Tefko Saracevic17 … Ciencias, académico  Psychcrawler - Amer Psychological Association Psychcrawler  Psicología  Entrez PubMed – Nat Library of Medicine Entrez PubMed Literatura y publicaciones periódicas médicas  CiteSeer - NEC Research Center CiteSeer  Literatura científica, índices de citas; fuerte en tecnología informática Scholar Google Búsquedas de artículos y recursos académicos Infomine Colecciones de investigaciones académicas en internet

Principles of Searching © Tefko Saracevic18 Servicios de referencia Servicios de referencia - modelos  Preguntas frecuentes, directorios, listas de preguntas  Ask Jeeves! Ask Jeeves!  Muy popular, comercial  Information Please Information Please  Preguntas de tipo almanaque RefDesk Información factual Wikipedia Enciclopedia web

Principles of Searching © Tefko Saracevic19 referencia … Referencia digital – nuevos servicios en bibliotecas  QuestionPoint L of Congress & OLC QuestionPoint  Proyecto de servicio de referencia global  Virtual Reference Desk – L of Congress Virtual Reference Desk  Amplia compilación de sitios web  LiveRef – mantenida por Iowa State U LiveRef  Registro en tiempo real de servicios de referencia digitales

Principles of Searching © Tefko Saracevic20 Bibliotecas virtuales Bibliotecas académicas y nacionales que tienen recursos web  Rutgers libraries – proyecto a largo plazo Rutgers libraries  University of California, Berkeley University of California, Berkeley  Uno de los más complicados esfuerzos con Sun Corporation LibWebLibWeb U California, Berkeley “ más de 7700 páginas de bibliotecas en 146 países”  Bibliothèque Nationale de France Bibliothèque Nationale de France  Incluye, entre otras cosas, exposiciones virtuales

Principles of Searching © Tefko Saracevic21 Bibliotecas virtuales Bibliotecas sólo web  Virtual Library –Virtual Library  Suiza, USA, UK y otros países – “la más antigua biblioteca virtual”  Internet Public Library U of Michigan Internet Public Library  Uno de los grandes esfuerzos  Librarians Index of the Internet Librarians Index of the Internet  Muy popular y accesible Digital librarian “la selección de lo mejor en la web de un bibliotecario “ – recogida y anotada por un bibliotecario

Principles of Searching © Tefko Saracevic22 virtual libraries …  Academic Info Digital Library Academic Info Digital Library  many links to digital collections & resources in various subjects  Gabriel Gabriel  Gateway to European National Libraries  Museum of online museums Museum of online museums  a delight Stanford Encyclopedia of Philosophy a comprehensive encyclopedia and library The historical New York Times Project universal library – ongoing digitization

Principles of Searching © Tefko Saracevic23 Subjects resources Many subject specific sites  rich & often unique coverage & services  different approaches & requirements Examples in health related domains:  WebMDHealth WebMDHealth  news, medical information  Rxlist Rxlist  The Internet Drug Index  Mayo Clinic HealthOasis Mayo Clinic HealthOasis  health advice Kidshealth sites for parents, kids, teens

Principles of Searching © Tefko Saracevic24 Subject resources … Scholarship, humanities, government  KIRKE - Katalog der Internetressourcen für die Klassische Philologie aus Erlangen KIRKE  German; a variety of resources for classics  Perseus Digital Library Tufts University Perseus Digital Library  covers antiquity to renaissance; one of the best subject sites on the web; affected the whole field  Sch of Slavonic & East European Studies, University College London Sch of Slavonic & East European Studies  includes country resources, e.g. Croatia  U Mich Document Center U Mich Document Center  official documents from all over the world

Principles of Searching © Tefko Saracevic25 Subject resources … Growing number of resources in arts, museums MuseumStuff.com “We have 1000's of museums, zoos, historical societies and related organizations in our database” The State Hermitage Museum One of the greatest museums in the world, and one of the best museum site – developed with IBM help National Museum of Science and Technology Leonardo da Vinci Guess where those pictures came from. A delight!

Principles of Searching © Tefko Saracevic26 subject resources … Diotima Materials for study of women and gender in the Ancient World Moving Images Collections “MIC documents moving image collections around the world.” Part particularly oriented toward science educators. Now at Library of Congress, but developed at Rutgers. And, of course … Snoopy The Official Peanuts Website

Principles of Searching © Tefko Saracevic27 Societies, organizations Many societies, agencies developed their sites  great many rich sources for searching & resources  differences in requirements, depth, richness  Assoc. for Computing Machinery Assoc. for Computing Machinery  Digital Library; subscription or registration or through RUL  US State Department US State Department  about the U.S & other countries FirstGov the US government official web portal Ocean Planet Ocean Planet NASA presentation of earth & its vast oceans ArXivArXiv Cornell U, National Science Foundation e-print service in the fields of physics, mathematics, non- linear science, computer science, and quantitative biology

Principles of Searching © Tefko Saracevic28 Archiving, books on the web Internet Archive – a large undertaking Internet Archive  includes web archive & lots more publicly available & free  10 billion web pages archived from 1996 to a few months ago  Wayback Machine – search to look at old versions of web pages Wayback Machine Books on the web Million Book Project digitizing books and providing free access International Children’s Digital Library online children books Digital books Index “ links to more than 105,000 title records from more than 1800 commercial and non-commercial publishers, universities, and various private sites”

Principles of Searching © Tefko Saracevic29 Language barriers on the Web English still the major language  but declining, now slightly over 50% Multilingual retrieval search engines  Euroseek Euroseek  searches in a number of languages  All the Web All the Web  results in 45 languages

Principles of Searching © Tefko Saracevic30 Web news; keeping up What is going on on the Web? Some major sources of news and evaluations:  Free Pint Free Pint  newsletter, articles, links; nice & sometimes quirky  Internet Resources Newsletter Internet Resources Newsletter UK based; monthly newsletter for “academics, students, engineers, scientists and social scientists”  ResearchBuzz ResearchBuzz daily updates; many aspects; “Collection of items on search engines, online databases, and other information resources”  About.com Web Search About.com Web Search  tools, Web Search Forum

Principles of Searching © Tefko Saracevic31 keeping up … Information Today trade & professional monthly newspaper & web site; industry news; searcher columns; general analyses of trends Keeping up through blogosphere:  Resource Shelf Resource Shelf bloger about internet (and some other stuff) with archive; it has really good and really bad exchanges & threads New York Times blogrunnerNew York Times blogrunner - The annotated NYT blog tracking of NYT articles, topics, authors; thread into discussion of many other weblogs; includes net & web topics

Principles of Searching © Tefko Saracevic32 Finding links & listings – back to good old books with a new twist Number of books on web searching have also sites with links in the book, updates, news  Extreme Searcher Randolph Hock Extreme Searcher  update of a popular book; links by chapter topics The web libraryThe web library Nicholas G. Tomaiuolo spotlights free resources, links by chapter and new topics – done by a librarian The invisible webThe invisible web Chris Sherman & Gary Price original book on the topic, links organized by subject p.s. most, but not all, of the sites in this lecture can be found on those sites – and much, much more

Principles of Searching © Tefko Saracevic33 Evaluations, ratings Evaluating web sites: a prime responsibility of searchers & all information professionals Many sources evaluate web sites:  The Scout Report – The Scout Report  librarians’ BIBLE! Annotations. Comprehensive.  Medical Library Association Medical Library Association  ten most useful sites for consumer health  MLA user guide MLA user guide  for finding & evaluating health information on the web  Web 100 Web 100  commercial, user ranking & evaluation of web sites  Evaluating web pages UC Berkeley Evaluating web pages tutorial and guide

Principles of Searching © Tefko Saracevic34 Needed for Web searching Knowledge & competencies on  variety of web sources & their organization  search engines  web search strategies  search dynamics, feedback Keeping up & up & up  Why? many reasons, such as:  constant updates, changes, innovations  many domain/subject specific  fluidity very high

Principles of Searching © Tefko Saracevic35 Needed for web searching by professionals Knowledge of SOURCES in area of interest  search engines not enough  not too helpful in finding these other sources; structure hard to discern  find & use specialized sources Evaluation of sources  a key professional skill!  application of standard criteria & web criteria : authority; accuracy; currency (timeliness); objectivity; coverage, persistence, usability

Principles of Searching © Tefko Saracevic36 Needed competencies … Knowledge of users & use Knowledge of searching Use of technology Adaptability, flexibility Integration with other resources Teaching others Constant learning & update  again: keeping up, keeping up, keeping up  and again: keeping up, keeping up, keeping up

Principles of Searching © Tefko Saracevic37 information WWW But now really: How to do it?

Principles of Searching © Tefko Saracevic38

Principles of Searching © Tefko Saracevic39

Principles of Searching © Tefko Saracevic40 Images from the invisible web

Principles of Searching © Tefko Saracevic41 images …

Principles of Searching © Tefko Saracevic42 images …

Principles of Searching © Tefko Saracevic43 and of course…

Principles of Searching © Tefko Saracevic44 P.S. a nice site Poem by Emily Dickenson: In a library Who will write a poem: In a digital library?

Principles of Searching © Tefko Saracevic45 P.S. a few weird sites… SelectSmart.com  all kinds of quizzes for you James Dean official web site Deaducated  Dead Librarians’ Society Livejournal  blogs & authoring tools; and many pathetic entries

Principles of Searching © Tefko Saracevic46 Sources About.com Web Search Academic Info Digital Library All the Web Ask Jeeves! Assoc. for Computing Machinery Bibliothèque Nationale de France BUBL LINK CDNET Search.com CiteSeer CompletePlanet Deaducated Digital book index Digital librarian Diotima Dogpile Entrez PubMed Extreme Searcher Free Pint Gabriel Genealogy

Principles of Searching © Tefko Saracevic47 sources … Hermitage Information Please International Children’s Digital Library Internet Archive Internet Public Library, Michigan Internet Resources Newsletter. James Dean Kartoo KIRKE Leonardo da Vinci Museum Librarians Index to the Internet Live Journal LiveRef Mayo Clinic Medical Library Assoc. ten top sites Medical Library Assoc. user guide for health inf. Medscape

Principles of Searching © Tefko Saracevic48 sources … Million Book Project Museum of online museums. MuseumStuff NYT blogrunner NYT historical project OCLC Web Characterization Project Open Directory Project Perseus Digital Library Profusion Psychcrawler QuestionPoint ResearchBuzz. Resource Shelf Rutgers Libraries RxList Sch of East Eur & Slavonic Studies Search Engine Colossus Search Engine Guide Search Engine Showdown

Principles of Searching © Tefko Saracevic49 sources … Search Engine Watch Select Smart.com Snoopy Stanford Encyclopedia of Philosophy Surfwax Teoma The invisible Web The Scout Report. The Web Library Think Quest Turbo10 U California Berkeley U Mich Documents Center US State department Virtual Library Virtual Reference Desk Vivisimo Web Webbrain WebMD Wikipedia