La evaluación de la investigación en Biblioteconomía y Documentación Programa de doctorado Información Científica: Tratamiento, Acceso y Evaluación Departamento de Biblioteconomía y Documentación Universidad de Granada La evaluación de la investigación en Biblioteconomía y Documentación Dr. Emilio Delgado López-Cózar Profesor de Metodología de la Investigación Facultad de Comunicación y Documentación

Qué debe esperar un alumno de un master de investigación Qué es y cómo se hace una investigación Cuáles son los temas abordados y las metodologías empleadas así como las áreas más productivas y fructíferas, tanto en el plano nacional como internacional Qué medios utilizan para diseminar la investigación Cuáles son los organismos y las personas que la generan Qué actividades y programas despliegan Ello servirá para trazar los caminos y conocer los recursos en los que apoyarse para desarrollar futuras investigaciones a lo largo de la vida profesional. Al mismo tiempo, actuará como un acicate y estímulo para la iniciación de actividades científicas en los entornos profesionales Se debe pretender que el alumno tome conciencia de la importancia de la investigación para el desarrollo de la Biblioteconomía y Documentación, tanto como disciplina como profesión

Programa Objetivos Reflexionar sobre qué es una investigación y por qué es necesaria Aprender métodos que permitan delimitar la actividad investigadora en una disciplina cualquiera y, en concreto, aplicándolos a la ByD Indicar cuáles son los aspectos que pueden medirse en la investigación y qué métodos se pueden emplear para hacerlo Identificar cuáles son los productos de la actividad investigadora Conocer los canales de comunicación científica de la ByD Conocer los programas, actividades y líneas de investigación relacionadas con nuestro campo Dar a conocer las principales fuentes de recursos para financiar investigación en ByD

Programa ¿Qué es investigación? ¿Por qué la investigación? Contenidos ¿Qué es investigación? ¿Por qué la investigación? ¿Qué es la ByD y cual es su naturaleza científica? ¿Cómo delimitar la actividad investigadora de una disciplina? La actividad investigadora en ByD: ¿qué medir? y ¿cómo medirla? Los productos de la actividad investigadora Los canales de comunicación científica de la ByD La financiación de la investigación en ByD. Planes europeos, nacionales y regionales de I+D+I

Programa Lectura y comentario en clase del libro: Metodología docente Lectura y comentario en clase del libro: DELGADO LÓPEZ-CÓZAR, E. La investigación en Biblioteconomía y Documentación. Gijón: Trea, 2002. ISBN 84-9704-041-4 Realización de pequeños trabajos de campo

¿Por qué la investigación? Motor para el progreso económico y social Los cimientos sobre los que se construye una ciencia Las herramientas para resolver los problemas de una profesión El carácter científico de una disciplina va indisolublemente unido al ejercicio de la investigación La madurez de una disciplina se mide por la actividad investigadora que genera. Para evaluar el progreso de una disciplina nada mejor que valorar la cantidad y calidad de la investigación producida Una ciencia se define por los problemas que estudia y por los métodos que elige para resolverlos

¿Por qué la investigación? Motor para el progreso económico y social Los cimientos sobre los que se construye una ciencia Las herramientas para resolver los problemas de una profesión El carácter científico de una disciplina va indisolublemente unido al ejercicio de la investigación La madurez de una disciplina se mide por la actividad investigadora que genera. Para evaluar el progreso de una disciplina nada mejor que valorar la cantidad y calidad de la investigación producida Una ciencia se define por los problemas que estudia y por los métodos que elige para resolverlos

¿Qué es un trabajo de investigación? Aquel trabajo que tiene el propósito de aportar conocimiento nuevo, es decir, original y no conocido, utilizando el método científico para adquirirlo, es decir, ateniéndose a un procedimiento sistemático y empleando una metodología de recogida y tratamiento de los datos contrastada ¡Atención¡ Publicar no es investigar Todo lo que se publica no es investigación Normalmente toda investigación se convierte en una publicación

La Biblioteconomía y Documentación como disciplina Tipo de disciplinas: profesional / científica La ByD ¿una disciplina, una profesión o ambas? Una disciplina profesional ¿Cuál es su su materia prima, campo de acción? Conservación, tratamiento y recuperación de la información Unidades de información: los espacios de la memoria colectiva y de los flujos informativos Archivos, bibliotecas, centros de documentación, servicios y sistemas de información reales o virtuales

Su espacio y sus fronteras disciplinares M.E.C Ciencias Sociales y Jurídicas Universidades con estudios ByD en España Complutense Ciencias Documentación Alcalá de Henares Documentación Barcelona Biblioteconomía y Documentación Extremadura Autónoma Barcelona Ciencias Comunicación Granada Comunicación y Documentación Murcia Carlos III Humanidades, Documentación y Comunicación Coruña Humanidades León Filosofía y Letras Zaragoza Valencia Geografía e Historia Salamanca Traducción y Documentación Vic Ciencias Humanas, Traducción y Documentación Politecnica Informática CDU Generalidades Las fuentes del conocimiento CNEAI ANEP ANECA Humanidades Ciencias Sociales

¿Cómo delimitar la actividad investigadora de una disciplina? A través de la producción científica: espejo de la actividad científica de una disciplina Medios de comunicación: Una disciplina se concreta en el conjunto de artefactos sociales que genera: medios de comunicación, especialmente revistas y bases de datos. Búsquedas por bases de datos bibliográficas y revistas nucleares de una disciplina Temáticamente: Una disciplina es el conjunto de trabajos que tratan temas que le son propios. Búsquedas temáticas en bases de datos bibliográficas. Análisis de contenido. Institucionalmente: Una disciplina es lo que hacen los que trabajan en ella. Búsquedas por filiación en bases de datos bibliográficas

¿Qué medir y cómo? Cantidad de investigación generada: tesis, revistas, artículos, ponencias y comunicaciones a congresos, proyectos investigación Nos habla de la vitalidad de una disciplina La temática y el carácter del conocimiento producido. Refleja la orientación, áreas de interés y especialización, preferencias, naturaleza de la investigación generada por la comunidad científica. Métodos y técnicas de investigación empleadas Herramientas utilizadas para resolver sus problemas. Rigor y sofisticación metodológica. Calidad de la investigación Cognitiva Metodológica Formal

¿Qué medir y cómo? ¿Quién la produce? Consumo de información Autoría: producción y productividad, procedencia geográfica e institucional, colaboración Indicadores bibliométricos: Lotka, coautoría, colaboración institucional Análisis de redes sociales Consumo de información Análisis bibliométrico de las referencias bibliográficas: tipos documentales, idioma de las referencias, obsolescencia Refleja las características de las fuentes intelectuales que alimentan a los investigadores. Repercusión Científica: Impacto medido a través del recuento de citas Profesional: La mejora de las bibliotecas y sistemas de información.

Canales de comunicación científica Formales Libros Revistas científicas La publicación en Internet ¿un nuevo medio de publicación?: páginas web, blogs Informales Discusiones en los mismos equipos de investigación Correspondencia: postal o electrónica Presentación informal de resultados dentro y fuera de la propia organización Congresos, coloquios, seminarios, cursos de verano Intercambio directo de preprints (galeradas), separatas, informes de investigación Foros electrónicos Informes

Tesis doctorales en ByD (2002-2004) 35 tesis año 10 Master oficiales 276 alumnos doctorado en 2005-2006 Félix de Moya Anegón 16 José Vicente Rodríguez Muñoz 8 José López Yepes 6 José Antonio Moreiro González 4 Mercedes Caridad Sebastián Elias Sanz Casado María Pinto Molina Ernest Abadal 3 Rosa San Segundo Jose Antonio Frias Montoya Evaristo Jiménez Contreras 2 Enrique Villalba Antonio Pulgarín Antonio Hernández Pérez Gloria Carrizo Lluis Codina Francisco Javier García Marco Jose Antonio Gómez Hernández Vicente Guerrero Bote 37 directores 1 Universidad Carlos III 25 Universidad de Granada 24 Universidad de Murcia 10 Universidad Complutense 8 Universidad de Salamanca 5 Universidad Politécnica de Valencia 4 Universidad de Zaragoza Universidad de León 3 Universidad de Barcelona 2 Universidad de Extremadura Universidad de Alcalá de Henares 1 Universidad de Sevilla Universidad Pompeu Frabra Universidad Girona Universidad Autónoma Barcelona

Tesis doctorales en ByD (2002-2004) Comunicación científica: publicación científica, bibliometría 20 20,4 Tratamiento y proceso técnico: Catalogación, clasificación, indización 12 12,2 Tecnología de la información: Internet, edición electrónica… Servicios bibliotecarios: adquisición, préstamo, servicio de referencia... 11 11,2 Historia: bibliotecas, edición, imprenta 15 10,1 Gestión y administración 7 7,1 Recuperación de la información 5 5,1 Educación en ByD 4 4,1 Automatización unidades de información Bases de datos 3 3,1 Estudios de necesidades y uso de la información Colecciones: desarrollo 2 2,0 Profesión 0,0 Otros

Tesis doctorales en ByD (2002-2004) Métodos de investigación Bibliométrico 21 24,4 Conceptual, teórico, argumentativo Diseño sistemas. Modelos 16 18,6 Bibliografía, catalogo, inventario 5 5,8 Análisis de contenido Histórico Análisis secundario 1 1,2 Análisis transaccional Encuesta Observación Experimental Sin especificar 9 10,4

Métodos de investigación en tesis doctorales USA (1925-1989)

MI citados en manuales de metodología y estudios empíricos Fuente de datos: Bernhard 1993

Revistas y artículos de la ByD española (1994-2006) ± 24 revistas científicas se publican regularmente http://ec3.ugr.es/in-recs/acumulados/Biblioteconomia-5.htm ± 750 artículos científicos al año Las revistas más citadas: EPI, Revista Española de Documentación Científica Los 25 artículos más citados en las revistas españolas de ByD: Comunicación científica y bibliometría http://ec3.ugr.es/in-recs/ranking/Biblioteconomia-Rank-Articulos.htm Los 25 autores más citados: Más de lo mismo (Comunicación científica y bibliometría) http://ec3.ugr.es/in-recs/autores/Biblioteconomia-4.htm Las instituciones más influyentes: UGR, CINDOC, UCM, UCIII http://ec3.ugr.es/in-recs/instituciones/Biblioteconomia-4.htm

Artículos con visibilidad internacional WoS (1995-2004) Autores Trabajos Citas Autocitas Citas sin autocitas % de autocitas Gómez Caridad, I. 19 136 36 100 26,5 Bordons Gangas, M. 21 137 41 96 29,9 Zulueta, MA 11 89 22 67 24,7 Cami Morell, J. 7 83 16 19,3 Fernández Muñoz, MT 72 10 62 13,9 Campanario, JM 68 14 54 20,6 Méndez Miaja, A. 4 33 2 31 6,1 Delgado López-Cózar, E. 9 34 15 44,1 Sanz Casado, E. 5 18 18,2 Maojo, V. 13 30 46,7 Jimenez Contreras, E. 24 8 33,3 Rey Rocha, J. 50,0 Pulgarin Guerrero, A. 63,3 Alvarez, P. 28 17 60,7 Aedo, I 58,3 Pinto Molina, M. 6 41,2 Plaza Gómez, L 28,6 Guerrero Bote, V. 12 39 79,5 Fernández Cano, A. 30,0 Herrero Solana, V. 75,0 Martín Sempere, MJ. 20 70,0 Moya Anegón F. de 51 46 90,2 ± 40 artículos año

Revistas WoS en que publican y citan autores españoles ByD (1995-2004) Revistas más productivas Scientometrics 48 Medicina Clinica 31 JASIST 23 Information Processing & Management 13 Journal of Information Science 11 Arbor-Ciencia Pensamiento y Cultura Libri 8 Journal of Documentation Research Evaluation 7 Electronic Library Revista de Neurologia Revista Española de Cardiología International Journal of Approximate Reasoning Information Research 6 Information Technology and Libraries 5 Knowledge Organization Online Information Review Interciencia Psicothema 6 títulos con 4 7 títulos con 3 31 títulos con 2 trabajos 62 106 títulos con 1 trabajo 106 Revistas más citadas Medicina Clinica 406 Scientometrics 405 JASIST 380 Journal of Documentation 99 Information Processing & Management 94 Revista Española de Documentación Científica Journal of Information Science 85 Nature 80 British Medical Journal 78 Science 77 Communication ACM 76 Information Retireval 66 Information Processing 53 Lancet 45 JAMA 41 Research Evaluation 39 Archivos de Bronconeumología 37 Research Policy 36 Library Trends 35 Annual Review Information Science 32 Lectures Notes in Artificial Intelligence 31 Current Contents 27 Aunque, globalmente el aspecto más destacado es la importante presencia de revistas biomédicas en posiciones destacadas: Revista de Neurología, Revista Española de Cardiología, etc., lo cual viene a demostrar el importante papel que la Documentación Médica ha jugado y sigue jugando dentro de la ByD española (Delgado López-Cózar, 2003). También cabe destacar el importante número de revistas ligadas a las ciencias de la computación, dado que la tecnología de los procesos de almacenamiento y recuperación de información tiene una base informática que hace necesario la presencia de medios de comunicación de éste área. También es reseñable la aparición de revistas ligadas a la Psicología, que es otra constante en la documentación española. Por último, cabe resaltar como los dos sistemas de búsqueda coinciden a la hora de identificar cuales son las revistas de la categoría ISLS del WOS que pueden considerarse nucleares en la ByD (Scientometrics, JASIST, J. Doc, IP&M, JIS, Libri…) Por lo que respecta a las revistas citadas es la posición destacada que ocupa Medicina Clínica, que se convierte en la revista más citada por los autores españoles de ByD a nivel internacional. Este resultado está en sintonía absoluta con lo hallado por Mercedes de la Moneda (2003) en su análisis bibliométrico de la producción bibliográfica española en ByD (1984-1999). En dicho período Medicina Clínica era la revista más citada de la ByD española. En 9 de los 13 años en que se calcularon índices de repercusión figuraba como la revista de mayor impacto. Junto a ella aparecen algunas de las más prestigiosas revistas biomédicas del mundo (British Medical Journal, Journal of American Medical Association, Lancet) y las mismas revistas biomédicas españolas que ya eran importantes como canales de publicación. Ocupan también puestos destacados Nature y Science que son las revistas multidisciplinares por excelencia. El cuadro se completa con la aparición de revistas de carácter informático que revelan, de nuevo, los especiales lazos entre la ByD y las ciencias de la computación. Y, por último, de nuevo recalcar como las revistas ByD que se encuentran encabezando el listado constituyen las fuentes intelectuales de referencia de la ByD española (Scientometrics, Journal of the American Society of Information Science and Technology, Journal of Documentation, Information Processing & Management,, Journal Information Science). A este núcleo se incorpora la Revista Española de Documentación Científica.

Congresos científicos y Jornadas profesionales ByD España (2006-2007) ± 40 encuentros al año Asociaciones profesionales (50%) y administración bibliotecaria documental (16%) Temática: tecnología de la información y archivos (50%), bibliotecas y sus servicios (15%) Los congresos profesionales, jornadas y demás encuentros científicos constituyen una pieza fundamental para la articulación de una profesión o disciplina. Como foro de reunión que son, sirven, ante todo, para fomentar las relaciones personales, aumentar el conocimiento mutuo, entablar relaciones directas entre compañeros, compartir creencias y establecer valores comunes, en definitiva, actúan como un elemento vertebrador del grupo social. Asimismo, cumplen la función de coadyuvar al enriquecimiento profesional y científico de los asistentes, que extraen y aprenden experiencias que pueden poner en práctica. Este papel es especialmente importante en las profesiones o disciplinas con un bajo grado de institucionalización social

Proyectos de investigación en ByD en España (2000-2004) Las solicitudes y las concesiones de financiación para proyectos de investigación, tomados como el resultados de la competencia por los fondos de I+D+I que llevan a cabo los investigadores, aportan información significativa sobre las capacidades investigadoras, absolutas y relativas, de cada institución, sobre la orientación hacia la investigación, e incluso sobre la excelencia competitiva de dichas entidades. centramos nuestra atención sólo en los proyectos obtenidos en proceso competitivo, en los que se genera una lucha por la consecución de la financiación, y a los que se aplica un procedimiento de evaluación por pares. Este tipo de proyectos son de especial significación ya que pueden ser considerados como un indicador más de los mecanismos que conduce al reconocimiento y la reputación científica. Como muy acertadamente señala Luis Sanz “los investigadores tienen que comunicar resultados de investigación para obtener legitimidad de sus pares, y para poder tener resultados necesitan fondos que se obtienen generalmente por el procedimiento de competir con otros colegas. Publicar es parte de la actividad necesaria para ser un investigador; presentar y conseguir aprobar proyectos de investigación también”. Si tuviéramos que ofrecer un perfil característico de los proyectos de investigación europeos ejecutados por instituciones documentales en este quinquenio se podría decir que: Se trata de proyectos liderados por instituciones europeas (70%), en los que el peso y la responsabilidad sobre el diseño y coordinación no corresponde a una organización española. En cualquier caso, hay que resaltar que muy pocas son las entidades españolas que han conseguido participar en proyectos europeos (CINDOC, Biblioteca Nacional, Universitat Oberta de Cataluña, Universidad Carlos III, Universidad Complutense...). Destacan por encima de todas el CINDOC y la Biblioteca Nacional, que concentran por sí solas casi el 40% de los proyectos financiados. La temática dominante de estos proyectos viene vinculada a los aspectos más próximos a la tecnología de la información. En la mayoría de los casos la responsabilidad del proyecto La duración de los proyectos se encuentra entre tres y cuatro años (85%). La consignación presupuestaria que reciben es elevada pues está en torno al millón de euros.

Proyectos de investigación en ByD en España (2000-2004) Instistución Proyectos Nº % Centro de Información y Documentación Científica 33 18,6 Universidad Carlos III 21 11,9 Universidad de Granada 13 7,3 Universidad Politécnica de Valencia 11 6,2 Universidad de Zaragoza Universidad de Salamanca 10 5,6 Universidad de Extremadura Universitat Oberta de Catalunya 9 5,1 Universitat de Barcelona 7 4,0 Universidad de León 6 3,4 Universidad de Murcia 5 2,8 Universidad Complutense de Madrid Universitat de Valencia Inst. de Hist. de la Ciencia y Doc. Lopez Piñero 4 2,3 Fundación Residencia de Estudiantes Biblioteca Nacional Biblioteca Provincial de Huelva 3 1,7 Centrando el análisis en cuáles son las instituciones documentales más activas en la realización de proyectos de investigación, observamos que la situación reflejada por los datos (Tabla 3) no puede ser más clara: en dos grandes tipos de instituciones recae el peso de la investigación: El Consejo Superior de Investigaciones Científicas y la Universidad. Está situación ya ha sido constatada desde otros puntos de vista de la actividad investigadora de nuestra área. Así también la procedencia institucional de los trabajos publicados revela la presencia de estos dos frentes de investigación[1] y la participación creciente de la Universidad[2]. TABLA 3 No obstante, conviene destacar que el CINDOC se revela como la institución con mayor capacidad para aglutinar sinergias y coordinar recursos a la hora de liderar proyectos y recabar fondos para la investigación. Además su posición es extraordinariamente aventajada respecto al resto de instituciones documentales (Tabla 3). No sólo por número de proyectos (33) sino por el tipo (es capaz de liderar tanto proyectos europeos como nacionales o autonómicos). Del frente universitario cabe descar a la Universidad Carlos III, que es otro organismo con una gran capacidad de acopiar recursos de investigación. El resto los departamentos universitarios se puede subagrupar en tres tipos: los que cuentan con con una decena proyectos financiados (Granada, Valencia , Zaragoza y Extremadura ), las que cuentan con más de cinco proyectos y menos de 10 (Salamanca, Barcelona, León) y las que cuentan con cinco o menos proyectos.

Proyectos de investigación en ByD en España (2000-2004) Temática Proyectos Nº % Comunicación científica y profesional: publicación científica, estudios bibliométricos 63 38,0 Tecnología de la información: internet, edición electrónica… 20 12,0 Tratamiento: Catalogación, clasificación, indización…. 15 9,0 Gestión y administración 11 6,6 Bases de datos 10 6,0 Servicios bibliotecarios: adquisición, préstamo, servicio de referencia... 9 5,4 Historia: bibliotecas, edición, imprenta 5 3,0 Educación en ByD 2 1,2 Colecciones: desarrollo Automatización unidades de información Recuperación de la información 1 0,6 Estudios de necesidades y uso de la información 0,0 Profesión Otros 26 15,7 En un análisis general de las temáticas tratadas por los proyectos se observa que dos son los temas centrales: Tecnología de la información y estudios de la comunicación científica y profesional (Tabla 4), lo que encaja bastante bien con las directrices temáticas de los planes nacionales de I+D+I. Pero la explicación a este fenómeno se encuentra en la importante tradición que los estudios bibliométricos de la comunicación científica y técnica han tenido en la constitución de la Biblioteconomía y Documentación como disciplina y actividad profesional en España. Se trata de un rasgo que singulariza a la Biblioteconomía y Documentación española y que la aleja de lo que es norma en el entorno europeo[1]. El protagonismo del CINDOC y su orientación investigadora junto al papel de la escuela bibliométrica valencia son claves para entender este fenómeno

¿Qué investigación necesitamos? Interdisciplinar: en sus propósitos, en sus metodologías, en sus temas, en los equipos que la produzcan Teórica y práctica (básica y aplicada, desarrollo científico/desarrollo profesional) a un mismo tiempo Investigación acumulativa Mayor variedad metodológica y uso combinado y simultáneo de múltiples métodos de investigación (triangulación)

¿Qué investigación necesitamos? II Cómo la sociedad crea, produce, disemina, organiza, difunde, utiliza, preserva o elimina la información. Esta función nos pone en contacto con la Sociología, en su más amplio sentido. Cómo los individuos buscan, demandan, adquieren, organizan, procesan, almacenan y utilizan la información. Este es el campo de las ciencias cognitivas. Cómo crear y gestionar una organización preparada para soportar y mejorar el proceso de transferencia de la información. Con ello entramos en el radio de acción de las ciencias de la organización y la gestión y, particular-mente, de la Economía. Cómo diseñar herramientas tecnológicas que gestionen la información registrada, las colecciones bibliotecarias y otros sistemas de información, de forma que sean capaces de satisfacer las necesidades de los clientes. Este es el campo de las ciencias de la computación.

Muchas gracias por vuestra atención y participación ¿Si queréis conocer cuales son nuestras líneas y proyectos de investigación nos podéis encontrar en EC³ Grupo de investigación Evaluación de la Ciencia y de la Comunicación Científica Universidad de Granada http://ec3.ugr.es