ACUERDO DE BIBLIOTECAS DE CÓRDOBA. ARGENTINA. QUIÉN ES QUIÉN - 2017. Evaluación de la visibilidad y el impacto de la actividad científica: herramientas, métodos e indicadores en un nuevo contexto. Orlando Gregorio-Chaviano. Departamento de Ciencia de la Información. Pontificia Universidad Javeriana. Bogotá. 20 de Octubre / 2017

ACTUALIDAD Evaluación de la investigación basada en la publicación de artículos científicos como eje fundamental de la evaluación Web of Science (WoS) y Scopus como fuentes de uso en la evaluación de la actividad científica Calidad basada en citas y desde ellas los sistemas de incentivos Concepto de internacionalización y visibilidad a partir de presencia y criterios WoS y Scopus Aumento de las herramientas de medición Fuentes y sistemas regionales como herramientas alternas Revistas nacionales en el contexto de la corriente principal

Citas, posición en cuartiles e LA REALIDAD Citas, posición en cuartiles e Índice h como medidas de rendimiento científico Estrategias de visibilidad, impacto y gestión de la investigación y de las revistas

Fuente: Web of Science y Scopus ARGENTINA – CORRIENTE PRINCIPAL Fuentes Revistas Web of Science (WoS) 19 Scopus 55 Scielo 121 Redalyc 79 Latindex 726 Fuente: Web of Science y Scopus

Factor de impacto promedio TENDENCIAS Área Documentos WoS Citas WoS Ncit/Ndoc Medicina Clínica 2.589.000 32.000.000 12.5 Ciencias Sociales 850.000 5.500.000 6.5 Categoría Revistas Citas Factor de impacto promedio Matemáticas 311 440,200 0,6 Gerencia 194 607,000 1,7 Biología Celular 190 2,000,000 3,3 Historia 87 25,600 0,3 Fuente: JCR, 2016

Herramienta de evaluación y disciplina instrumental BIBLIOMETRIA. ¿QUÉ ES? Herramienta de evaluación y disciplina instrumental Aporte de indicadores que posibilitan el análisis cuantitativo y cualitativo para conocer y regularidades

CONTROL – APRENDIZAJE - INTERVENCION BIBLIOMETRIA - IMPORTANCIA Determina de forma sistemática y objetiva, la relevancia, eficiencia, eficacia, pertinencia, progreso y efectos de una actividad en función de los objetivos. CONTROL – APRENDIZAJE - INTERVENCION

FUNDAMENTACION Se basa en un conjunto de “leyes empíricas”, las cuales se han establecido gracias a estudios cuantitativos en los que interviene el recuento de nº de artículos, nº de revistas, nº de autores, etcétera.

¿PORQUE FAMILIARIZARSE? La evaluación basada en revistas como eje central de la evaluación La mayor parte de las políticas científicas y la evaluación del rendimiento científico (en diferentes agregados) se articulan en torno a bases de datos, indicadores y productos de evaluación basados en la Bibliometría El rendimiento científico se suele comparar mediante rankings construidos desde la Bibliometría Los recursos asignados a la investigación tienen en cuenta los indicadores bibliométricos

La cita como reflejo de la visibilidad y la influencia científica PRINCIPIOS BASICOS DE EVALUACION DE LA CIENCIA El “prestigio” de un investigador se mide por sus publicaciones científicas La publicación científica en forma de artículo, como principal insumo en la evaluación La cita como reflejo de la visibilidad y la influencia científica

FUENTES DE DATOS Web of Science (WoS) Scopus Google Scholar (GS) Otras fuentes y sistemas (dinámica y debate regional): Scielo Redalyc Latindex Medline, Biosis…..

INDICADORES Total de documentos Total de citas Factor de impacto (Impact Factor) Índice h (autores y revistas) Eingenfactor Score Article influence Score CiteScore Citas normalizadas …

DEBATE - INDICADORES El Factor de impacto como un indicador bibliométrico que no se ajusta a la realidad latinoamericana, se puede manipular …. El Scimago Journal Rank (SJR) de Scopus, manipulable y difícil de reproducir y entender. No favorecen a las Ciencias Sociales y Humanidades El Índice h como indicador de rendimiento (dependiente de la producción y la citación) Las métricas alternativas deben utilizarse en la evaluación (métricas de uso y alternativas – altmétrics) ¿Porqué solo WoS y Scopus y sus indicadores como fuentes de evaluación?

DECLARACION DE SAN FRANCISCO (DORA) Necesidad de eliminar el uso de métricas basadas en revistas, como índice de impacto de revistas, en la financiación, en los nombramientos y en las consideraciones de promoción Necesidad de evaluar la investigación por sus propios méritos y no en base a la revista en la que se publica la investigación (evaluar el contenido y no el soporte) MANIFIESTO DE LEIDEN El desempeño debe ser medido de acuerdo con las misiones de investigación de la institución, grupo o investigador La excelencia en investigación de relevancia local debe ser protegida Las diferencias en las prácticas de publicación y citación entre campos científicos deben tenerse en cuenta Diferenciar niveles de agregación en la evaluación (micro y macro)

MIRADAS EN UN NUEVO CONTEXTO Las diferencias disciplinares y su importancia en la gestión de información y en la evaluación (doble mirada) Tipologías documentales y prácticas de publicación diferentes Entender los indicadores, su contexto, utilización en la evaluación micro y macro (diferencias entre el factor de impacto y el SJR). Familiarizarse con las bases de datos y la calidad de WoS a pesar de sus sesgos. Conocer los núcleos de productividad y las tendencias y utilizarlo en la investigación Planear la investigación en función de la visibilidad, la misión y objetivos El contexto local y el debate regional existente en la actualidad Las críticas a la cita “como moneda de cambio” en la investigación

BIBLIOTECA UNIVERSITARIA EN EL ENTORNO DE LA INVESTIGACIÓN Fuentes de datos de interés (WoS, Scopus, Scielo…) Conocimiento experto (profesionales de la información) La investigación como eje importante de la actividad de la universidad Necesidad (y posibilidades) de pasar de servicios tradicionales a servicios de apoyo a la investigación Nuevos conceptos (CRAI, Unidad Bibliométrica…) REPENSANDO EL ROL

TRES ENFOQUES DE TRABAJO SERVICIOS BIBLIOMÉTRICOS – UNIDADES DE BIBLIOMETRIA TRES ENFOQUES DE TRABAJO Control de fuentes (sistematizar la información producida) Generación de indicadores (diseñarlos o seleccionarlos pero en relación a la misión y objetivos institucionales, de grupos de investigación) Capacitación (evaluación de tendencias, selección de revistas, manejo de índices de citación, diseño y análisis de indicadores, evaluación de revistas para la indexación)

EVALUACION INTEGRAL DE LA INVESTIGACION Grupos Criterios Ponderación gA 1. Publicaciones en Q1-Q2 de WoS o Q1 de Scopus o una patente de invención 2. Libro o capítulo de libro en Book Citation Index (BCI) 2 puntos gB Publicaciones en Q3 o Q4 de WoS o Q2-Q3 de Scopus 1,4 puntos gC Publicaciones en Q4 de Scopus (revistas con CiteScore bajo) Publicaciones en Redalyc, Scielo, Latindex o Emerging Source con más de 10 citas en Google académico Publicaciones en bases de datos internacionales de la especialidad. Libro o capítulo de libro de visibilidad nacional 1,0 puntos gD Ponencia en congresos citados en GA Presentación de proyecto internacional 2. Publicación en base bibliográfica de corte regional. 0,4 puntos gE Proyectos nacionales, actividades de revisión, 0,2 puntos Total 5 puntos

CONCLUSIONES (PARCIALES) Indicadores basados en citas se seguirán usando más allá de la existencia de métricas alternativas y el aumento de herramientas de medición (indicadores tradicionales, alternativos, ranking..) Las bases de datos de citación (WoS y Scopus) como insumos para las instituciones y agencias de evaluación. Google académico como importante fuente (necesidad de normalización y limpieza). Construcción de indicadores para las Ciencias Sociales. Mas que “pelear” contra los métodos de evaluación e indicadores y sumarse a nuevas corrientes: entenderlos, generar alternativas, planear….

Muchas Gracias !!!! orlando.chaviano@gmail.com