Una nueva mirada De los Rankings de Instituciones a los de Científicos VI Jornadas MAVIR Tecnologías de Acceso a la Información: Estado actual y retos Universidad Rey Juan Carlos Móstoles (Madrid), 15-16 de noviembre de 2011 Una nueva mirada De los Rankings de Instituciones a los de Científicos Isidro F. Aguillo The Cybermetrics Lab CCHS-CSIC. Madrid

La descripción y evaluación de la actividad científica y sus resultados, de sus ejecutores (individuos, instituciones, estructuras organizativas), gestores (planificadores, financiadores) y otros actores involucrados en su difusión y explotación (editores, empresarios, políticos, ciudadanos) se ha convertido en una prioridad de las políticas de I+D+I A pesar de las reticencias a asumir la cultura de la evaluación por parte de numerosos sectores aún hoy en día A pesar de las dificultades y los costes que supone describir correctamente los distintos escenarios a diferentes niveles de agregación A pesar de los reconocidos sesgos, limitaciones y facilidad para dar lugar a interpretaciones erróneas o incorrectas que presentan la mayoría de las técnicas empleadas

El Ranking de Shanghai (2003) Escenarios no globales (antes de 2003) Estudios sobre la Educación Superior, muy puntuales con tamaños de muestra pequeños o poco representativos Poca atención a los métodos cuantitativos, exclusión de la bibliometría Impacto inesperado del Ranking de Universidades de Shanghai Debido a su publicación en la Web Uso innovador de un indicador compuesto: Lectura simple, interpretación compleja Foco en la excelencia (Premios Nobel, científicos muy citados) Cobertura amplia: Top 500 “World-class universities”

Rankings mundiales de universidades Tras el éxito de Shanghai, explota la oferta Basados en opiniones: QS, Times Higher Education Basados en métricas: Leiden, Scimago, HEEACT, Webometrics y arrecian las críticas Rechazo de la “sencillez” Sesgos, errores e intereses políticos y comerciales pero los rankings triunfan en las “Agendas” Elevada correlación de los diferentes rankings entre sí y con las posiciones esperadas de muchas universidades Se imponen las estrategias y políticas basadas en resultados y criterios de los rankings

Indicadores compuestos Del “crown indicator” bibliométrico Una opción avanzada de la tasa citas/publicaciones Varios modelos: peso por disciplina (Leiden), peso por revista (Karolinska) Al indicador compuesto del ranking de Shanghai Suma ponderada de variables ∑w(i)*ind(i), donde la suma de todos los pesos es 1 (o 100%) i número de indicadores combinados Utilizado por otros rankings con diferentes modelos Críticas por la elección arbitraria de variables y pesos

Modelos de pesos RANKING ACTIVIDAD IMPACTO ARWU (Shanghai) 40% 60% TIMES HIGHER EDUC 35% 65% QS 30% 70% HEEACT (Taiwan) 20% 80% WEB 50%

Ranking Web Se edita desde 2004 www.webometrics.info 20.000 instituciones de educación superior Dos ediciones al año (enero y julio) Basado en la presencia web y el análisis de enlaces

Brecha Digital Académica

Los rankings, aunque no exentos de críticas, han resultado ser muy útiles a nivel institucional. Problemas de viabilidad en la normalización de nombres de autores y dificultades en el diseño de indicadores sintéticos han retrasado la aparición de rankings de científicos a nivel global, pero la Web 2.0 está abriendo una prometedora nueva vía en el logro de dicho objetivo A pesar del duopolio comercial de WoK/Thomson y Scopus/Elsevier que dificulta la generación de productos derivados de alto valor añadido Y gracias a los nuevos proveedores gratuitos de bases de datos de citas: Google Scholar y Microsoft Academic Search, que a pesar de sus limitaciones ya ofrecen mayor cobertura y opciones más avanzadas

Grupo DIH (Difusión del índice h)

Propuestas de futuro Solo se puede evaluar la información pública A nivel individual, las páginas web personales de profesores e investigadores ofrecen una excelente oportunidad Se pueden analizar cuantitativamente tanto los contenidos (docentes, resultados y publicaciones científicas, actividades informales) como su impacto Nuevos indicadores Indicadores web a través de presencia y posición en motores de búsqueda, medida de impacto mediante análisis de enlaces y menciones, especialmente a través de herramientas Web 2.0 Indicadores de uso mediante análisis de visitas (Google Analytics)

Resumiendo No se puede ignorar los resultados ofrecidos por los Rankings Aunque no todos ellos son igualmente válidos o útiles Pero hay que diseñar estrategias lícitas que tengan en cuenta sus características Los nuevos Rankings para individuos ya están aquí Ofrecen posibilidades de personalización que deben ser conocidas y explotadas Pero hay que incrementar significativamente la presencia pública de los investigadores, más allá de la mera trasposición del CV científico a la Web

¡Gracias! ¿Preguntas?