Isidro F. Aguillo, José L. Ortega, José A. Prieto, Begoña Granadino Medida de la actividad y comunicación científica mediante indicadores cibermétricos Isidro F. Aguillo, José L. Ortega, José A. Prieto, Begoña Granadino

Evaluación: Situación y perspectivas Importantes sesgos en las herramientas de evaluación Sobre-representación de las publicaciones anglosajonas y en inglés Inadecuada presencia de las ciencias sociales y humanas y la tecnología Errores Utilización indiscriminada del FI Diseñado para revistas, se utiliza para el análisis de países, instituciones o individuos Evaluación de individuos o grupos según las citas esperadas y no las reales Escasos estudios combinados, considerando otros resultados de la actividad de I+D

Ventajas de la presencia en el Web Económicas La publicación en el Web es más económica Los servidores y los sistemas de almacenamiento son cada vez más potentes y asequibles Socio-culturales El Web es ubicuo, lo que garantiza una mayor accesibilidad, incluso desde países en vías de desarrollo El carácter distribuido del Web asegura cierta universalidad temática, geográfica, lingüística y cultural Científicas La publicación es más rápida Se puede aplicar evaluación por pares La publicación puede ser más rica (datos originales, gráficos y tablas complejas, ficheros media) Refleja la comunicación informal y la realización de un más amplio espectro de actividades

Indicadores cibermétricos Medida del conjunto de la actividad académica e investigadora de una institución No solo de los trabajos publicados en revistas de prestigio (medida sesgada para tecnólogos, científicos sociales y humanistas) Refleja mejor los procesos de comunicación informal y las actividades complementarias Se mide también ruido, dada la dificultad de identificar la información de calidad Medida de impacto ampliada a través de la visibilidad hipertextual Se incluye un rango de motivaciones de enlace más amplio y por parte de más actores, no solo de los pares Pero la cita bibliográfica es más precisa Medidas muy útiles a nivel institucional Además del impacto científico, permite la evaluación del consumo de información (impacto social, cultural) o la identificación de relaciones entre instituciones (impacto industrial, económico, triple hélice) Los indicadores cibermétricos se pueden combinar con otros indicadores tradicionales (bibliométricos, patentométricos, cienciométricos) La interpretación no siempre es fácil y quedan por resolver problemas metodológicos

Objetivos Medir la visibilidad real e impacto de la presencia de instituciones de I+D en el Web Comparar las instituciones más productivas de acuerdo a criterios bibliométricos y cibermétricos Posicionar las universidades y centros de investigación respecto a organizaciones de su propio país Evaluar si existen diferencias entre instituciones y grupos de carácter tecnológico y los dedicados a la investigación científica Ponderar la visibilidad de la actividad científica en los países del Tercer Mundo Identificar el tipo de información que publican las instituciones en sus sedes Web, especialmente las fases de la actividad científica: aspectos teóricos, métodos, herramientas, datos, comunicación científica, divulgación, docencia, explotación de resultados Estimar la madurez del sistema y el peso relativo de las páginas personales

Poblaciones estudiadas 9330 dominios institucionales de universidades de todo el mundo Google, Yahoo Search, MSN Search y Teoma (Enero 2005) 100 universidades mejor posicionadas Essential Science Indicators (ISI, 1994-2004) Academic Ranking of World Universities (Univ. Shanghai, 2004) World Universities Rankings (The Times, 2004) 947 páginas más visibles del Web hispanohablante PageRank de Google (Febrero 2005) 50 universidades españolas más productivas SCI-CINDOC (Periodo 1996-2001)

Fuentes

Tamaño  de Spearman: ** p< 0,01 Correlación positiva estadísticamente significativa entre los datos de tamaño de todos los motores Los robots de los buscadores recopilan e indizan de forma distinta y el esquema temporal de visitas varía entre ellos. El solapamiento entre resultados es bajo. La correlación soporta la consistencia de combinar los datos de los motores

Visibilidad  de Spearman: ** p< 0,01 Sólo dos motores permiten el cálculo de la visibilidad (enlaces externos recibidos). Existe una alta correlación entre ambos valores, que es estadísticamente significativa La correlación positiva confirma la opción de sumar los resultados

Ficheros ricos  de Spearman: ** p< 0,01 Los ficheros ricos han sido extraídos merced al buscador Google y el comando filetype Los tipos elegidos corresponden a los más frecuentemente utilizados, especialmente aquellos reservados a procesos de comunicación académica o científica Como en casos anteriores, la alta correlación existente justifica su combinación como medida única

Ranking  de Spearman: ** p< 0,01 I=2*RS+4*RV+RR La medida de impacto se construye mediante combinación de las posiciones relativas de cada dominio ( R ) respecto a los tres indicadores descritos (S=tamaño, V=visibilidad, R=ficheros ricos), cuya correlación es alta y significativa Los pesos se asignan arbitrariamente, considerando cual podría ser la contribución relativa de cada indicador

Análisis comparativo (I)  de Spearman: ** p< 0,01 ESI-ISI: Criterios bibliométricos Número de citas recibidas en 10 años (desde revistas fuente ISI) Shanghai Jiao Tong University: Visibilidad Publicaciones, Premios (Nóbel), Tamaño Times: Popularidad Publicaciones, encuestas de opinión Correlación significativa entre todos los rankings Alta entre ESI, Shanghai y Web No tan alta con los datos del Times

Análisis comparativo (II) El ranking Web ... Complementa los criterios bibliométricos Ofrece resultados generales similares a los otros métodos Pero ... Las universidades tecnológicas aparecen mejor posicionadas La investigación biomédica no es tan prominente como en el listado ISI Las grandes universidades de países en vías de desarrollo no aparecen desplazadas Los países escandinavos aparecen bien representados en un modelo general donde las universidades norteamericanas dominan claramente la escena Las universidades alemanes están presentes Las universidades francesas y japonesas aparecen muy retrasadas

PageRank (I) Web hispanohablante Limitaciones 947 páginas con mayor PR (104 universitarias) Resultados parecidos pero no iguales al ranking Web Gran peso de las instituciones académicas en la vertebración del Web hispano Especialmente de las universidades españolas Limitaciones Válido para páginas, no para dominios No aplicable a escenarios plurinacionales o globales

PageRank (II) Universidades españolas  de Spearman: ** p< 0,01 Universidades españolas 50 más productivas según artículos publicados en el SCI en el periodo 1996-2001 (CINDOC, 2004) Mejora de la posición de las universidades tecnológicas en las rankings basados en el Web

Otros indicadores Ficheros ricos Subdirectorios y páginas personales  de Spearman: ** p< 0,01 Ficheros ricos La mayor correlación encontrada entre ficheros pdf, doc y ppt con el número de publicaciones indica que estos son un indicador de actividad científica, aunque son formatos también utilizados con fines administrativos Los ficheros ps, utilizados por ingenieros, físicos o matemáticos, presentan una correlación más baja con el SCI, donde abunda la producción biomédica Subdirectorios y páginas personales El número de subdirectorios puede indicar una mayor madurez del sistema y, por tanto, una mayor capacidad productiva Se necesita un análisis más fino, ya que es probable que se trate de páginas de grupos de investigación

Sesgos y limitaciones Sesgos geográficos y lingüísticos Suma del tamaño de los dominios universitarios por países Tamaño de Google se normaliza al 100% y se ajusta el resto Teoma presenta importantes desviaciones Google parece subestimar los países asiáticos y los eslavos (¿problemas con el alfabeto?)

Conclusiones Los indicadores cibermétricos son bastante robustos estadísticamente y pueden ser utilizados para la evaluación de instituciones y grupos. La combinación de datos de tamaño, visibilidad hipertextual y número de ficheros ricos ofrece un ranking cuyos resultados son comparables a los producidos por otros indicadores de impacto. Los indicadores basados en el Web parecen reflejar mejor las contribuciones de instituciones de países en vías de desarrollo, de los tecnólogos e ingenieros y posiblemente de científicos sociales y humanistas. La cibermetría puede ayudar a superar algunas limitaciones de los indicadores bibliométricos, pero es necesario resolver ciertos sesgos geográficos y lingüísticos que presentan los motores de búsqueda.

Más información Laboratorio de Internet internetlab.cindoc.csic.es Revista Cybermetrics www.cindoc.csic.es/cybermetrics Proyecto EICSTES www.eicstes.org Proyecto WISER www.webindicators.org Ranking Web www.webometrics.info

Lo que siempre quiso preguntar... Rompa el hielo