Comparación entre Rankings de universidades e instituciones de investigación de Iberoamérica Mario Fernández, Isidro F. Aguillo José Luís Ortega, Begoña Granadino CINDOC-CSIC. Madrid. España

Agenda 1. Rankings: Una nueva herramienta 2. Propuesta bibliométrica del grupo SCImago 3. Propuesta cibermétrica del InternetLab 4. Resultados globales 5. Análisis comparativo 6. Discusión, conclusiones y recomendaciones

1. Rankings: Una nueva herramienta

Rankings: Necesidad Indicadores bibliométricos son insuficientes para descripción de escenarios multidimensionales Combinación de indicadores puede ser compleja por la heterogeneidad de los datos Ordenes de magnitud diferentes entre artículos, citas, patentes, autores, instituciones Importantes sesgos y asunciones erróneas en las escalas con unidades agregadas Factor de impacto esperado vs citas reales Autoría completa vs fraccionada

Rankings: Ventajas Posiciones relativas frente a valores absolutos favorece la precisión frente a la exactitud Combinación de datos de muy diferentes fuentes y naturaleza Re-escalado de escenarios globales y locales Transformación de distribuciones potenciales en lineales Modelos teóricos y empíricos para probar número de variables y peso relativo de cada una de ellas Comparación inter- e intra-institucional y evolución “Facilidad” de interpretación

Rankings: Inconvenientes Excesiva atención a las posiciones relativas Indicadores elegidos según su disponibilidad Dificultad de asignar pesos a los distintos indicadores Posiciones difícilmente discernibles en la cola Otros artefactos estadísticos

2. Ranking bibliométricos

Antecedentes Producción científica medida mediante indicadores bibliométricos son parte principal de muchos Rankings Datos extraídos de las bases de datos del ISI Academic Ranking of World Universities (ARWU) Producido por la Shanghai Jiao Tong University Times Higher Education Supplement World University Rankings (THES) Elaborado por QS

Ranking SCIMAGO SCImago es un grupo de investigación inter- universitario Universidades de Granada, Extremadura, Carlos III (Madrid) y Alcalá de Henares El Grupo de Investigación SCImago, junto a Universia, publica dentro de su proyecto Atlas de la Ciencia el Ranking Iberoamericano de Instituciones Investigadoras RI3 El único criterio es el número de documentos recogidos en las revistas indexadas en las bases de datos Thomson-ISI ( )

Re-Ranking RI3 Diez países iberoamericanos Argentina, Brasil, Chile, Colombia, Cuba, España, México, Perú, Portugal y Venezuela Universidades, centros de investigación, hospitales, empresas Re-ranking con datos Sólo entradas con producción total mínima de 100 artículos

3. Rankings cibermétricos

Antecedentes Algoritmos de ordenación de resultados de búsquedas en motores PageRank de Google Clave del éxito de Google Número de visitas a sedes Web Alexa TrafficRank Visitas interceptadas por el sistema. Sesgos de cobertura Web Impact Factor Resultados inconsistentes

Casos de éxito (I)

Casos de éxito (II)

Ranking Web El Laboratorio de Cibermetría (InternetLab) es un grupo de investigación del CINDOC-CSIC El Laboratorio publica desde 2004 y con una actualización semestral el Ranking Web de Universidades El Ranking utiliza una combinación de indicadores cibermétricos obtenidos de los principales motores de búsqueda Tamaño Web: Número de páginas en el dominio Visibilidad Web: Enlaces recibidos externos Ficheros Ricos: Número de documentos en formatos.pdf,.doc,.ps y.ppt Artículos: Documentos recogidos por el Google Scholar

Ranking Web (II) Unas universidades y más de centros de investigación de todo el mundo son analizados +10% son instituciones latinoamericanas Top 200: Brecha digital académica México: UNAM (81ª del mundo) Brasil: Sao Paulo (97ª) y Campiñas (190ª) España: Universidad Complutense (162ª) Centros de investigación: CSIC (33ª)

4. Resultados globales

Resultados Top 500 de cada uno de los rankings independientemente Re-ranking RI3 con datos Re-ranking RW (Enero 2007) con 10 países Solapamiento bajo 148 (29,6%) de Top RI3 no presentes en RW 217 (43,4%) de Top RW no presentes en RI3

Distribución Top 500

Perfil de los países

5. Análisis comparativo

Visión desde el ranking RI3

Visión desde el Ranking Web

Comentarios Existe una gran correspondencia entre las dos clasificaciones Centros muy productivos en número de publicaciones tienen una baja presencia en la Web Especialmente los hospitales El ranking Web favorece a las Universidades Técnicas y a las “Open Universities” (Tecnológico de Monterrey)

Cuestiones estructurales Ley de los grandes números: Núcleo significativo más amplio en el ranking cibermétrico Unidades dispares: No hay dominios o subdominios Web institucionales para ciertas organizaciones Cobertura diacrónica (bibliométrica) vs sincrónica (cibermétrica) Posibles sesgos: Biomedicina (ISI WoS) vs Tecnología (Web)

Cuestiones metodológicas Sesgos de la bases WoK Cobertura de la región insuficiente Cobertura disciplinar (sociales, humanidades, tecnologías) dispar Errores (>3%) Problemas de estandarización: Entradas duplicadas Control de calidad en la colección de datos (semi-) automática Prácticas Web incorrectas Dobles (o triples) dominios Instituciones sin dominio propio Sesgos de los motores de búsqueda

6. Discusión y conclusiones

Conclusiones/recomendaciones Los Rankings ofrecen información valiosa para el seguimiento del desempeño de las instituciones académicas y de investigación de la región No hay una alternativa viable hoy en día Es necesaria una mayor calidad de los mismos, tanto técnica como científica, para evitar sesgos y resultados incorrectos Los rankings bibliométricos deben depurarse notablemente Más instituciones deben tener presencia Web independiente Sin embargo, los resultados obtenidos son muy significativos y las dos propuestas pueden combinarse para obtener escenarios globales La producción científica debe incrementarse en otras áreas diferentes a la biomedicina Existe una preocupante brecha digital académica no ligada necesariamente a escasez de recursos económicos y/o tecnológicos

¡Gracias!: ¿Preguntas? Ranking Web Ranking RI 3 ****