Comparación entre Rankings de universidades e instituciones de investigación de Iberoamérica Mario Fernández, Isidro F. Aguillo José Luís Ortega, Begoña.

Presentación del tema: "Comparación entre Rankings de universidades e instituciones de investigación de Iberoamérica Mario Fernández, Isidro F. Aguillo José Luís Ortega, Begoña."— Transcripción de la presentación:

1 Comparación entre Rankings de universidades e instituciones de investigación de Iberoamérica Mario Fernández, Isidro F. Aguillo José Luís Ortega, Begoña Granadino CINDOC-CSIC. Madrid. España

2 Agenda 1. Rankings: Una nueva herramienta 2. Propuesta bibliométrica del grupo SCImago 3. Propuesta cibermétrica del InternetLab 4. Resultados globales 5. Análisis comparativo 6. Discusión, conclusiones y recomendaciones

3 1. Rankings: Una nueva herramienta

4 Rankings: Necesidad Indicadores bibliométricos son insuficientes para descripción de escenarios multidimensionales Combinación de indicadores puede ser compleja por la heterogeneidad de los datos Ordenes de magnitud diferentes entre artículos, citas, patentes, autores, instituciones Importantes sesgos y asunciones erróneas en las escalas con unidades agregadas Factor de impacto esperado vs citas reales Autoría completa vs fraccionada

5 Rankings: Ventajas Posiciones relativas frente a valores absolutos favorece la precisión frente a la exactitud Combinación de datos de muy diferentes fuentes y naturaleza Re-escalado de escenarios globales y locales Transformación de distribuciones potenciales en lineales Modelos teóricos y empíricos para probar número de variables y peso relativo de cada una de ellas Comparación inter- e intra-institucional y evolución “Facilidad” de interpretación

6 Rankings: Inconvenientes Excesiva atención a las posiciones relativas Indicadores elegidos según su disponibilidad Dificultad de asignar pesos a los distintos indicadores Posiciones difícilmente discernibles en la cola Otros artefactos estadísticos

7 2. Ranking bibliométricos

8 Antecedentes Producción científica medida mediante indicadores bibliométricos son parte principal de muchos Rankings Datos extraídos de las bases de datos del ISI Academic Ranking of World Universities (ARWU) Producido por la Shanghai Jiao Tong University Times Higher Education Supplement World University Rankings (THES) Elaborado por QS

9

10

11 Ranking SCIMAGO SCImago es un grupo de investigación inter- universitario Universidades de Granada, Extremadura, Carlos III (Madrid) y Alcalá de Henares El Grupo de Investigación SCImago, junto a Universia, publica dentro de su proyecto Atlas de la Ciencia el Ranking Iberoamericano de Instituciones Investigadoras RI3 El único criterio es el número de documentos recogidos en las revistas indexadas en las bases de datos Thomson-ISI (1990-2005)

12

13 Re-Ranking RI3 Diez países iberoamericanos Argentina, Brasil, Chile, Colombia, Cuba, España, México, Perú, Portugal y Venezuela Universidades, centros de investigación, hospitales, empresas Re-ranking con datos 2000-2005 Sólo entradas con producción total mínima de 100 artículos

14 3. Rankings cibermétricos

15 Antecedentes Algoritmos de ordenación de resultados de búsquedas en motores PageRank de Google Clave del éxito de Google Número de visitas a sedes Web Alexa TrafficRank Visitas interceptadas por el sistema. Sesgos de cobertura Web Impact Factor Resultados inconsistentes

16 Casos de éxito (I)

17 Casos de éxito (II)

18 Ranking Web El Laboratorio de Cibermetría (InternetLab) es un grupo de investigación del CINDOC-CSIC El Laboratorio publica desde 2004 y con una actualización semestral el Ranking Web de Universidades El Ranking utiliza una combinación de indicadores cibermétricos obtenidos de los principales motores de búsqueda Tamaño Web: Número de páginas en el dominio Visibilidad Web: Enlaces recibidos externos Ficheros Ricos: Número de documentos en formatos.pdf,.doc,.ps y.ppt Artículos: Documentos recogidos por el Google Scholar

19 Ranking Web (II) Unas 11.000 universidades y más de 5.000 centros de investigación de todo el mundo son analizados +10% son instituciones latinoamericanas Top 200: Brecha digital académica México: UNAM (81ª del mundo) Brasil: Sao Paulo (97ª) y Campiñas (190ª) España: Universidad Complutense (162ª) Centros de investigación: CSIC (33ª)

20

21 4. Resultados globales

22 Resultados Top 500 de cada uno de los rankings independientemente Re-ranking RI3 con datos 2000-2005 Re-ranking RW (Enero 2007) con 10 países Solapamiento bajo 148 (29,6%) de Top RI3 no presentes en RW 217 (43,4%) de Top RW no presentes en RI3

23 Distribución Top 500

24 Perfil de los países

25 5. Análisis comparativo

26 Visión desde el ranking RI3

27 Visión desde el Ranking Web

28 Comentarios Existe una gran correspondencia entre las dos clasificaciones Centros muy productivos en número de publicaciones tienen una baja presencia en la Web Especialmente los hospitales El ranking Web favorece a las Universidades Técnicas y a las “Open Universities” (Tecnológico de Monterrey)

29 Cuestiones estructurales Ley de los grandes números: Núcleo significativo más amplio en el ranking cibermétrico Unidades dispares: No hay dominios o subdominios Web institucionales para ciertas organizaciones Cobertura diacrónica (bibliométrica) vs sincrónica (cibermétrica) Posibles sesgos: Biomedicina (ISI WoS) vs Tecnología (Web)

30 Cuestiones metodológicas Sesgos de la bases WoK Cobertura de la región insuficiente Cobertura disciplinar (sociales, humanidades, tecnologías) dispar Errores (>3%) Problemas de estandarización: Entradas duplicadas Control de calidad en la colección de datos (semi-) automática Prácticas Web incorrectas Dobles (o triples) dominios Instituciones sin dominio propio Sesgos de los motores de búsqueda

31 6. Discusión y conclusiones

32 Conclusiones/recomendaciones Los Rankings ofrecen información valiosa para el seguimiento del desempeño de las instituciones académicas y de investigación de la región No hay una alternativa viable hoy en día Es necesaria una mayor calidad de los mismos, tanto técnica como científica, para evitar sesgos y resultados incorrectos Los rankings bibliométricos deben depurarse notablemente Más instituciones deben tener presencia Web independiente Sin embargo, los resultados obtenidos son muy significativos y las dos propuestas pueden combinarse para obtener escenarios globales La producción científica debe incrementarse en otras áreas diferentes a la biomedicina Existe una preocupante brecha digital académica no ligada necesariamente a escasez de recursos económicos y/o tecnológicos

33 ¡Gracias!: ¿Preguntas? Ranking Web http://www.webometrics.info Ranking RI 3 http://investigacion.universia.es/isi/isi.html ****