Ranking Web de Universidades Webometrics y las universidades peruanas Isidro F. Aguillo Seminario: “VISIBILIDAD Y ACCESO A LA PRODUCCIÓN CIENTÍFICA” PUCP, Lima (Perú) de septiembre de 2011

2  Rankings globales de universidades Antes del Ranking de Shanghai Impacto de los Rankings Análisis comparativo de los principales Rankings  Criterios e indicadores Viabilidad Mitos y leyendas  El Ranking Web Modelo y metodología Resultados para Latinoamérica y Perú  Pequeño Taller Utilidad y utilización Mejorando la presencia en la Web  Ruegos y preguntas Programa

3  Situación anterior a 2003 Rankings nacionales elaborados por instituciones no universitarias (editoriales, periódicos, revistas) Orientados como guía para estudiantes, con muchos aspectos no académicos (costes, alojamiento, oferta deportiva y de ocio) Criterios confusos, opacos, uso de fuentes no contrastadas  Estudios sobre la Educación Superior En su mayor parte cualitativos, analizando fundamentalmente universidades de países desarrollados Ausencia de escenarios globales, pocos estudios empíricos y en todo caso con muestreos pequeños o poco representativos  Visión sesgada e incompleta Clasificaciones según prestigio, poco útil para desarrollar estrategias Reconocimiento de la importancia de la actividad investigadora, pero sin explotar adecuadamente los métodos bibliométricos Rankings de Universidades

4  Una propuesta muy sencilla Un indicador compuesto que combina unos pocos criterios cuantitativos ligados a la excelencia (investigadora) Un escenario global compuesto por 500 universidades de todo el mundo Explotación de la publicación en la Web, alcanzando grandes audiencias y logrando un enorme impacto mediático  Principales características Elaborado por investigadores de una universidad, la Jiao-Tong de Shanghai Utilizan fuentes de información públicas, fácilmente disponibles Solo se consideran variables académicas No incluyen valoraciones subjetivas  Impacto Sorpresas desagradables en muchos países (Francia) y universidades A pesar de las críticas, los resultados generan cambios en las políticas nacionales e institucionales Ranking de Shanghai (ARWU)

5  “World-class University” Los Rankings (ARWU, THE-QS, HEEACT, LEIDEN) delimitan el grupo de universidades (unas 500) que definen la élite mundial Son representantes del modelo de “US research-intensive university”, aunque hay representación de más de 30 países Muchos países aspiran a colocar sus mejores universidades a corto-medio plazo entre las 20, 50 ó 100 primeras de ese grupo  Incremento de la oferta y de la demanda Rankings basados en encuestas de opiniones (QS, THE), bibliométricos (HEEACT, LEIDEN, SCIMAGO) o cibermétricos (WEBOMETRICS) Aceptación generalizada a pesar de las críticas  Aspectos cuestionables Excesiva comercialización de los editores, con sesgos evidentes y prácticas, en algún caso, poco éticas Renuncia a la evolución metodológica en aras de la estabilidad y comparabilidad de los resultados Impacto de los Rankings

6 Principales Rankings RankingMisionesIndicadoresModeloResultadosComentarios ARWUInvestigaciónExcelencia (científica)NingunoCorrelación excelente para los Top 200 “World class” (establilidad a costa de mantener errores) WEBTodasActividad e Impacto (web) Similar al factor de impacto Correlación buena (discrepancias) Malas prácticas penalizan en exceso QSTodasPrestigio (encuestas) e Impacto (citas) NingunoSesgos geográficos sospechosos Inadecuado más allá de las primeras posiciones HEEACTInvestigaciónActividad e Impacto (artículos, citas) NingunoCorrelación buena Método bibliométrico cuestionable LEIDENInvestigaciónImpacto (citas/artículos) “Crown indicator” Varios “rankings” “research universities” (método cuestionado) SCIMAGOInvestigaciónActividad o Impacto (artículos, citas) Posición según tamaño (por defecto) Varios “rankings” Universidades + Centros de investigación (sin indicador compuesto) THETodasActividades, Prestigio (encuestas) e Impacto (citas) ConfusoErrores no corregidos Comportamiento poco ético (no informa qué universidades no responden)

Identificando modelos Estudiantes/Profesor Internacionalización Artículos científicos Recursos (económicos, biblioteca, computo, becas) Páginas Web (tres misiones) Documentos (ficheros ricos) e-Artículos Prestigio (Encuestas a pares) Egresados/total Citas por artículo Premios Enlaces Menciones (Visibilidad) Popularidad (Visitas, visitantes) ACTIVIDAD IMPACTO OTROS RANKINGS WEBOMETRICS

ACTIVIDAD IMPACTO ARWU (Shanghai)40%60% RANKING QS (antes THES)30%70% TIMES HE (2010)35%65% HEEACT (Taiwán)20%80% WR (Webometrics)50% Pesos de los indicadores 8

9  Encuesta Percepción subjetiva de la reputación académica. Nadie con experiencia y conocimientos globales. Varios miles de respuestas, sesgadas.  Análisis de citas Impacto de la comunicación formal de la ciencia mediante pares. En el mejor de los casos unas pocas docenas de citas  Análisis de enlaces Motivaciones variadas, académicas y no académicas (editores de páginas web, pares y no-pares). Audiencias enormes, en el orden de millones Calidad evaluada por refrendo

Comparativa por países (Top 500) 10

Sesgos de ARWU Jacobus Henricus van 't Hoff (Chemistry) 1901 Emil Adolf von Behring (Physiology or Medicine) 1902 Hermann Emil Fischer (Chemistry) 1902 Theodor Mommsen (Literature) 1905 Adolf von Baeyer (Chemistry) 1905 Robert Koch (Physiology or Medicine) 1907 Albert Abraham Michelson (Physics) 1907 Eduard Buchner (Chemistry) 1908 Paul Ehrlich (Physiology or Medicine) 1909 Karl Ferdinand Braun (Physics) 1910 Otto Wallach (Chemistry) 1910 Albrecht Kossel (Physiology or Medicine) 1910 Paul Heyse (Literature) 1911 Wilhelm Wien (Physics) 1914 Max von Laue (Physics) 1915 Richard Willstätter (Chemistry) 1918 Fritz Haber (Chemistry) 1918 Max Planck (Physics) 1920 Walther Nernst (Chemistry) 1921 Albert Einstein (Physics) 1925 Gustav Ludwig Hertz (Physics) 1925 James Franck (Physics) 1925 Richard Adolf Zsigmondy (Chemistry) 1928 Adolf Otto Reinhold Windaus (Chemistry) 1929 Hans von Euler-Chelpin (Chemistry) 1931 Otto Heinrich Warburg (Physiology or Medicine) 1932 Werner Heisenberg (Physics) 1933 Erwin Schrödinger (Physics) 1935 Hans Spemann (Physiology or Medicine) 1936 Peter Debye (Chemistry) 1939 Adolf Butenandt (Chemistry) 1944 Otto Hahn (Chemistry) 1950 Kurt Alder (Chemistry) 1950 Otto Diels (Chemistry) 1953 Fritz Albert Lipmann (Physiology or Medicine) 1953 Hans Adolf Krebs (Physiology or Medicine) 1954 Max Born (Physics) 1956 Walther Bothe (Physics) 1991 Bert Sakmann (Physiology or Medicine) 2007 Gerhard Ertl (Chemistry) Premios Nobel de la Universidad de Berlin (1945), escindida luego en dos: Humboldt Universität y Freie Universität

12 Problemas con QS

Se edita desde 2004, con dos ediciones al año (enero y julio): El Directorio es el más grande y actualizado, con más de instituciones de educación superior de todo el mundo con sus respectivos dominios web El Ranking publica las primeras universidades a partir de indicadores web La Universidad debe reflejarse de forma fidedigna en su presencia Web Organización, actividades, resultados de investigación, transferencia de conocimientos y tecnología, compromiso social y medioambiental, prestigio y visibilidad internacional Si el rendimiento en la Web está por debajo de lo esperado, puede deberse a la falta de compromiso con la publicación electrónica, o las malas prácticas web Ranking GLOBAL: El Ranking Web 13

(Top 1000) WR Julio 2011 Distribución geográfica 14

Brecha digital académica 15

4 (18) Top 200 (Top 1000) 0 (2) 0 (3) 1 (5) 0 (1) 0 (2) 16 Latinoamérica 0 (1) WR Julio 2011

17 Universidades en Latinoamérica

18 Rankings de Universidades Peruanas

Correlaciones con población y riqueza

20 Vecindarios web

Popularidad

22 Estrategias fuertes  Contenidos  Páginas de apoyo a la docencia, especialmente a la educación a distancia  Sedes web para todos los grupos de investigación, incluyendo páginas personales y proyectos  Hospedaje: sedes web para terceras partes  Contenidos de calidad  Portal de revistas  Repositorio de trabajos científicos  Portales multimedia (incl. Webinars)  Portales de software  Archivo de datos / Archivo web  Compromisos sociales  Contenidos internacionales  Versiones multilingües (incl. inglés)  Guías para estudiantes  Super-sedes

MIT Open CourseWare 23

Páginas personales

Páginas “personales”

Portal OA de la USP 27

Tesis en la USP 28

29  ¿Por qué la Web? o La presencia web es un indicador. Se puede asegurar que refleja de forma global el desempeño de la universidad y no solo sus actividades en línea o La Web es ya la herramienta más importante de comunicación científica o La Web incrementa significativamente la audiencia, la visibilidad y el impacto de las actividades y logros de profesores, investigadores y estudiantes o La Web es el canal futuro y presente para la enseñanza no presencial, el escaparate mas económico y el más atractivo para reclutar los mejores estudiantes y profesores internacionales y es el punto de encuentro entre la universidad, la sociedad, sus actores económicos y los líderes políticos  ¿Por qué el Ranking Web? o El Ranking Web es el de más amplia cobertura, ya que clasifica tanto las universidades de nivel mundial como aquellas relevantes para el desarrollo de los países emergentes o Las discrepancias observadas nos informan de serios problemas de gobernanza, ausencia de estrategias a largo plazo, políticas inadecuadas u obsoletas y malas prácticas web Resumiendo

30 ¿Preguntas? … Isidro F. Aguillo, HcPhD The Cybermetrics Lab. IPP-CCHS-CSIC Foro abierto Proverbio chino: "Cuando un dedo señala la luna, el imbécil mira el dedo"