Evaluación de la Estrategia de sostenibilidad de grupos de investigación de la Universidad de Antioquia Marzo de 2012 Informe de evaluación Equipo de trabajo del OCyT: Sandra Carolina Rivera, Mónica Salazar, Juan Manuel Guerra, Marcela Galvis, Luis Colorado, Edwin Bernal, César Pallares, Edgar Bueno, Clemencia Navarro

ORDEN DEL DÍA: PARTE I. Aspectos conceptuales, metodológicos y de contexto de la evaluación de la estrategia de sostenibilidad PARTE II. Evaluación de grupos beneficiarios de la estrategia de sostenibilidad a. Recursos Humanos b. Producción científica y tecnológica c. Recursos financieros PARTE III. Conclusiones y recomendaciones PARTE IV. Actividades de entrega y cierre del proyecto

PARTE I Aspectos conceptuales, metodológicos y de contexto de la evaluación de la Estrategia de sostenibilidad de grupos de investigación de la Universidad de Antioquia

Objetivo general Evaluar la eficacia y el impacto del programa, entendido como los efectos de la estrategia de sostenibilidad en los grupos de investigación consolidados de la UdeA, en el marco del fortalecimiento del sistema de investigación de la institución. 5

Objetivos específicos Establecer una metodología para abordar la evaluación Analizar la Estrategia de Sostenibilidad en el marco de los programas de fomento del sistema de investigación de la UdeA. Evaluar la eficacia del programa a partir de los resultados de los grupos de investigación beneficiarios Evaluar el nivel de ejecución de recursos por parte de los grupos y determinar su apalancamiento externo. Analizar la trayectoria de los grupos de investigación en lo concerniente a las dimensiones de producción científica y tecnológica y formación de recursos humanos, tomando como insumo la información de ScienTI. Identificar aspectos relacionados con la percepción del programa, recomendaciones y complementariedad con los instrumentos de política del Sistema de Investigación de la UdeA. Realizar recomendaciones a la UdeA que sirvan de insumo para el diseño de instrumentos de fomento a grupos de investigación consolidados y de excelencia. 6

Fuente: Elaboraci ó n propia Proceso de Evaluación de la Estrategia de sostenibilidad

1.Programa dirigido a fortalecer y garantizar la estabilidad de los grupos de excelencia que han obtenido las mejores categorías en el SNCTI, con el fin de favorecer la continuidad y dinámica de sus actividades de investigación. 2.Los recursos se asignan mediante convocatorias dirigidas grupos de investigación clasificados por Colciencias en categorías A1, A Y B, con proceso de evaluación realizado por pares externos definidos por el CODI, quienes seleccionan las propuestas bajo criterios de madurez del grupo, resultados de investigación recientes y la propuesta de trabajo del grupo para los próximos años. 3.La continuidad de las actividades de los grupos de investigación se evidencia en los compromisos adquiridos, entre los cuales se cuenta: a. publicación de artículos en revistas indexadas; b. apalancamiento de recursos externas; y c. formación de estudiantes de maestría y doctorado. 4.La población objetivo asciende a 96 grupos de investigación beneficiarios en seis versiones de la convocatoria (periodo 2001 a 2010). Estrategia de Sostenibilidad

1. Lineamiento de Política Mecanismo de fomento: Convocatoria 2. Diseño y Formulación Términos de referencia 4. Proceso de convocatoria Convocatoria de Investigación 5. Evaluación Propuestas presentadas a la Convocatoria (Cumplimient o de requisitos) 6. Selección Propuestas ganadoras de la convocatoria 8. Seguimiento Técnico y financiero 9. Resultados Productos Formación RH Apalancamien to Estrategia de sostenibilidad Proceso de la convocatoria de estrategia de sostenibilidad Esquema Convocatoria de Investigación. Sistema Universitario - UdeA Información de grupos de investigación - Colciencias

Sistema de investigación Estrategia de sostenibilidad Contexto de la investigación en la Universidad de Antioquia Posicionamiento Instrumento de la política de investigación Mecanismo de fomento Grupos de investigación Trayectoria Capacidad Objeto de estudio de la evaluación de la estrategia

SNCTI Colciencias Universidades Universidad de Antioquia Sistemas de Investigación (CODI) Estrategias y Mecanismos de Fomento Instrumentos de Fomento Financiación de proyectos Formación RH en C y T Jóvenes Investigadores Becarios Doctorados Estrategias de sostenibilidad Menor Cuantía Mediana Cuantía Otras Bolsas Temática Reconocimiento de Grupos Objetivos de la convocatoria 2. Producción científica y tecnológica 1. Formación de recursos humanos (posgrado) 3. Apalancamiento de Recursos Diferentes Actores Categorías A1 y A Contexto de la estrategia de sostenibilidad en el sistema de investigación de la UdeA vs SNCTI

Fuente: (Colciencias, 2000), (Colciencias, et al., 2002), (Colciencias, 2004), (Colciencias, 2006b), (Colciencias, 2008b)Colciencias, 2000Colciencias, et al., 2002Colciencias, 2004Colciencias, 2006bColciencias, 2008b Componentes del modelo de medici ó n de grupos de investigaci ó n de Colciencias

Evoluci ó n de los umbrales y categor í as en los modelo de medici ó n de grupos de investigaci ó n propuestos por Colciencias (Periodo 2000 a 2010)

Grupos de Investigación Estrategia de sostenibilidad Actores Sistema Universitario de Investigación Actores Sistema Universitario de Investigación Generación, uso y apropiación de conocimiento Cualificación de recurso humano de alto nivel Mecanismos de fomento Investigación Formación Contexto de la estrategia de sostenibilidad en el sistema de investigación de la UdeA

Esquema de las fuentes de financiamiento de la Investigaci ó n de la Universidad de Antioquia Fuente: Elaboraci ó n propia, con base en Acuerdo 204 de 2001 Capitulo 2 Metodología para la evaluación de los grupos de investigación beneficiarios de la Estrategia de Sostenibilidad

Fuente: Elaboración propia 1 Se identificaron 106 grupos de investigaci ó n beneficiarios de la convocatoria de estrategia de sostenibilidad, de los cuales uno esta duplicado y ocho no cuentan con informaci ó n identificados en la plataforma ScienTI de Colciencias a corte de julio de Poblaci ó n de grupos beneficiarios de la Estrategia de sostenibilidad en el periodo , criterios para el estrato 1

Elaboraci ó n propia Modelo lógico de la evaluación de los grupos de investigación

Esquema para analizar la trayectoria y capacidad de los grupos de investigación

Fuente Elaboraci ó n propia con base en insumos de la Vicerrector í a de Investigaci ó n y aplicativos GrupLAC y CvLAC de la plataforma ScienTI Integración de informaci ó n empleadas en la evaluaci ó n

Esquema de integración de información de integrantes y grupos de investigación con profesores y estudiantes de las bases de la Universidad de Antioquia

Instrumentos cualitativos aplicados 2. Encuesta de percepción CODI Estrategia de sostenibilidad 1. Encuesta sobre fuentes de financiación dirigida a líderes del programa de sostenibilidad 3. Entrevistas a miembros de SUI

Grupos de investigación beneficiarios de la estrategia de sostenibilidad

Fuente: (Colciencias, OCyT, & Grupo Acad é mico Ciencia, 2002) y (OCyT, 2011)Colciencias, OCyT, & Grupo Acad é mico Ciencia, 2002OCyT, 2011 Evolución de Grupos de investigaci ó n registrados y clasificados en Colciencias, 1990 a 2010

Grupos avalados por la Universidad y reconocidos en la convocatoria de medición de Colciencias, versión 2010.

Grupos avalados por la Universidad de Antioquia en la plataforma ScienTI a 2010 Grupos reconocidos convocatoria medición de Colciencias (2010) Ocasionales: 47 Seguidores Grupos beneficiarios de la Estrategia de Sostenibilidad Ocasionales 47 Pioneros Población de grupos de investigación Universidad de Antioquia incluidos en la evaluación

Evolución de la creación de grupos de investigación en la Universidad de Antioquia

Categoría de grupos de investigación de la Universidad de Antioquia, grupos reconocidos en 2010 distribuidos por grupos beneficiarios de la estrategia

Instituciones que avalan grupos de investigación reconocidos en la Universidad de Antioquia

Red de instituciones que avalan grupos de investigación beneficiarios de la estrategia de sostenibilidad

Grupos reconocidos y beneficiarios de estrategia de sostenibilidad, distribuidos por área OCDE.

Grupos reconocidos y beneficiarios de estrategia de sostenibilidad, distribuidos por PNCyT.

Grupos reconocidos y beneficiarios de estrategia de sostenibilidad, distribuidos por centro de la Universidad de Antioquia.

Grupos beneficiarios de la estrategia de sostenibilidad, distribuidos por categoría y estrato

Evolución de la categoría de Colciencias para los grupos pioneros

Evolución de la categoría de Colciencias para los grupos seguidores

Evolución de la categoría de Colciencias para los grupos ocasionales

Población objetivo por versión de la Estrategia

Población objetivo por categoría del grupo

Estrategia de sostenibilidad vs otros mecanismos de fomento del CODI

1.Recurso Humano 2.Producción 3.Recursos financieros PARTE II Evaluación de la Estrategia de sostenibilidad de grupos de investigación de la Universidad de Antioquia

A. Componente Recurso Humano

Indicadores: Recurso Humano

Grupos, crecimiento.

Grupos / Area (Total)

Grupos / Area (Reconocidos)

Ingreso de integrantes

Salida de Integrantes

Nivel máximo de Formación (pregrado)

Nivel máximo de Formación (Especialización)

Nivel máximo de Formación (Maestría)

Nivel máximo de Formación (Doctorado)

Docentes VS Integrantes

Crecimiento acumulado de integrantes de los grupos beneficiarios de la estrategia de sostenibilidad

Crecimiento acumulado de integrantes de los grupos pioneros de la estrategia de sostenibilidad

Crecimiento acumulado de integrantes de los grupos seguidores de la estrategia de sostenibilidad

Crecimiento acumulado de integrantes de los grupos ocasionales de la estrategia de sostenibilidad

Composici ó n promedio del grupo: integrantes vs profesores en el periodo 2000 a 2010

Composición promedio de los grupos por estrato, integrantes y profesores

Promedio de profesores vinculados a los grupos de investigación beneficiarios

B. Componente Producción Científica y Tecnológica

Indicadores: producción

Evolución de la Distribución acumulada. Animación Juan M.

Ley de Zipf.

Resumen En esta tabla puede leerse la cantidad de personas que participaron en la actividad de producción científica de la UdeA, por área, la cantidad de grupos que hay, la capacidad de producción, y el factor que identifica en qué porcentaje de la población se encuentra concentrada la producción, como una medida de la eficiencia y capacidad de producción de cada población.

Comparación: Pioneros Vs Contrafactual Ciencias naturales y Exactas, Udea: 158 Investigadores, 92 de ellos registran 1721 productos individuales y existentes. CNE, otras IES: 148 investigadores, 77 registran 1607 productos individuales y reconocidos.

CNE, producción total individual. Grupos UdeA Grupos Otras IES La UdeA muestra mayor monopolio en la producción, para este caso.

Participación de integrantes en producción

Ajuste analítico de la producción: crecimiento acelerado.

Aporte a la Producción: Rol

Crecimiento de la Producción

Ajuste analítico

Productos por Categoría: Distribución

Productos por categoría: Crecimiento.

Ajuste analítico

Crecimiento produccion promedio / grupos

Se observa que la producción se encuentra concentrada en una cantidad mínima de la población total, el porcentaje varia de acuerdo con el grupo que se esté observando. Las distribuciones permiten medir muy aproximadamente este comportamiento, y de paso construir un indicador de eficiencia en cuanto a producción.

B. Componente: Recursos Financieros

Evolución de la Distribución: Hacia la estabilidad. Se muestra la evolución de la distribución de producción (total) en los periodos de convocatoria de la estrategia, y se manifiesta un crecimiento monótono en ciertos picos de la distribución. Puede intuirse la probabilidad de monotonía en el crecimiento en ciertas regiones de la distribución; la actividad.

Ejemplo: Ciencias Exactas y Naturales (CNE), pioneros. Producción total individual. 113 investigadores, 94 registran 2015 productos individualmente, el 50% del total de la Producción del [2000,2010] está concentrada en el 16% de la población. Poder ajustar la distribución normalizada permite hacer comparaciones entre poblaciones; además, permite estudiar la evolución del crecimiento promedio, la dinámica del ancho de la distribución, etc.

CNE, Producción NCA 72 investigadores, 388 productos. El 50% del total de la Producción del [2000,2010] está concentrada en el 12% de la población. La versatilidad de este formalismo permite agregar filtros a la producción (variable medida) y también a la población. Esto permite hacer una medición más fina de las variables.

CNE, Productos de Formación 58 investigadores, 421 productos. El 50% del total de la Producción del [2000,2010] está concentrada en el 18% de la población.

CNE, Producción colectiva 52 investigadores, 284 productos. El 50% del total de la Producción del [2000,2010] está concentrada en el 8.1% de la población.

Resumen En esta tabla puede leerse la cantidad de personas que participaron en la actividad de producción científica de la UdeA, por área, la cantidad de grupos que hay, la capacidad de producción, y el factor que identifica en qué porcentaje de la población se encuentra concentrada la producción, como una medida de la eficiencia y capacidad de producción de cada población.

Comparación: Pioneros Vs Contrafactual Ciencias naturales y Exactas, Udea: 158 Investigadores, 92 de ellos registran 1721 productos individuales y existentes. CNE, otras IES: 148 investigadores, 77 registran 1607 productos individuales y reconocidos.

CNE, producción total individual. Grupos UdeA Grupos Otras IES La UdeA muestra mayor monopolio en la producción, para este caso.

Análisis contrafactual, criterios Selección muestra de 27 universidades públicas

Evoluci ó n de la distribuci ó n de la producci ó n de la poblaci ó n de investigadores de los grupos hom ó logos Cantidad promedio de integrantes (por grupo) en el tiempo. Análisis contrafactual, población y producción

Análisis contrafactual Resumen de resultados Grupos Pioneros UdeA Grupo Población Contrafactual

ESTRATIFICACIÓN: APLICACIÓN DE LAS DISTRIBUCIONES.

Producción ISI+Scopus

Distribución de en los grupos: Evolución y tendencia.

Ajuste analítico y estratificación El ajuste analítico permite hacer una estratificación mediante dividiendo la amplitud de la distribución en partes iguales (por ejemplo), en donde se encontrarán los grupos A, B y C.

Categorías

Reconocidos ISI – Web of Knowledge Scopus 598 Artículos602 Artículos 118 Grupos 109 Grupos 95 Grupos 351 Artículos ISI – Web of Knowledge 495 Artículos503 Artículos 63 Grupos 62 Grupos 56 Grupos 284 Artículos Estrategia Scopus Artículos publicados en revistas indexadas de carácter nacional e internacional

Artículos publicados en ISI ó SCOPUS registrados por miembros de grupos beneficiarios en colaboración con entidades internacionales

Red de colaboración internacional de artículos publicados por grupos beneficiarios pioneros y campo disciplinar a 2010.

Red de colaboración internacional de artículos publicados por grupos beneficiarios pioneros y país a 2010.

Red de colaboración internacional de artículos publicados por grupos beneficiarios seguidores y campo disciplinar, a 2010.

Red de colaboración internacional de artículos publicados por grupos beneficiarios seguidores y país, a 2010.

Red de colaboración internacional de artículos publicados por grupos beneficiarios ocasionales y campo disciplinar

Red de colaboración internacional de artículos publicados por grupos beneficiarios ocasionales y país a 2010.

Capítulo 6 Análisis de Recursos Financiero Resultados: recursos asignados y ejecución por rubros Efectividad: recursos estrategia frente a otras convocatorias internas (CODI) Impacto: gestión externa de recursos

Indicadores: Recursos Financieros

Recursos asignados por etapas y promedio anual (millones de pesos de 2010) Entre 2000 y 2010 se asignaron en total 2842 millones de pesos a la Estrategia de Sostenibilidad

Recursos asignados por versión y monto promedio por grupo (millones de pesos de 2010)

Grupos de investigación proyectados en el primer plano factorial del Análisis de Componentes Principales de los recursos asignados Entre más antiguo el grupo es más probable que haya participado en la Estrategia de sostenibilidad y obtenido más recursos

Distribución de la ejecución por rubros (recursos de Estampilla) 110 El mayor porcentaje durante todo el período se destinó al Recurso Humano, seguido por materiales y reactivos, equipos y otros.

Sostenibilidad frente a recursos CODI por etapas 111 La Estrategia de Sostenibilidad

Gestión de recursos externos, cumplimiento de metas (millones de pesos de 2010) 112 La meta de gestión externa de recursos se cumplió en todos los casos por encima de lo previsto.

Gestión externa frente a asignación de Sostenibilidad (millones de pesos de 2010) 113 Los recursos externos han crecido significativamente frente lo asignado en la Estrategia

114 Monto promedio asignado y gestionado por versión de la estrategia y Estrato PIONEROS SEGUIDORES OCASIONALES

Distribución centralizada del monto asignado a los grupos pioneros. 115 Distribución centralizada de los montos externos obtenidos por los grupos pioneros Los grupos con más recursos asignados en todas las versiones obtuvieron más de mil millones, además lograron gestionar recursos externos muy por encima de los mil millones (línea roja en la gráfica de la derecha) Ajuste analítico de la distribución Los recursos asignados a los grupos pioneros admiten un ajuste parabólico con la siguiente función:

116 Distribución centralizada del monto asignado a los grupos seguidores Distribución centralizada de los montos externos obtenidos por los grupos seguidores Esta distribución no admite un ajuste parabólico como el realizado antes. La mayoría de los grupos lograron obtener montos superiores a lo asignado por sostenibilidad, sin embargo, los montos son más pequeños que los de los grupos pioneros

117 Distribución centralizada del monto asignado a los grupos ocasionales Distribución centralizada de los montos externos obtenidos por los grupos ocasionales Los montos externos obtenidos en la mayoría de los casos estuvieron por debajo de los 120 millones, que fue el monto máximo asignado a uno de estos grupos en la estrategia de sostenibilidad

Montos gestionados por tipo de entidad financiadora y participación de Colciencias 118 La mayor participación en los recursos externos la tiene el gobierno, Colciencias tiene participaciones superiores al 70% dependiendo del periodo

Análisis de redes de entidades gubernamentales financiadoras de proyectos 119 Los grupos pioneros son los que establecieron más relaciones (en la financiación de proyectos externos) con entidades gubernamentales; entre se relacionaron con diecinueve entidades. Los grupos seguidores se relacionaron con cinco y los ocasionales con seis

120 Análisis de redes de entidades internacionales financiadoras de proyectos En términos de cantidad de relaciones, las entidades internacionales son las más importantes para los grupos de investigación pioneros

121 Entidades financiadoras por área OCDE

Análisis de conglomerados Clase 1: el 100% de los grupos son pioneros, 87,5% realiza una captación grande de recursos, 87,5% están en la SIU, el 37,5% de ellos respondió que la atracción externa frente la interna no se ha incrementado, el 6,3% no respondió a la pregunta sobre la importancia de la estrategia en el global de recursos del grupo Clase 2: el 76,5% de los grupos son seguidores, 94,1% no está en la SIU, para el 58,8% la estrategia representa entre un 0% y un 50% de sus recursos; el 58,8% considera que la atracción externa de recursos frente a la interna se incrementó Clase 3: el 78,9% de los ocasionales, 94,7% no está en la SIU y el 57,4% tiene una captación pequeña

MUCHAS GRACIAS