Evaluación de la Estrategia de sostenibilidad de grupos de investigación de la Universidad de Antioquia Marzo de 2012 Informe de evaluación Equipo de.

Presentación del tema: "Evaluación de la Estrategia de sostenibilidad de grupos de investigación de la Universidad de Antioquia Marzo de 2012 Informe de evaluación Equipo de."— Transcripción de la presentación:

1

2 Evaluación de la Estrategia de sostenibilidad de grupos de investigación de la Universidad de Antioquia Marzo de 2012 Informe de evaluación Equipo de trabajo del OCyT: Sandra Carolina Rivera, Mónica Salazar, Juan Manuel Guerra, Marcela Galvis, Luis Colorado, Edwin Bernal, César Pallares, Edgar Bueno, Clemencia Navarro

3 ORDEN DEL DÍA: PARTE I. Aspectos conceptuales, metodológicos y de contexto de la evaluación de la estrategia de sostenibilidad PARTE II. Evaluación de grupos beneficiarios de la estrategia de sostenibilidad a. Recursos Humanos b. Producción científica y tecnológica c. Recursos financieros PARTE III. Conclusiones y recomendaciones PARTE IV. Actividades de entrega y cierre del proyecto

4 PARTE I Aspectos conceptuales, metodológicos y de contexto de la evaluación de la Estrategia de sostenibilidad de grupos de investigación de la Universidad de Antioquia

5 Objetivo general Evaluar la eficacia y el impacto del programa, entendido como los efectos de la estrategia de sostenibilidad en los grupos de investigación consolidados de la UdeA, en el marco del fortalecimiento del sistema de investigación de la institución. 5

6 Objetivos específicos Establecer una metodología para abordar la evaluación Analizar la Estrategia de Sostenibilidad en el marco de los programas de fomento del sistema de investigación de la UdeA. Evaluar la eficacia del programa a partir de los resultados de los grupos de investigación beneficiarios Evaluar el nivel de ejecución de recursos por parte de los grupos y determinar su apalancamiento externo. Analizar la trayectoria de los grupos de investigación en lo concerniente a las dimensiones de producción científica y tecnológica y formación de recursos humanos, tomando como insumo la información de ScienTI. Identificar aspectos relacionados con la percepción del programa, recomendaciones y complementariedad con los instrumentos de política del Sistema de Investigación de la UdeA. Realizar recomendaciones a la UdeA que sirvan de insumo para el diseño de instrumentos de fomento a grupos de investigación consolidados y de excelencia. 6

7 Fuente: Elaboraci ó n propia Proceso de Evaluación de la Estrategia de sostenibilidad

8 1.Programa dirigido a fortalecer y garantizar la estabilidad de los grupos de excelencia que han obtenido las mejores categorías en el SNCTI, con el fin de favorecer la continuidad y dinámica de sus actividades de investigación. 2.Los recursos se asignan mediante convocatorias dirigidas grupos de investigación clasificados por Colciencias en categorías A1, A Y B, con proceso de evaluación realizado por pares externos definidos por el CODI, quienes seleccionan las propuestas bajo criterios de madurez del grupo, resultados de investigación recientes y la propuesta de trabajo del grupo para los próximos años. 3.La continuidad de las actividades de los grupos de investigación se evidencia en los compromisos adquiridos, entre los cuales se cuenta: a. publicación de artículos en revistas indexadas; b. apalancamiento de recursos externas; y c. formación de estudiantes de maestría y doctorado. 4.La población objetivo asciende a 96 grupos de investigación beneficiarios en seis versiones de la convocatoria (periodo 2001 a 2010). Estrategia de Sostenibilidad

9 1. Lineamiento de Política Mecanismo de fomento: Convocatoria 2. Diseño y Formulación Términos de referencia 4. Proceso de convocatoria Convocatoria de Investigación 5. Evaluación Propuestas presentadas a la Convocatoria (Cumplimient o de requisitos) 6. Selección Propuestas ganadoras de la convocatoria 8. Seguimiento Técnico y financiero 9. Resultados Productos Formación RH Apalancamien to Estrategia de sostenibilidad Proceso de la convocatoria de estrategia de sostenibilidad Esquema Convocatoria de Investigación. Sistema Universitario - UdeA Información de grupos de investigación - Colciencias

10 Sistema de investigación Estrategia de sostenibilidad Contexto de la investigación en la Universidad de Antioquia Posicionamiento Instrumento de la política de investigación Mecanismo de fomento Grupos de investigación Trayectoria Capacidad Objeto de estudio de la evaluación de la estrategia

11 SNCTI Colciencias Universidades Universidad de Antioquia Sistemas de Investigación (CODI) Estrategias y Mecanismos de Fomento Instrumentos de Fomento Financiación de proyectos Formación RH en C y T Jóvenes Investigadores Becarios Doctorados Estrategias de sostenibilidad Menor Cuantía Mediana Cuantía Otras Bolsas Temática Reconocimiento de Grupos Objetivos de la convocatoria 2. Producción científica y tecnológica 1. Formación de recursos humanos (posgrado) 3. Apalancamiento de Recursos Diferentes Actores Categorías A1 y A Contexto de la estrategia de sostenibilidad en el sistema de investigación de la UdeA vs SNCTI

12 Fuente: (Colciencias, 2000), (Colciencias, et al., 2002), (Colciencias, 2004), (Colciencias, 2006b), (Colciencias, 2008b)Colciencias, 2000Colciencias, et al., 2002Colciencias, 2004Colciencias, 2006bColciencias, 2008b Componentes del modelo de medici ó n de grupos de investigaci ó n de Colciencias

13 Evoluci ó n de los umbrales y categor í as en los modelo de medici ó n de grupos de investigaci ó n propuestos por Colciencias (Periodo 2000 a 2010)

14 Grupos de Investigación Estrategia de sostenibilidad Actores Sistema Universitario de Investigación Actores Sistema Universitario de Investigación Generación, uso y apropiación de conocimiento Cualificación de recurso humano de alto nivel Mecanismos de fomento Investigación Formación Contexto de la estrategia de sostenibilidad en el sistema de investigación de la UdeA

15 Esquema de las fuentes de financiamiento de la Investigaci ó n de la Universidad de Antioquia Fuente: Elaboraci ó n propia, con base en Acuerdo 204 de 2001 Capitulo 2 Metodología para la evaluación de los grupos de investigación beneficiarios de la Estrategia de Sostenibilidad

16 Fuente: Elaboración propia 1 Se identificaron 106 grupos de investigaci ó n beneficiarios de la convocatoria de estrategia de sostenibilidad, de los cuales uno esta duplicado y ocho no cuentan con informaci ó n identificados en la plataforma ScienTI de Colciencias a corte de julio de 2011. Poblaci ó n de grupos beneficiarios de la Estrategia de sostenibilidad en el periodo 2000-2010, criterios para el estrato 1

17 Elaboraci ó n propia Modelo lógico de la evaluación de los grupos de investigación

18 Esquema para analizar la trayectoria y capacidad de los grupos de investigación

19 Fuente Elaboraci ó n propia con base en insumos de la Vicerrector í a de Investigaci ó n y aplicativos GrupLAC y CvLAC de la plataforma ScienTI Integración de informaci ó n empleadas en la evaluaci ó n

20 Esquema de integración de información de integrantes y grupos de investigación con profesores y estudiantes de las bases de la Universidad de Antioquia

21

22 Instrumentos cualitativos aplicados 2. Encuesta de percepción CODI Estrategia de sostenibilidad 1. Encuesta sobre fuentes de financiación dirigida a líderes del programa de sostenibilidad 3. Entrevistas a miembros de SUI

23 Grupos de investigación beneficiarios de la estrategia de sostenibilidad

24 Fuente: (Colciencias, OCyT, & Grupo Acad é mico Ciencia, 2002) y (OCyT, 2011)Colciencias, OCyT, & Grupo Acad é mico Ciencia, 2002OCyT, 2011 Evolución de Grupos de investigaci ó n registrados y clasificados en Colciencias, 1990 a 2010

25 Grupos avalados por la Universidad y reconocidos en la convocatoria de medición de Colciencias, versión 2010.

26 Grupos avalados por la Universidad de Antioquia en la plataforma ScienTI a 2010 Grupos reconocidos convocatoria medición de Colciencias (2010) Ocasionales: 47 Seguidores Grupos beneficiarios de la Estrategia de Sostenibilidad 276 23 97 Ocasionales 47 Pioneros 27 403 Población de grupos de investigación Universidad de Antioquia incluidos en la evaluación

27 Evolución de la creación de grupos de investigación en la Universidad de Antioquia

28 Categoría de grupos de investigación de la Universidad de Antioquia, grupos reconocidos en 2010 distribuidos por grupos beneficiarios de la estrategia

29 Instituciones que avalan grupos de investigación reconocidos en la Universidad de Antioquia

30 Red de instituciones que avalan grupos de investigación beneficiarios de la estrategia de sostenibilidad

31 Grupos reconocidos y beneficiarios de estrategia de sostenibilidad, distribuidos por área OCDE.

32 Grupos reconocidos y beneficiarios de estrategia de sostenibilidad, distribuidos por PNCyT.

33 Grupos reconocidos y beneficiarios de estrategia de sostenibilidad, distribuidos por centro de la Universidad de Antioquia.

34 Grupos beneficiarios de la estrategia de sostenibilidad, distribuidos por categoría y estrato

35 Evolución de la categoría de Colciencias para los grupos pioneros 2000-2010

36 Evolución de la categoría de Colciencias para los grupos seguidores 2000-2010

37 Evolución de la categoría de Colciencias para los grupos ocasionales 2000-2010

38 Población objetivo por versión de la Estrategia

39 Población objetivo por categoría del grupo

40 Estrategia de sostenibilidad vs otros mecanismos de fomento del CODI

41 1.Recurso Humano 2.Producción 3.Recursos financieros PARTE II Evaluación de la Estrategia de sostenibilidad de grupos de investigación de la Universidad de Antioquia

42 A. Componente Recurso Humano

43 Indicadores: Recurso Humano

44 Grupos, crecimiento.

45 Grupos / Area (Total)

46 Grupos / Area (Reconocidos)

47 Ingreso de integrantes

48 Salida de Integrantes

49 Nivel máximo de Formación (pregrado)

50 Nivel máximo de Formación (Especialización)

51 Nivel máximo de Formación (Maestría)

52 Nivel máximo de Formación (Doctorado)

53 Docentes VS Integrantes

54 Crecimiento acumulado de integrantes de los grupos beneficiarios de la estrategia de sostenibilidad

55 Crecimiento acumulado de integrantes de los grupos pioneros de la estrategia de sostenibilidad

56 Crecimiento acumulado de integrantes de los grupos seguidores de la estrategia de sostenibilidad

57 Crecimiento acumulado de integrantes de los grupos ocasionales de la estrategia de sostenibilidad

58 Composici ó n promedio del grupo: integrantes vs profesores en el periodo 2000 a 2010

59 Composición promedio de los grupos por estrato, integrantes y profesores

60 Promedio de profesores vinculados a los grupos de investigación beneficiarios

61 B. Componente Producción Científica y Tecnológica

62 Indicadores: producción

63 Evolución de la Distribución acumulada. Animación Juan M.

64 Ley de Zipf.

65 Resumen En esta tabla puede leerse la cantidad de personas que participaron en la actividad de producción científica de la UdeA, por área, la cantidad de grupos que hay, la capacidad de producción, y el factor que identifica en qué porcentaje de la población se encuentra concentrada la producción, como una medida de la eficiencia y capacidad de producción de cada población.

66 Comparación: Pioneros Vs Contrafactual Ciencias naturales y Exactas, Udea: 158 Investigadores, 92 de ellos registran 1721 productos individuales y existentes. CNE, otras IES: 148 investigadores, 77 registran 1607 productos individuales y reconocidos.

67 CNE, producción total individual. Grupos UdeA Grupos Otras IES La UdeA muestra mayor monopolio en la producción, para este caso.

68 Participación de integrantes en producción

69 Ajuste analítico de la producción: crecimiento acelerado.

70 Aporte a la Producción: Rol

71 Crecimiento de la Producción

72 Ajuste analítico

73 Productos por Categoría: Distribución

74 Productos por categoría: Crecimiento.

75 Ajuste analítico

76 Crecimiento produccion promedio / grupos

77 Se observa que la producción se encuentra concentrada en una cantidad mínima de la población total, el porcentaje varia de acuerdo con el grupo que se esté observando. Las distribuciones permiten medir muy aproximadamente este comportamiento, y de paso construir un indicador de eficiencia en cuanto a producción.

78 B. Componente: Recursos Financieros

79 Evolución de la Distribución: Hacia la estabilidad. Se muestra la evolución de la distribución de producción (total) en los periodos de convocatoria de la estrategia, y se manifiesta un crecimiento monótono en ciertos picos de la distribución. Puede intuirse la probabilidad de monotonía en el crecimiento en ciertas regiones de la distribución; la actividad.

80 Ejemplo: Ciencias Exactas y Naturales (CNE), pioneros. Producción total individual. 113 investigadores, 94 registran 2015 productos individualmente, el 50% del total de la Producción del [2000,2010] está concentrada en el 16% de la población. Poder ajustar la distribución normalizada permite hacer comparaciones entre poblaciones; además, permite estudiar la evolución del crecimiento promedio, la dinámica del ancho de la distribución, etc.

81 CNE, Producción NCA 72 investigadores, 388 productos. El 50% del total de la Producción del [2000,2010] está concentrada en el 12% de la población. La versatilidad de este formalismo permite agregar filtros a la producción (variable medida) y también a la población. Esto permite hacer una medición más fina de las variables.

82 CNE, Productos de Formación 58 investigadores, 421 productos. El 50% del total de la Producción del [2000,2010] está concentrada en el 18% de la población.

83 CNE, Producción colectiva 52 investigadores, 284 productos. El 50% del total de la Producción del [2000,2010] está concentrada en el 8.1% de la población.

84 Resumen En esta tabla puede leerse la cantidad de personas que participaron en la actividad de producción científica de la UdeA, por área, la cantidad de grupos que hay, la capacidad de producción, y el factor que identifica en qué porcentaje de la población se encuentra concentrada la producción, como una medida de la eficiencia y capacidad de producción de cada población.

85 Comparación: Pioneros Vs Contrafactual Ciencias naturales y Exactas, Udea: 158 Investigadores, 92 de ellos registran 1721 productos individuales y existentes. CNE, otras IES: 148 investigadores, 77 registran 1607 productos individuales y reconocidos.

86 CNE, producción total individual. Grupos UdeA Grupos Otras IES La UdeA muestra mayor monopolio en la producción, para este caso.

87 Análisis contrafactual, criterios Selección muestra de 27 universidades públicas

88 Evoluci ó n de la distribuci ó n de la producci ó n de la poblaci ó n de investigadores de los grupos hom ó logos Cantidad promedio de integrantes (por grupo) en el tiempo. Análisis contrafactual, población y producción

89 Análisis contrafactual Resumen de resultados Grupos Pioneros UdeA Grupo Población Contrafactual

90 ESTRATIFICACIÓN: APLICACIÓN DE LAS DISTRIBUCIONES.

91 Producción ISI+Scopus

92 Distribución de en los grupos: Evolución y tendencia.

93 Ajuste analítico y estratificación El ajuste analítico permite hacer una estratificación mediante dividiendo la amplitud de la distribución en partes iguales (por ejemplo), en donde se encontrarán los grupos A, B y C.

94 Categorías

95

96

97 Reconocidos ISI – Web of Knowledge Scopus 598 Artículos602 Artículos 118 Grupos 109 Grupos 95 Grupos 351 Artículos ISI – Web of Knowledge 495 Artículos503 Artículos 63 Grupos 62 Grupos 56 Grupos 284 Artículos Estrategia Scopus Artículos publicados en revistas indexadas de carácter nacional e internacional

98 Artículos publicados en ISI ó SCOPUS registrados por miembros de grupos beneficiarios en colaboración con entidades internacionales

99 Red de colaboración internacional de artículos publicados por grupos beneficiarios pioneros y campo disciplinar a 2010.

100 Red de colaboración internacional de artículos publicados por grupos beneficiarios pioneros y país a 2010.

101 Red de colaboración internacional de artículos publicados por grupos beneficiarios seguidores y campo disciplinar, a 2010.

102 Red de colaboración internacional de artículos publicados por grupos beneficiarios seguidores y país, a 2010.

103 Red de colaboración internacional de artículos publicados por grupos beneficiarios ocasionales y campo disciplinar

104 Red de colaboración internacional de artículos publicados por grupos beneficiarios ocasionales y país a 2010.

105 Capítulo 6 Análisis de Recursos Financiero Resultados: recursos asignados y ejecución por rubros Efectividad: recursos estrategia frente a otras convocatorias internas (CODI) Impacto: gestión externa de recursos

106 Indicadores: Recursos Financieros

107 Recursos asignados por etapas y promedio anual (millones de pesos de 2010) Entre 2000 y 2010 se asignaron en total 2842 millones de pesos a la Estrategia de Sostenibilidad

108 Recursos asignados por versión y monto promedio por grupo (millones de pesos de 2010)

109 Grupos de investigación proyectados en el primer plano factorial del Análisis de Componentes Principales de los recursos asignados Entre más antiguo el grupo es más probable que haya participado en la Estrategia de sostenibilidad y obtenido más recursos

110 Distribución de la ejecución por rubros (recursos de Estampilla) 110 El mayor porcentaje durante todo el período se destinó al Recurso Humano, seguido por materiales y reactivos, equipos y otros.

111 Sostenibilidad frente a recursos CODI por etapas 111 La Estrategia de Sostenibilidad

112 Gestión de recursos externos, cumplimiento de metas (millones de pesos de 2010) 112 La meta de gestión externa de recursos se cumplió en todos los casos por encima de lo previsto.

113 Gestión externa frente a asignación de Sostenibilidad (millones de pesos de 2010) 113 Los recursos externos han crecido significativamente frente lo asignado en la Estrategia

114 114 Monto promedio asignado y gestionado por versión de la estrategia y Estrato PIONEROS SEGUIDORES OCASIONALES

115 Distribución centralizada del monto asignado a los grupos pioneros. 115 Distribución centralizada de los montos externos obtenidos por los grupos pioneros Los grupos con más recursos asignados en todas las versiones obtuvieron más de mil millones, además lograron gestionar recursos externos muy por encima de los mil millones (línea roja en la gráfica de la derecha) Ajuste analítico de la distribución Los recursos asignados a los grupos pioneros admiten un ajuste parabólico con la siguiente función:

116 116 Distribución centralizada del monto asignado a los grupos seguidores Distribución centralizada de los montos externos obtenidos por los grupos seguidores Esta distribución no admite un ajuste parabólico como el realizado antes. La mayoría de los grupos lograron obtener montos superiores a lo asignado por sostenibilidad, sin embargo, los montos son más pequeños que los de los grupos pioneros

117 117 Distribución centralizada del monto asignado a los grupos ocasionales Distribución centralizada de los montos externos obtenidos por los grupos ocasionales Los montos externos obtenidos en la mayoría de los casos estuvieron por debajo de los 120 millones, que fue el monto máximo asignado a uno de estos grupos en la estrategia de sostenibilidad

118 Montos gestionados por tipo de entidad financiadora y participación de Colciencias 118 La mayor participación en los recursos externos la tiene el gobierno, Colciencias tiene participaciones superiores al 70% dependiendo del periodo

119 Análisis de redes de entidades gubernamentales financiadoras de proyectos 119 Los grupos pioneros son los que establecieron más relaciones (en la financiación de proyectos externos) con entidades gubernamentales; entre 2000-2010 se relacionaron con diecinueve entidades. Los grupos seguidores se relacionaron con cinco y los ocasionales con seis

120 120 Análisis de redes de entidades internacionales financiadoras de proyectos En términos de cantidad de relaciones, las entidades internacionales son las más importantes para los grupos de investigación pioneros

121 121 Entidades financiadoras por área OCDE

122 Análisis de conglomerados Clase 1: el 100% de los grupos son pioneros, 87,5% realiza una captación grande de recursos, 87,5% están en la SIU, el 37,5% de ellos respondió que la atracción externa frente la interna no se ha incrementado, el 6,3% no respondió a la pregunta sobre la importancia de la estrategia en el global de recursos del grupo Clase 2: el 76,5% de los grupos son seguidores, 94,1% no está en la SIU, para el 58,8% la estrategia representa entre un 0% y un 50% de sus recursos; el 58,8% considera que la atracción externa de recursos frente a la interna se incrementó Clase 3: el 78,9% de los ocasionales, 94,7% no está en la SIU y el 57,4% tiene una captación pequeña

123 MUCHAS GRACIAS crivera@ocyt.org.co