Comparativo de Sistemas de Indicadores Internacionales para la Educación Superior (una aproximación para el problema de implementación de un sistema nacional de indicadores de educación superior)

Elementos a comparar Marco conceptual Proceso de diseño de indicadores Proceso de implementación Explotación de la información Seguimiento Examen periódico del sistema de indicadores. Construcción basada en la Guía para la implantación de un sistema de indicadores. Norma española UNE 66175

Marco Conceptual ¿Cuál es la base de pensamiento sobre la que se sustentó la construcción del Sistema y que a la vez, condicionan la forma en que se diseño e implementó ? Propuesta basada en el modelo procedimental de diseño de indicadores: Universidad de Santiago de Chile Propuesta de sistema basado en la metodología de Cuadro de Mando. Universidad Nacional de Quilmes, Argentina Propuesta de sistema basado en los modelos de contexto académico de Ramsden Universidad de La Serena, Universidad de Los Lagos, Universidad Católica de Valparaíso, Chile. Modelo para la Valoración de la Gestión del Sistema de Universidades Estatales en Colombia

Marco Conceptual ¿Cuál es la base de pensamiento sobre la que se sustentó la construcción del Sistema y que a la vez, condicionan la forma en que se diseño e implementó ? Propuesta de modelo de costo “ABC” que intenta distribuir los costos de manera menos arbitraria, combinando información financiera y no financiera y una gestión de costos basada en actividades (ABM). Universidad de Mar del Plata, Argentina, Sistemas basados en Modelos de Calidad desarrollados por CINDA: Instituto Tecnológico de Santo Domingo, INTEC. Sistema Basados en la filosofía de mejoramiento continuo. Instituto Tecnológico de Monterrey (ITESM)

Marco Conceptual ¿Cuál es la base de pensamiento sobre la que se sustentó la construcción del Sistema y que a la vez, condicionan la forma en que se diseño e implementó ? Como marco organizativo general el catálogo de indicadores parte del modelo de evaluación de Stufflebeam (Stufflebean y Shinkfield, 1987), esto es, del conocido modelo CIPP (context, input, process, product). Sistema Universitario Español. Propuesta de diferenciación del perfil de las universidades y ofrecer un conjunto de indicadores basado en microdatos a nivel individual (universidad) Universidad de Ingeniería, Pisa, Italia Sistema de Indicadores de gestión de la calidad total. Universidad politécnica de Catalunya

El diseño de los indicadores ¿Qué conceptos se consideraron cuando se construyeron los indicadores? Modelo Procedimental de Diseño de Indicadores Especificación del objeto de análisis; definición de la perspectiva evaluadora; selección de los macro, criterios evaluativos más relevantes; esto es eficacia, pertinencia, integridad, eficiencia, sustentabilidad; caracterización sistémica del objeto de análisis frente a lo cual se propone una cadena lógica de propósitos, actividades, medios y resultados; selección de variables relevantes y construcción del indicador. Universidad de Santiago de Chile Análisis sistemático de los factores asociados a la calidad de la enseñanza de la Ingeniería Industrial SISTEMA SECAI. Usando Conceptos tales como: una evaluación, diagnóstico y una propuesta de mejoramiento. Universidad de Lima

El diseño de los indicadores ¿Qué conceptos se consideraron cuando se construyeron los indicadores? Indicadores del Sistema Universitario Español Siguiendo la adaptación del modelo sistémico se consideraron conceptos tales como: 1) Contexto, 2) Pertinencia (Oferta y Demanda), 3) Recursos (humanos, financieros, físicos), 4) Procesos, 5) Resultados Modelo para la Valoración de la Gestión del Sistema de Universidades Estatales en Colombia Modelar considerar: 1) Riqueza y complejidad relativa. 2) Desempeño.

La Implantación del Sistema de Indicadores ¿Es precisa la definición de indicadores? ¿Están involucradas las personas afectadas en su implantación? ¿se contemplaron procesos de validación? ¿Qué estrategias hay para la formación, comunicación, información y motivación? Modelo para la Valoración de la Gestión del Sistema de Universidades Estatales en Colombia. Se establecieron umbrales razonables, dada las diversidad de tamaños de las Instituciones, Además el modelo es dinámico: Se encuentra en permanente proceso de revisión y construcción. Propuesta de indicadores para la Universidad Oberta de Cataluña Destaca la importancia de tener definida la estrategia general (y la de calidad) antes de plantearse indicadores (lo cual abona a una mejor precisión), y que todos ellos deben servir al objetivo de la implantación de la estrategia. El catálogo de Indicadores del Sistema Universitario Español Fue elaborado por una Comisión Técnica constituida por el Consejo de Universidades y en su última fase consensuado con representantes de la Conferencia de Rectores, en una búsqueda conjunta de unos indicadores comunes para todo el sistema universitario español, con el grado de credibilidad y aceptación suficientes para que su implantación fuera posible sin especiales problemas

Explotación de la información ¿Qué utilidad le están dando a los indicadores? ¿cuál es la justificación de la existencia del sistema? Indicadores para el Proceso Docente: Plantear los costos que implicaría para una institución reformular el currículo, de modo de considerar dichos elementos en la función docente. Sistema de Indicadores Referidos a los Actores del Proceso Docente Identificar las agrupaciones de variables que entreguen mayor información para la toma de decisiones estratégicas y financieras. Universidad de Concepción, Universidad de Tarapacá, Universidad de Talca, Universidad del Bío Bío, Chile Evaluación de la gestión docente a través de indicadores de: perfil profesional del egresado, resultados e impacto Se detectaron algunas deficiencias en la formación, así como la baja participación y aun el desconocimiento de la realidad externa en la definición de los perfiles, pero no se logró avanzar en la definición de los costos asociados a un. mejoramiento de las condiciones actuales Universidad de La Serena, Universidad Austral de Chile;

Explotación de la información ¿Qué utilidad le están dando a los indicadores? ¿cuál es la justificación de la existencia del sistema? Sistema de Indicadores e critérios de contratação de docentes Facilitar la gestión y hacer más transparentes los procesos, en función de las metas institucionales. Universidad de São Paulo Sistema de evaluación del desempeño docente Se utilizan como indicaciones para establecer estímulos y el perfeccionamiento profesoral. Universidad de Panamá Sistema de Indicadores para la evaluación de la investigación y de la didáctica: Con base en los resultados del cálculo de indicadores se hace un comparativo de experiencias entre las entre universidades, año con año. Universidad de Génova, Italia.

Explotación de la información ¿Qué utilidad le están dando a los indicadores? ¿cuál es la justificación de la existencia del sistema? Indicadores del Sistema Universitario Español 1) Es usado como instrumento de análisis y planificación del sistema universitario y de las instituciones que lo conforman. 2) Se hace énfasis en que deben ser útiles para distintos propósitos. Como los resultados son públicos, algunos medios los utilizan para elaborar rankings entre las Instituciones. Propuesta de sistema basado en la metodología de Cuadro de Mando. Proveer información pública sobre las varias dimensiones de la vida de las universidades para que sus distintos usuarios puedan tomar decisiones. Sólo entonces viene la otra utilidad: la de informar. Universidad Nacional de Quilmes, Argentina Modelo para la Valoración de la Gestión del Sistema de Universidades Estatales en Colombia. El modelo es utilizado como referente, como: 1) Herramienta para asignar recursos. 2) Instrumento de Planeación Estratégica

Examen periódico del Sistema de Indicadores ¿Siguen siendo pertinentes o cumplen con los objetivos para los que fueron construidos? ¿Hay una evaluación del costo de obtención de la información vs. la utilidad del indicador? Indicadores para asignar complementos salariales a los docentes universitarios Se reconoce la dificultad para elaborar indicadores compuestos que determinen complementos salariales asociados a un mejoramiento de la calidad, dadas las implicaciones financieras que esto conlleva. Comunidad de Canarias. Modelo para la Valoración de la Gestión del Sistema de Universidades Estatales en Colombia. Hay un reconocimiento del peligro de caer en un perverso circulo vicioso que cataloga como poco eficiente a alguna(s) universidad(es), quitándoles recursos, lo que las hará menos eficientes, en lugar de realizar un diagnóstico de los obstáculos reales de cada universidad que dificultan su desarrollo y proporcionar los recursos para eliminar dichos obstáculos. Se sugiere agregar algunas variables de resultados, para paliar las asimetrías entre las Instituciones. Indicadores del Sistema Universitario Español Hubo análisis de los indicadores originales, algunos ya no eran pertinentes, puesto que la realidad los había rebasado. Se avanza en la homologación de criterios de construcción de la información (especialmente de aquella que se considere relevante)

Reflexiones finales En este primer acercamiento, las experiencias del Sistema Universitario Español y del Modelo para la Valoración de la Gestión del Sistema de Universidades Estatales en Colombia, por ser sistemas que ya están funcionando, y en proceso de evaluación de su impacto. Actualmente nadie pone a discusión la pertinencia de un Sistema Nacional de Indicadores por su enorme utilidad como instrumento para el diagnóstico y evaluación de nuestras Instituciones de Educación Superior y la gestión de su calidad. No hay duda de que un Sistema Nacional de Indicadores facilitaría enormemente el conocimiento del entorno de la Educación Superior en su conjunto y de cada una de nuestras instituciones, y a su vez, ayudará a ubicar cada una de estas en relación a las demás. Será sin duda un instrumento de información estratégica. Lo que estamos iniciando no es más que un primer paso, que demanda otros muchos en el futuro, resolviendo adecuadamente los muchos problemas que se vislumbran en el horizonte.

Reflexiones finales SHCP SEP ANUIES Comisión de Educación Pública y Servicios Educativos Integración de los actores IES 1, IES 2,IES 3,…, IES n Organizaciones diversas INEGI, s IDERCO