TALLER: Construcción e innovación de indicadores Institucionales en Educación Superior. Septiembre 20, 2013.

Metodología para la construcción de indicadores.

Características Generales

Definición de indicador Medidas objetivas Cuantificables Identifican avance o retroceso - Institución - Sistema educativo

Características de un indicador Ser relevante. Capacidad de relacionar información. Formar parte de un sistema con otros indicadores. Ser preciso, confiable y comparable. Identificar rezagos, asimetrías y problemas. Ser congruente con políticas y objetivos.

Ser homogéneo. Involucrar en el proceso a los actores relevantes. Ser de fácil comprensión. Generado en el momento oportuno. No-redundante.

Sistema de indicadores Permite parámetros Mide calidad y desempeño Identifica aspectos críticos Mejora la toma de decisiones

Características de un sistema de indicadores Consensuado y aceptado. Referenciado nacional e internacionalmente. Contener elementos comunes. Centrarse en aspectos relevantes. Utilidad en diferentes contextos. Ser comprensible. Uso flexible y revisable.

Metodología General de la Construcción de Indicadores

El proceso de elaboración de un indicador está constituido, en lo fundamental, por cuatro etapas bien definidas. 1.-Formular problema 2.- Definir variables 3.- Selección y diseño de indicadores 4.- Metas y seguimiento

Formulación del problema: ¿Qué se quiere medir? Identificación del objeto de medición. Si no se encuentra definido el objeto es necesaria una redefinición 1

Cont. Los indicadores deben proporcionar información concreta y su modo de recolección tiene que ser cuidadosamente escogido. Determinar cuál es el aspecto específico que interesa de dicho objeto de medición. 1

Debe ser claro quién y cómo se produce dicha información. Definición de las variables Se deberá hacer con la mayor rigurosidad posible y con un sentido preciso. Debe ser claro quién y cómo se produce dicha información. 2

Cont. Nombre que refleje lo que se quiere medir en el objetivo y una fórmula o algoritmo. Debe ser autoexplicativo, que se indique tiempo y espacio donde se medirá. 2

Selección, diseño de indicadores y calidad de los datos Un indicador debe ser elaborado de forma sencilla, comparable en el tiempo y en el espacio. La selección de indicadores depende del contexto en el que se les requiera. 3

La administración de las bases de datos de dicha información. Cont. Es necesario definir o verificar los responsables de: La producción, recolección y análisis de la información asociada al indicador. La administración de las bases de datos de dicha información. La preparación de los reportes y la presentación de la información y el indicador. 3

Fórmula Una fórmula o algoritmo es un conjunto ordenado y finito de operaciones que permite hallar la solución de un problema. fórmula = f (usuarios + variable del programa + variable de referencia) Las fórmulas más utilizadas para medir son: el porcentaje, el promedio, la tasa y los índices.

Establecer meta, línea base y frecuencia de medición (seguimiento) Establecidos los indicadores, se requiere definir una meta y una línea base lo que permitirá emitir un juicio sobre el avance o retroceso de los objetivos 4 Las metas responden a la pregunta: “¿Cuánto lograremos y cuando?”

Factores considerados en la frecuencia de medición: Las necesidades de uso de la información generada por los indicadores. Tiempo estimado en que se producirán los resultados del programa. Disponibilidad de información cuando ésta es obtenida o proporcionada por fuentes externas. Compromisos en cuanto a rendición de cuentas o entrega de resultados.

El modelo de Sistema Institucional de Indicadores de la Universidad de Guadalajara

Modelo de Sistema Institucional de Indicadores (SII) Conjunto interrelacionado de indicadores construidos de manera consensuada al interior de la Red Universitaria que cubre las áreas de desarrollo de la Universidad.

Proceso de construcción del modelo Se construyó a través de un proceso colegiado, participativo y democrático, iniciado en el mes de noviembre de 2005, que involucró a: Expertos internos y externos a la Universidad La Coordinación General de Planeación y Desarrollo Institucional (COPLADI) El consejo Técnico de Planeación (CTP)

Marco de referencia para la construcción del modelo del SII La construcción de los indicadores del modelo de SII se realizó en función de los objetivos y metas enmarcados en nuestro Plan de Desarrollo Institucional (PDI), por lo tanto, basado en las siguientes finalidades institucionales: - Calidad, evaluación y acreditación de los PE. - Mejoramiento de la planta docente. - Desarrollo y diversificación de la oferta académica - Calidad de la investigación - Incremento de la producción científica

- Consolidación de la dimensión internacional. - Difusión de la investigación. - Consolidación de la dimensión internacional. - Formación integral y participación pertinente de los estudiantes ante la sociedad. - Vinculación de los estudiantes y egresados en los espacios laborales. - Contribución al desarrollo sustentable. - Calidad de la administración. - Adecuación de la infraestructura física y tecnológica. - Transparencia y rendición de cuentas.

Objetivos del modelo de SII Permitir la medición del desempeño y de la calidad de los procesos universitarios. Realizar análisis prospectivos y llevar a cabo una planeación estratégica proactiva. Constituirse en la base para consolidar los procesos de evaluación institucional.

Contar con información estratégica para la toma oportuna de decisiones y para la rendición de cuentas a la sociedad. Cuantificar el impacto social de las acciones que realiza la Universidad. Promover la cultura de utilización de indicadores en las entidades de la Red Universitaria. Servir como referente para la comparabilidad entre las instancias de la Red Universitaria y otras IES.

Ámbitos de operación de los indicadores Seguimiento de las metas del PDI Seguimiento de las acciones para el logro de las metas del PDI Comparación (benchmarking)

Cada uno de estos ámbitos posee su propia dinámica de actualización, ya sea por: cambios en el entorno, por el cumplimiento de las metas, las acciones para el logro de éstas o por evaluaciones programadas. Esto tiene como consecuencia que el modelo de SII no sea estático, sino que éste se ajuste a las nuevas necesidades y, por ende, se modifique la definición y el número de indicadores.

Aspectos metodológicos de la construcción del modelo de SII La creación de mapas estratégicos utilizando las relaciones causa-efecto entre las metas del PDI y las acciones para el logro de las mismas en diferentes niveles Selección de indicadores clave para la conformación de una matriz básica de seguimiento, y que permitan la comparabilidad al interior y exterior. Construcción de acciones inductoras de las metas y sus indicadores

Marco conceptual para el diseño de los indicadores del SII Visión Institucional Ejes Estratégicos del PDI Metas del PDI Indicadores de las metas Acciones inductoras Indicadores Marco conceptual para el diseño de los indicadores del SII Fuente: Sistema Institucional de Indicadores, UdeG 2007.

Indicadores de comparación (benchmarking) Para su construcción, se determinan las brechas de desempeño institucional en indicadores clave, para: acreditar la calidad académica, certificar la calidad de la gestión , determinar las estrategias para cerrar las brechas en relación con la institución líder. Este tipo de indicadores permite ver cuáles son las áreas, aspectos o procesos que requieren replantearse para asegurar la calidad y el compromiso social de la institución.

Estos indicadores deben tener los siguientes atributos: - Permitir la comparabilidad en forma estable a lo largo del tiempo. - Reflejar las dimensiones de la calidad interna y externa así como los componentes sistémicos. - Abstraer los rasgos centrales del objeto de estudio independientemente del contexto.

- Mostrar las proporciones y complejidades de las instituciones. - Ser útiles para el diagnóstico y la mejora de la institución. - Estar basados en criterios y directrices de uso común en el contexto nacional e internacional.

Clasificación de los indicadores de comparación Para fines de integración de los indicadores el modelo toma en cuenta: La noción multidimensional de la calidad El marco organizativo

Dimensiones de la calidad Algunas dimensiones de calidad Dimensiones de la calidad Pertinencia: Equidad: Impacto: Suficiencia: Eficacia: Eficiencia: 1) Dimensiones de la calidad Pertinencia: Grado de congruencia entre los fines perseguidos por la Institución y los requerimientos de la sociedad en la cual está inserta. Equidad: Tener en cuenta la desigualdad en las entidades, dependencias, comunidad universitaria y sociedad. En general, para reducir asimetrías. Impacto: Grado de influencia interna y externa que posee la Institución. Suficiencia: Contar con recursos humanos y materiales necesarios. Eficacia: Relación entre la selección, distribución y organización de los recursos utilizados y los resultados obtenidos. Eficiencia: Usar, de la mejor manera posible, los recursos humanos y materiales necesarios, evitando derroches y gastos innecesarios

Marco organizativo Contexto Insumo/recursos Procesos Resultado 2) Componente sistémico Contexto: Los indicadores de contexto dan cuenta de aquello que encauza a la actividad institucional. Algunos de los aspectos que conforman el contexto son: la normatividad universitaria, las condiciones demográficas, socioeconómicas y culturales en las que se desarrolla la educación; también se incluyen las actitudes y expectativas de la población con respecto a la educación. Insumo/recursos: Estos indicadores dan cuenta de los inputs o entradas al sistema a través de los recursos materiales, tanto económicos como de infraestructura y de los recursos humanos, es decir, tanto el personal universitario como del alumnado. Procesos: Este conjunto de indicadores facilita el seguimiento de los objetivos estratégicos del PDI. Está estrictamente relacionado con la ejecución de éstos e informan con respecto al grado de avance en el logro de los mismos. Resultado: Son los indicadores que informan sobre los logros alcanzados por la Institución. Se comparan con las expectativas que se tenían respecto a los niveles que se propuso serían alcanzados. Pueden ser de corto o largo plazo.

La clasificación permite: Aproximarnos a la dimensión o componente en el cual se encuentran identificados los indicadores Relacionar las dimensiones con los elementos sistémicos para desarrollar análisis más específicos

Relación entre el PDI, el modelo de SII y los proyectos P3e Debido a la complejidad de la Red Universitaria se han diseñado modelos como: El Sistema Integral de Planeación, Programación, Presupuestación y Evaluación (P3e) El Sistema de Información Directiva (SID) El Sistema Institucional de Indicadores (SII)

PDI Modelo de SII P3e Visión Valores Ejes estratégicos Políticas Objetivos Misión Estrategias Metas Indicadores de las metas del PDI Indicadores de las acciones para el logro de las metas Indicadores de comparación (Benchmarking) Proyectos P3e Justificación Objetivo General Objetivos particulares Indicadores Actividades Recursos Ministraciones PDI Modelo de SII P3e

Catálogos de indicadores Para dar sustento metodológico y con el fin de documentar la información básica de los indicadores, el modelo de SII contempla dos catálogos de fichas técnicas: Catálogo de indicadores de seguimiento de las metas del PDI. Catálogo de indicadores de comparación (benchmarking).

Nivel de desagregación Las fichas técnicas contienen: Nombre Nivel de desagregación Fórmula de cálculo Utilidad Finalidad Componente sistémico

Dimensión de la calidad Definición y código del indicador Fuentes Periodicidad Responsables del seguimiento y ejecución

Sistema de apoyo informático Dos herramientas de soporte informático: El sistema P3e Desarrollado en la Universidad de Guadalajara El Cognos Metrics Manager (CMM) Herramienta informática adecuada a las necesidades de los directivos siguiendo una metodología de Cuadro de Mando Integral.

El modelo de SII, contempla la sistematización de la información estadística de la Institución tales como: La Numeralia Institucional, El Cuaderno Estadístico La homologación de catálogos al interior de la Universidad.

Principales retos para la construcción y operación del SII La implementación del modelo de SII en la Universidad de Guadalajara enfrenta una serie de retos, entre ellos, se pueden destacar: Crear una cultura en la comunidad universitaria sobre la importancia del uso de indicadores para fundamentar la toma de decisiones y para medir el impacto social de nuestras actividades. Eliminar las asimetrías de información entre las entidades de la red. Consolidar nuestro sistema de información.