PARA EVALUAR EL IMPACTO DE LOS PROCESOS DE EVALUACIÓN Y ACREDITACIÓN JUNTA DE ACREDITACIÓN NACIONAL UNIVERSIDAD 2012 UNA ESTRATEGIA METODOLÓGICA PARA EVALUAR EL IMPACTO DE LOS PROCESOS DE EVALUACIÓN Y ACREDITACIÓN EN LA EDUCACIÓN SUPERIOR CUBANA   AUTORES: Dr. Giraldo Llanio Martínez, Junta de Acreditación Nacional Dr. Jesús Lazo Machado, Junta de Acreditación Nacional Dr. Enrique Iñigo Bajos, CEPES, UH.

Programas de Maestrías tomados como muestra: muestras representativas de programas acreditados en el periodo 2003-2008 por ramas del conocimiento. Ciencias de la Educación Agroecología y agricultura sostenible Eficiencia energética Vivienda social Dirección

PROCEDIMIENTOS Análisis de los resultados obtenidos en los procesos de evaluaciones externas realizados, Las autoevaluaciones de las ultimas ediciones, Los informes de las comisiones evaluadoras, Encuestas y Entrevistas a estudiantes, profesores, dirigentes y expertos. Valoración cualitativa general de los impactos de los Programas a partir de los registros de fortalezas y debilidades comunes obtenidos en los informes de los expertos durante las evaluaciones externas desde el año 2000 hasta el 2008.

ANTECEDENTES Procesos de Autoevaluación y Evaluación externa desde finales de los años setenta. Adopción del Sistema de Evaluación y Acreditación (SEA) en los últimos 10 años. Maduración del sistema de gestión institucional en la IES. Ej. Dirección por objetivos, Planificación estratégica, otros. Cambios importantes en el país que reclaman mayor impacto de la educación superior.

CONTEXTO ACTUAL Impacto de los SEA . RETOS. Aumentar la calidad y pertinencia de Programas e Investigación. Fortalecimiento del sistema de gestión en la educación superior cubana. Perfeccionamiento de los mecanismos de metaevaluación. Flexibilidad requerida. Contexto específico. Determinación de problemas y logros de la educación superior cubana. Prioridades en función de problemas actuales. Fortalecimiento de logros.

Evaluación del impacto de los procesos de evaluación y acreditación de carreras y maestrías. ( 2008 – 2011) Este proyecto se planteó dos direcciones básicas: Valorar el impacto de los procesos de evaluación y acreditación sobre la calidad de programas de la educación superior. Elaborar una estrategia metodológica para evaluar el impacto de los procesos de evaluación y acreditación.

FORTALEZAS COMUNES DE LOS PROGRAMAS RESULTADOS OBTENIDOS FORTALEZAS COMUNES DE LOS PROGRAMAS Necesidad, calidad del programa y actualidad de contenidos Centralidad de la actividad investigativa Producción científica del claustro, reconocimientos y participación en eventos Alto porciento de doctores Eficiencia y eficacia del programa Mejoramiento profesional del egresado Tradición pre y posgraduada de la institución en el área del conocimiento del programa Beneficios logrados por la colaboración interinstitucional

DEBILIDADES COMUNES DE LOS PROGRAMAS Desigual producción científica del claustro Limitado acceso a las TICs Poca promoción de la multi, inter y transdisciplinariedad Dificultades en el registro de la documentación No acceso suficiente a bibliografía impresa Poca participación de profesores de otras instituciones Dificultades con la producción intelectual de los cursistas Limitado equipamiento e insumos para las actividades docentes e investigativas Limitación en las instalaciones y mobiliario.

POSITIVOS DE LOS PROCESOS DE EVALUACIÓN PRINCIPALES ASPECTOS POSITIVOS DE LOS PROCESOS DE EVALUACIÓN Contribución al perfeccionamiento de los procesos relacionados con los programas . Incremento en la interacción de todos los involucrados en el desarrollo del programa. Contribuye a una mayor preparación de los involucrados, sobre todo de docentes y cursistas. Contribuye a elevar la calidad en el proceso de formación de los estudiantes. Contribuye a elevar el prestigio del programa.

PRINCIPALES RESULTADOS NEGATIVOS DE LOS PROCESOS DE EVALUACIÓN Carencia de una estimulación adecuada a los programas acreditados. Exige mucho “papeleo”, tiempo que se destina a los procesos de evaluación y tensiones en los evaluados. Desiguales exigencias entre evaluadores. No se logra integrar, en el nivel requerido, los resultados de las evaluaciones y los planes de mejora con la gestión de las instituciones.  

Componentes de la Estrategia metodológica Componentes conceptuales Objetivos El objeto de evaluación Procedimientos e instrumentos Los momentos de la evaluación Los sujetos de la evaluación

Componente conceptual Fueron asumidas las bases conceptuales en las que quedaron identificados durante la primera etapa (Calidad de la E.S., Impacto, Evaluación de impacto, Evaluación del impacto del SEA). Se estructuró el modelo teórico del objeto investigado. Componentes esenciales: el contexto institucional, social y los sistemas de evaluación y acreditación, y sus relaciones igualmente esenciales con la calidad de los programas y la gestión universitaria, la pertinencia y el perfeccionamiento del SEA.

Principales definiciones Calidad “El sistema de propiedades o cualidades de un programa en el que se contemplan intrínsecamente su pertinencia y excelencia académica, lo que le permite contribuir de manera eficaz y eficiente en la gestión de los procesos universitarios, el desarrollo personal del alumno y el claustro y en las transformaciones del entorno social según las exigencias sociales….”

Pertinencia Excelencia Académica Presupone no solo la pertinencia económica, social y cultural, sino que tiene en cuenta igualmente la concepción de la universidad como agente desarrollador del pensamiento creativo y transformador Excelencia Académica Principales atributos: la composición y producción científica del claustro, el respaldo material, tanto el de la propia institución como el existente en centros de investigación u otras instalaciones, la gestión institucional para la mejora de la calidad. el mejoramiento continuo del currículo, la investigación científica entre los estudiantes, el dominio de sus modos de actuación, entre otros.

Principales definiciones … Principales definiciones Impacto de los procesos de evaluación y acreditación Conjunto de cambios significativos que se producen en la calidad de los programas y a los que tienen lugar, como resultado de la aplicación de estos procesos, en: los contextos institucional y social, en los sujetos participantes, así como en la mejora de la calidad de los propios sistemas de evaluación y acreditación.

dimensiones de impacto A partir de la definición adoptada , se consideró que el impacto de los procesos de evaluación y acreditación se manifiesta en tres dimensiones: - En el Contexto Institucional - En el Contexto Social - En los Sistemas de Evaluación y Acreditación

Objetivos de la Estrategia Metodológica . Obtener información acerca del efecto sobre la mejora continua de la calidad en la educación superior. Rendir cuentas a la sociedad y a la comunidad académica sobre la eficacia de los sistemas de evaluación y acreditación. El perfeccionamiento continuo de estos sistemas. El objeto de evaluación Impacto.- efectos que se manifiestan en los contextos institucional , social y en los sistemas de evaluación y acreditación. En cada uno las variables e indicadores y criterios de medida. . Objetivos de la Estrategia Metodológica .

Dimensiones del impacto Contexto institucional SEA Contexto social Variable: -Pertinencia. Variables: -Perfeccionamiento de los Sistemas de Evaluación y Acreditación -Visibilidad de los sistemas y de la Agencia. Variables: -Calidad del programa. -Gestión universitaria.

Dimensión: Contexto institucional V A R I B L E Calidad del programa Indicadores: 1- Composición y producción científica del claustro. 2- Aseguramiento de la calidad. 3- Formación y desarrollo profesional. 4-Aseguramiento material y administrativo.

Dimensión: Contexto institucional V A R I B L E Calidad del programa Indicador: 1- Composición y producción científica del claustro. Criterios: -Nivel científico y académico de profesores y tutores. -Índices de cantidad y calidad de la producción científica. Distribución por profesores. Formas de validación: -Estudio de informes de evaluación y de los planes de mejora. -Entrevistas a directivos y profesores.

Dimensión: Contexto institucional V A R I B L E Calidad del programa Indicador: 2- Aseguramiento de la calidad. Criterios: -Cumplimiento de los planes de mejora a partir de las autoevaluaciones. -Perfeccionamiento del currículo. Formas de validación: -Estudio de informes de evaluación y de los planes de mejora. -Encuestas y entrevistas a estudiantes y egresados.

Dimensión: Contexto institucional V A R I B L E Calidad del programa Indicador: 3- Formación y desarrollo profesional. Criterios: --Satisfacción de los estudiantes y egresados con el programa evaluado -Incorporación a programas de postgrados. Formas de validación: -Estudio de informes de evaluación y de los planes de mejora. -Entrevistas a directivos y profesores. -encuestas a estudiantes y egresados

Dimensión: Contexto institucional V A R I B L E Calidad del programa Indicador: 4-Aseguramiento material y administrativo. Criterios: -Base material para el desarrollo del programa. -Garantía de la calidad en la documentación del programa. Formas de validación: -Estudio de informes de evaluación y de los planes de mejora. -Entrevistas a directivos y profesores. -Comprobaciones in situ.

Dimensión: Contexto institucional Gestión Universitaria B L E II Gestión Universitaria Indicadores: 1- Estrategias para el mejoramiento de la calidad. 2- Funcionamiento de la estructura organizacional.

Dimensión: Contexto institucional Gestión universitaria B L E II Gestión universitaria Indicador: 1-Estrategias para el mejoramiento de la calidad. Criterios: -Seguimiento por la institución de los planes de mejora. - Formas de validación: -Comprobación de la existencia y cumplimiento de la estrategia. -Comprobación de los niveles de informatización y su empleo en los procesos sustantivos -Entrevistas a directivos y profesores.

Dimensión: Contexto institucional Gestión universitaria B L E II Gestión universitaria Indicador: 2-Funcionamiento de la estructura organizacional. Criterios: -Presencia de los planes de mejora en la planificación estratégica y operativa -Estilos de dirección Formas de validación: -Comprobación en los planes. -Entrevistas a directivos y profesores.

Dimensión: Contexto Social V A R I B L E Pertinencia

Dimensión: Contexto social V A R I B L E Pertinencia Indicador: 1- Satisfacción con la calidad del egresado. Criterios: -El grado de satisfacción de las instituciones que los emplean Formas de validación: -Informes de evaluación externa -Entrevistas a empleadores -Entrevistas a egresados

Dimensión: Sistema de evaluación y acreditación V A R I B L E S 1- Perfeccionamiento de los Sistemas. 2- Visibilidad de los sistemas y de la Agencia.

Dimensión: Sistemas de evaluación y Perfeccionamiento de los Sistemas. acreditación V A R I B L E Perfeccionamiento de los Sistemas. Indicador: 1– Estrategias para el perfeccionamiento de los sistemas Criterios: Estilos de trabajo de la Agencia Autoevaluaciones periódicas de la Agencia Preparación de los expertos Respaldo legal de la documentación Calidad de los procedimientos Calidad de la documentación de los procesos Socialización de las mejoras en el sistema Formas de validación: -Entrevistas a directivos de la JAN, las IES y a expertos.

Dimensión: Sistemas de evaluación y acreditación B L E Visibilidad de la Agencia y de los Sistemas. Indicador: 1– Estrategias para lograr la visibilidad Criterios: Inserción en redes y proyectos Vías para la socialización de los resultados Formas de validación: -Entrevistas a directivos de la JAN y de las IES .

Momentos de la evaluación Instrumentos Encuestas a directivos, profesores, egresados, empleadores; Entrevistas estructuradas; revisión documental (informes de autoevaluación, planificación estratégica, mejoras curriculares); Comprobaciones in situ, Trabajo en grupos, Talleres, Grupos de Tarea, búsqueda de consensus y repercusión en las formas de trabajo institucional y pràcticas predominantes, etc. Momentos de la evaluación Los momentos de su aplicación no pueden obviar el propio desarrollo de los procesos evaluativos realizados   Primera etapa: de diagnóstico, al menos a un proceso de autoevaluación o de evaluación externa.   Segunda etapa: al culminarse las autoevaluaciones, evaluaciones externas o acreditaciones. De las etapas se definen sus componentes, momentos de realización y las acciones ara su ejecución

Los sujetos evaluadores Comisión mixta de expertos de diferentes IES o entidades de los territorios o a nivel nacional , incluida la JAN. En coordinación con la agencia acreditadora

A modo de conclusión: El SEA cubano actualmente trabaja por consolidar las siguientes direcciones básicas: Flexibilidad -tanto en su concepción como en su implementación-. Internalización -Tanto de los actores de los procesos de evaluación como de la Gestión institucional en su sistematización y aporte a la gestión de la calidad-. Centralidad en los IMPACTOS - externos, internos-. Incremento de la valoración de los resultados logrados y de cómo trabajar para superarlos- .

Muchas Gracias