Evaluacion externa La experiencia de una agencia de acreditación María José Lemaitre Agosto 2007

Agosto, 2007María José Lemaitre2 Decisiones iniciales ¿ Para qué? Retroalimentación: importante conocer el impacto del trabajo hecho, la opinión de las IES, identificar cambios necesarios Retroalimentación: importante conocer el impacto del trabajo hecho, la opinión de las IES, identificar cambios necesarios Cuenta pública: necesidad de dar un informe confiable acerca de la labor realizada Cuenta pública: necesidad de dar un informe confiable acerca de la labor realizada Mejoramiento: Necesidad de un proceso formal para identificar fortalezas y debilidades, y oportunidades de mejora Mejoramiento: Necesidad de un proceso formal para identificar fortalezas y debilidades, y oportunidades de mejora AQU Cataluña: demostrar que cumple con criterios ENQA, requisito para membresía AQU Cataluña: demostrar que cumple con criterios ENQA, requisito para membresía

Agosto, 2007María José Lemaitre3 Criterios de evaluación CNAP: Orientaciones para las buenas prácticas de INQAAHE Orientaciones para las buenas prácticas de INQAAHE Propósitos y objetivos de la agencia Propósitos y objetivos de la agencia Acreditación de carreras Acreditación de carreras Acreditación institucional Acreditación institucional Apoyo y promoción de una cultura de calidad en IES Apoyo y promoción de una cultura de calidad en IES AQU CATALUNYA: Criterios ENQA Criterios ENQA Propósitos y objetivos de la agencia Propósitos y objetivos de la agencia

Agosto, 2007María José Lemaitre4 Elementos centrales INQAAHE: Claridad en la definición de propósitos Claridad en la definición de propósitos Coherencia entre propósitos y acciones Coherencia entre propósitos y acciones Grado de cumplimiento de los propósitos (medido desde la perspectiva de los principales actores: gobierno, IES; Comisión) Grado de cumplimiento de los propósitos (medido desde la perspectiva de los principales actores: gobierno, IES; Comisión) Recursos Recursos Transparencia (en los criterios, los procedimientos, las decisiones) Transparencia (en los criterios, los procedimientos, las decisiones)

Agosto, 2007María José Lemaitre5 Elementos centrales INQAAHE: Calidad y difusión de materiales de apoyo Calidad y difusión de materiales de apoyo Mecanismos para seleccionar, entrenar, apoyar y evaluar a evaluadores externos Mecanismos para seleccionar, entrenar, apoyar y evaluar a evaluadores externos Claridad y consistencia en las decisiones de evaluación Claridad y consistencia en las decisiones de evaluación Mecanismos internos de autorregulación Mecanismos internos de autorregulación

Agosto, 2007María José Lemaitre6 Elementos centrales ENQA: Uso de los procedimientos para la evaluación externa: claridad en los propósitos, coherencia entre propósitos y procedimientos, Claridad y consistencia en las decisiones, difusión de resultados, mecanismos de seguimiento, periodicidad de los procesos de AC, análisis integrado Uso de los procedimientos para la evaluación externa: claridad en los propósitos, coherencia entre propósitos y procedimientos, Claridad y consistencia en las decisiones, difusión de resultados, mecanismos de seguimiento, periodicidad de los procesos de AC, análisis integrado Status oficial de la agencia Status oficial de la agencia Desempeño de actividades de AC de manera regular Desempeño de actividades de AC de manera regular Recursos adecuados y bien distribuidos para desempeñar sus funciones de manera eficaz y eficiente Recursos adecuados y bien distribuidos para desempeñar sus funciones de manera eficaz y eficiente

Agosto, 2007María José Lemaitre7 Elementos centrales ENQA: Propósitos claros, bien definidos y adecuadamente difundidos Propósitos claros, bien definidos y adecuadamente difundidos Resultados en función de los propósitos Resultados en función de los propósitos Independencia: autonomía en la operación de la agencia y evidencias de que las decisiones y recomendaciones no están influenciadas por otros actores Independencia: autonomía en la operación de la agencia y evidencias de que las decisiones y recomendaciones no están influenciadas por otros actores Claridad y consistencia en los criterios y procesos de evaluación externa (a IES), incluyendo autoevaluación, informe de pares y seguimiento Claridad y consistencia en los criterios y procesos de evaluación externa (a IES), incluyendo autoevaluación, informe de pares y seguimiento Mecanismos internos para rendir cuenta pública de la acción de la agencia Mecanismos internos para rendir cuenta pública de la acción de la agencia

Agosto, 2007María José Lemaitre8 Pares evaluadores CNAP: un miembro del board de INQAAHE un miembro del board de INQAAHE Dos integrantes (de cuatro) que hablaran castellano Dos integrantes (de cuatro) que hablaran castellano Un miembro local Un miembro local Un integrante de USA o R.U. Un integrante de USA o R.U. Designados por INQAAHE y aprobados por la agencia Designados por INQAAHE y aprobados por la agenciaAQU: Cinco miembros Cinco miembros Todos entendían castellano, sólo uno con castellano como lengua materna Todos entendían castellano, sólo uno con castellano como lengua materna Ningún evaluador local Ningún evaluador local Un estudiante Un estudiante Todos designados por ENQA y aprobados por la agencia Todos designados por ENQA y aprobados por la agencia

Agosto, 2007María José Lemaitre9 Proceso de autoevaluación (CNAP) Participaron: Los miembros de la comisión Los miembros de la comisión La secretaría técnica La secretaría técnica Representantes de las IES y sus carreras Representantes de las IES y sus carreras Evaluadores de carreras e instituciones, nacionales e internacionales Evaluadores de carreras e instituciones, nacionales e internacionales

Agosto, 2007María José Lemaitre10 Proceso de autoevaluación Evidencias utilizadas: Cuestionarios respondidos por representantes de las IES y evaluadores Cuestionarios respondidos por representantes de las IES y evaluadores Datos sobre el desempeño (tiempo requerido para completar distintas tareas, número de decisiones de acreditación, respuesta de las IES) Datos sobre el desempeño (tiempo requerido para completar distintas tareas, número de decisiones de acreditación, respuesta de las IES) Revisión de documentos, manuales, guías, formularios, talleres, acuerdos, actas Revisión de documentos, manuales, guías, formularios, talleres, acuerdos, actas

Agosto, 2007María José Lemaitre11 Uso de la evidencia (ambos procesos) Descripción clara de la agencia y del trabajo que realiza Descripción clara de la agencia y del trabajo que realiza Base para el análisis en función de los criterios Base para el análisis en función de los criterios Fundamento para los juicios de valor, identificación de fortalezas y debilidades Fundamento para los juicios de valor, identificación de fortalezas y debilidades Fundamento del plan de mejora Fundamento del plan de mejora

Agosto, 2007María José Lemaitre12 Utilidad del proceso Auto evaluación : La auto evaluación es un proceso duro (tal como reportan las IES): La auto evaluación es un proceso duro (tal como reportan las IES): Difícil conseguir una adecuada participación de actores externos Difícil conseguir una adecuada participación de actores externos Difícil reconocer fortalezas Difícil reconocer fortalezas Difícil identificar debilidades sin justificarlas Difícil identificar debilidades sin justificarlas Es también un proceso tan útil como reconocen las IES Es también un proceso tan útil como reconocen las IES Esencial la información de respaldo Esencial la información de respaldo

Agosto, 2007María José Lemaitre13 Evaluación externa: Disponibilidad de materiales de respaldo: necesidad de ordenar y priorizar Disponibilidad de materiales de respaldo: necesidad de ordenar y priorizar Organización de reuniones y entrevistas: Organización de reuniones y entrevistas: Identificación de personas e instituciones Identificación de personas e instituciones Programa (definido por el equipo evaluador) Programa (definido por el equipo evaluador) Organización logística (contratos, hotel, transporte, traducción, interpretación) Organización logística (contratos, hotel, transporte, traducción, interpretación)

Agosto, 2007María José Lemaitre14 Evaluación externa: El equipo estudió detenidamente los materiales El equipo estudió detenidamente los materiales Sostuvo reuniones largas con todos los grupos relevantes (Comisión, secretaria, evaluadores de carreras, evaluadores institucionales, equipos específicos dentro de la secretaría, otros grupos) Sostuvo reuniones largas con todos los grupos relevantes (Comisión, secretaria, evaluadores de carreras, evaluadores institucionales, equipos específicos dentro de la secretaría, otros grupos) Visitó instituciones de acuerdo con el programa solicitado y/o entrevistó autoridades, profesores, estudiantes) Visitó instituciones de acuerdo con el programa solicitado y/o entrevistó autoridades, profesores, estudiantes) Agregó entrevistas al programa inicial y solicitó reuniones de clarificación Agregó entrevistas al programa inicial y solicitó reuniones de clarificación

Agosto, 2007María José Lemaitre15 El informe de evaluación externa: Preparación: Preparación: ¿Destinatarios? Exigencia de que se hiciera público ¿Destinatarios? Exigencia de que se hiciera público Equilibrio entre contexto, análisis, evidencia y resultados en terreno Equilibrio entre contexto, análisis, evidencia y resultados en terreno Recomendaciones: Identificación de áreas débiles, sugerencias Recomendaciones: Identificación de áreas débiles, sugerencias Borrador enviado a la agencia para asegurarse de que no hubiera errores Borrador enviado a la agencia para asegurarse de que no hubiera errores

Agosto, 2007María José Lemaitre16 Utilización: Utilización: Una amplia gama de información importante y significativa Una amplia gama de información importante y significativa Una mirada diferente a tareas familiares Una mirada diferente a tareas familiares Clara consideración de las conclusiones de la auto evaluación Clara consideración de las conclusiones de la auto evaluación Sugerencias y recomendaciones útiles Sugerencias y recomendaciones útiles Sugerencias importantes para el trabajo de la agencia Sugerencias importantes para el trabajo de la agencia Acuerdo parcial con las recomendaciones Acuerdo parcial con las recomendaciones

Agosto, 2007María José Lemaitre17 Pasos posteriores Trabajo de análisis de las recomendaciones Trabajo de análisis de las recomendaciones  Para ver cuáles debían implementarse de inmediato  Para decidir acerca de la conveniencia de implementar otras  Para contemplar los aspectos relevantes en el plan de trabajo Inicio de un proceso de ajustes Inicio de un proceso de ajustes Observaciones al proceso y los criterios Observaciones al proceso y los criterios

Agosto, 2007María José Lemaitre18 Conclusión Proceso extremadamente útil, desde distintos puntos de vista: Proceso extremadamente útil, desde distintos puntos de vista: Mejor relación con las IES Mejor relación con las IES Mejor comprensión de los procesos que se aplican Mejor comprensión de los procesos que se aplican Oportunidad para revisar y analizar los propios procesos Oportunidad para revisar y analizar los propios procesos Oportunidad para saber cómo se ve la agencia desde fuera Oportunidad para saber cómo se ve la agencia desde fuera Retroalimentación experta Retroalimentación experta