Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación-LLECE XXV Reunión de los Coordinadores Nacionales del LLECE TEMA: Principales resultados de la evaluación externa del SERCE: Lecciones aprendidas Documento para la XXV Reunión CN Buenos Aires, 18 de marzo de 2010

2 Síntesis de las principales deficiencias señaladas sobre el SERCE en la evaluación externa realizada en agosto de 2009, por investigadores de la Universidad de Chile

3 PRINCIPALES DEFICIENCIAS SEÑALADAS Se contó con equipos nacionales para la ejecución del estudio, pero no se pudo referenciar la formalización en las designaciones ni en los perfiles de los integrantes y Coordinadores de ellos. Formalización de las designaciones de los Coordinadores Nacionales. En el sitio WEB LLECE de acceso restringido están disponibles en formato digital los compromisos que asumen los Gobiernos de los países participantes (no todos), pero no se individualizan a los representantes específicos. Este es un criterio explícito del Manual de Aseguramiento de la calidad.

4 PRINCIPALES DEFICIENCIAS SEÑALADAS Se recomienda contar con un sistema de registro y archivo de información que facilite su revisión y consulta. Lo mismo ocurre con la participación de expertos en las diferentes etapas de la ejecución, de los informes que han emitido, de las actas de sus deliberaciones y su influencia en las decisiones técnicas y de gestión. Aplicación de encuestas: se envió un cuestionario a diecisiete (17) Coordinadores Nacionales, quienes estuvieron a cargo de la implementación del estudio en cada uno de los países participantes. Las encuestas fueron enviadas vía Internet, pero su retorno resultó muy lento, lo cual dificultó el análisis proyectado para la evaluación.

5 PRINCIPALES DEFICIENCIAS SEÑALADAS Un número importante de países considera que las reuniones de coordinadores nacionales son 'democráticas pero poco efectivas', ya que, por una parte, hay aspectos eminentemente técnicos que deberían ser discutidos y resueltos por expertos, de manera de hacer mas efectivo el tiempo de reuniones de CN's, orientándolo específicamente a la toma de decisiones. La cantidad y diferencia entre los países participantes deriva en una demora en la ejecución de actividades, enlentece la toma de decisiones, o se dan ajustes diferentes de tiempos. Los tiempos de planificación, diseño y aplicación no fueron iguales en todos los países. La demora de uno o más países en el desarrollo de alguna etapa afecta la culminación oportuna de la totalidad del estudio.

6 PRINCIPALES DEFICIENCIAS SEÑALADAS Las reuniones de CN's pueden ser excelentes instancias de toma de decisiones en la medida en que los temas a decidir sean discutidos previamente, en cada país. De esta manera el tiempo se utilizaría de manera eficiente, lo que va en directo beneficio del desarrollo y los resultados del estudio. En términos ideales, para la mayoría de los Coordinadores Nacionales consultados hubiera sido muy bueno contar con la participación de todos los países de América latina. En términos reales, y desde una mirada externa, el incremento en el número de países debería implicar una estrategia metodológica mas efectiva, fundamentalmente en aspectos que requieran experticia técnica.

7 PRINCIPALES DEFICIENCIAS SEÑALADAS Desde una mirada externa, la Propuesta Definitiva (2003) es un documento que, si bien recoge los acuerdos de los países participantes y entrega lineamientos generales para la implementación del estudio, no posee las características formales de una propuesta de investigación, en cuanto a objetivos, marco teórico y metodológico y estrategias generales de implementación. La extensión del estudio no se debe necesariamente a su magnitud sino a dificultades en la organización de la Coordinación Técnica del SERCE. Más de la mitad de los Coordinadores Nacionales opinaron que los reiterados cambios en la estructura de coordinación afectaron los procesos de procesamiento de datos y entrega de resultados.

8 PRINCIPALES DEFICIENCIAS SEÑALADAS En vista de los retrasos en la entrega de resultados y de productos del SERCE no se cuenta con información completa respecto del uso de los productos en cada país, así como de las estrategias de difusión de resultados.

9 PINCIPALES LECCIONES APRENDIDAS DE ESTAS EVALUACIONES EXTERNAS I.Sobre el apoyo de UNESCO a la gestión del LLECE (UNESCO – OREALC – Países) Es necesario revisar los procedimientos burocráticos que no contribuyen a acelerar las gestiones administrativas. Resulta necesario que el LLECE no solo cuente con fondos financieros de proyectos extrapresupuestarios, se requiere que obtenga también fondos suficientes del Programa Regular.

10 PINCIPALES LECCIONES APRENDIDAS DE ESTAS EVALUACIONES EXTERNAS I.Sobre el apoyo de UNESCO a la gestión del LLECE (UNESCO – OREALC – Países) Es imprescindible que se logre estabilizar el equipo técnico del LLECE y que este funcione como tal al menos por etapas completas del estudio principal que desarrolle. Es un imperativo que la UNESCO concentre y pondere su apoyo en la dotación de materiales (software) y equipos y en el perfeccionamiento de las capacidades técnicas de los sistemas nacionales de evaluación, con énfasis en el análisis y procesamiento de datos.

11 PINCIPALES LECCIONES APRENDIDAS DE ESTAS EVALUACIONES EXTERNAS I.Sobre el apoyo de UNESCO a la gestión del LLECE (UNESCO – OREALC – Países) Una vía para contribuir al desarrollo profesional de los equipos técnicos de los países puede ser el diseño y ejecución de una Maestría de amplio acceso (on–line) en Evaluación de la Calidad de la Educación.

12 PINCIPALES LECCIONES APRENDIDAS DE ESTAS EVALUACIONES EXTERNAS II. Sobre la cantidad y calidad de la información que procesa el LLECE durantes sus estudios. Necesidad de trabajar por racionalizar la información que circula hacia y desde los países, así como garantizar que haya permanentemente una adecuada disciplina informativa. Perfeccionar y mantener actualizada regularmente la página web del LLECE, lo que deberá incluir la información necesaria sobre la estructura funcional del LLECE.

13 PINCIPALES LECCIONES APRENDIDAS DE ESTAS EVALUACIONES EXTERNAS III.Sobre la eficiencia de las reuniones de los Coordinadores Nacionales Deben centrarse en la toma de decisiones y crear otros espacios específicos para las deliberaciones de carácter técnico. Para el logro de lo anterior resulta necesario que los temas a debatir sean discutido previamente en cada país.