Medición de aprendizajes: Modelo de Valor Agregado Santiago Cueto GRADE Junio, 2007

Contexto A fines de los 80s e inicios de los 90s, los diferentes países de América Latina comienzan a desarrollar sus propios sistemas de evaluación orientados a medir el rendimiento o logros académicos de los estudiantes. Los sistemas de evaluación implementados estaban orientados a identificar diferencias en el rendimiento entre grupos de estudio (por ejemplo: urbano vs rural, publico vs privado) y ver si estas diferencias con el tiempo se han venido cerrando o se mantienen. A fines de los 90s e inicios de la presente década comienza la preocupación por medir los niveles de progreso o aprendizaje de los estudiantes o temas mas relacionados con calidad educativa lo cual motiva el desarrollo de nuevos sistemas de evaluación..

Rasgos principales de un modelo de medición de aprendizajes Es así, que a raíz de la preocupación por nuevos modelos que midan el aprendizaje o logros de los estudiantes, se considera que los siguientes aspectos deben ser centrales cuando se va implementar un sistema de evaluación (Froemel, 2003):  Debe proporcionar información que permita tomar decisiones que estén encaminadas a producir efectos en las decisiones de política educativa.  Es necesario considerar los diferentes niveles de la estructura o aparato educativo y las variables asociadas a cada nivel.  El sistema de evaluación debe permitir medir el logro educativos de los estudiantes.

Modelos de medición del aprendizaje (i) Los modelos de medición del aprendizaje de los estudiante comienzan a aparecer a inicios de los años 90s ante la preocupación por la calidad de la educación que están recibiendo los estudiantes. Los principales modelos son:  Evaluación del logro académico, son los modelos que han imperado en la región y toman mediciones transversales a una cohorte determinada de estudiantes.  Modelos de valor agregado o “value-added models”, son modelos que a diferencia de los modelos de logro permiten medir el progreso educativo de los estudiantes en el tiempo ya que se cuenta con dos mediciones del mismo individuo en el tiempo.  Modelos de crecimiento o “growth models”, al igual que los modelos de valor agregado permiten medir el progreso educativo de los estudiantes pero cuentan con mas mediciones del mismo individuo.

Modelos de medición del aprendizaje (ii) De esta manera estos modelos de evaluación se han venido implementando, siendo los modelos de valor agregado y los de crecimiento usados mayormente en países como Estados Unidos y el Reino Unido. De los tres modelos señalados, los dos últimos cumplen con el requisito de poder medir el progreso académico de los estudiantes y permiten estimar de manera mas adecuada los efectos de variables escolares que son susceptibles a políticas educativas.

Modelos de calor Agregado: A que nos referimos con valor agregado? (i) Una definición clara acerca de la medición de valor agregado es la dada por McGeevor en 1990:  “una medida del rendimiento de los estudiantes, que toma en cuenta los efectos de diferentes insumos propios de ellos (por ejemplo: puntaje previo de los estudiantes, nivel socioeconomico, etc.). El rendimiento de los estudiantes asi concebido, puede ser usado para contribuir a la evaluacion de la calidad institucional, dentro de las funciones de enseñanza y aprendizaje”.

Modelos de calor Agregado: A que nos referimos con valor agregado? (ii) Así, los modelos de valor agregado miden el cambio en el rendimiento de los estudiantes que es atribuible a características de las escuelas o de los docentes, una vez que se controla o ajusta por características de los estudiantes y su familia. El uso de estos modelos no implica que las evaluaciones de logros no sean importante, sino que permiten apreciar mejor el desarrollo de los estudiantes debido a que se les sigue en el tiempo.

Beneficios de los modelos de Valor Agregado Los beneficios de los modelos de valor agregado o modelos de crecimiento, son:  Dado que mide cuanto del aprendizaje durante el año escolar o durante el tiempo se debe a factores escolares, permite que sea usado como indicador para hacer responsables a los docentes y escuela de los resultados de los estudiantes.  Permite fijar metas sobre cuanto se quiere incrementar el aprendizaje de los estudiantes y atarlas a posibles estándares que pueda tener cada país.  Permite explorar en las practicas pedagógicas que están realizando los docentes o escuelas que están obteniendo buenos resultados de tal forma que luego puedan ser replicadas.

Criticas a los Modelos de Valor Agregado Las principales limitaciones o criticas a este tipo de modelos son:  Solo permite diferenciar a las escuelas o docentes que están muy por encima o debajo del promedio, mientras los que están cerca del promedio es difícil diferenciarlos dados el error de estimación.  Este tipo de modelación no reduce el problema que enfrentan los diferentes modelos de evaluación y que esta relacionado con la estimación del puntaje verdadero.  Este tipo de modelación es valido para evaluar la performance de las escuelas e incluso regiones, pero no se debe usar para evaluar a los docentes.

Usos de los modelos de valor agregado Al igual que otros sistemas de evaluación (logros y modelos de crecimiento) se pueden identificar dos principales usos para este tipo de sistemas.  Investigación: a diferencia de los modelos de logros, los modelos de valor agregado nos permiten estimar de manera mas precisa los efectos de variables escolares dado que controlan por el puntaje previo de los estudiantes. Asimismo, son usados en la línea de investigación de docentes eficaces ya que dada la naturaleza de estos modelos permiten ver variables de los docentes están asociadas a mejores resultados en términos de aprendizajes.  Política educativa: al poder identificar que variables están asociadas con el valor agregado de los estudiantes, se pueden implementar programas de capacitación docente y capacitación de gestión.  Accountability: dado que estos modelos permiten calcular cuanto del aprendizaje se debe a variables de la escuelas o los docentes, se han venido utilizando estos sistemas como una herramienta de rendición de cuentas para las escuelas y docentes.

Modelos de Valor Agregado en la practica Los modelos de valor agregado se han sido adoptados en diferentes ciudades de los Estados Unidos, siendo el caso mas conocido el de Tennessee debido a que se viene implementando este modelo en todo el estado. Otro ejemplo en los estados unidos es el de la ciudad de Dallas, donde al igual que en Tennessee, se implementa una evaluación de valor agregado. La característica de estos dos casos es que primero se implementaron los sistemas de evaluación y luego se usaron para políticas de rendición de cuentas o incentivos. A continuación se da un alcance acerca de estos dos casos

El caso de Tennessee - Descripción En 1992 se instauro en Tennessee el sistema de evaluación de valor agregado. Este sistema evalúa cada año a los estudiantes de 3er a 8vo grado en cinco áreas: lectura, lenguaje, matemáticas, ciencias, y ciencias sociales. Asimismo, era a discreción de cada una de las autoridades de cada distrito escolar el evaluar a los niños desde Kindergarden a 2do grado. Así, al inicio de cada periodo escolar a cada escuela se le entrega un tarjeta en la cual se señala el progreso de los estudiantes de su escuela, y esta información unida a otros indicadores que son recogidos por el estado son usados para poder fijar premios para las escuelas y sanciones para los distritos escolares.

El caso de Tennessee - Investigación Por otro lado, estudios realizados por Sanders & Rivers (1996), Sanders et al (1997) y Wright et al (1997); en función a la base de datos del sistema de evaluación, encontraron que las variables de los docentes tienen un efecto significativo en el aprendizaje de los estudiantes e incluso mencionan que el efecto de los docentes sobre el aprendizaje es aditivo, acumulativo y en algunos casos compensatorio. Sin embargo, una de las principales criticas a los trabajos realizados por Sanders y sus colegas es que los efectos que encuentran están sobredimensionados ya que no controlan por variables contextuales que estarían asociadas con el aprendizaje de los estudiantes (por ejemplo: nivel socioeconómico).

El caso de Dallas - Descripción Los modelos de valor agregado como sistema de evaluación se comenzaron a utilizar en Dallas en 1992 cuando se comenzaron a construir indicadores acerca de la eficacia de las escuelas. Estas evaluaciones se realizan desde 1er a 12vo grado usando diferente combinación de instrumentos que evalúan: matemática, lectura, escritura, español. Asimismo, se comenzó a ligar este sistema de evaluación con un sistema de rendición de cuentas a los docentes en 1995, cuando el estado de Texas paso una ley en la que se ordenaba que uno de los criterios para la evaluación de los docentes era los logros de sus estudiantes en diferentes áreas. Al igual que en Tennessee se estimaba el valor agregado de los estudiantes pero con la diferencia que en el caso de Dallas, se ajustaba por características de los estudiantes que consideraban no tenia control los docentes y tener una medida mas confiable.

El caso de Dallas - Investigación Al igual que en el caso de Tennessee, diferentes estudios de investigación se han realizado para analizar los efectos de los docentes y ver que tanto diferia del caso de Tennessee. Así, los estudios realizados por Ladd (1999), Mendro (1995), Webster & Mendro (1997) encuentran que si existe un efecto significativo de los docentes sobre el valor agregado pero no al nivel encontrado en el caso de Tennessee. Al igual que en el caso de Tennessee, este estudio es criticado dado el carácter del método usado para evaluar el aprendizaje, sin embargo es reconocido que en el caso de Dallas los efectos de los docentes están mejor medidos dado que ajustan por características de los estudiantes.

Sistema de Medición de Aprendizajes en Latinoamérica En el caso de Latinoamérica los estudios realizados por Arregui (2001), Mizala y Romaguera (2004), Fernández (2005), Ferrer (2006); nos muestran que las evaluaciones que se han realizado en Latinoamérica han sido enfocadas a la evaluación de logros de aprendizaje, es decir mediciones transversales de rendimiento a los estudiantes, siendo Chile el país con mayor antigüedad en tener sistemas de evaluación desde Asimismo, los usos que se han dado a las evaluaciones nacionales en la mayoría de los apaises ha estado centrada en la capacitación docente, directores y desarrollo curricular. Los únicos países que usan las evaluaciones con un carácter distinto son México y Chile, que vienen usando actualmente las evaluaciones como un indicador para otorgar incentivos monetarios a los docentes, es decir se compara el rendimiento de la escuela en el tiempo, mas no se sigue una cohorte de estudiantes.

Balance de los Modelos de Valor Agregado Los modelos de valor agregado permiten tener medidas mas precisas del progreso de los estudiantes dado que se tiene al mismo estudiante en el tiempo y se ajusta por variables ajenas al entorno escolar. La investigación realizada en los Estados Unidos de sistemas que vienen empleando este modelo muestran que los efectos de las variables escolares son significativos, lo cual permite identificar de mejor manera posibles mecanismos o herramientas de política educativa. Permite que se pueda hacer accountability de las autoridades locales de educación, escuelas (directores), y docentes.

Preguntas para discusión Es necesario el implementar evaluaciones de Valor Agregado en Latinoamérica dado el uso que se le da en la mayoría de países? El enlazar los sistemas de evaluación con sistemas de accountability o de rendición de cuentas no tendría un efecto perverso en los sistemas de medición y diagnósticos de calidad educativa? Es decir, enseñar solo los temas de las evaluaciones, retirar de las escuelas a los alumnos de bajo rendimiento, entre otras.

Bibliografía Arregui, Patricia. (2001) “Sistemas de Determinación y Evaluación de Metas de Logros de Aprendizaje Escolar como instrumentos para mejorar la calidad, la equidad y la responsabilización en los procesos educativos en América Latina”, presentado al Seminario sobre prospectivas de la Educación en la Región de América Latina y el Caribe, organizado por la Oficina Regional de Educación de la UNESCO (Santiago de Chile, de agosto 2000). Crane, J. (2002). “The promise of value-added testing.” Washington DC: Progressive Policy Institute. Drury, D., Doran, H. (2003). “The Value of Value-Added Analysis”. Policy Research Brief, National School Boards Association, January, vol. 3, no 1 Fernadez, Tabare (2006), “El uso de los informes generados por los sistemas de evaluación de aprendizajes en la educación primaria. Los casos de México y de Uruguay”. En coautoría con Carmen Midaglia. Santiago Cueto (editor) Usos y desusos de la información en la educación de América Latina. Ediciones PREAL / CINVE / GDN. Santiago de Chile.

Bibliografía Ferrer, Guillermo. (2006) “Sistemas de Evaluación de Aprendizajes en América Latina: Balances y Desafíos”, PREAL, Santiago de Chile. Froemel, J.E. (2003). “Evaluación de la calidad de la educación equidad. El modelo de Valor Agregado”. En: Revista Persona y Sociedad, Universidad Alberto Hurtado-ILADES Vol XVII Nº 1, Abril, pp McCaffrey, Daniel F. et al (2003). “Evaluating Value-Added Models for teacher Accountability”, Carnegie Corporation / RAND Corporation, Santa Monica, USA. Mizala, Alejandra & Romaguera, Pilar. (2004) “School and Teacher Performance Incentives: The Latin American Experience”, International Journal of Educational Development, v24, n6, p , November. Stewart, Barbara E. (2006). “Value-Added Modeling: The Challenge of Measuring Educational Outcomes”, Carnegie Corporation, New York.