Una visión de la evaluación

Presentación del tema: "Una visión de la evaluación"— Transcripción de la presentación:

1

2 Una visión de la evaluación
Rafael Vidal Director General Centro Nacional de Evaluación para la Educación Superior, A.C. (Ceneval) 6 de diciembre de 2007 Campeche, Campeche 1

3 Por qué evaluar Herramientas para mejorar las instituciones sociales
Decisiones de política educativa sin información Fascinación por los rankings La evaluación, la mejor herramienta 2

4 Contenido Hechos destacados en la evaluación educativa
Las pruebas aplicadas en México Clasificación por su impacto El uso inadecuado de la evaluación La evaluación adecuada La evaluación en Ceneval 3

5 Hechos destacados en el mundo (1) El College Board (1900)
Hechos destacados en la evaluación educativa Las pruebas aplicadas en México Clasificación por su impacto El uso inadecuado de la evaluación La evaluación adecuada La evaluación en Ceneval  Hechos destacados en el mundo (1) El College Board (1900) La revista Psychometrika (1935) El Educational Testing Service –ETS- (1948) George Rasch desarrolla un modelo logístico para medición (50’) La Asociación Internacional para la Evaluación del Desempeño Educativo –IEA- (1958/1967) Establecimiento de CITO en Holanda (1968) El National Assessment of Educational Progress –NAEP- (1969) 4

6 Hechos destacados en el mundo (2)
Hechos destacados en la evaluación educativa Las pruebas aplicadas en México Clasificación por su impacto El uso inadecuado de la evaluación La evaluación adecuada La evaluación en Ceneval Hechos destacados en el mundo (2) Establecimiento del INCE (luego INECSE) en España (1994) Decisión de crear PISA (1997) Primera aplicación de PISA (2000) Ley No Child Left Behind, USA (2002) IEA - Primer Estudio Internacional de Matemáticas –FIMS- (1964) IEA - Segundo Estudio Internacional de Matemáticas –SIMSS- ( ) IEA - Tercer Estudio Internacional de Matemáticas y Ciencias –TIMSS- (1995) 5

7 Hechos destacados en México (1)
Hechos destacados en la evaluación educativa Las pruebas aplicadas en México Clasificación por su impacto El uso inadecuado de la evaluación La evaluación adecuada La evaluación en Ceneval Hechos destacados en México (1)    Primeras pruebas estandarizadas de ingreso (60’s) Pruebas de acceso a la secundaria –SEP- (1973) Creación del Ceneval (1994) Acuerdo Secretarial de la SEP No. 200 (1994) Pruebas IDANIS (90´s)

8 Hechos destacados en México (2) Pruebas de Estándares Nacionales 1998
Hechos destacados en la evaluación educativa Las pruebas aplicadas en México Clasificación por su impacto El uso inadecuado de la evaluación La evaluación adecuada La evaluación en Ceneval Hechos destacados en México (2)     Pruebas de Estándares Nacionales 1998  México decide participar en TIMSS (1995) Nota: el primer estudio es de 1964 México retira los resultados nacionales del TIMSS (1996) México participa en PISA (2000) Creación del INEE (2002)

9 Hacer las evaluaciones Hacerlas mal Tenerles miedo Ocultarlas
Hechos destacados en la evaluación educativa Las pruebas aplicadas en México Clasificación por su impacto El uso inadecuado de la evaluación La evaluación adecuada La evaluación en Ceneval ¿Qué hemos aprendido? Ya aprendimos a: Hacer las evaluaciones Hacerlas mal Tenerles miedo Ocultarlas Hacerlas bien No tenerles miedo Publicarlas 8

10 Las preguntas que muchos se hacen son:
Hechos destacados en la evaluación educativa Las pruebas aplicadas en México Clasificación por su impacto El uso inadecuado de la evaluación La evaluación adecuada La evaluación en Ceneval Las preguntas que muchos se hacen son:    Si ya está PISA, ¿para qué queremos LLECE? Si ya está Ceneval, ¿para qué queremos al INEE? Si ya está Excale, ¿para qué queremos Enlace? Si ya está Exani, ¿para qué queremos Enlace? 9

11 Algunas pruebas aplicadas en México
Hechos destacados en la evaluación educativa Las pruebas aplicadas en México Clasificación por su impacto El uso inadecuado de la evaluación La evaluación adecuada La evaluación en Ceneval Nom- bre Dirigido a Uso Tipo de prueba Im-pacto PISA Evaluar al sistema educativo al término de la educación obligatoria. Comparación con otros países. Impactar a la política educativa. Matricial Muestra Bajo LLECE Evaluar 2 grados de la Educación Básica. Comparación con países de la región. Excale Evaluar el sistema educativo en sus diferentes grados (1 ó 2 grados cada año). Retroalimentar al curriculum. Enlace Evaluar a los estudiantes. Informar a estudiantes, a padres de familia y a la sociedad sobre el desempeño de los estudiantes. Uniforme Censal EXANI Evaluar a los aspirantes a educación media, superior y postgrado. Ayudar a las decisiones de admisión. Informar a escuelas de procedencia. Prueba bajo petición de parte Alto EGEL Conocer la preparación de los estudiantes al final de la licenciatura. Uniforme o individuali-zada Alto/ Bajo 10

12 Clasificación por su impacto: Bajo impacto
Hechos destacados en la evaluación educativa Las pruebas aplicadas en México Clasificación por su impacto El uso inadecuado de la evaluación La evaluación adecuada La evaluación en Ceneval Clasificación por su impacto: Bajo impacto No tienen consecuencias directas de importancia para el sustentante y se utilizan, generalmente, para valorar los resultados obtenidos de un currículum académico, programa o acciones realizadas en un centro escolar. Pruebas para evaluar centros escolares y sistemas educativos (pueden hacer uso de un diseño matricial).

13 Clasificación por su impacto:
Hechos destacados en la evaluación educativa Las pruebas aplicadas en México Clasificación por su impacto El uso inadecuado de la evaluación La evaluación adecuada La evaluación en Ceneval Clasificación por su impacto: Alto impacto Tienen consecuencias directas para el sustentante y se utilizan para valorar los repertorios adquiridos por los individuos. Pruebas para evaluar individuos (no pueden hacer uso de un diseño matricial).

14 Ejemplos de pruebas de alto impacto y bajo impacto
Hechos destacados en la evaluación educativa Las pruebas aplicadas en México Clasificación por su impacto El uso inadecuado de la evaluación La evaluación adecuada La evaluación en Ceneval Ejemplos de pruebas de alto impacto y bajo impacto Alto impacto Bajo impacto IDANIS, EGEL, EXANI, EXABA Excale, ENLACE, Preexani, PISA Uso: decisiones académicas Uso: evaluar centros, programas o sistemas Normativas o criteriales Criteriales Equivalentes (se pregunta lo mismo a todos los sustentantes) Modulares (hay muchas versiones) Por demanda (generalmente no son representativas) Censo o muestra (representativas) Conocimientos o habilidades generales o alineadas al currículo Alineadas al currículo Comparabilidad individual Comparabilidad a nivel centro escolar, estado o país Error de medida importante a nivel individual Error de medida importante a nivel centro escolar

15 Hechos destacados en la evaluación educativa
Las pruebas aplicadas en México Clasificación por su impacto El uso inadecuado de la evaluación La evaluación adecuada La evaluación en Ceneval ¿Qué deseamos evaluar? Pero: ¿evaluamos personas porque queremos saber cómo están las personas o evaluamos personas porque queremos saber cómo están los centros o instituciones o más aún el sistema educativo?

16 Uso inadecuado de la información La evaluación como castigo
Hechos destacados en la evaluación educativa Las pruebas aplicadas en México Clasificación por su impacto El uso inadecuado de la evaluación La evaluación adecuada La evaluación en Ceneval Uso inadecuado de la información La evaluación como castigo Pruebas diseñadas para un propósito, pero utilizadas para otro. Obsesión por los rankings

17 Ejemplos de pruebas con un propósito, utilizadas para otro:
Hechos destacados en la evaluación educativa Las pruebas aplicadas en México Clasificación por su impacto El uso inadecuado de la evaluación La evaluación adecuada La evaluación en Ceneval    Ejemplos de pruebas con un propósito, utilizadas para otro: - El Exani que es una prueba de ingreso (alto impacto, no curricular, baja cobertura del dominio evaluado), utilizada para calificar a la institución que hace la admisión. - El IDANIS (prueba de ingreso a la educación secundaria, baja cobertura del dominio evaluado), utilizada para clasificar a los estados de la república.

18 Ejemplos de pruebas con un propósito, utilizadas para otro:
Hechos destacados en la evaluación educativa Las pruebas aplicadas en México Clasificación por su impacto El uso inadecuado de la evaluación La evaluación adecuada La evaluación en Ceneval Ejemplos de pruebas con un propósito, utilizadas para otro: El EGEL que es una prueba de egreso, utilizada para clasificar sin más a las instituciones. - La prueba PISA que es un instrumento matricial que se aplica a una muestra, utilizada para premiar a estudiantes. 17

19 Problemas con los rankings (ordenamientos)
Hechos destacados en la evaluación educativa Las pruebas aplicadas en México Clasificación por su impacto El uso inadecuado de la evaluación La evaluación adecuada La evaluación en Ceneval Problemas con los rankings (ordenamientos) Condiciones para establecer un ranking: Tratar igual a los iguales Contar con el universo completo de los objetos a ser clasificados o contar con muestras representativas (en el sentido técnico de esta expresión) de los grupos de objetos a ser clasificados.

20 Cuatro características esenciales de la evaluación (1)
Hechos destacados en la evaluación educativa Las pruebas aplicadas en México Clasificación por su impacto El uso inadecuado de la evaluación La evaluación adecuada La evaluación en Ceneval Cuatro características esenciales de la evaluación (1) Validez. Las pruebas se diseñan y construyen para medir un dominio perfectamente identificado. La validez de los instrumentos de medición denota la congruencia que existe entre lo que se planeó medir y lo que se midió. Por ello, las inferencias que se realizan de los resultados son indicadores fehacientes del rasgo medido. Confiabilidad. Los resultados de la evaluación son consistentes, de tal forma que los cambios en los niveles de competencia de los sustentantes reflejan cambios en los puntajes obtenidos en la prueba.

21 Cuatro características esenciales de la evaluación (2)
Hechos destacados en la evaluación educativa Las pruebas aplicadas en México Clasificación por su impacto El uso inadecuado de la evaluación La evaluación adecuada La evaluación en Ceneval Cuatro características esenciales de la evaluación (2)    Equidad. Los instrumentos de medición se construyen de forma tal que no benefician a un grupo determinado. Consecuentemente se asume que las diferencias de los puntajes se deben a cambios en los niveles de competencia de los sustentantes, no a factores ligados a otras variables omitidas. Pertinencia. Los instrumentos de medición tienen una cobertura suficiente y relevante de los dominios en los que el sustentante debe mostrar su competencia.

22 En las evaluaciones válidas…
Hechos destacados en la evaluación educativa Las pruebas aplicadas en México Clasificación por su impacto El uso inadecuado de la evaluación La evaluación adecuada La evaluación en Ceneval En las evaluaciones válidas… El propósito de la evaluación está delimitado El dominio que se mide está claramente definido Las características de la población sustentante están identificadas. Los instrumentos se diseñan para dar cumplimiento al propósito de la evaluación. Se cuenta con la evidencia escrita y empírica de la validez de la medición. Las inferencias que se derivan de la evaluación se acotan a las bondades de los instrumentos de medición utilizados.

23 En las evaluaciones confiables… Rinde mediciones equivalentes
Hechos destacados en la evaluación educativa Las pruebas aplicadas en México Clasificación por su impacto El uso inadecuado de la evaluación La evaluación adecuada La evaluación en Ceneval En las evaluaciones confiables… Rinde mediciones equivalentes Se cumple el dictum atribuido a Al Beaton: “If you want to measure change, don’t change the measure”. Hay validez de escala (no hay redundancias ni huecos, se cubre el espectro de la población evaluada y las medidas son cuasiequidistantes).

24 En las evaluaciones equitativas… No hay sesgos: Ideológicos Raciales
Hechos destacados en la evaluación educativa Las pruebas aplicadas en México Clasificación por su impacto El uso inadecuado de la evaluación La evaluación adecuada La evaluación en Ceneval En las evaluaciones equitativas… No hay sesgos: Ideológicos Raciales De género Regionales Existe igualdad en las condiciones de aplicación Se usan procedimientos estandarizados para el manejo del material de examen, la lectura y la calificación.

25 En las evaluaciones pertinentes…
Hechos destacados en la evaluación educativa Las pruebas aplicadas en México Clasificación por su impacto El uso inadecuado de la evaluación La evaluación adecuada La evaluación en Ceneval En las evaluaciones pertinentes… Dependiendo del propósito de la prueba, la relevancia de los contenidos seleccionados para el examen son los esenciales de: La práctica profesional Del currículo académico De la habilidad o competencia

26 Alternativa al ranking
Hechos destacados en la evaluación educativa Las pruebas aplicadas en México Clasificación por su impacto El uso inadecuado de la evaluación La evaluación adecuada La evaluación en Ceneval Alternativa al ranking A efecto de que las instituciones cuenten con parámetros que les permitan compararse con otras instituciones similares o a través del tiempo, se podría: 1. Establecer niveles de desempeño. 2. Definir lo que significa estar en cierto nivel de desempeño.

27 Hechos destacados en la evaluación educativa
Las pruebas aplicadas en México Clasificación por su impacto El uso inadecuado de la evaluación La evaluación adecuada La evaluación en Ceneval Misión del Ceneval El Ceneval es una institución de carácter eminentemente técnico cuya misión es promover la calidad de la educación mediante evaluaciones válidas, confiables y pertinentes de los aprendizajes, que contribuyan a la toma de decisiones fundamentadas, así como la prestación de servicios relacionados. 26

28 Numeralia General 162 Pruebas en operación (instrumentos diferentes):
Hechos destacados en la evaluación educativa Las pruebas aplicadas en México Clasificación por su impacto El uso inadecuado de la evaluación La evaluación adecuada La evaluación en Ceneval Numeralia General Pruebas en operación (instrumentos diferentes): 162 Consejos Técnicos: 38 Consejeros Técnicos: Más de 700 Personal de planta del Ceneval 398 Sustentantes evaluados anualmente: Alrededor de 1,750,000 Aplicaciones al año: 2,800 Piezas impresas anualmente: 11 millones Hojas leídas anualmente: Alrededor de 5 millones Total de sustentantes evaluados desde 1994: Más de 19 millones Piezas impresas desde 1994: 120 millones Hojas leídas desde 1994: 57 millones 27

29 - Reuniones de Consejos Técnicos: 110 - Exámenes aplicados (en papel):
Hechos destacados en la evaluación educativa Las pruebas aplicadas en México Clasificación por su impacto El uso inadecuado de la evaluación La evaluación adecuada La evaluación en Ceneval Numeralia 2006 - Reuniones de Consejos Técnicos: 110 - Exámenes aplicados (en papel): 1,649,888 - Número de aplicaciones: 2,873 - Instrumentos aplicados: 155 - Piezas impresas: 11,110,946 - Hojas leídas: (incluye Comipems) 4,582,000 - Total de exámenes en línea 106,259 28

30 Evaluar... Una buena medida para educar mejor
Hechos destacados en la evaluación educativa Las pruebas aplicadas en México Clasificación por su impacto El uso inadecuado de la evaluación La evaluación adecuada La evaluación en Ceneval Filosofía de trabajo (1) Evaluar... Una buena medida para educar mejor La evaluación es la mejor herramienta para mejorar las instituciones sociales. La evaluación no es un fin en sí mismo, es un medio para otros fines. Evaluar es más que medir pero se necesita medir bien para evaluar mejor. 29

31 Ceneval es una institución técnica
Hechos destacados en la evaluación educativa Las pruebas aplicadas en México Clasificación por su impacto El uso inadecuado de la evaluación La evaluación adecuada La evaluación en Ceneval Filosofía de trabajo (2) Ceneval es una institución técnica Ceneval se reconoce como una institución de carácter técnico, su trabajo y su empeño son técnicos. No es una institución política, ni de opinión, ni responde a consignas, corazonadas o sospechas. Los resultados que entrega y los juicios que emite se fundan en razones técnicas y metodológicas. Ésto obliga a una preparación y actualización constante. El diseño, construcción y operación de los instrumentos debe apegarse a estándares internacionales. Ceneval está obligado a orientar a los usuarios sobre los requisitos técnicos de las pruebas y sobre la mejor forma de interpretar los resultados de las evaluaciones. 30

32 Metodología Ceneval Complementos Diseño Construcción Aplicación
Verificación Ensamble Complementos Aplicación Calificación Reportes Preparación del proyecto Guías para sustentante Diseño de instrumentos Manuales de aplicación Delimitación de contenidos Diccionarios de datos Definición niveles desempeño Rutinas de calificación Planeación operativa Control de material de examen Capacitación de aplicadores Elaboración especificaciones Distribución de materiales Elaboración de reactivos Aplicación del examen Cuestionario de contexto Recopilación y clasificación Revisión técnica Lectura y corrección Validación externa reactivos Calificación sustentantes Revisión de estilo Calibración reactivos Piloteo de reactivos Niveles de logro Calibración reactivos piloto Reportes a sustentantes Integración de versiones Reportes a instituciones Revisión editorial Consolidación bases de datos Impresión Estudios de validación 31 = Cuerpo colegiado

33 El corazón de Ceneval son sus cuerpos colegiados
Hechos destacados en la evaluación educativa Las pruebas aplicadas en México Clasificación por su impacto El uso inadecuado de la evaluación La evaluación adecuada La evaluación en Ceneval Filosofía de trabajo (3) El corazón de Ceneval son sus cuerpos colegiados La validez y la legitimidad de su quehacer descansa en sus órganos colegiados (Consejos Técnicos, Comités Académicos, elaboradores de reactivos, validadores, etc.). Los cuerpos colegiados deben ser representativos y deben de mantenerse renovados. La actividad de sus cuerpos colegiados debe estar reglamentada. 32

34 Organismo rector del examen
Hechos destacados en la evaluación educativa Las pruebas aplicadas en México Clasificación por su impacto El uso inadecuado de la evaluación La evaluación adecuada La evaluación en Ceneval Cuerpos Colegiados Consejo Técnico Organismo rector del examen Comités académicos Función Diseñador Delimitar los contenidos específicos de un examen Elaborador de especificaciones Definir operacionalmente los contenidos específicos del examen Elaborador de reactivos Elaborar los reactivos del examen Validador de reactivos Revisar el contenido y construcción de cada reactivo Delimitador de los puntos de corte Establecer los puntos de corte y definir los niveles de logro

35 Valores fundamentales
Hechos destacados en la evaluación educativa Las pruebas aplicadas en México Clasificación por su impacto El uso inadecuado de la evaluación La evaluación adecuada La evaluación en Ceneval Filosofía de trabajo (4) Valores fundamentales Veracidad en los datos. Respeto a la confidencialidad de los individuos y de las instituciones. Honestidad en el manejo de la información. 34

36 Compromisos del Ceneval
Hechos destacados en la evaluación educativa Las pruebas aplicadas en México Clasificación por su impacto El uso inadecuado de la evaluación La evaluación adecuada La evaluación en Ceneval Compromisos del Ceneval Nueva generación de pruebas Fortalecimiento de los Consejos Técnicos Alta capacidad técnica Atención esmerada 35

37 Mesas de trabajo Hechos destacados en la evaluación educativa
Las pruebas aplicadas en México Clasificación por su impacto El uso inadecuado de la evaluación La evaluación adecuada La evaluación en Ceneval

38 Evaluar... Una buena medida para educar mejor
Muchas gracias Evaluar... Una buena medida para educar mejor