MEDICIÓN DEL DESARROLLO DE CAPACIDADES

Presentación del tema: "MEDICIÓN DEL DESARROLLO DE CAPACIDADES"— Transcripción de la presentación:

1 MEDICIÓN DEL DESARROLLO DE CAPACIDADES
Róger Saavedra Salas 2008

2 EVALUACIÓN DE LOS APRENDIZAJES
Proceso pedagógico, mediante el cual se observa, recoge y analiza información relevante, con la finalidad de reflexionar, emitir juicios de valor y tomar decisiones oportunas y pertinentes para mejorar los procesos de aprendizaje de los estudiantes.

3 EVALUACIÓN DEL DESARROLLO DE CAPACIDADES
Proceso pedagógico, mediante el cual se observa, recoge y analiza información relevante, con la finalidad de reflexionar, emitir juicios de valor y tomar decisiones oportunas y pertinentes para el desarrollo de las capacidades de los estudiantes.

4 MEDICIÓN DEL DESARROLLO DE CAPACIDADES
Proceso pedagógico, mediante el cual se recoge y analiza información relevante asignando números o símbolos a las capacidades desarrolladas de acuerdo a criterios, con la finalidad de reflexionar, emitir juicios de valor y tomar decisiones oportunas y pertinentes para el desarrollo de las capacidades de los estudiantes.

5 Evaluación y Medición del Desarrollo de Capacidades

6 MEDICIÓN EVALUACIÓN Es asignar un número a los niveles de desarrollo de las capacidades de acuerdo a criterios. Compara datos con unos resultados previstos y requiere de procesos de seguimiento. Equivale a un proceder estático. Equivale a un proceder dinámico. Está subsumida en la evaluación. Subsume a la medición, teniendo más extensión. Constituye sólo un medio para valorar. La evaluación es la misma valoración. La medición no implica evaluación. Evaluar implica; entre otras cosas, medir. Es en un solo momento. Entre otras cosas, mide en uno o varios momentos.

7 CAPACIDAD Las capacidades son potencialidades inherentes a la persona y que éstas pueden desarrollarse a lo largo de toda su vida. Ellas se cimentan en la interrelación de los procesos cognitivos, socioafectivos y motores.

8 MODELO DE MEDICIÓN Método para convertir las observaciones en la ejecución de pruebas en mediciones de la capacidad. Construir un prueba que defina una línea. Convertir el resultado de un estudiante en la prueba en una ubicación en esa línea. Medida Capacidad

9 ELABORACIÓN DE PRUEBAS PARA LA MEDICIÓN DEL DESARROLLO DE CAPACIDADES
Tener idea clara de la variable que queremos medir. Se debe construir ítems que sean realizaciones claras de esta idea. Se debe tener evidencia que la variable se realiza a través de los ítems de la prueba. El patrón de respuestas debe ser consistente con nuestras intenciones.

10 CONSTRUCCIÓN DE ÍTEMS QUE DEFINEN LA VARIABLE
Medición del estudiante β Baja Capacidad Alta Capacidad Puntaje Esperado 3 δ1 δ2 δ3 δ4 Ítem Más fácil Ítem Más difícil Calibración de los ítems

11 VALIDANDO LOS PATRONES DE RESPUESTA
1 β Medición estimada del estudiante Calibración de ítems Ítems difíciles Baja Capacidad Alta δ1 δ2 δ3 δ5 δ6 δ7 δ8 δ9 δ10 δ4 Ítems fáciles Patrón A: Puntaje=6 Medición estimada del estudiante Calibración de ítems Ítems difíciles Baja Capacidad Alta δ1 δ2 δ3 δ5 δ6 δ7 δ8 δ9 δ10 δ4 Ítems fáciles 1 Patrón B: Puntaje=6 1=Respuesta correcta 0=Respuesta incorrecta δ= Ítems de la Prueba Puntaje= Suma de respuestas Correctas. ¿Aquí?

12 ÍTEM DE PREDICCIÓN 1. En el punto de ebullición del agua, la presión atmosférica es igual a la presión de vapor: Patm.=Pvap. La presión atmosférica (Patm.) está determinada por el número de colisiones de las moléculas de aire de la atmósfera a la superficie de la tierra (superficie del agua en el vaso) por unidad de área. La presión de vapor del agua (Pvap.) está determinada por el número de colisiones de las moléculas del vapor de agua cuando sale del recipiente, por unidad de área. El calentamiento aumenta el número de colisiones de las moléculas El agua hierve en Lima a 100ºC y en Huancayo a 90ºC porque: La presión de vapor en Lima es igual a la presión de vapor en Huancayo. La presión atmosférica en Lima es mayor que la presión atmosférica en Huancayo. La presión atmosférica en Lima es menor que la presión atmosférica en Huancayo. La temperatura en Lima es mayor que la temperatura en Huancayo.

13 CLASIFICACIÓN DE FORMATOS
Velocidad Proyectivas Estructuradas Aplicación individual Aplicación colectiva Ejecución Lápiz y papel Ejecución típica Ejecución máxima Poder Respuesta libre Respuesta Alternativa PRUEBA DE: Tipo de respuesta Calificación Presencia o Ausencia de Intervención Forma de Aplicación Claridad de estímulos y tareas Presentación y forma de respuesta 4° FORMATO POR:

14 DEFINICIÓN DE LA VARIABLE A SER EVALUADA
Variable: Capacidad Evaluada Comprensión Lectora: Capacidad que se manifiesta mediante la activación de procesos cognitivos para la comprensión de textos escritos en los niveles literal, inferencial y reflexivo1. Comprensión Lectora La medida 1. El nivel reflexivo de la capacidad no será evaluada por el formato del instrumento

15 NIVELES DE COMPRENSIÓN LECTORA
Nivel Literal.- El lector obtiene información que se encuentra de manera literal en el texto. Nivel Inferencial.- El lector obtiene información más allá de la superficie del texto y llena los “vacíos” de significado. Nivel Reflexivo.- El lector examina las ideas propuestas en el texto o los recursos utilizados por el autor para transmitir para transmitir ese significado, y juzgar sin son adecuados o no.

16 CAPACIDADES Y NIVEL LITERAL DE COMPRENSIÓN LECTORA
Identifica datos y hechos específicos expresados en una, dos o más proposiciones: el estudiante identifica datos, hechos relevantes en diversos tipos de textos. Identifica ideas específicas en diversos tipos de textos: el estudiante localiza ideas específicas expresadas en una, dos o más proposiciones en diversos tipos de textos.

17 CAPACIDADES Y NIVEL INFERENCIAL DE COMPRENSIÓN LECTORA
Reconoce relaciones semánticas implícitas entre dos o más proposiciones . Identifica referentes de distinto tipo. Reconoce el significado de palabras o expresiones a partir de lo leído. Reconoce el tema central y las ideas principales del texto. Deduce el propósito del texto. Deduce el receptor implícito del texto.

18 CAPACIDADES Y NIVEL REFLEXIVO DE COMPRENSIÓN LECTORA
Evalúa el contenido del texto: el estudiante interpreta afirmaciones del texto y evalúa su contenido. Los estudiantes contrapesan su comprensión del texto con su conocimiento del mundo con la finalidad de rechazar, aceptar o permanecer neutrales frente a las ideas que se plantean en el texto. Identifica y evalúa recursos formales: El estudiante reflexiona y evalúa los recursos formales que usa el autor para transmitir el significado de su texto y para tratar de influir en el receptor (tales como el estilo y el uso de signos gráficos) .

19 MATRIZ PARA LA ELABORACIÓN DE LA PRUEBA
CAPACIDADES INDICADORES ITEMS POR INDICADOR 1. Obtiene información explícita. 1.1. Identifica ideas específicas expresadas en una, dos o más proposiciones. 12 2. Hace inferencias 2.1. Reconoce relaciones semánticas implícitas entre dos o más proposiciones. 7 2.2. Identifica referentes de distinto tipo. 3 2.3.Reconoce el significado de palabras o expresiones a partir de lo leído. 4 2.4. Reconoce el tema central y las ideas principales del texto. 2.5. Deduce el propósito del texto 5 2.6. Deduce el receptor implícito del texto 1 3. Reflexiona y evalúa. 3.1. Evalúa el contenido del texto 3.2. Identifica y evalúa recursos formales

20 MODELO DE EVALUACIÓN

21 Texto 1: Lee y observa el siguiente texto con mucha atención.
La peregrinación comienza con la visita a la mezquita del profeta Mahoma, en la ciudad de Medina, donde se encuentra su tumba. Desde ahí, los devotos se dirigen a la Mina y luego hacia la efímera ciudad de Arafat, situada a 20 kilómetros de la Meca. Sus dos millones y medio de habitantes -todos fieles peregrinos- solo viven en ella un día y la abandonan antes de que llegue la noche. Tras la puesta del Sol, la multitud regresa a la Mina, donde se preparan para la fiesta del Sacrificio.

22 NIVEL LITERAL DE COMPRENSIÓN LECTORA
Capacidad: Obtiene información explícita del texto. Indicador: Identifica ideas específicas en una o más proposiciones: Ítem: ¿Dónde se realizan los rituales de la Kaaba y del Sai? a) En la ciudad de la Mina. b) En la ciudad de Arafat. c) En la ciudad de la Meca. d) En la ciudad de Medina.

23 NIVEL INFERENCIAL DE COMPRENSIÓN LECTORA
Capacidad:Hace inferencias. Indicador: Deduce el significado de palabras o expresiones a partir de lo leido. Ítem: ¿Qué significa la expresión “la efímera ciudad de arafat” del texto? a) Que sus dos millones y medio de habitantes son todos fieles peregrinos. b) Que sus dos millones y medio de habitantes viven en ella solo un día. c) Que es una ciudad situada sólo a 20 kilómetros de la ciudad de la Meca. d) Que es una ciudad muy pobrey sus habitantes no permanecen en ella.

24 METODOLOGÍAS DE MEDICIÓN
TEORÍA CLÁSICA DE LOS TEST TEORÍA DE RESPUESTA AL ÍTEM Considera sólo las puntuaciones obtenidas por los estudiantes evaluados en cada ítem y en toda la prueba. Las puntuaciones de los estudiantes obtenidas en la prueba y la capacidad evaluada se relacionan en forma lineal. Los parámetros obtenidos para describir los ítems dependen de la muestra de estudiantes para los cuales fueron calculados. La ejecución de un estudiante en una prueba puede predecirse, explicarse por un conjunto de factores llamados habilidades. La relación entre la ejecución del estudiante y las habilidades que la sustentan por una función monotónicamente creciente llamada “curva característica del ítem” (CCI). Unidimensionalidad: Se asume que cuando se diseña una prueba, esta deberá medir, preferiblemente, una dimensión, una habilidad. Independencia local: Un estudiante responde a un ítem en particular sin recurrir a la información de otros ítmes para hacerlo correctamente.

25 RELACIÓN ENTRE LAS PUNTUACIONES DE LOS ESTUDIANTES Y LA CAPACIDAD

26 1. DIFICULTAD DEL ÍTEM a P = 0 ≤ P ≤ 1 n
La dificultad del ítem ( P ) se define como la probabilidad de acierto o la probabilidad de que el estudiante responda correctamente el ìtem. a P = n 0 ≤ P ≤ 1 a - número de aciertos al ítem n – número de estudiantes que respondieron al ítem P – índice de dificultad del ítem. Donde:

27 Prueba difícil estrecho
DEPENDENCIA DE LOS PUNTAJES DEL NIVEL Y DISTRIBUCIÓN DE DIFICULTAES DE LOS ÍTEMS Prueba muy fácil Puntaje Esperado 8 β Estudiante δ1 δ8 Prueba muy difícil Puntaje Esperado β Estudiante δ1 δ8 Prueba difícil estrecho Puntaje Esperado 1 Estudiante δ1 δ8 β Estudiante β Prueba fácil estrecho Puntaje Esperado 7 δ1 δ8 Prueba fácil amplio Puntaje Esperado 5 Estudiante δ1 δ2 δ3 δ4 δ7 δ8 β

28 2. ÍNDICE DEDISCRIMINACIÓN DEL ÍTEM
Si la prueba y un ítem miden la misma habilidad o capacidad, podemos esperar que, quien tuvo una puntuación alta en todo el test, deberá tener altas probabilidades de contestar correctamente el ítem. Di = GAaciertos - GBaciertos Ngrupomayor GAaciertos : Número de aciertos al ítem “i” del 27 % de estudiantes con las puntuaciones más altas de la prueba. GBaciertos : Número de aciertos al ítem “i” del 27 % de estudiantes con las puntuaciones más bajas de la prueba. Ngrupomayor : Número de estudiantes en el grupo más numeroso.

29 CRITERIOS DE SELECCIÓN DE ÍTEMS
Criterios de selección de Ítems por Discriminación Calidad Recomendaciones Mayor a 0.39 Excelente Conservar De 0.30 a 0.39 Buena Posibilidades de mejorar De 0.20 a 0.29 Regular Necesidad de revisar De 0 a 0.20 Pobre Descartar o necesidad de revisar Menor a -0.01 Pésima Descartar definitivamente

30 3. COEFICIENTE DE DISCRIMINACIÓN
El coeficiente de discriminación se define a través de la correlación biseral puntual (ρ). La correlación biseral puntual es el grado de asociación entre la puntuación dei ítem y la puntuación total de la prueba. Se calcula por la fórmula: Si la correlación biseral puntual (ρ) es mayor que 0.2, concluimos que la prueba discrimina adecuadamente.

31 3. CONFIABILIDAD DE LA PRUEBA
La confiabilidad de la prueba se determina a través del alfa de Crombach( ). Con este indicador se determina qué tan confiables son las puntuaciones obtenidas por los estudiantes. Se calcula por la fórmula: Para que las puntuaciones obtenidas por los estudianes sean confiables desde la perspectiva de la TCT, lo recomendable es que el ( ) de Crombach sea duperior a 0.6 y que se aproxime a 1.

32 LA NO LINEARIDAD DE LOS PUNTAJES Diferencia de puntajes:
Prueba I δ3 δ4 δ8 δ1 δ6 Diferencia de puntajes: 8-0=8 Puntaje Esperado βA 8 βB Prueba V δ2 δ7 δ5 6-4=2 4 6 Prueba IV 4-4=0 Prueba II 8-8=0 Prueba III 0-0=0 δ2 δ5 δ7 δ1 δ3 δ6 δ8 δ8

33 NIVELES DE DESEMPEÑO SUFICIENTE BÁSICO PREVIO
Nivel suficiente: Los estudiantes ubicados en este nivel demuestran el desarrollo adecuado de las capacidades evaluadas para el grado. No son estudiantes destacados los que predominan en este nivel, sino los estudiantes que han alcanzado lo establecido para el grado. Nivel básico: Los estudiantes agrupados en este nivel demuestran un desarrollo incipiente o elemental de las capacidades esperadas para el grado. Esto quiere decir que han desarrollado parcialmente la capacidad. Nivel previo: Los estudiantes de este nivel demuestran el desarrollo de las capacidades esperadas para grados anteriores.Esto quiere decir, que a pesar de que se encuentran en el grado indicado, solo tienen las capacidades que ya han trabajado en grados anteriores. SUFICIENTE BÁSICO PREVIO

34 NIVEL BÁSICO EN LA PRUEBA DE COMPRENSIÓN LECTORA
Obtienen información que se encuentra en partes evidentes del texto. Además, el texto no presenta contenidos en disputa que desvíen la atención del estudiante en la identificación y selección de la información. Interpretan el significado de palabras o símbolos a partir del contexto de la lectura y de su conocimiento del mundo.Estos símbolos o palabras que son utilizados varias veces a lo largo del texto y/o son fundamentales para la comprensión del párrafo en el que aparecen o en todo el texto. Identifican el tema general del texto entre varias alternativas y/o eligen un título que engloba el contenido general del texto. Deducen a quien se dirige el texto aun cuando el receptor se encuentra implícito.

35 NIVEL INTERMEDIO EN LA PRUEBA DE COMPRENSIÓN LECTORA
Obtienen información explícita que se encuentra en partes no tan evidentes del texto y cuya recuperación requiere – en muchos casos- más de un solo paso, es decir, ubican el dato solicitado de manera indirecta. Además, el texto presenta una mayor extensión y cantidad de contenidos en disputa con la alternativa correcta lo que dificulta la tarea. Interpretan el mensaje implícito del texto, para lo que deben inferir las ideas que no son manifiestas en la superficie del escrito. Interpretan el significado de palabras del texto poco conocidas en su entorno escolar a partir del contexto de la lectura, lo que involucra comprender el texto en su conjunto y/o tener una mayor experiencia lectora. Deducen el propósito de textos comunes en la vida cotidiana de los estudiantes y que presentan contenidos que le son familiares, como afiches o recibos. El estudiante necesita tomar cierta distancia del texto para evaluarlo de manera global y poder calcular, con qué intención fue producido, lo que implica cierto nivel de abstracción. Interpretan las acciones de los personajes y el final de los textos narrativos literarios lo que implica hacer inferencias- a partir de los hechos del texto y con ayuda de sus conocimientos sobre el mundo- para llenar los vacíos de significado.

36 NIVEL SUFICIENTE EN LA PRUEBA DE COMPRENSIÓN LECTORA
Obtienen información explícita que se encuentra en partes incrustadas del texto y cuya recuperación requiere varios pasos, es decir, ubican el dato solicitado de manera indirecta. Además, el texto presenta muchos contenidos en disputa con la alternativa correcta lo que dificulta la tarea. Deducen el propósito con el cual el autor escribió el texto. En este sentido los estudiantes deben calibrar la intención del emisor del mensaje, deben ser capaces de descentrarse y – desde el punto de vista del autor- comprender para qué fue escrito el texto, determinar qué quería lograr en el receptor del mensaje. Hacen inferencias en las que se deben interpretar metáforas y diferenciar el discurso del narrador omnisciente del cuento de los hechos narrados por éste, lo que implica un mayor nivel de abstracción.

37 RESULTADOS POR NIVELES DE DESEMPEÑO

38 TEORÍA DE RESPUESTA AL ÍTEM
La ejecución de un estudiante en una prueba puede predecirse, explicarse por un conjunto de factores llamados habilidades. La relación entre la ejecución del estudiante y las habilidades que la sustentan por una función monotónicamente creciente llamada “curva característica del ítem” (CCI). Unidimensionalidad: Se asume que cuando se diseña una prueba, esta deberá medir, preferiblemente, una dimensión, una habilidad. Independencia local: Un estudiante responde a un ítem en particular sin recurrir a la información de otros ítmes para hacerlo correctamente.

39 δt χνt βν CONDICIONES ESENCIALES QUE CAUSAN UNA RESPUESTA
Dificultad de Ítem δt Capacidad del estudiante βν χνt Respuesta observada Cuando la respuesta es “correcta”, X=1 Cuando la respuesta es “incorrecta”, X=0

40 βν > δt βν < δt βν = δt
EFECTOS DE LAS DIFERENCIAS ENTRE LA CAPACIDAD DEL ESTUDIANTE Y LA DIFICULTAD DEL ÌTEM EN LA PROBABILIDAD DE UNA RESPUESTA CORRECTA βν δt (βν-δt)>0 y P{Xvt=1} >1/2 Cuando βν > δt (βν-δt) < 0 y P{Xvt=1} < 1/2 βν < δt (βν-δt)=0 y P{Xvt=1} = 1/2 βν = δt

41 CURVA DE RESPUESTA AL ÍTEM
0.0 0.5 1.0 Posición relativa de βν y δt sobre la variable. P{Xvt=1| βν,δt} = ƒ(βν-δt) P{Xvt=1} >1/2 P{Xvt=1}< 1/2 P

42 MODELO RASCH PARA CALIBRAR Y MEDIR
La respuesta Xvt=1 toma únicamente dos valores, Xvt=0 cuando la respuesta es incorrecta y Xvt=1 cuando la respuesta es correcta. P{Xvt| βν,δt} = e Xvt(βν-δt) 1+ (βν-δt) (1) Sustituyendo los valores anteriores en la ecuación (1) se obtienen las ecuaciones: P{Xvt=1| βν,δt}= (2) P{Xvt=0|βν,δt}= (3) 1 Para una respuesta correcta Para una respuesta incorrecta

43 RELACIÓN ENTRE LAS PROBABILIDADES DE RESPUESTA Y LA CAPACIDAD