La descarga está en progreso. Por favor, espere

La descarga está en progreso. Por favor, espere

IX Congreso de Metodología de Investigación en Ciencias Sociales y de la Salud Granada, septiembre de 2005 Evaluación Entre Iguales en el Espacio Europeo.

Presentaciones similares


Presentación del tema: "IX Congreso de Metodología de Investigación en Ciencias Sociales y de la Salud Granada, septiembre de 2005 Evaluación Entre Iguales en el Espacio Europeo."— Transcripción de la presentación:

1 IX Congreso de Metodología de Investigación en Ciencias Sociales y de la Salud
Granada, septiembre de 2005 Evaluación Entre Iguales en el Espacio Europeo de Educación Superior: Dinámicas del poder y el género Mª Angeles Rebollo y Rafael García Universidad de Sevilla

2 Peer evaluation (Leathwood, 2005; Lagan, 2005; Falchicov, 2005)
Marco teórico y contextos de referencia Proyectos e Iniciativas Antecedentes científicos Contexto Institucional Espacio Europeo (EEES) ICE 2002 UCUA 2003 SIC/US Teoría Sociocultural Objetivos formativos Modelos Pedagógicos Metodología y procedimientos de evaluación Modelos pedagógicos ECTS. - Plan de Actividades - Evaluación de Competencias Cambio de roles Enseñanza Recíproca Evaluación entre iguales Peer evaluation (Leathwood, 2005; Lagan, 2005; Falchicov, 2005) Assessment and Evaluation in Higher Education

3 Objetivos del estudio 1. Elaboración de indicadores de evaluación de competencias 2. Construcción y validación de instrumentos 3. Experimentación de sistemas de evaluación en el aula 4. Identificación de factores intervinientes en la evaluación

4 Material y Método

5 APLICACIÓN 1 Instrumentación, organización, resultados y valoraciones
respecto de las experiencias desarrolladas en la APLICACIÓN 1

6 Escala de estimación de Comunicación Científicas”
competencias sobre “Documentación y Comunicación Científicas” Elaborada por Mª Angeles Rebollo para la asignatura Métodos de Investigación en Educación

7 Dimensiones didácticas del instrumento (1/2)
Escala de estimación: 12 ítems Competencias Específicas Factor 1 DOMINIO Factor 2 COMUNICACIÓN Factor 3 RELEVANCIA Factor 4 DISEÑO 1 2 3 4 5 6 7 8 9 10 11 12

8 Dimensiones didácticas del instrumento (2/2)
Escala de estimación: 12 ítems Competencias Genéricas Factor A COMPETENCIA CIENTÍFICA Factor B CAPACIDAD FORMATIVA 1 2 3 4 5 6 7 8 9 10 11 12

9 Validez y fiabilidad de las dimensiones
Factor 1 DOMINIO Factor 2 COMUNICACIÓN Factor 3 RELEVANCIA Factor 4 DISEÑO

10 Validez y fiabilidad de las dimensiones
Factor A COMPETENCIA CIENTÍFICA Factor B CAPACIDAD FORMATIVA P. Global Docum. y comun. Científicas

11 de exposición/observación por jueces (prof+alum)
Estructura y organización empírica de las observaciones Primera sesión de exposición/observación por jueces (prof+alum) Segunda sesión Grupos que exponen (5) exponen 27 Jueces/ Observadores 25 Jueces/ 1 NP 3 4 5 6 7 8 9 10 11 1 (prof) 2 12 13 14 15 16 17 18 19 20 -- 36 37 38 39 40 21 25 26 27 28 29 30 31 32 33 34 35 Se rechazan las estimaciones de 20 alum. de 19 alum.

12 de exposición/observación por jueces (prof+alum)
Dimensionalidad y Consistencia de las estimaciones Primera sesión de exposición/observación por jueces (prof+alum) Segunda sesión

13 Las puntuaciones de los jueces ofrecen altos niveles de saturación
en el componente principal que se extrae cada muestra de datos

14 Dimensionalidad y Consistencia de las estimaciones
Primera sesión de exposición/observación por jueces Segunda sesión de exposición/observación por jueces Item-total Statistics Scale Scale Corrected Mean Variance Item Squared Alpha if Item if Item Total Multiple if Item Deleted Deleted Correlation Correlation Deleted JUEZ , , , , ,5473 JUEZ , , , , ,6862 JUEZ , , , , ,7352 JUEZ , , , , ,6420 JUEZ , , , , ,7186 Reliability Coefficients items Alpha = , Standardized item alpha = ,7136 JUEZ , , , , ,7537 JUEZ , , , , ,7999 JUEZ , , , , ,7969 JUEZ , , , , ,7561 JUEZ , , , , ,7617 JUEZ , , , , ,7810 JUEZ , , , , ,7820 JUEZ , , , , ,7740 Reliability Coefficients items Alpha = , Standardized item alpha = ,8094

15 Resultados de la evaluación recíproca de los grupos:
Diagnóstico global para el aula respecto al desarrollo de las competencias específicas en la actividad educativa

16 Resultados de la evaluación recíproca de los grupos:
Diagnóstico global para el aula respecto al desarrollo de las competencias genéricas en la materia educativa

17 Resultados de la evaluación recíproca de los grupos:
Diagnóstico global para el aula respecto al desarrollo de la competencia genérica global en la actividad de “DOCUMENTACIÓN Y COMUNICACIÓN CIENTÍFICAS”

18 Resultados de la evaluación recíproca de los grupos:
Perfil diagnóstico específico de cada grupo del aula sobre desarrollo de competencias específicas y genéricas en “DOCUMENTACIÓN Y COMUNICACIÓN CIENTÍFICAS”

19 Resultados de la evaluación recíproca de los grupos:
Perfil diagnóstico específico de cada grupo del aula sobre desarrollo de competencias específicas y genéricas en “DOCUMENTACIÓN Y COMUNICACIÓN CIENTÍFICAS”

20 Resultados de la evaluación recíproca de los grupos:
Perfil diagnóstico específico de cada grupo del aula sobre desarrollo de competencias específicas y genéricas en “DOCUMENTACIÓN Y COMUNICACIÓN CIENTÍFICAS”

21 Resultados de la evaluación recíproca de los grupos:
Perfil diagnóstico específico de cada grupo del aula sobre desarrollo de competencias específicas y genéricas en “DOCUMENTACIÓN Y COMUNICACIÓN CIENTÍFICAS”

22 Resultados de la evaluación recíproca de los grupos:
Perfil diagnóstico específico de cada grupo del aula sobre desarrollo de competencias específicas y genéricas en “DOCUMENTACIÓN Y COMUNICACIÓN CIENTÍFICAS”

23 Resultados de la evaluación recíproca de los grupos:
Perfil diagnóstico específico de cada grupo del aula sobre desarrollo de competencias específicas y genéricas en “DOCUMENTACIÓN Y COMUNICACIÓN CIENTÍFICAS”

24 Resultados de la evaluación recíproca de los grupos:
Perfil diagnóstico específico de cada grupo del aula sobre desarrollo de competencias específicas y genéricas en “DOCUMENTACIÓN Y COMUNICACIÓN CIENTÍFICAS”

25 Resultados de la evaluación recíproca de los grupos:
Perfil diagnóstico específico de cada grupo del aula sobre desarrollo de competencias específicas y genéricas en “DOCUMENTACIÓN Y COMUNICACIÓN CIENTÍFICAS”

26 Resultados de la evaluación recíproca de los grupos:
Perfil diagnóstico específico de cada grupo del aula sobre desarrollo de competencias específicas y genéricas en “DOCUMENTACIÓN Y COMUNICACIÓN CIENTÍFICAS”

27 Resultados de la evaluación recíproca de los grupos:
Perfil diagnóstico específico de cada grupo del aula sobre desarrollo de competencias específicas y genéricas en “DOCUMENTACIÓN Y COMUNICACIÓN CIENTÍFICAS”

28 de exposición/observación por jueces (prof+alum)
Participación en el desarrollo empírico de las observaciones Primera sesión de exposición/observación por jueces (prof+alum) Segunda sesión Grupos que exponen Jueces/ Observadores 1 NP 3 4 5 6 7 8 9 10 11 1 (prof) 2 12 13 14 15 16 17 18 19 20 -- 36 37 38 39 40 21 25 26 27 28 29 30 31 32 33 34 35 35 alumnos/as no asumen la actividad 32 alumnos/as

29 APLICACIÓN 2 Instrumentación, organización, resultados y valoraciones
respecto de las experiencias desarrolladas en la APLICACIÓN 2

30 Escala de estimación de la calidad de las páginas web
científico-educativas Elaborada por Rafael García para la asignatura Técnicas e Instrumentos de Diagnóstico Dimensiones a estudiar: * Estimaciones de puntuación global según el instrumento de evaluación del diseño web * Actitudes hacia la calidad según las puntuaciones del diferencial semántico

31 Calificaciones finales ofrecidas por cada grupo a los demás

32 ¿Casualidad o cuestiones de género y dinámicas de
Curioseando y descubriendo un problema Se observa que los grupos cuyas evaluaciones no se muestran consistentes con el conjunto de estimaciones (bajas saturaciones en la D1) son aquellos en los que la composición incluye hombres ¿Casualidad o cuestiones de género y dinámicas de poder ante la evaluación recíproca entre iguales?...

33 Planteando un nuevo estudio para indagar más...
Diseño descriptivo/comparativo ex-post-facto: Se procede a estudiar la muestra de estimaciones realizadas por hombres y mujeres en la evaluación recíproca N: 1980 evaluaciones recíprocas (237 de hombres, 1743 de mujeres). Selección muestral de observaciones: n = 441(nH + nM) observaciones totales estudiadas considerando para ambos sexos su representación en el estudio nH: Todas las estimaciones de hombres nM: muestreo por conglomerados elegidos al azar sistemático (204) Técnicas analíticas: Diagramas de caja y bigote compuestos según sexo Consideración de la composición del grupo valorado (mixto, ...) para identificar posibles factores intervinientes en la diferencia estimativa Contraste por sexo Interacciones con la /objeto evaluado

34 Resultados de la puntuación de cada sexo a los grupos

35 Resultados de la actitud de cada sexo a los grupos

36 Resultados según el sexo del grupo/objeto evaluado

37 Resultados según el sexo del grupo/objeto evaluado

38 Resultados según el sexo del grupo/objeto evaluado

39 Resultados según el sexo del grupo/objeto evaluado

40 Resultados globales según el sexo del evaluador

41 Resultados globales según el sexo del evaluador

42 Resultados según el sexo del evaluador para el 14
Punto de corte de la actitud Punto de corte nivel de aprobado

43 Prueba de contraste según el sexo del evaluador

44 Los hombres estiman puntuaciones más altas que las mujeres, cualquiera que sea el sexo del grupo evaluado Los datos se ajustan en función de las diferencias de género del evaluador y no en función del género del grupo evaluado

45 Finalizando Conclusiones a debate:
*Contamos con instrumentos y procedimientos útiles a la evaluación recíproca entre iguales (peer assessment), aunque se detectan inconsistencias en las valoraciones de grupo que implican “negociar” puntuaciones entre los hombres y las mujeres *Existen diferencias estadísticamente significativas entre las estimaciones realizadas por hombres y mujeres lo que coincide con la tendencia establecida en la literatura especializada en los procesos de evaluación recíproca *Las mujeres se ajustan mejor al sistema de observación establecido, siguiendo los criterios desarrollados en el aula y el procedimiento instrumental establecido *Los hombres tienden a desarrollar estimaciones más elevadas de lo razonable, como demuestra el análisis que determina que incluso han “aprobado” a un grupo claramente suspenso en la actividad valorada (web) *Ambos grupos desarrollan estimaciones consistentes dentro de la tendencia señalada, no se encuentran valoraciones significativamente diferentes en función del sexo del grupo/objeto (mujeres/mixto) evaluado


Descargar ppt "IX Congreso de Metodología de Investigación en Ciencias Sociales y de la Salud Granada, septiembre de 2005 Evaluación Entre Iguales en el Espacio Europeo."

Presentaciones similares


Anuncios Google