La descarga está en progreso. Por favor, espere

La descarga está en progreso. Por favor, espere

IX Congreso de Metodología de Investigación en Ciencias Sociales y de la Salud Evaluación Entre Iguales en el Espacio Europeo de Educación Superior: Dinámicas.

Presentaciones similares


Presentación del tema: "IX Congreso de Metodología de Investigación en Ciencias Sociales y de la Salud Evaluación Entre Iguales en el Espacio Europeo de Educación Superior: Dinámicas."— Transcripción de la presentación:

1 IX Congreso de Metodología de Investigación en Ciencias Sociales y de la Salud Evaluación Entre Iguales en el Espacio Europeo de Educación Superior: Dinámicas del poder y el género Granada, septiembre de 2005 Mª Angeles Rebollo y Rafael García Universidad de Sevilla

2 Marco teórico y contextos de referencia Contexto Institucional Proyectos e Iniciativas Antecedentes científicos Espacio Europeo (EEES) ICE 2002 UCUA 2003 SIC/US Teoría Sociocultura l Objetivos formativos Modelos Pedagógicos Metodología y procedimientos de evaluación Modelos pedagógicos ECTS. - Plan de Actividades - Evaluación de Competencias Cambio de roles Enseñanza Recíproca Evaluación entre iguales Peer evaluation (Leathwood, 2005; Lagan, 2005; Falchicov, 2005) Assessment and Evaluation in Higher Education

3 Objetivos del estudio 2. Construcción y validación de instrumentos 1. Elaboración de indicadores de evaluación de competencias 4. Identificación de factores intervinientes en la evaluación 3. Experimentación de sistemas de evaluación en el aula

4 Material y Método

5 Instrumentación, organización, resultados y valoraciones respecto de las experiencias desarrolladas en la APLICACIÓN 1

6 Escala de estimación de competencias sobre Documentación y Comunicación Científicas Elaborada por Mª Angeles Rebollo para la asignatura Métodos de Investigación en Educación

7 Escala de estimación: 12 ítems Competencias Específicas Factor 2 COMUNICACIÓN Factor 3 RELEVANCIA Factor 4 DISEÑO Factor 1 DOMINIO Dimensiones didácticas del instrumento (1/2)

8 Escala de estimación: 12 ítems Competencias Genéricas Factor B CAPACIDAD FORMATIVA Factor A COMPETENCIA CIENTÍFICA Dimensiones didácticas del instrumento (2/2)

9 Validez y fiabilidad de las dimensiones Factor 2 COMUNICACIÓN Factor 3 RELEVANCIA Factor 4 DISEÑO Factor 1 DOMINIO

10 Validez y fiabilidad de las dimensiones Factor B CAPACIDAD FORMATIVA Factor A COMPETENCIA CIENTÍFICA P. Global Docum. y comun. Científicas

11 Estructura y organización empírica de las observaciones Primera sesión de exposición/observación por jueces (prof+alum) Segunda sesión de exposición/observación por jueces (prof+alum) Grupos que exponen (5) Grupos que exponen 27 Jueces/ Observadores 25 Jueces/ Observadores 1 NP NP 1 (prof) (prof) Se rechazan las estimaciones de 20 alum. Se rechazan las estimaciones de 19 alum.

12 Dimensionalidad y Consistencia de las estimaciones Primera sesión de exposición/observación por jueces (prof+alum) Segunda sesión de exposición/observación por jueces (prof+alum)

13 Las puntuaciones de los jueces ofrecen altos niveles de saturación en el componente principal que se extrae cada muestra de datos

14 Dimensionalidad y Consistencia de las estimaciones Primera sesión de exposición/observación por jueces Segunda sesión de exposición/observación por jueces Item-total Statistics Scale Scale Corrected Mean Variance Item- Squared Alpha if Item if Item Total Multiple if Item Deleted Deleted Correlation Correlation Deleted JUEZ1 13,5333 2,6713,7507,5826,5473 JUEZ3 13,9333 3,9264,4681,2325,6862 JUEZ9 13,1333 4,7402,3126,1828,7352 JUEZ10 13,6333 3,1368,5793,4543,6420 JUEZ38 13,1000 4,6448,3842,1660,7186 Reliability Coefficients 5 items Alpha =,7261 Standardized item alpha =,7136 Item-total Statistics Scale Scale Corrected Mean Variance Item- Squared Alpha if Item if Item Total Multiple if Item Deleted Deleted Correlation Correlation Deleted JUEZ1 24,3611 6,9802,6394,4908,7537 JUEZ6 23,4722 8,4849,3377,2946,7999 JUEZ12 24,0278 7,8563,3948,3286,7969 JUEZ13 23,5556 7,3968,6378,5041,7561 JUEZ18 23,6667 7,3714,5983,5639,7617 JUEZ21 23,6389 7,7230,4817,5355,7810 JUEZ30 23,1667 8,7143,5668,4237,7820 JUEZ32 23,5000 7,7429,5245,3782,7740 Reliability Coefficients 8 items Alpha =,7989 Standardized item alpha =,8094

15 Resultados de la evaluación recíproca de los grupos: Diagnóstico global para el aula respecto al desarrollo de las competencias específicas en la actividad educativa

16 Resultados de la evaluación recíproca de los grupos: Diagnóstico global para el aula respecto al desarrollo de las competencias genéricas en la materia educativa

17 Resultados de la evaluación recíproca de los grupos: Diagnóstico global para el aula respecto al desarrollo de la competencia genérica global en la actividad de DOCUMENTACIÓN Y COMUNICACIÓN CIENTÍFICAS

18 Resultados de la evaluación recíproca de los grupos: Perfil diagnóstico específico de cada grupo del aula sobre desarrollo de competencias específicas y genéricas en DOCUMENTACIÓN Y COMUNICACIÓN CIENTÍFICAS

19 Resultados de la evaluación recíproca de los grupos: Perfil diagnóstico específico de cada grupo del aula sobre desarrollo de competencias específicas y genéricas en DOCUMENTACIÓN Y COMUNICACIÓN CIENTÍFICAS

20 Resultados de la evaluación recíproca de los grupos: Perfil diagnóstico específico de cada grupo del aula sobre desarrollo de competencias específicas y genéricas en DOCUMENTACIÓN Y COMUNICACIÓN CIENTÍFICAS

21 Resultados de la evaluación recíproca de los grupos: Perfil diagnóstico específico de cada grupo del aula sobre desarrollo de competencias específicas y genéricas en DOCUMENTACIÓN Y COMUNICACIÓN CIENTÍFICAS

22 Resultados de la evaluación recíproca de los grupos: Perfil diagnóstico específico de cada grupo del aula sobre desarrollo de competencias específicas y genéricas en DOCUMENTACIÓN Y COMUNICACIÓN CIENTÍFICAS

23 Resultados de la evaluación recíproca de los grupos: Perfil diagnóstico específico de cada grupo del aula sobre desarrollo de competencias específicas y genéricas en DOCUMENTACIÓN Y COMUNICACIÓN CIENTÍFICAS

24 Resultados de la evaluación recíproca de los grupos: Perfil diagnóstico específico de cada grupo del aula sobre desarrollo de competencias específicas y genéricas en DOCUMENTACIÓN Y COMUNICACIÓN CIENTÍFICAS

25 Resultados de la evaluación recíproca de los grupos: Perfil diagnóstico específico de cada grupo del aula sobre desarrollo de competencias específicas y genéricas en DOCUMENTACIÓN Y COMUNICACIÓN CIENTÍFICAS

26 Resultados de la evaluación recíproca de los grupos: Perfil diagnóstico específico de cada grupo del aula sobre desarrollo de competencias específicas y genéricas en DOCUMENTACIÓN Y COMUNICACIÓN CIENTÍFICAS

27 Resultados de la evaluación recíproca de los grupos: Perfil diagnóstico específico de cada grupo del aula sobre desarrollo de competencias específicas y genéricas en DOCUMENTACIÓN Y COMUNICACIÓN CIENTÍFICAS

28 Participación en el desarrollo empírico de las observaciones Primera sesión de exposición/observación por jueces (prof+alum) Segunda sesión de exposición/observación por jueces (prof+alum) Grupos que exponen Grupos que exponen Jueces/ Observadores Jueces/ Observadores 1 NP NP 1 (prof) (prof) alumnos/as no asumen la actividad 32 alumnos/as no asumen la actividad

29 Instrumentación, organización, resultados y valoraciones respecto de las experiencias desarrolladas en la APLICACIÓN 2

30 Escala de estimación de la calidad de las páginas web científico-educativas Elaborada por Rafael García para la asignatura Técnicas e Instrumentos de Diagnóstico Dimensiones a estudiar: * Estimaciones de puntuación global según el instrumento de evaluación del diseño web * Actitudes hacia la calidad según las puntuaciones del diferencial semántico

31 Calificaciones finales ofrecidas por cada grupo a los demás

32 Se observa que los grupos cuyas evaluaciones no se muestran consistentes con el conjunto de estimaciones (bajas saturaciones en la D1) son aquellos en los que la composición incluye hombres ¿Casualidad o cuestiones de género y dinámicas de poder ante la evaluación recíproca entre iguales?... Curioseando y descubriendo un problema

33 Diseño descriptivo/comparativo ex-post-facto: Se procede a estudiar la muestra de estimaciones realizadas por hombres y mujeres en la evaluación recíproca N: 1980 evaluaciones recíprocas (237 de hombres, 1743 de mujeres). Selección muestral de observaciones: n = 441(n H + n M ) observaciones totales estudiadas considerando para ambos sexos su representación en el estudio n H : Todas las estimaciones de hombres n M : muestreo por conglomerados elegidos al azar sistemático (204) Técnicas analíticas: Diagramas de caja y bigote compuestos según sexo Consideración de la composición del grupo valorado (mixto,...) para identificar posibles factores intervinientes en la diferencia estimativa Contraste por sexo Interacciones con la composición del grupo /objeto evaluado Planteando un nuevo estudio para indagar más...

34 Resultados de la puntuación de cada sexo a los grupos

35 Resultados de la actitud de cada sexo a los grupos

36 Resultados según el sexo del grupo/objeto evaluado

37

38

39

40 Resultados globales según el sexo del evaluador

41

42 Punto de corte de la actitud Punto de corte nivel de aprobado Resultados según el sexo del evaluador para el 14

43 Prueba de contraste según el sexo del evaluador

44 Los hombres estiman puntuaciones más altas que las mujeres, cualquiera que sea el sexo del grupo evaluado Los datos se ajustan en función de las diferencias de género del evaluador y no en función del género del grupo evaluado

45 Conclusiones a debate: *Contamos con instrumentos y procedimientos útiles a la evaluación recíproca entre iguales (peer assessment), aunque se detectan inconsistencias en las valoraciones de grupo que implican negociar puntuaciones entre los hombres y las mujeres *Existen diferencias estadísticamente significativas entre las estimaciones realizadas por hombres y mujeres lo que coincide con la tendencia establecida en la literatura especializada en los procesos de evaluación recíproca *Las mujeres se ajustan mejor al sistema de observación establecido, siguiendo los criterios desarrollados en el aula y el procedimiento instrumental establecido *Los hombres tienden a desarrollar estimaciones más elevadas de lo razonable, como demuestra el análisis que determina que incluso han aprobado a un grupo claramente suspenso en la actividad valorada (web) *Ambos grupos desarrollan estimaciones consistentes dentro de la tendencia señalada, no se encuentran valoraciones significativamente diferentes en función del sexo del grupo/objeto (mujeres/mixto) evaluado Finalizando


Descargar ppt "IX Congreso de Metodología de Investigación en Ciencias Sociales y de la Salud Evaluación Entre Iguales en el Espacio Europeo de Educación Superior: Dinámicas."

Presentaciones similares


Anuncios Google