Informe del estudio de validación de los instrumentos propuestos para la evaluación del personal docente del RUM Comité Institucional para la Elaboración de los Instrumentos de Evaluación del Personal Docente del RUM Octubre de 2009

Miembros del Comité Dra. Doris Ramírez, Presidenta Dra. Darnyd Ortiz – Asuntos Académicos Dr. Marco Arocha – Ingeniería Dr. Angel Custodio – Ciencias Agrícolas Dr. Eddie Marrero – Artes y Ciencias Prof. David F. Muñoz – Administración de Empresas Dra. María Rodríguez – Servicio Extensión Agrícola Profa. Deixter Méndez – Biblioteca Dra. Nidia S. López – Orientación Dr. Andrés Collazo - Consultor

Trasfondo

Propósitos del Estudio de Validación 1.Determinar la validez aparente (face validity) de los nuevos instrumentos desarrollados para evaluar el personal docente. Para detalles de los instrumentos y su proceso de construcción véase la página de Internet: 2.Editar los instrumentos a partir de los resultados del estudio de validación.

Planificación General del Estudio de Validación Para fines del estudio se dividieron los instrumentos en dos categorías: generales y especializados. Los instrumentos generales (cinco) a ser validados por todos los docentes incluyeron los siguientes: –Docencia general, Enseñanza, Investigación–Labor Creativa, Servicio institucionalizado y Gerencia académica Los instrumentos especializados (seis) a ser validados por los docentes de unidades específicas, incluyeron los siguientes –SEA (Especialistas) y (Agente Agrícola y Economista del Hogar) –Servicios de Información (Bibliotecarios) –Servicios para el desarrollo y aprendizaje estudiantil (Consejería Profesional y Orientación, Servicios Sicológicos, Trabajo Social) Este informe se circunscribe a la validación y a las acciones tomadas con relación a los instrumentos generales.

Planificación General … (cont.) La consulta se haría en formato de lápiz y papel. Se solicitaría a los participantes que evaluaran cada ítem de cada instrumento mediante la escala correspondiente: –Claridad: ¿Cuán bien se entiende lo que quiere decir el ítem? 1 = No se entiende (confuso/ambiguo) 2 = Es difícil de entender 3 = Se entiende bastante bien 4 = Se entiende fácilmente –Relevancia: ¿Cuán relevante considera el ítem para la evaluación de un docente? 1 = Nada relevante (¿Lo eliminaría o lo cambiaria de lugar? Comente.) 2 = Algo relevante 3 = Bastante relevante 4 = Muy relevante Además, se proveería espacio en cada ítem para comentarios y sugerencias (ver siguiente ejemplo).

Componente 1: Enseñanza de las destrezas de InformaciónClaridadRelevanciaSugerencias/Comentarios Logra los objetivos de la enseñanza desde la perspectiva del usuario. [1.1] Ejemplo del formato de los instrumentos

Planificación … (cont.) Se acordó que los expertos a ser consultados serían: –miembros de los comités de personal de cada departamento, –ex-miembros de comités de personal que el director considerara cualificados para esta tarea, –directores y decanos. Se organizó una actividad de orientación el 27 de febrero de 2009 presidida por el Rector a la que se citaron: los presidentes de los comités de personal, directores de departamentos y decanos de facultad de todo el RUM para hablarles sobre la consulta e instruirle sobre el procedimiento. Cada director y presidente de comité de personal era responsable de comunicar las instrucciones y llevar los instrumentos a los miembros de sus respectivos comités y asegurarse de que contestaran los mismos.

Reestructuración del Plan de Validación a raíz de la Actividad de Orientación En la actividad de orientación (27 de febrero de 2009), los participantes presentaron y avalaron los siguientes cambios: –Que la consulta se hiciera en línea. –Que se permitiera participar a todo el personal docente. –Que los instrumentos estuvieran disponibles en español e inglés. El CIEPD adoptó todos los cambios propuestos.

¿Cómo se llevó a cabo la consulta?

Procedimiento La consulta se hizo extensiva a todos los docentes del Recinto que quisieran voluntariamente participar. Los cuestionarios se administraron utilizando el sistema para hacer consultas en línea con que cuenta el RUM a través de Mi Portal Colegial. Para montar los cuestionarios en ese formato se contó con la colaboración del personal del Centro de Cómputos. Los cuestionarios estuvieron disponibles en español e inglés. El Prof. Raymond Knight, del Departamento de Inglés, hizo la traducción al inglés de los cuestionarios.

Procedimiento Una vez los instrumentos estuvieron disponibles, se enviaron varios mensajes en línea de anuncio y seguimiento. Se dio tiempo suficiente (poco más de un mes) para poder participar. Frecuentemente, se monitoreaba el número de participantes. Durante el proceso varios docentes tuvieron problemas contestando el cuestionario en línea. Para subsanar el problema, se brindó la opción de contestar los cuestionarios en formato de papel y lápiz a los docentes y/o unidades que así lo solicitaran.

Resultados

Observaciones Generales en cuanto a la Participación Hubo participación de todas las unidades docentes (ver Tabla 1). Hubo participación amplia en la validación de los cinco instrumentos (ver Tabla 2). La participación en términos de modalidad fue ligeramente mayor en la versión de Papel-Lápiz (Ver Tabla 3).

Tabla 1: Participación por Instrumento y Unidad Docente InstrumentosArtesCiencias Ingenier í a Ciencias Agr í colas EmpresasOtrosTotal Doccencia General Ense ñ anza Investigaci ó n – Creaci ó n Servicio Gerencia Otros incluye: Biblioteca, Orientación, Decanos

Tabla 2: Tasa de Respuesta por Instrumento InstrumentosCantidad % s Doccencia General Ense ñ anza Investigaci ó n – Creaci ó n Servicio Gerencia La tasa de respuesta por instrumento se basó en 1065 docentes cualificados activos al momento de la consulta y distribuidos de la siguiente forma: 807 en el campus, 57 en las Estaciones Experimentales Agrícolas y 201 en el Servicio de Extensión Agrícola. Un aspecto a resaltar es que la cantidad por instrumento ni la suma de todos los instrumentos refleja el número exacto de participantes; esto debido a que una misma persona pudo haber contestado más de un cuestionario (podía incluso contestarlos todos), pero algunos pudieron haber contestado solo los instrumentos que más le interesaron. Visto desde esta perspectiva y tomando en consideración el número de instrumentos y la longitud de los mismos, podemos concluir que la participación fue alta.

Tabla 3: Desglose de Modalidad: Internet y Papel-Lápiz InstrumentosInternet Papel y lápiz Total Internet % Papel y lápiz % Total % Docencia General Enseñanza Investigación – Creación Servicio Gerencia Totales * Los totales se refiere a los instrumentos contestados y sus respectivas modalidades y no a los participantes. La cantidad de participantes por instrumento está indicada en la columna central

Aspectos Generales del Análisis de los Resultados Los datos de los cuestionarios contestados en línea y los contestados en papel se analizaron juntos. El análisis consistió en sumar para cada ítem (claridad y relevancia por separado) la cantidad de evaluaciones en los rangos 3 y 4 de la escala de todos los participantes que contestaron ese ítem. Luego, se calculó qué por ciento representaba esa suma, esto es: –(cantidad de 3 + cantidad de 4 / cantidad de personas que contestaron ese ítem). El CIEPD estableció los siguientes puntos de corte a sugerencia del consultor : 80% o más para claridad 70 % o más para relevancia

Aspectos Generales del Análisis de los Resultados (cont.) Cada ítem por debajo de estos puntos de corte- en cualquiera de los dos criterios- fue analizado por el Comité bajo la premisa de que el ítem mostraba algún problema de claridad o relevancia a juicio de los participantes del estudio. Basado en el por ciento, las sugerencias o comentarios de los participantes y la evaluación de los miembros del Comité en pleno, se modificó la redacción de algunos ítems y se eliminaron otros.

Aspectos Generales del Análisis de los Resultados (cont.) Además del por ciento del ítem en los criterios de claridad y relevancia se hicieron otras modificaciones, eliminaciones o adiciones basadas en: –Duplicidad de ítems, –Adecuar el lenguaje de un ítem basado en cambios hechos en otro, –Recomendaciones específicas hechas por los participantes, –Necesidad del ítem en función del reglamento que rige el proceso de evaluación.

Modificaciones a los Instrumentos a raíz del Estudio de Validación

Docencia General Preguntas en el Estudio de Validación 26 Preguntas que pasaron en claridad y relevancia1558% 1,2,3,4,5,6,8,9,13,17,18,19,20,23,25 Preguntas que no pasaron en claridad y relevancia 519% 10,15,16,21,22 Preguntas que pasaron en claridad y no en relevancia 519% 7,12,14,24,26 Preguntas que pasaron en relevancia y no en claridad 1 4% 11 Preguntas eliminadas 3 11% 7,14,21 Preguntas que pasaron a formar parte de 5 19% otras preguntas 10,11,12,24,26 Preguntas modificadas 5 19% 6,8,9,23,25 Preguntas que se quedaron igual 1350% 1,2,3,4,5,13,15,16,17,18,19,20,22 Preguntas añadidas 1 4% 18 (en el instrumento final re-enumerado) Total de preguntas en el instrumento final 19 NA

Enseñanza Preguntas en el Estudio de Validación 28 Preguntas que pasaron en claridad y relevancia 2382% 1,2,4,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20 21,22,23,24,25 Preguntas que no pasaron en claridad y relevancia 27% 3,27 Preguntas que pasaron en claridad y no en relevancia 1 4% 26 Preguntas que pasaron en relevancia y no en claridad 27% 5,28 Preguntas eliminadas 2 7% 3,26 Preguntas modificadas 5 18% 7,17,22,27,28 Preguntas que se quedaron igual 21 75% 1,2,4,5,6,8,9,10,11,12,13,14,15,16,18,19,20,21, 23,24,25 Preguntas añadidas 4NA Total de preguntas en el instrumento final 30NA

Servicio Preguntas en el Estudio de Validación 25 Preguntas que pasaron en claridad y relevancia 936% 10,14,15,17,19,20,21,22,23 Preguntas que no pasaron en claridad y relevancia 520% 6,8,9,13,18 Preguntas que pasaron en claridad y no en relevancia 1 4% 24 Preguntas que pasaron en relevancia y no en claridad1040% 1,2,3,4,5,7,11,12,16,25 Preguntas eliminadas 8 32% 2,3,4,9,11,16,18,24 Preguntas modificadas 9 36% 1,5,6,7,8,10,12,13,15 Preguntas que se quedaron igual 8 32% 14, 17, 19, 20, 21,22, 23, 25 Total de preguntas en el instrumento final 17 NA

Gerencia Académica Preguntas en el Estudio de Validación 53 Preguntas que pasaron en claridad y relevancia53100% Comp. 1: 1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17 Comp. 2: 1,2,3,4,5,6,7 Comp. 3: 1,2,3,4,5,6,7,8,9,10,11 Comp. 4: 1,2,3,4,5,6,7,8 Comp. 5: 1,2,3,4,5,6,7,8,9,10 Preguntas que no pasaron en claridad y relevancia 0 0% Preguntas que pasaron en claridad y no en relevancia 0 0% Preguntas que pasaron en relevancia y no en claridad 0 0% Preguntas eliminadas 7 13% Comp1: 1,8,9,10 Comp.4: 3,5, Comp.5 7 Preguntas modificadas 3 6% Comp. 1: 3,7,13 Preguntas que se quedaron igual 43 81% Comp. 1: 2,4,5,6,11,12,14,15,16,17 Comp. 2: 1,2,3,4,5,6,7 Comp. 3: 1,2,3,4,5,6,7,8,9,10,11 Comp. 4: 1,2,4,6,,8 Comp. 5: 1,2,3,4,5,6,8,9,10 Total de preguntas en el instrumento final 46 NA

Investigación y Labor Creativa Preguntas en el Estudio de Validación 69 Preguntas que pasaron en claridad y relevancia 45 65% 1a: 1,2,3,4,5,6,7,8,9,10,11,12,13,14 1b: 1,2,3,4,6,9,13,16,21,28 2a: 1,2,3,4,5 - 2b: 4,5 3-1,2,3,4 4a: -1,2,3,4,5,6,7 - 4b:2,3,6 Preguntas que no pasaron en claridad y relevancia 2 3% 1b:19,23 Preguntas que pasaron en claridad y no en relevancia 15 22% 1b: 5,7,8,10,11,12,14,17,18,20,22,24,25,26,27 Preguntas que pasaron en relevancia y no en claridad 6 9% 1b:15 - 2b: 1,2 - 4b:1,4,5 Preguntas eliminadas 6 9% 1a: 11,12,13,14 - 1b:5,7 Preguntas modificadas 33 48% 1a: 8, 10 1b:1,2,3,4,6,8,9,10,11,12,13,14,15,16,17,18,19,20 21,22,23,24,25,26,27,28** 4a: 3,4 - 4b:1,4,5 Preguntas que se quedaron igual 29 42% 1a: 1,2,3,4,5,6,7,9 2a: 1,2,3,4,5 - 2b: 1,2,3,4,5 3 : 1,2,3,4 4a: 1,5,6,7 - 4b: 2,3,6 Total de preguntas en el instrumento final 38

Tabla 4: Resumen de la Evaluación por Ítem Instrumentos # items iniciales EliminadosConsolidados Se quedaron igual ModificadosAñadidos # items finales Doccencia General 263 (11%)5 (19%)13 (50%)5 (19%)119 Enseñanza 282 (7%)021 (75%)5 (18%)430 Investigación – Labor Creativa 696 (9%)029 (42%)33 (48%)038 Servicio 258 (32%)0 9 (36%)017 Gerencia 537 (13%)043 (81%)3 (6%)046

Discusión y Conclusiones

Los participantes del estudio juzgaron la gran mayoría de los ítems de los instrumentos como claros y relevantes (ver Tabla 4). Una de las razones de esta consistencia es que los ítems fueron construidos siguiendo un proceso riguroso que incluyó: –marco conceptual bien definido y fundamentado en la literatura pertinente sobre evaluación docente, –participación de miembros de todas las unidades docentes en el desarrollo de los ítems. Los criterios de evaluación establecidos permitieron depurar los ítems de los instrumentos en términos de su claridad y relevancia, el cual era el fin del estudio.