SESION 4 Investigación y evaluación

se trata de una investigación cuyo objetivo es demostrar la relación entre autoconcepto y creatividad. En el segundo caso, el texto “Percepción sobre las tecnologías,,, ” se trata del reporte de un proceso de evaluación, objetivo que los autores definen como: “Definir la percepción y el cambio de los docentes en el proceso de implementación de las tecnologías de la información en el Centro Universitario Sur de la U de Guadalajara.” (López et al.,2006)

Semejanzas Ambos escritos son reportes de una investigación educativa y de una evaluación educativa. Ambos están publicados por una revista que se especializa en temas relacionados con la investigación en este ámbito. Ambas experiencias se llevaron a cabo en instituciones educativas, por tanto su propósito implícito es aportar conocimientos e información que permitan mejorar algún aspecto del proceso educativo. Posteriormente, se abordará cuáles son estos aspectos y el lugar que ocupan en el proceso educativo. Ambos reportes proporcionan un marco teórico y referencial. En el caso de “Relación entre las variables de autoconcepto…” el marco teórico proporciona la definición de los conceptos que se tomaron en cuenta para el estudio y su relación entre ellos. En el segundo caso, se cita a otros autores y sus trabajos sobre la implementación de las tecnologías de la información y la aportación de las mismas al ámbito universitario. La emisión de recomendaciones es otro aspecto en el que ambos estudios coinciden, aunque sus repercusiones pueden ser diferentes como se verá más adelante.

Diferencias La diferencia fundamental entre ambos, estriba en el planteamiento del problema, la metodología propuesta, el análisis de los resultados y en los efectos de cada uno. En el 1er caso, se trata de demostrar los planteamientos de varios autores sobre la relación entre creatividad y autoconcepto. Desde el planteamiento mismo, la metodología, la definición del grupos control y experimental, las categorías (sujetos, instrumentos), etc., sugieren una investigación dirigida a la comunidad científica afín al área de la investigación, como pueden ser psicólogos, pedagogos y profesores de educación preescolar. Sigue un proceso deductivo: a partir de los conceptos, se comprueba la relación entre los mismos: ¿Puede la estimulación de la capacidad creativa favorecer el desarrollo de un autoconcepto positivo en niños de 5 años cumplidos a 5 años 11 meses?

–Parece correcto considerar los indicadores como un sistema adecuado de recogida de información. Estos deben ser relevantes, objetivos, útiles, precisos, congruentes con los objetivos de la institución, contextualizados y aceptados por todos los miembros implicados en el sistema, que aporten información en grados de intensidad sobre cambios y relaciones entre variables o factores de la totalidad o parte del sistema educativo, con la finalidad de analizar, comparar e intervenir en la realidad. El uso de indicadores ayuda a establecer orden y criterio para evaluar, detectándose con rapidez los cambios, necesidades, preferencias y evoluciones de la institución. –Los indicadores serán de utilidad siempre que atendamos a las matizaciones anteriormente expuestas, es decir, tipo de evaluación que vamos a realizar, lugar y momento de recogida de la información, a quién le interesan los resultados, mantener las relaciones intactas entre Universidad y Estado, establecer los objetivos para cada indicador y no considerar únicamente datos aislados de los productos. Los indicadores no pueden ser conceptualizados como mera fuente de obtención de información, sino que se debe hacer su utilidad extensiva a la consideración de una fuente de recogida de la información más relevante, necesaria y oportuna, abstraída de un planteamiento adecuado de la situación, para conseguir el objetivo último de la evaluación de la institución universitaria, que será la mejora de la calidad de la misma (De Miguel et al., 1994). –En general, podemos establecer como matices generales y más importantes los de fiabilidad, relevancia, utilidad, accesibilidad, concreción, brevedad, precisión, aceptabilidad, aplicabilidad, significatividad, adecuación, eficacia y eficiencia. –Consideramos la clasificación realizada por Cuenin (1986) como la más adecuada, porque es amplia, y está confeccionada atendiendo a un gran número de criterios, y es integradora de todas las demás, resultando una composición matizada de todas las anteriores. –La investigación es una actividad compleja que necesita de una serie de indicadores que nos permita evaluar cada uno de los aspectos con el fin de obtener una visión global de la eficacia científica o rendimiento. Los indicadores bibliométricos, se han convertido en la última década, en un instrumento de apoyo a la gestión de la política científica y tecnológica. Quedando demostrado en su progresiva incorporación a los estudios de evaluación de la actividad científica (PIPCYT, 2002).

Una definición amplia de la recogida y análisis de datos Los nuevos Program Evaluation Standards suponen un avance fundamental para legitimar el conjunto ecléctico de herramientas metodológicas utilizado por los investigadores cualitativos. Los funcionarios de la Oficina de Educación que observaron la evaluación de WESP se quedaron perplejos por el peso dado a la observación participante y al análisis de documentos. Sin embargo, los nuevosStandards aceptan estas técnicas así como una amplia gama de otros procedimientos considerados en alguna ocasión como sospechosos, sesgados o distorsionados, incluyendo "entrevistas estructuradas y no estructuradas, observaciones participantes y no participantes, audiciones, documentos y registros y medidas no obstrusivas de diversos tipos" (Standards, p.240). Los Standards otorgan explícitamente a los datos cualitativos casi la misma confianza que a los datos cuantitativos, y alertan a los evaluadores contra el "error común" de descartar datos tales como aquéllos que son recogidos a través de entrevistas personales, testimonios y análisis de documentos, que suelen ser considerados como datos distorsionados (p. 202). Estas recomendaciones son verdaderamente tranquilizadoras para aquellos investigadores cualitativos deseosos de realizar una evaluación, ya que son ellos mismos quienes crean el verdadero sesgo y enfoque de su trabajo.

Un aspecto beneficioso de losStandards es la descentralización que hace del evaluador con respecto al establecimiento de preguntas significativas de evaluación. Los evaluadores no pueden ya permanecer cómodamente en la certeza de que han preguntado todo lo que es importante investigar en los programas que evalúan. Esto significa que los evaluadores deben estar seguros de que tienen en cuenta las interpretaciones y los significados de los participantes. El Standard U4, "Identificación de valores" dice que cada proyecto incluye a una variedad de participantes que harán -y deben ser capaces de hacerlos- juicios de valor e interpretaciones sobre el informe del evaluador. Los Program Evaluation Standards se centran en la cuestión de los múltiples significados presentes en los resultados, o cómo las personas interpretan los datos obtenidos en el informe final.

La parte humana de la evaluación de programas Uno de los aspectos más beneficiosos de Program Evaluation Standards de 1993 es que los temas y diseños meramente técnicos no son considerados nunca más como supremos. Por el contrario, los temas humanos de la interacción, los intereses encubiertos, los éticos -aquellos aspectos implicados en la complicada existencia del mundo real en la línea de fuego- son de especial significado en la evaluación de la evaluación. Utilizo la metáfora "línea de fuego" a conciencia después de haber sido advertida por un directivo de AERA (American Educational Research Association) que tales metáforas eran inapropiadas y demasiado numerosas en la investigación educativa. Mi interpretación es que tal crítica puede únicamente haber sido hecha por alguien cuya investigación esté primordialmente localizada en una biblioteca. Mi propia experiencia ha sido completamente diferente; fuimos literalmente tiroteados mientras trabajamos en el vecindario de WESP, y me he sentido a punto de ser tiroteada, siempre metafóricamente, en otras muchas tareas de evaluación.

Una vez que se han recogido los datos, deben ser organizados y colocados de forma que los patrocinadores puedan entenderlos y usarlos. El análisis comienza con el proceso de "poner en orden" (Romagnano, 1991) por lo que los datos recogidos son, en primer lugar, categorizados, limpiados, agrupados y después comprobados con la matriz de datos. Esto permite saber al evaluador si le falta algo o aún le resta algo por recoger, y le permite entender aquellas alteraciones en el esquema original de ejecución que las exigencias del trabajo de campo hayan provocado.

Un aspecto beneficioso de losStandards es la descentralización que hace del evaluador con respecto al establecimiento de preguntas significativas de evaluación. Los evaluadores no pueden ya permanecer cómodamente en la certeza de que han preguntado todo lo que es importante investigar en los programas que evalúan. Esto significa que los evaluadores deben estar seguros de que tienen en cuenta las interpretaciones y los significados de los participantes.