¿CÓMO REALIZAR UNA INVESTIGACIÓN EVALUATIVA? Trabajo publicado en www.ilustrados.com La mayor Comunidad de difusión del conocimiento ¿CÓMO REALIZAR UNA INVESTIGACIÓN EVALUATIVA? TALLER IMPARTIDO EN EL IX ENCUENTRO DE INVESTIGACIÓN EN EL POSGRADO ARTURO BARRAZA MACÍAS NOVIEMBRE DE 2007

TÉORICOS: PRINCIPALES CONTENIDO APROXIMACIÓN CONCEPTUAL 1.- Problemática 2.- Conceptos de evaluación 3.- Nudos Tensionales 4.- Addendum: Criterios 5.- REFERENTES TÉORICOS: PRINCIPALES AUTORES 6.- EL PROCESO DE INVESTIGACIÓN EVALUATIVA

1.- PROBLEMÁTICA EVALUACIÓN SUBJETIVIDAD EXÁMENES INSTRUMENTO DE PODER

USO INADECUADO DE LOS INSTRUMENTOS DE EVALUACIÓN Se usan con fines diferentes para los que fueron diseñados

CULTURA DE LA EVALUACIÓN Significados Control externo Función penalizadora

Problema: desfase entre la teoría y la práctica vinculada con la evaluación Causas: la burocracia escolar, la presión del tiempo, cierta inercia y rutina consolidada

DISCIPLINA TEORÍA TRANSDICIPLINA INVESTIGACIÓN

2.- CONCEPTOS DE EVALUACIÓN Un proceso y a la vez un producto, cuya aplicación nos permite estimar el grado en el que un proceso educativo favorece el logro de las metas para la que fue creado (Valenzuela, 2004)

Es el enjuiciamiento sistemático de la valía o el mérito de algo (Stufflebam, en Gutiérrez, 2005) Evaluar algo es determinar su valor (Popham, en Gutiérrez, 2005)

La mejor forma de entender la evaluación es suponiendo que conlleva la realización de una investigación evaluativa, más que como una serie diferenciada de axiomas o de métodos de evaluación, separada del trabajo de investigación más amplio (Shaw, 2003)

La evaluación es una actividad o proceso sistemático de identificación, recogida o tratamiento de datos sobre elementos o hechos educativos, con el objetivo de valorarlos primero y, sobre dicha valoración, tomar decisiones (García, 1989).

Evaluación es el proceso de obtener información y usarla para formar juicios que a su vez se utilizarán en la toma de decisiones (Tenbrink en Elola y Toranzo, 2000)

COMPONENTES Búsqueda de indicios Forma de registro y análisis Criterios Juicios de valor Toma de decisiones

LA CONSTRUCCIÓN DEL OBJETO DE EVALUACIÓN EL GRAN AUSENTE LA CONSTRUCCIÓN DEL OBJETO DE EVALUACIÓN

Evaluación Basada en Teoría 3.- NUDOS TENSIONALES Evaluación Basada en Teoría Evaluación Empírica

Evaluación Holística Evaluación Atomista

Evaluación Objetivista Evaluación Subjetivista

Evaluación Cuantitativa Evaluación Cualitativa

4.- ADDENDUM: CRITERIOS Son cualidades o valores que fundamentan el juicio o estimación realizado sobre el objeto de evaluación.

Relevancia: la importancia de la contribución al cumplimiento de los objetivos. Cobertura: relación de la población atendida con respecto a la población que tiene interés o que demanda y las posibilidades de respuesta. Eficacia: Correspondencia entre los propósitos establecidos y los resultados logrados.

Eficiencia: adecuación o idoneidad de los medios empleados o los procesos desarrollados para el logro de los resultados esperados, con base en los objetivos planteados. Equidad: el grado en que las acciones o servicios son accesibles a todos los sectores, en lo general, y de manera preferente a los que no tienen capacidad para obtenerlos.

Actualidad, Pertinencia, Suficiencia, etc. Oportunidad: el grado de correspondencia temporal entre la presentación de una necesidad o requerimiento y el otorgamiento de la respuesta. Actualidad, Pertinencia, Suficiencia, etc.

5.- REFERENTES TEÓRICOS: PRINCIPALES AUTORES (Shaw, 2003) Donald Campbell (60’s y 70’s) Racionalista crítico Diseños experimentales Búsqueda de las causas Aceptación de la investigación cualitativa

Michael Scriven (80’s y 90’s) Búsqueda de soluciones eficaces a los problemas sociales Un nuevo lenguaje (evaluación sin metas, evaluación formativa y sumativa, metaevaluación, etc.)

La evaluación asigna mérito y valor Su objetivo es una Teoría de la Evaluación. La evaluación como transdiciplina

Lee Cronbach (80’s) Validez externa-acción social-contexto Generalización Rechaza la evaluación entendida como rendición de cuentas

Visión pluralista de la metodología Una teoría de la evaluación debe de ser tanto una teoría de la interacción política como una teoría de cómo se construye el conocimiento.

Robert Stake (90’s) Indagación cualitativa Centración en las actividades de los programas. Se integran los valores de las personas Es participativo. Generalización naturalista

Carol Weiss (80’s y 90’s) Consideraciones políticas. La reducción del conocimiento y el acrecentamiento de la decisión. El evaluador que solo cuenta con la metodología no está bien equipado

Ernest House (80’s y 90’s) La evaluación como acto de argumentación y credibilidad Propósito reformista y de justicia social Un acuerdo de evaluación justo Modelos de evaluación participativos Metodología cualitativa.

6.- EL PROCESO DE INVESTIGACIÓN EVALUATIVA Propuestas con orientación pragmática y bajo un enfoque cuantitativo Weiss (1997) (Procesual) Valenzuela (2004) (formalizante) Gutiérrez (2005)

DISEÑO EXPERIMENTAL DE LA EVALUACIÓN 6.1.- Weiss (1997) DISEÑO EXPERIMENTAL DE LA EVALUACIÓN Buscar las metas del Programa. Traducir las metas a indicadores mensurables de la realización del objetivo.

Reunir datos de los indicadores Reunir datos de los indicadores. Correspondientes a quienes participaron en el programa (y a un grupo de control equivalente que no participó). Comparar los datos de los participantes (y de los controles) con los criterios de realización de las metas.

EVALUACIÓN DE PROGRAMAS PROCESOS INSUMOS RESULTADOS

Formular las metas del programa que la evaluación utilizará como criterios. Elegir entre metas múltiples. Investigar consecuencias imprevistas.

Medir resultados. Especificar que es el programa. Medir los insumos del Programa y los procesos intercurrentes. Reunir los datos necesarios.

DISEÑOS EXPERIMENTALES CUASIEXPERIMENTALES (SERIES TEMPORALES, SERIES TEMPORALES MÚLTIPLES Y GRUPO CONTROL NO EQUIVALENTE) NO EXPERIMENTALES (ANTES Y DESPUÉS, ÚNICAMENTE DESPÚES Y ÚNICAMENTE DESPÚES CON GRUPO DE COMPARACIÓN)

6.2.- Valenzuela (2004) Necesidad de evaluar Planeación Realización Presentación de resultados

Planeación de la evaluación educativa Visión preliminar ¿qué se evalúa, cuál es el propósito, para quien se realiza y que limitaciones existen para realizarla? Enunciación de las preguntas de evaluación.

Plan de colección de datos (tipo de datos, fuentes de datos, técnicas e instrumentos) Plan de análisis e interpretación (¿cómo se van a analizar los datos y cuáles van a ser los criterios para la interpretación?)

Plan del informe (¿qué información se entrega, a que audiencia, y mediante cuál medio?) Plan de administración (Uso de los recursos) Plan para la metaevaluación (¿cómo evaluar la evaluación?)

Realización del proceso de evaluación Muestreo Normas éticas Técnicas e instrumentos Confiabilidad y validez Análisis de datos

Presentación de los resultados de la evaluación (informe de evaluación) Estilo de redacción, uso de recursos para la presentación y normas para la presentación de informes, Memoria, reporte ejecutivo o artículo científico.

Estructura de una memoria Capítulo 1.- Introducción Capítulo 2.- Marco teórico y contextual Capítulo 3.- Planteamiento de preguntas del trabajo de evaluación. Capítulo 4.- Método. Capítulo 5.- Resultados. Capítulo 6.- Discusión

MATRIZ PARA LA CONSTRUCCIÓN DEL PLAN DE LA EVALUACIÓN 6.3.- Gutiérrez (2005) MATRIZ PARA LA CONSTRUCCIÓN DEL PLAN DE LA EVALUACIÓN Objeto de evaluación Categorías y subcategorías Criterios

Parámetros (estándares, normas mínimas, promedios, etc.) Indicadores Recursos de información (técnicas e instrumentos) Sujetos de la evaluación

7.- REFERENCIAS Elola Nydia y Toranzos Lilia (2000), Evaluación educativa. Una aproximación conceptual, Buenos Aires, Argentina, Disponible en la Internet. García Ramos J. M. (1989), Bases pedagógicas de la evaluación, Madrid, España, Síntesis.

Gutiérrez Ofelia Ángeles (2005), Evaluación Institucional, material de apoyo al Curso-Taller desarrollado en la Universidad Pedagógica de Durango. Shaw Ian E. (2003), La evaluación cualitativa, Barcelona, España, Paidós. Valenzuela González Jaime Ricardo (2004), Evaluación de instituciones educativas, México, Trillas. Weiss Carol H. (1997), Investigación Evaluativa, México, Trillas.