¿CÓMO REALIZAR UNA INVESTIGACIÓN EVALUATIVA?

Presentación del tema: "¿CÓMO REALIZAR UNA INVESTIGACIÓN EVALUATIVA?"— Transcripción de la presentación:

1 ¿CÓMO REALIZAR UNA INVESTIGACIÓN EVALUATIVA?
Trabajo publicado en La mayor Comunidad de difusión del conocimiento ¿CÓMO REALIZAR UNA INVESTIGACIÓN EVALUATIVA? TALLER IMPARTIDO EN EL IX ENCUENTRO DE INVESTIGACIÓN EN EL POSGRADO ARTURO BARRAZA MACÍAS NOVIEMBRE DE 2007

2 TÉORICOS: PRINCIPALES
CONTENIDO APROXIMACIÓN CONCEPTUAL 1.- Problemática 2.- Conceptos de evaluación 3.- Nudos Tensionales 4.- Addendum: Criterios 5.- REFERENTES TÉORICOS: PRINCIPALES AUTORES 6.- EL PROCESO DE INVESTIGACIÓN EVALUATIVA

3 1.- PROBLEMÁTICA EVALUACIÓN SUBJETIVIDAD EXÁMENES INSTRUMENTO DE PODER

4 USO INADECUADO DE LOS INSTRUMENTOS DE EVALUACIÓN
Se usan con fines diferentes para los que fueron diseñados

5 CULTURA DE LA EVALUACIÓN
Significados Control externo Función penalizadora

6 Problema: desfase entre la teoría y la práctica vinculada con la evaluación
Causas: la burocracia escolar, la presión del tiempo, cierta inercia y rutina consolidada

7 DISCIPLINA TEORÍA TRANSDICIPLINA INVESTIGACIÓN

8 2.- CONCEPTOS DE EVALUACIÓN
Un proceso y a la vez un producto, cuya aplicación nos permite estimar el grado en el que un proceso educativo favorece el logro de las metas para la que fue creado (Valenzuela, 2004)

9 Es el enjuiciamiento sistemático de la valía o el mérito de algo (Stufflebam, en Gutiérrez, 2005)
Evaluar algo es determinar su valor (Popham, en Gutiérrez, 2005)

10 La mejor forma de entender la evaluación es suponiendo que conlleva la realización de una investigación evaluativa, más que como una serie diferenciada de axiomas o de métodos de evaluación, separada del trabajo de investigación más amplio (Shaw, 2003)

11 La evaluación es una actividad o proceso sistemático de identificación, recogida o tratamiento de datos sobre elementos o hechos educativos, con el objetivo de valorarlos primero y, sobre dicha valoración, tomar decisiones (García, 1989).

12 Evaluación es el proceso de obtener información y usarla para formar juicios que a su vez se utilizarán en la toma de decisiones (Tenbrink en Elola y Toranzo, 2000)

13 COMPONENTES Búsqueda de indicios Forma de registro y análisis
Criterios Juicios de valor Toma de decisiones

14 LA CONSTRUCCIÓN DEL OBJETO DE EVALUACIÓN
EL GRAN AUSENTE LA CONSTRUCCIÓN DEL OBJETO DE EVALUACIÓN

15 Evaluación Basada en Teoría
3.- NUDOS TENSIONALES Evaluación Basada en Teoría Evaluación Empírica

16 Evaluación Holística Evaluación Atomista

17 Evaluación Objetivista Evaluación Subjetivista

18 Evaluación Cuantitativa Evaluación Cualitativa

19 4.- ADDENDUM: CRITERIOS Son cualidades o valores que fundamentan el juicio o estimación realizado sobre el objeto de evaluación.

20 Relevancia: la importancia de la contribución al cumplimiento de los objetivos.
Cobertura: relación de la población atendida con respecto a la población que tiene interés o que demanda y las posibilidades de respuesta. Eficacia: Correspondencia entre los propósitos establecidos y los resultados logrados.

21 Eficiencia: adecuación o idoneidad de los medios empleados o los procesos desarrollados para el logro de los resultados esperados, con base en los objetivos planteados. Equidad: el grado en que las acciones o servicios son accesibles a todos los sectores, en lo general, y de manera preferente a los que no tienen capacidad para obtenerlos.

22 Actualidad, Pertinencia, Suficiencia, etc.
Oportunidad: el grado de correspondencia temporal entre la presentación de una necesidad o requerimiento y el otorgamiento de la respuesta. Actualidad, Pertinencia, Suficiencia, etc.

23 5.- REFERENTES TEÓRICOS: PRINCIPALES AUTORES (Shaw, 2003)
Donald Campbell (60’s y 70’s) Racionalista crítico Diseños experimentales Búsqueda de las causas Aceptación de la investigación cualitativa

24 Michael Scriven (80’s y 90’s)
Búsqueda de soluciones eficaces a los problemas sociales Un nuevo lenguaje (evaluación sin metas, evaluación formativa y sumativa, metaevaluación, etc.)

25 La evaluación asigna mérito y valor
Su objetivo es una Teoría de la Evaluación. La evaluación como transdiciplina

26 Lee Cronbach (80’s) Validez externa-acción social-contexto Generalización Rechaza la evaluación entendida como rendición de cuentas

27 Visión pluralista de la metodología
Una teoría de la evaluación debe de ser tanto una teoría de la interacción política como una teoría de cómo se construye el conocimiento.

28 Robert Stake (90’s) Indagación cualitativa Centración en las actividades de los programas. Se integran los valores de las personas Es participativo. Generalización naturalista

29 Carol Weiss (80’s y 90’s) Consideraciones políticas. La reducción del conocimiento y el acrecentamiento de la decisión. El evaluador que solo cuenta con la metodología no está bien equipado

30 Ernest House (80’s y 90’s) La evaluación como acto de argumentación y credibilidad Propósito reformista y de justicia social Un acuerdo de evaluación justo Modelos de evaluación participativos Metodología cualitativa.

31 6.- EL PROCESO DE INVESTIGACIÓN EVALUATIVA
Propuestas con orientación pragmática y bajo un enfoque cuantitativo Weiss (1997) (Procesual) Valenzuela (2004) (formalizante) Gutiérrez (2005)

32 DISEÑO EXPERIMENTAL DE LA EVALUACIÓN
6.1.- Weiss (1997) DISEÑO EXPERIMENTAL DE LA EVALUACIÓN Buscar las metas del Programa. Traducir las metas a indicadores mensurables de la realización del objetivo.

33 Reunir datos de los indicadores
Reunir datos de los indicadores. Correspondientes a quienes participaron en el programa (y a un grupo de control equivalente que no participó). Comparar los datos de los participantes (y de los controles) con los criterios de realización de las metas.

34 EVALUACIÓN DE PROGRAMAS
PROCESOS INSUMOS RESULTADOS

35 Formular las metas del programa que la evaluación utilizará como criterios.
Elegir entre metas múltiples. Investigar consecuencias imprevistas.

36 Medir resultados. Especificar que es el programa. Medir los insumos del Programa y los procesos intercurrentes. Reunir los datos necesarios.

37 DISEÑOS EXPERIMENTALES CUASIEXPERIMENTALES (SERIES TEMPORALES, SERIES TEMPORALES MÚLTIPLES Y GRUPO CONTROL NO EQUIVALENTE) NO EXPERIMENTALES (ANTES Y DESPUÉS, ÚNICAMENTE DESPÚES Y ÚNICAMENTE DESPÚES CON GRUPO DE COMPARACIÓN)

38 6.2.- Valenzuela (2004) Necesidad de evaluar Planeación Realización Presentación de resultados

39 Planeación de la evaluación educativa
Visión preliminar ¿qué se evalúa, cuál es el propósito, para quien se realiza y que limitaciones existen para realizarla? Enunciación de las preguntas de evaluación.

40 Plan de colección de datos (tipo de datos, fuentes de datos, técnicas e instrumentos)
Plan de análisis e interpretación (¿cómo se van a analizar los datos y cuáles van a ser los criterios para la interpretación?)

41 Plan del informe (¿qué información se entrega, a que audiencia, y mediante cuál medio?)
Plan de administración (Uso de los recursos) Plan para la metaevaluación (¿cómo evaluar la evaluación?)

42 Realización del proceso
de evaluación Muestreo Normas éticas Técnicas e instrumentos Confiabilidad y validez Análisis de datos

43 Presentación de los resultados de la evaluación (informe de evaluación)
Estilo de redacción, uso de recursos para la presentación y normas para la presentación de informes, Memoria, reporte ejecutivo o artículo científico.

44 Estructura de una memoria
Capítulo 1.- Introducción Capítulo 2.- Marco teórico y contextual Capítulo 3.- Planteamiento de preguntas del trabajo de evaluación. Capítulo 4.- Método. Capítulo 5.- Resultados. Capítulo 6.- Discusión

45 MATRIZ PARA LA CONSTRUCCIÓN DEL PLAN DE LA EVALUACIÓN
6.3.- Gutiérrez (2005) MATRIZ PARA LA CONSTRUCCIÓN DEL PLAN DE LA EVALUACIÓN Objeto de evaluación Categorías y subcategorías Criterios

46 Parámetros (estándares, normas mínimas, promedios, etc.)
Indicadores Recursos de información (técnicas e instrumentos) Sujetos de la evaluación

47 7.- REFERENCIAS Elola Nydia y Toranzos Lilia (2000), Evaluación educativa. Una aproximación conceptual, Buenos Aires, Argentina, Disponible en la Internet. García Ramos J. M. (1989), Bases pedagógicas de la evaluación, Madrid, España, Síntesis.

48 Gutiérrez Ofelia Ángeles (2005), Evaluación Institucional, material de apoyo al Curso-Taller desarrollado en la Universidad Pedagógica de Durango. Shaw Ian E. (2003), La evaluación cualitativa, Barcelona, España, Paidós. Valenzuela González Jaime Ricardo (2004), Evaluación de instituciones educativas, México, Trillas. Weiss Carol H. (1997), Investigación Evaluativa, México, Trillas.