RELEVANCIA DE LA EVALUACION EDUCATIVA MODELOS EVALUATIVOS

antecedentes

INFORME DELORS LA EDUCACION ENCIERRA UN TESORO, 1996 ...LA MAGNITUD DE LOS RECURSOS ASIGNADOS A LA EDUCACIÓN JUSTIFICAN QUE PARA COMPROMETER INVERSIONES ADICIONALES EN EL SECTOR SEA NECESARIO ESTABLECER PROCEDIMIENTOS DE RENDICIÓN DE CUENTAS QUE SÓLO PUEDEN OBTENERSE CON SISTEMAS DE EVALUACIÓN CONFIABLES Y PERTINENTES. ...TODO EJERCICIO DE EVALUACIÓN ES INSTRUCTIVO DE SUYO, PORQUE PERMITE QUE LOS ACTORES COMPRENDAN MEJOR LO QUE ESTÁN HACIENDO, PORQUE PERMITE RESALTAR LAS INICIATIVAS EXITOSAS Y EXPLICAR EL CONTEXTO DE SUS LOGROS, CON LO CUAL PUEDE DIFUNDIR LA CAPACIDAD DE INNOVACIÓN. …LOS HALLAZGOS DE LAS EVALUACIONES CONDUCEN A RECONSIDERAR PRIORIDADES Y LA COMPATIBILIDAD ENTRE DESEOS Y RECURSOS.

EL BANCO MUNDIAL: LAS PRIORIDADES EDUCATIVAS DEBEN DETERMINARSE CADA VEZ MÁS SOBRE LA BASE DE ESTÁNDARES DE DESEMPEÑO O PERFORMANCE Y DE LA MEDICIÓN DE SU LOGRO MEDIANTE EVALUACIONES APROPIADAS, TANTO COMO SOBRE LA BASE DEL ANÁLISIS ECONÓMICO DE LOS RESULTADOS EN EL MUNDO DEL TRABAJO.

PLAN DE ACCIÓN DE LA SEGUNDA CUMBRE DE LAS AMÉRICAS, 1998: COMPROMETE A LOS GOBIERNOS A ESTABLECER SISTEMAS NACIONALES, SUBNACIONALES O SUBREGIONALES PARA EVALUAR LA CALIDAD DE LA EDUCACIÓN, MIDIENDO EL DESEMPEÑO DE DISTINTOS ACTORES EDUCATIVOS, Y LOS EFECTOS DE LA INTRODUCCIÓN DE INNOVACIONES Y OTROS FACTORES ASOCIADOS A LOS LOGROS EN EL APRENDIZAJE.

COMISIONES DEL Programa de Promoción de la Reforma Educativa en América Latina y el Caribe (PREAL) ...QUE LOS GOBIERNOS FIJEN ESTÁNDARES PARA EL SISTEMA EDUCATIVO, QUE MIDAN LOS AVANCES HACIA EL LOGRO DE LOS MISMOS MEDIANTE PRUEBAS NACIONALES, REGIONALES E INCLUSO INTERNACIONALES Y QUE UTILICEN LOS RESULTADOS PARA REVISAR SUS PROGRAMAS Y REASIGNAR SUS RECURSOS (1998). …QUE LOS PAÍSES DE CENTRO AMÉRICA ESTABLEZCAN ESTÁNDARES COMUNES Y AMPLIAMENTE CONSENSUADOS, ASÍ COMO TAMBIÉN UN SISTEMA UNIFICADO DE MEDICIÓN DE SU LOGRO Y LA AMPLIA DIVULGACIÓN DE SUS RESULTADOS (2000).

MARCO DE ACCIÓN REGIONAL POSTEVALUACIÓN JOMTIEN (DECLARACION MUNDIAL SOBRE EDUCACION PARA TODOS, 1990) ...COMPROMISO DE LOS PAÍSES DE: • ORGANIZAR SISTEMAS APROPIADOS DE MONITOREO Y EVALUACIÓN QUE CONSIDEREN DIFERENCIAS INDIVIDUALES Y CULTURALES, SE BASEN EN ESTÁNDARES DE CALIDAD ACORDADOS NACIONAL Y REGIONALMENTE Y QUE PERMITAN LA PARTICIPACIÓN EN ESTUDIOS INTERNACIONALES. • GARANTIZAR LA PARTICIPACIÓN DE LA SOCIEDAD CIVIL EN LA ELABORACIÓN, MONITOREO Y EVALUACIÓN DE POLÍTICAS, PLANES Y PROGRAMAS EDUCATIVOS. • ESTABLECER PARÁMETROS QUE IDENTIFIQUEN LAS RESPONSABILIDADES DE LOS RECURSOS HUMANOS QUE ACTÚAN EN EL SISTEMA EDUCATIVO, ASÍ COMO LOS MECANISMOS Y POLÍTICAS DE APOYO PARA LA ADMINISTRACIÓN DEL PERSONAL

ACUERDOS ·IMPORTANCIA DE APRENDIZAJES. ·IMPORTANCIA DE DETERMINACIÓN CLARA DE EXPECTATIVAS. ·IMPORTANCIA DE EVALUACIÓN DE LOGROS. ·NECESIDAD DE RESPONSABILIZACIÓN.

aspectos generales De la escuela a la universidad

NECESIDADES DE LA EVALUACIÓN DE LOS CENTROS DOCENTES

Tipologías de evaluación

ÉVALUACIÓN INTERNA Y EXTERNA EVALUACIÓN EXTERNA La evaluación la puede llevar a cabo un Departamento, ministerio, evaluadores profesionales, independientes, inspectores. La evaluación externa conoce menos el contexto. Mayor objetividad y credibilidad. Más apropiada para la evaluación sumativa. Proporciona información para delimitar responsabilidades. EVALUACIÓN INTERNA La lleva a cabo un profesor u otros miembros de la escuela. La evaluación interna conoce mejor el contexto local y resulta menos amenazador a las personas evaluadas. Menos objetividad y credibilidad del evaluador Es más apropiada para la evaluación formativa Proporciona información para la mejora

Evaluación interna La autoevaluación tiene su base en preguntas que los propios actores/participantes de los centros educativos se hacen. PROBLEMAS QUE FRENA LA AUTOEVALUACIÓN: Escasa motivación profesional Carácter individualista de la función docente: el aula es la célula donde el profesor es el único adulto Limitación de tiempo del profesorado Resistencia de los profesores a la ruptura de su intimidad Falta formación técnica Ocultación de problemas que afectan al centro

Evaluación interna

1.- CONTEXTO Es una fuente de demandas y una oferta de posibilidades Es el marco de inserción del alumnado. Es el ambiente donde se complemente la acción que familia y centro.

2.-EL PROYECTO EDUCATIVO El centro educativo es una organización al servicio de un proyecto común, fruto de la elaboración, aceptación y compromiso de su miembros. Tenemos que analizar la integralidad, totalidad y adecuación del proyecto educativo. También como el modo de formalizarlo, el grado de apoyo... Es necesario analizar la armonía entre todas las partes y la coherencia de planteamientos (cursos, niveles…)

3. LA ORGANIZACIÓN ASPECTOS QUE TIENEN QUE SER ANALIZADOS: Sistema de dirección. Formas de afrontar conflictos con el personal. La moral del grupo, confianza en éxito. Implicación de la comunidad. Niveles de coordinación del personal. Procesos y formas de agrupamiento de profesores y alumnos. El trabajo cooperativo. Sistema de asignación de responsabilidades, medios, espacios y recursos. La incorporación de estructuras de mejora, tales como el sistema de evaluación de alumnos, programas y Centros. La organización es la forma de articular la combinación de todos los elementos personales, materiales y funcionales

Relaciones humanas del centro y con los demás? 4. EL MEDIO O CLIMA ESCOLAR * Ejercicio pedagógico del tratamiento de la indisciplina. * Valores vividos en el centro. * Satisfacción por el propio trabajo. * Confianza en el éxito Orden y respeto mutuo? Sistema disciplinar? Relaciones humanas del centro y con los demás?

5. LOS MEDIOS: espacios y recursos. Los espacios y los recursos mínimos, su asignación de acuerdo a criterios y adecuada coordinación.

6. LA COMUNIDAD EDUCATIVA TENDREMOS QUE ANALIZAR UNA MONTAÑA DE FACTORES: * La participación de toda la comunidad. * La presencia del centro en la comunidad. * La apertura del centro a la comunidad (ofrecer instalaciones, actividades…). * Invitación a miembros de la comunidad para que aporten sus conocimientos y formación. * Propuestas y proyectos de mejora de la comunidad.

7. PROFESORES ¿También me van a evaluar? Al profesorado le incumbe: El logro efectivo del clima escolar. El ejercicio de la docencia. El estímulo y motivación de sus alumnos. Planificación de la enseñanza, la actuación como mediador de los procesos de aprendizaje. El sistema evaluativo orientado a sus alumnos, etc. A la dirección: Su liderazgo. - El estímulo que trasmite a sus profesores. Apoyo, reconocimiento, coordinación, etc.

La Evaluación Interna Es Importante Porque... Permite reflexionar sobre lo que se hace. Ayuda a comprender lo que sucede. Impulsa el diálogo y la participación. Permite tomar decisiones racionales. Ayuda a incidir sobre lo que se considera sustancial. Permite corregir errores. Permite aprender cosas nuevas. Hace ganar coherencia al equipo docente. Se convierte en un ejemplo para los alumnos. Ayuda a perfeccionar al profesorado. ...

Fases en la evaluación educativa Fase de planificación: Descripción clara del problema o factor desencadenante de la evaluación. Definición del ámbito y finalidad de estudio. Elección del enfoque metodológico apropiado: cualitativo y cuantitativo. Especificación, si procede, de los indicadores de calidad y preparación de los instrumentos de recogida de datos. Determinación de los procedimientos de análisis e interpretación de los datos. Previsión de mecanismos de discusión y elaboración de conclusiones. Asignación de responsabilidades a los participantes. Temporalización de las distintas fases y actuaciones. Presupuesto económico.

Fases en la evaluación educativa Fase de ejecución: Recoger la información necesaria sobre la que sustentar los juicios de valor. De la rigurosidad con que se desarrollen todos los pasos dependerá la fiabilidad y veracidad de la información.

Fases en la evaluación educativa Fase de elaboración y publicación de conclusiones: Su extensión dependerá del alcance y finalidad del estudio, así como de las audiencias a los que va destinada.

COMPONENTES PARA CUALQUIER TIPO DE EVALUACIÓN (1) Comprender el problema de evaluación. (2) Planificar la evaluación. (3) Recoger los datos. (4) Analizar los datos. (5) Informar sobre los resultados de la evaluación. (6) Proporcionar recomendaciones.

(1) comprender el problema de evaluación Para ello el evaluador intentará aprender más cosas del objeto evaluado Para ello el evaluador se conectará con las personas relacionadas con el objeto de evaluación para conocer sus necesidades e intereses Para ello los evaluadores se familiarizarán con las actividades que lleva a cabo el objeto evaluador

(2) Planificar la evaluación Cinco actividades: Traducir las cuestiones de evaluación a términos operativos. Elegir instrumentos de medida y procedimientos de recogida de datos. Hacer un muestreo. Elegir el procedimiento de análisis de datos. Establecer el calendario para la puesta en práctica.

(3) La recogida de datos Instrumentos apropiados puedan dar lugar a datos inapropiados si los aplican evaluadores inexpertos (entrevistas y observaciones requieren destrezas). La muestra es buena si también lo es la tasa de respuestas que se ha obtenido realmente.

(4) El análisis de datos

(5) como informar de los resultados de la evaluación La evaluación debe dar resultados fiables, importantes y relevantes. Los datos tienen que presentarse de modo y estilo comprensibles a la audiencia a los que van dirigidos. Deben centrarse en resultados y recomendaciones.

(6) Proporcionar recomendaciones Es necesario dar recomendaciones a partir de los resultados obtenidos del análisis de los datos.

modelos evaluativos

PARADIGMAS PEREZ GOMEZ (1983) EXPERIMENTAL O CUANTITATIVO MODELOS REPRESENTATIVOS OBJETIVIDAD, VALIDEZ Y CONFIABILIDAD VERIFICACION EXPERIMENTAL DE HIPOTESIS. CERTIFICACION DE OBSERVACIONES Y TRATAMIENTO ESTADISTICO DE DATOS ANALISIS DE SISTEMAS CONSECUCION DE METAS FACILITACION DE DECISIONES SEGUIMIENTO RIGUROSO DE METODOLOGIA ESTADISTICA PARA OPERACIONALIZAR VARIABLES ALEATORIZAR MUESTRAS Y APLICAR MODELOS EXPERIMENTALES ENFASIS EN PRODUCTOS O RESULTADOS PRETEST/POSTEST

MODELOS REPRESENTATIVOS SOCIOANTROPOLOGICO O CUALITATIVO MODELOS REPRESENTATIVOS OBJETIVIDAD RELATIVA LA EVALUACION DEBE CONSIDERAR DIVERSAS OPINIONES, POSICIONES O IDEOLOGIAS EN LA INTERPRETACION DE LOS HECHOS. EVALUACION Y EDUCACION NO SON PROCESOS TECNOLOGICOS PUROS TAMBIEN SON AXIOLOGICOS. LA EVALUACION DEBE CONTEMPLAR CONDUCTAS MANIFIESTAS Y RESULTADOS DE CORTO PLAZO Y TAMBIEN EFECTOS SECUNDARIOS Y DE LARGO PLAZO. LA EVALUACION DEBE CENTRARSE EN ASPECTOS DE LA PRACTICA EDUCATIVA, SUCESOS, PROCESOS, PERSPECTIVAS DE LOS ESTUDIANTES. INCORPORA TECNICAS Y SUPUESTOS DE LA ETNOGRAFIA E INVESTIGACION DE CAMPO. CRITICA ARTISTICA EVALUACION ILUMINATIVA EVALUACION BASADA EN NEGOCIACIONES

MACROMODELOS EVALUATIVOS Siguiente Anterior ESTUDIOS CENTRADOS EN EL CLIENTE ESTUDIOS ORIENTADOS HACIA EL CONSUMIDOR ESTUDIOS ORIENTADOS A LA TOMA DE DECISIONES ESTUDIOS BASADOS EN LOS OBJETIVOS

MACROMODELOS EVALUATIVOS Siguiente Anterior REPRESENTANTES R. TYLER ORGANIZADOR (PREVIO) OBJETIVOS METODOS MAS COMUNES COMPARACION ENTRE DATOS DE TRABAJO Y OBJETIVOS ESTUDIOS BASADOS EN LOS OBJETIVOS PROPOSITO Relacionar los resultados con los objetivos PREGUNTAS PRINCIPALES QUE ESTUDIANTES ALCANZAN LOS OBJETIVOS PROCEDENCIA DE LAS PREGUNTAS PLANIFICADORES Y DIRECTIVOS DEL PROGRAMA

MACROMODELOS EVALUATIVOS Siguiente Anterior REPRESENTANTES CRONBACH Y STUFFLEBEAM ORGANIZADOR (PREVIO) SITUACIONES DECISIVAS METODOS MAS COMUNES Inspecciones, valoración de las necesidades, grupos de recomendación, observaciones y planificación experimental PROPOSITO Proporcionar los conocimientos suficientes y una base valorativa para tomar y justificar decisiones ESTUDIOS ORIENTADOS A LA TOMA DE DECISIONES CIPP PREGUNTAS PRINCIPALES ¿Como debe ser planificada, ejecutada y reciclada una organización determinada para que promueva el crecimiento humano y el desarrollo a un coste razonable? PROCEDENCIA DE LAS PREGUNTAS Los que toman las decisiones, sus ayudantes y los evaluadores

MODELO CIPP ORIENTADO A LA TOMA DE DECISIONES CONTEXTO PLANIFICACION TIPOS DE DECISIONES INSUMO ESTRUCTURALES MODELO CIPP ORIENTADO A LA TOMA DE DECISIONES PROCESO IMPLANTACION TIPOS DE EVALUACIONES PRODUCTO RETROCOMUNICACION DANIEL STUFFLEBEAM

MODELO CIPP PREGUNTAS ORIENTADORAS QUE EVALUAR COMO EVALUAR PARA QUE EVALUAR

CONTEXTO ENTRADA PROCESO PRODUCTO Identificar y valorar la capacidad del sistema, las estrategias de programa alternativas, la planificación de procedimientos para llevar a cabo las estrategias, los presupuestos y los programas que lleva la institución a la práctica. Definir el contexto escolar y sociocultural, identificar la población objeto de estudio y valorar sus necesidades. Analizar si los objetivos propuestos son coherentes con las necesidades valoradas. ¿QUÉ EVALUAR? Identificar durante el proceso los efectos de la planificación del procedimiento o de su realización, proporcionar información para las decisiones preprogramadas y describir y juzgar las actividades y aspectos del procedimiento Recopilar descripciones y juicios acerca de los resultados y relacionarlos con los objetivos y la información proporcionada por el contexto, por la entrada de datos y por el proceso, e interpretar su valor y su mérito. PROCESO PRODUCTO

CONTEXTO ENTRADA métodos como la observación, la inspección, la revisión de documentos, las entrevistas, los cuestionarios, etc. inventariar y analizar los recursos humanos y materiales disponibles. El estudio de las posibilidades de viabilidad, aplicabilidad y las económicas. ¿Cómo EVALUAR? tratar de establecer una continua interacción con el personal del proyecto y la observación de sus actividades. Los cuestionarios, las planillas de observación de los elementos centrales del proceso, los diarios y el análisis de documentos son buenos procedimientos para la evaluación del proceso. método de evaluación, la tarea de definir operacionalmente y valorar los resultados, mediante la recopilación de los juicios de los clientes y la realización de análisis cualitativos y cuantitativos. PROCESO PRODUCTO

CONTEXTO ENTRADA PROCESO PRODUCTO La evaluación de las entradas permitirá la selección de los recursos de apoyo, los procedimientos y las capacidades del sistema para llevar a cabo el proceso. La evaluación del contexto permitirá definir el marco, las metas, los objetivos y la planificación inicial del programa. ¿PARA QUE EVALUAR? La evaluación del proceso permitirá introducir en todo momento los cambios necesarios para llevar a cabo y perfeccionar la planificación y los procedimientos del programa. La evaluación del producto permitirá decidir la continuación, la modificación o readaptación o la finalización del programa. PROCESO PRODUCTO

ETAPAS EN LA APLICACIÓN DEL MODELO CIPP DESCRIPCION DEL PROGRAMA A EVALUAR ESTRATEGIA EVALUATIVA PROPOSITOS DE LA EVALUACION DELINEAMIENTO DE LA INFORMACION EVALUATIVA DECISIONES DE MODIFICACION OBTENCION DE LA INFORMACION INTERPRETACION DE LOS RESULTADOS ANALISIS DE RESULTADOS ETAPAS EN LA APLICACIÓN DEL MODELO CIPP

ETAPAS EN LA APLICACIÓN DEL MODELO CIPP CARACTERISTICAS DEL PROGRAMA A EVALUAR COMO SE REALIZARA LA EVALUACION LAS RAZONES QUE MOTIVAN LA EVALUACION QUE TIPO DE INFORMACION QUE VAMOS A CAMBIAR FORMATOS PARA SU OBTENCION: INSTRUMENTOS QUE NOS DICEN LOS DATOS COMO SE ANALIZAN ETAPAS EN LA APLICACIÓN DEL MODELO CIPP

TRABAJO INDIVIDUAL UTILIZANDO COMO REFERENTE EL MODELO CIPP, EVALUAR UNA ASIGNATURA. EL INFORME DEBE INCLUIR EN LO POSIBLE, EVIDENCIAS COMO INSTRUMENTOS DE EVALUACION, GUIAS, ETC.

MACROMODELOS EVALUATIVOS Siguiente Anterior REPRESENTANTES M. SCRIVEN ORGANIZADOR (PREVIO) NECESIDADES Y VALORES SOCIALES METODOS MAS COMUNES Listas de control, valoración de las necesidades, evaluación sin metas, planificación experimental y análisis de coste ESTUDIOS ORIENTADOS HACIA EL CONSUMIDOR PROPOSITO Juzgar los méritos relativos de bienes y servicios alternativos PREGUNTAS PRINCIPALES ¿Cuál de los diversos objetos de Consumo alternativos representa la mejor compra que pueda hacerse, dados sus costos, las necesidades de los consumidores y los valores de la sociedad en general? PROCEDENCIA DE LAS PREGUNTAS La sociedad en general, los consumidores y el evaluador

MACROMODELOS EVALUATIVOS Siguiente Anterior REPRESENTANTES STAKE ORGANIZADOR (PREVIO) PREGUNTAS Y PROBLEMAS LOCALIZADOS METODOS MAS COMUNES ESTUDIOS DE CASOS, INFORMES CONTRAPUESTOS, SOCIODRAMA Y EVALUACION RESPONDENTE PROPOSITO FACILITAR LA COMPRENSION DE LAS ACTIVIDADES Y SU VALORACION EN UNA TEORIA DETERMINADA Y DESDE DISTINTAS PERSPECTIVAS ESTUDIOS CENTRADOS EN EL CLIENTE PREG UNTAS PRINCIPALES ¿Cuál ES LA HISTORIA DE UN PROGRAMA Y COMO ES JUZGADO POR QUIENES ESTAN IMPLICADOS EN EL Y POR LOS QUE SON EXPERTOS EN EL AREA EN LA QUE SE INCLUYE EL PROGRAMAl? PROCEDENCIA DE LAS PREGUNTAS LA COMUNIDAD Y LOS GRUPOS DE CLIENTES EN ZONAS LOCALES Y LOS EXPERTOS

Proceso sistematico y sistemico que permite recopilar, sistematizar, analizar datos para producir informacion valida y confiable en funcion de la toma de decisiones para la mejora continua de un sistema educativo orientado hacia la obtencion de la calidad. Si bien es cierto este proceso busca establecer una relacion de correlacion entre objetivos y resultados del sistema evaluado, no deja de lado los procesos que se vinculan al mismo. Este proceso utiliza estrategias entendidas como conjunto de actividades orientadas a la consecución de objetivos e instrumentos especificos para la recopilacion de la informacion y modelos y metodologias especificas para el analisis de los datos y la descripcion e interpretacion de la informacion obtenida. Por otra parte, este proceso busca generar la autorregulacion del sistema analizado a traves de planes de mejoramiento continuo.

ALTERNATIVAS DE SOLUCIONES INNOVADORAS Reflexión Colectiva sobre la problemática educativa. Identificación y Priorización de los Problemas. EVAL UACION Planteamiento de Objetivos. PROYECTO ALTERNATIVAS DE SOLUCIONES INNOVADORAS Identificación de Variables Experiencias previas Bibliografía Ejecución del Proyecto Indicadores de Evaluación Evaluación del Proyecto Análisis de los Resultados de la Innovación Aplicada INFORME FINAL

PREGUNTAS ORIENTADORAS DEL PROCESO EVALUATIVO ¿Cuál es el concepto de evaluación del que partimos? ¿Que finalidad fundamental tiene la evaluación? ¿Que contenidos vamos a evaluar? ¿Cual sera el ambito o unidad fundamental de evaluación? ¿Quien toma las decisiones? ¿Que papel juega el evaluador?

Primera fase: evaluación del diseño y planificacion Objetivo: Identificar y valorar las estrategias que dirigen la estructura y composicion de los programas de formación y la planificacion de sus procedimientos. ¿Estan bien definidos los objetivos de cada uno de los programas a evaluar? ¿Es adecuada la secuencia prevista para su desarrollo? ¿La planificacion prevista responde a la situacion contextual en la que se impartira?

Segunda fase: la evaluación de proceso Objetivo: Modificar y /o pronosticar durante el proceso los defectos de planificacion del plan durante su desarrollo. ¿Que dificultades y problemas fundamentales presenta el desarrollo del programa de formación? ¿Que utilidad tiene el programa de formación diseñado en nuestro departamento? ¿Es correcta la adecuacion temporal prevista? ¿Como percibe el profesorado, los alumnos y los organos de gestion el desarrollo del prpograma? ¿Como se esta conduciendo el desarrollo del programa? ¿Que factores estan afectando a su funcionamiento? ¿Es el profesor un elemento clave en los resultados del proceso de desarrollo?

Tercera fase: evaluación de resultados OBJETIVO: Conocer el impacto de la evaluación, su eficacia en satisfacer las necesidades para las que fue concebido el estudio, o su éxito en el logro de los objetivos propuestos. ¿Que grado de consecución tienen los objetivos propuestos en cada uno de los programas a evaluar? ¿Que resultados ofrecen los programas de formación diseñados? ¿Que repercusión tiene el proceso de formación en la practica profesional de los implicados? ¿Ha generado el proceso un cambio de actitud en el profesorado? ¿Que impacto tiene el programa de formación en los alumnos? ¿Que impacto tiene el programa de formación según los empleadores?

CRITERIOS OBJETIVO GENERAL FINALIDAD OBJETIVOS ESPECIFICOS UNIDAD O FOCO DE EVALUACION ASPECTOS A EVALUAR PROCEDIMIENTOS TECNICAS DE RECOLECCION Y PROC. DATOS

EVALUACION DE PROGRAMAS /PROYECTOS, ALGUNOS ELEMENTOS A CONSIDERAR

Programa/Proyecto “Curso de acción sistemático, intencional que busca alcanzar objetivos determinados” (González Soto 1995). “Cualquier curso sistemático de acción para el logro de un objetivo o conjunto de objetivos…” (De la Orden 1985) “Un documento intencional y tecnicamente elaborado consistente en un plan de actuación al servicio de metas pedagógicas valiosas” (Pérez Juste 1995). “Actividad dirigida a solucionar un determinado problema considerando como tal la carencia de algún aspecto, la necesidad de introducción de alguna modificación para la mejora, o la realizacion de alguna innovación” (Bordás 1995).

Evaluación de Programas/Proyectos “Proceso sistemático, diseñado intencional y técnicamente, de recogida de información rigurosa, valiosa, válida y fiable, orientado a valorar la calidad y los logros de un programa, como base para la posterior toma de decisiones de mejora tanto del programa, como del personal implicado, y, de modo indirecto, del cuerpo social en el que se encuentra inmerso” (Pérez Juste 1995).

PROPÓSITOS QUE CARACTERIZAN LA EVALUACIÓN DE PROGRAMAS Contribuir a decisiones sobre la aplicación del programa Contribuir a decisiones sobre las modificaciones del programa Contribuir a decisiones sobre la continuidad, expansión o certificación del mismo Obtener evidencias que favorezcan o perjudiquen al programa Contribuir a comprender los procesos sociales y sicológicos básicos, entre otros (Worthen 1990). Determinar el mérito o valor del mismo en función de unos objetivos establecidos (Worthen y White 1987). Rendir cuenta del valor del programa (Guba y Lincoln 1981). Ayudar en la Toma de decisiones (Worthen y Sander 1987). Servir como función política.

ALGUNOS ELEMENTOS FUNDAMENTALES DE LA EVALUACIÓN SOCIAL CRITERIOS BÁSICOS COHERENCIA: Este criterio se refiere al análisis en función del grado de integración lógica de los distintos componentes del proyecto (objetivos, resultados, actividades y recursos): Evaluación de la Coherencia interna de un Proyecto PERTINENCIA: Análisis de la capacidad para dar respuestas a las necesidades reales de los grupos y sujetos involucrados. Esta capacidad debe considerar los recursos disponibles para lograr lo planificado. RELEVANCIA: Análisis del grado de significatividad de las acciones y resultados para los sujetos directamente involucrados en el proyecto. Se entiende así que un proyecto es relevante cuando resulta ser significativo para las personas hacia quienes están dirigidas las acciones del cambio. Evaluar de acuerdo a estos criterios básicos es asumir una perspectiva teórica en la cual la población beneficiaria ya no es un objeto o ente pasivo sino que emerge como un actor o "grupo de interés" que interactúa con determinados equipos o instituciones que intervienen en los problemas que les afecta. Fte. Abdala,E./CINTERFOR,2004

OTROS CRITERIOS MAS CUANTITATIVOS COSTO- BENEFICIO: Basado en un principio económico que en términos generales, sostiene que un proyecto es exitoso si el beneficio que genera la inversión en un período determinado, es mayor que la que se puede obtener con otra alternativa durante el mismo período. Por otra parte considera que un proyecto es más efectivo cuando logra sus productos con un menor costo y los beneficios sociales obtenidos son mayores que la inversión realizada. EFICIENCIA: La evaluación de la eficiencia de los proyectos tiene como objeto el análisis de los recursos o insumos utilizados para realizar las actividades y obtener los resultados o productos esperados. Un proyecto es eficiente si ha tenido un adecuado gasto y no ha producido déficit en su operación. Es decir, si ha optimizado el uso de los recursos materiales y humanos de los que dispone. En los procesos evaluativos actuales se utilizan de manera conjunta criterios cualitativos y cuantitativos de análisis de información. Fte. Abdala,E./CINTERFOR,2004

Fases del proceso de Evaluación de Programas/Proyectos Fase I Evaluación del diseño o inicial. Fase II Evaluación de la aplicación o desarrollo del programa/proyecto. Fase III Evaluación de Impacto o Final.

EVALUACIÓN DEL DISEÑO DEL PROGRAMA/PROYECTO Def.: Aquella fase consistente en verificar la coherencia entre el diseño y el diagnóstico de las condiciones previas. Acciones: recoger datos relacionados con la necesidad del programa Adecuación al entorno Existencia de experiencias similares Tipo de alumnos a los que el programa está dirigido Contenidos Estructura Tipos de relaciones que se establecen Evaluación de aprendizajes Características del equipo docente

EVALUACIÓN DE LA APLICACIÓN O DESARROLLO DEL PROGRAMA/PROYECTO Def.: Trata de recoger cómo funciona realmente el programa reflejando aquello que resulta llamativo como discrepancia o novedad con la previsión del programa. Actividad: Recoger información que posibilite la adaptación metodológica Recoger datos sobre la duración de la aplicación Recoger datos sobre la aplicación y la complejidad de ella.

EVALUACIÓN DE LOS RESULTADOS O IMPACTO DEL PROGRAMA/PROYECTO Def.:Fase centrada en los cambios reales y visibles en dos aspectos : Cambios en el comportamiento y habilidades del profesor. Cambios en las estructuras organizativas y funcionales de la institución que acoge el programa.

Planificación del proceso de evaluación de programa/proyecto ¿Para que se realiza la evaluación de programas? Razones por las cuales se plantea efectuar la evaluación de un programa. Finalidades mas relevantes: Documentar hechos Incrementar la comprensión del proceso Determinar los factores que influyen sobre lo que va mal Facilitar una acción correctiva Detectar los elementos de vitalidad institucional Registrar los cambios en los alumnos Colaborar en la adopción de decisiones administrativas

Planificación del proceso de Evaluación de Programa/Proyecto ¿Quién debe realizar la evaluación del programa?. Los protagonistas del diseño y ejecución del programa.

Planificación del proceso de Evaluación de Programa/Proyecto ¿Qué debe ser evaluado? La adecuación de las tareas a los principios educativos que fundamentan el programa. Coherencia y continuidad en el tratamiento metodológico. El mérito o valor intrínseco de las propias tareas y de las relaciones personales que se establecen. El nivel de satisfacción de los implicados en las tareas. La adecuación del agrupamiento de los alumnos. La pertinencia de la organización espacio-temporal. La utilización y validez de los materiales curriculares que se emplean. La debida selección y organización de objetivos y contenidos del programa. El mérito y adecuación de los responsables del programa.

Planificación del proceso de Evaluación de Programa/Proyecto ¿Cuándo evaluar? FASE INICIAL FASE DESARROLLO FASE FINAL

MOMENTOS DE REALIZACION DE LA EVALUACION EXANTE ANTES DEL INICIO DE LA EJECUCION. EVALUA: EL CONTEXTO SOCIOECONOMICO E INSTITUCIONAL LOS PROBLEMAS IDENTIFICADOS LAS NECESIDADES DETECTADAS LA POBLACION OBJETIVO LOS INSUMOS LAS ESTRATEGIAS DE ACCION INTRA DURANTE LA EJECUCION: ACTIVIDADES DEL PROCESO EN DESARROLLO IDENTIFICACION DE ACIERTOS, ERRORES, DIFICULTADES. POST FINALIZACION INMEDIATA DE LA EJECUCION: DETECTANDO, REGISTRANDO Y ANALIZANDO LOS RESULTADOS TEMPRANOS. EXPOST TIEMPO DESPUES (MESES O AÑOS) y evalúa: Resultados mediatos y alejados consolidados en el tiempo. Fte. Abdala,E./CINTERFOR,2004

EVALUACION DE IMPACTO PROCESO ORIENTADO A LA MEDICION DE RESULTADOS DE LAS INTERVENCIONES EN CANTIDAD, CALIDAD Y EXTENSION SEGÚN LAS REGLAS PREESTABLECIDAS. PERMITE COMPARAR EL GRADO DE REALIZACION O LOGRO CON EL GRADO DE REALIZACION DESEADO; CONGRUENCIA. COMPARA PLANEACION CON RESULTADO DE LA EJECUCION Fte. Abdala,E./CINTERFOR,2004

ALGUNAS UTILIDADES DE LA EVALUACION DE IMPACTO REGISTRO DE TODAS LAS EXPERIENCIAS POSITIVAS Y NEGATIVAS. EVALUAR EL CONTEXTO SOCIOECONOMICO EN QUE SE DA LA INTERVENCION. IDENTIFICAR LOS ACTORES INVOLUCRADOS Y SU PESO ESPECIFICO EN RESULTADOS. ESTUDIAR LA ARTICULACION INTERINSTITUCIONAL Y PUBLICO –PRIVADO. OFRECER ESTUDIOS DE COSTO-BENEFICIO. PROVEER DE INFORMACION RESPECTO DE LA INTERVENCION. RETROALIMENTAR. Fte.Abdala,E./CINTERFOR,2004

EJEMPLO/SINTESIS PRIMERA FASE : IDENTIFICACION DE PROBLEMA. MOMENTO: EXANTE (antes del programa) JOVENES DESEMPLEADOS PERTENECIENTES A CLASES CARENCIADAS. SEGUNDA FASE: PROPUESTA DE UNA SOLUCION AL PROBLEMA. OFERTA DE DISEÑO DE PROGRAMA DE CAPACITACION COMPENSATORIA QUE PRESUPONE MAS HORAS DE FORMACION, MAS INSTITUCIONES CAPACITADORAS, MAS OFERTAS DE CURSOS, MAS DOCENTES. TERCERA FASE: EJECUCION DEL PROGRAMA. MOMENTO : INTRA (durante). ETAPA OPERATIVA O DE IMPLEMENTACION O EJECUTIVA. CUARTA FASE: EVALUACION DE IMPACTO. MOMENTO: EXPOST OBSERVACION DE RESULTADOS, EVOLUCION DE VARIABLES ASOCIADAS A SITUACION DE BENEFICIARIOS EN DIFERENTES MOMENTOS, O FRENTE A UN GRUPO CONTROL. HERRAMIENTAS METODOLOGICAS CUALITATIVAS ENTREVISTAS EN PROFUNDIDAD/OBSERVACION/ANALISIS DOCUMENTAL/ HERRAMIENTAS METODOLOGICAS CUANTITATIVAS CUESTIONARIO/ENCUESTA. Fte. Abdala, E./CINTERFOR,2004

EQUIPO CONSULTOR PREGUNTAS ORIENTADORAS DEL PROCESO. ANALISTAS DE MODELOS EVALUATIVOS. ANALISTAS DE INFORMACION FOCALIZADOS EN EVALUACION DE PROGRAMAS DE FORMACION.

Calidad y excelencia Búsqueda de la excelencia calidad

Conceptos o temas ………….. Evaluacion Sistema Proceso Medicion Modelos Paradigma experimental Paradigma critico Informe Delors Accountability Toma de decisiones Calidad Excelencia Metaevaluacion Producto /resultados Metodos cualitativos Metodos cuantitativos Contexto