EVALUACION DE PROGRAMAS /PROYECTOS, ALGUNOS ELEMENTOS A CONSIDERAR

Programa/Proyecto “Curso de acción sistemático, intencional que busca alcanzar objetivos determinados” (González Soto 1995). “Cualquier curso sistemático de acción para el logro de un objetivo o conjunto de objetivos…” (De la Orden 1985) “Un documento intencional y tecnicamente elaborado consistente en un plan de actuación al servicio de metas pedagógicas valiosas” (Pérez Juste 1995). “Actividad dirigida a solucionar un determinado problema considerando como tal la carencia de algún aspecto, la necesidad de introducción de alguna modificación para la mejora, o la realizacion de alguna innovación” (Bordás 1995).

Evaluación de Programas/Proyectos “Proceso sistemático, diseñado intencional y técnicamente, de recogida de información rigurosa, valiosa, válida y fiable, orientado a valorar la calidad y los logros de un programa, como base para la posterior toma de decisiones de mejora tanto del programa, como del personal implicado, y, de modo indirecto, del cuerpo social en el que se encuentra inmerso” (Pérez Juste 1995).

ALTERNATIVAS DE SOLUCIONES INNOVADORAS Reflexión Colectiva sobre la problemática educativa. Identificación y Priorización de los Problemas. EVAL UACION Planteamiento de Objetivos. PROYECTO ALTERNATIVAS DE SOLUCIONES INNOVADORAS Identificación de Variables Experiencias previas Bibliografía Ejecución del Proyecto Indicadores de Evaluación Evaluación del Proyecto Análisis de los Resultados de la Innovación Aplicada INFORME FINAL

PROPÓSITOS QUE CARACTERIZAN LA EVALUACIÓN DE PROGRAMAS Contribuir a decisiones sobre la aplicación del programa Contribuir a decisiones sobre las modificaciones del programa Contribuir a decisiones sobre la continuidad, expansión o certificación del mismo Obtener evidencias que favorezcan o perjudiquen al programa Contribuir a comprender los procesos sociales y sicológicos básicos, entre otros (Worthen 1990). Determinar el mérito o valor del mismo en función de unos objetivos establecidos (Worthen y White 1987). Rendir cuenta del valor del programa (Guba y Lincoln 1981). Ayudar en la Toma de decisiones (Worthen y Sander 1987). Servir como función política.

ALGUNOS ELEMENTOS FUNDAMENTALES DE LA EVALUACIÓN SOCIAL CRITERIOS BÁSICOS COHERENCIA: Este criterio se refiere al análisis en función del grado de integración lógica de los distintos componentes del proyecto (objetivos, resultados, actividades y recursos): Evaluación de la Coherencia interna de un Proyecto PERTINENCIA: Análisis de la capacidad para dar respuestas a las necesidades reales de los grupos y sujetos involucrados. Esta capacidad debe considerar los recursos disponibles para lograr lo planificado. RELEVANCIA: Análisis del grado de significatividad de las acciones y resultados para los sujetos directamente involucrados en el proyecto. Se entiende así que un proyecto es relevante cuando resulta ser significativo para las personas hacia quienes están dirigidas las acciones del cambio. Evaluar de acuerdo a estos criterios básicos es asumir una perspectiva teórica en la cual la población beneficiaria ya no es un objeto o ente pasivo sino que emerge como un actor o "grupo de interés" que interactúa con determinados equipos o instituciones que intervienen en los problemas que les afecta. Fte. Abdala,E./CINTERFOR,2004

OTROS CRITERIOS MAS CUANTITATIVOS COSTO- BENEFICIO: Basado en un principio económico que en términos generales, sostiene que un proyecto es exitoso si el beneficio que genera la inversión en un período determinado, es mayor que la que se puede obtener con otra alternativa durante el mismo período. Por otra parte considera que un proyecto es más efectivo cuando logra sus productos con un menor costo y los beneficios sociales obtenidos son mayores que la inversión realizada. EFICIENCIA: La evaluación de la eficiencia de los proyectos tiene como objeto el análisis de los recursos o insumos utilizados para realizar las actividades y obtener los resultados o productos esperados. Un proyecto es eficiente si ha tenido un adecuado gasto y no ha producido déficit en su operación. Es decir, si ha optimizado el uso de los recursos materiales y humanos de los que dispone. En los procesos evaluativos actuales se utilizan de manera conjunta criterios cualitativos y cuantitativos de análisis de información. Fte. Abdala,E./CINTERFOR,2004

Fases del proceso de Evaluación de Programas/Proyectos Fase I Evaluación del diseño o inicial. Fase II Evaluación de la aplicación o desarrollo del programa/proyecto. Fase III Evaluación de Impacto o Final.

EVALUACIÓN DEL DISEÑO DEL PROGRAMA/PROYECTO Def.: Aquella fase consistente en verificar la coherencia entre el diseño y el diagnóstico de las condiciones previas. Acciones: recoger datos relacionados con la necesidad del programa Adecuación al entorno Existencia de experiencias similares Tipo de alumnos a los que el programa está dirigido Contenidos Estructura Tipos de relaciones que se establecen Evaluación de aprendizajes Características del equipo docente

EVALUACIÓN DE LA APLICACIÓN O DESARROLLO DEL PROGRAMA/PROYECTO Def.: Trata de recoger cómo funciona realmente el programa reflejando aquello que resulta llamativo como discrepancia o novedad con la previsión del programa. Actividad: Recoger información que posibilite la adaptación metodológica Recoger datos sobre la duración de la aplicación Recoger datos sobre la aplicación y la complejidad de ella.

EVALUACIÓN DE LOS RESULTADOS O IMPACTO DEL PROGRAMA/PROYECTO Def.:Fase centrada en los cambios reales y visibles en dos aspectos : Cambios en el comportamiento y habilidades del profesor. Cambios en las estructuras organizativas y funcionales de la institución que acoge el programa.

Planificación del proceso de evaluación de programa/proyecto ¿Para que se realiza la evaluación de programas? Razones por las cuales se plantea efectuar la evaluación de un programa. Finalidades mas relevantes: Documentar hechos Incrementar la comprensión del proceso Determinar los factores que influyen sobre lo que va mal Facilitar una acción correctiva Detectar los elementos de vitalidad institucional Registrar los cambios en los alumnos Colaborar en la adopción de decisiones administrativas

Planificación del proceso de Evaluación de Programa/Proyecto ¿Quién debe realizar la evaluación del programa?. Los protagonistas del diseño y ejecución del programa.

Planificación del proceso de Evaluación de Programa/Proyecto ¿Qué debe ser evaluado? La adecuación de las tareas a los principios educativos que fundamentan el programa. Coherencia y continuidad en el tratamiento metodológico. El mérito o valor intrínseco de las propias tareas y de las relaciones personales que se establecen. El nivel de satisfacción de los implicados en las tareas. La adecuación del agrupamiento de los alumnos. La pertinencia de la organización espacio-temporal. La utilización y validez de los materiales curriculares que se emplean. La debida selección y organización de objetivos y contenidos del programa. El mérito y adecuación de los responsables del programa.

Planificación del proceso de Evaluación de Programa/Proyecto ¿Cuándo evaluar? FASE INICIAL FASE DESARROLLO FASE FINAL

MOMENTOS DE REALIZACION DE LA EVALUACION EXANTE ANTES DEL INICIO DE LA EJECUCION. EVALUA: EL CONTEXTO SOCIOECONOMICO E INSTITUCIONAL LOS PROBLEMAS IDENTIFICADOS LAS NECESIDADES DETECTADAS LA POBLACION OBJETIVO LOS INSUMOS LAS ESTRATEGIAS DE ACCION INTRA DURANTE LA EJECUCION: ACTIVIDADES DEL PROCESO EN DESARROLLO IDENTIFICACION DE ACIERTOS, ERRORES, DIFICULTADES. POST FINALIZACION INMEDIATA DE LA EJECUCION: DETECTANDO, REGISTRANDO Y ANALIZANDO LOS RESULTADOS TEMPRANOS. EXPOST TIEMPO DESPUES (MESES O AÑOS) y evalúa: Resultados mediatos y alejados consolidados en el tiempo. Fte. Abdala,E./CINTERFOR,2004

EVALUACION DE IMPACTO PROCESO ORIENTADO A LA MEDICION DE RESULTADOS DE LAS INTERVENCIONES EN CANTIDAD, CALIDAD Y EXTENSION SEGÚN LAS REGLAS PREESTABLECIDAS. PERMITE COMPARAR EL GRADO DE REALIZACION O LOGRO CON EL GRADO DE REALIZACION DESEADO; CONGRUENCIA. COMPARA PLANEACION CON RESULTADO DE LA EJECUCION Fte. Abdala,E./CINTERFOR,2004

ALGUNAS UTILIDADES DE LA EVALUACION DE IMPACTO REGISTRO DE TODAS LAS EXPERIENCIAS POSITIVAS Y NEGATIVAS. EVALUAR EL CONTEXTO SOCIOECONOMICO EN QUE SE DA LA INTERVENCION. IDENTIFICAR LOS ACTORES INVOLUCRADOS Y SU PESO ESPECIFICO EN RESULTADOS. ESTUDIAR LA ARTICULACION INTERINSTITUCIONAL Y PUBLICO –PRIVADO. OFRECER ESTUDIOS DE COSTO-BENEFICIO. PROVEER DE INFORMACION RESPECTO DE LA INTERVENCION. RETROALIMENTAR. Fte.Abdala,E./CINTERFOR,2004

EJEMPLO/SINTESIS PRIMERA FASE : IDENTIFICACION DE PROBLEMA. MOMENTO: EXANTE (antes del programa) JOVENES DESEMPLEADOS PERTENECIENTES A CLASES CARENCIADAS. SEGUNDA FASE: PROPUESTA DE UNA SOLUCION AL PROBLEMA. OFERTA DE DISEÑO DE PROGRAMA DE CAPACITACION COMPENSATORIA QUE PRESUPONE MAS HORAS DE FORMACION, MAS INSTITUCIONES CAPACITADORAS, MAS OFERTAS DE CURSOS, MAS DOCENTES. TERCERA FASE: EJECUCION DEL PROGRAMA. MOMENTO : INTRA (durante). ETAPA OPERATIVA O DE IMPLEMENTACION O EJECUTIVA. CUARTA FASE: EVALUACION DE IMPACTO. MOMENTO: EXPOST OBSERVACION DE RESULTADOS, EVOLUCION DE VARIABLES ASOCIADAS A SITUACION DE BENEFICIARIOS EN DIFERENTES MOMENTOS, O FRENTE A UN GRUPO CONTROL. HERRAMIENTAS METODOLOGICAS CUALITATIVAS ENTREVISTAS EN PROFUNDIDAD/OBSERVACION/ANALISIS DOCUMENTAL/ HERRAMIENTAS METODOLOGICAS CUANTITATIVAS CUESTIONARIO/ENCUESTA. Fte. Abdala, E./CINTERFOR,2004