Evaluación de Programas Planificación y diseño de la evaluación. Dr. Jesús M. Jornet Meliá Departamento de Métodos de Investigación y Diagnóstico en Educación UNIVERSITAT DE VALÈNCIA

Estructura del Seminario Conceptos básicos de Evaluación de Programas Componentes del diseño: las preguntas de la evaluación Objeto de la evaluación Finalidad de la evaluación Audiencias o colectivos implicados Fuentes e instrumentos de información Momentos de recogida de información Análisis de la información Difusión de la información

Conceptos básicos de Evaluación de Programas Qué es la Evaluación de Programas (I) Es una especialización profesional que se identifica en diversas áreas (CC. Sociales, Humanas y de la Salud) Su objetivo es recabar información para la toma de decisiones acerca de la intervención en esas áreas En Educación su desarrollo ha sido muy profundo y afecta a la planificación, diseño y organización, innovación y control de la intervención educativa

Conceptos básicos de Evaluación de Programas Qué es la Evaluación de Programas (II) Es propia de países que tienen una gestión democrática América, Europa y Australia son las áreas donde más impacto y uso está teniendo en la actualidad Es base tanto para la rendición de cuentas, como para la innovación y mejora de la intervención

Sinónimo de Investigación Evaluativa Diferente de: Conceptos básicos de Evaluación de Programas Qué es la Evaluación de Programas (III) Sinónimo de Investigación Evaluativa Diferente de: Investigación Medición Evaluación y Política

Concepto de Evaluación de Programas en Educación Evaluación (Gem, 2001-2004): Proceso sistemático de indagación y comprensión de la realidad educativa que pretende la emisión de un juicio de valor sobre la misma, orientado a la toma de decisiones y la mejora.

Evaluación de Programas y otros conceptos Sinónimo de Investigación Evaluativa Diferente de: Investigación Medición Evaluación y Política

Evaluación de Programas y otros conceptos: Investigación Evaluativa Evaluar es tomar una decisión sobre la orientación y el desarrollo de una acción, a partir de criterios explícitos y consensuados, aplicados a una información completa, sistemática, verificable y pública. La investigación evaluativa, sin embargo, pretende comprender los resultados de la acción. No pretende tanto constatar un resultado, cuanto comprender la dinámica interna susceptible de explicar ese resultado. Evaluación/Investigación Evaluativa: SINÓNIMOS

Evaluación de Programas y otros conceptos Sinónimo de Investigación Evaluativa Diferente de: Investigación Medición Evaluación y Política

Evaluación de Programas y otros conceptos: Investigación

Evaluación de Programas y otros conceptos: Medición Medición: establecer la cantidad o extensión de algún fenómeno Evaluación: sustentar/emitir un juicio de valor aecrca de algún fenómeno

Qué es la Evaluación de Programas Sinónimo de Investigación Evaluativa Diferente de: Investigación Medición Evaluación y Política

Evaluación de Programas y otros conceptos: Política Evaluación y Política “La evaluación se inscribe dentro de la tradición científica. (...) Pero la ciencia es sólo parte de la historia y, diría, una parte subordinada. Si la evaluación no es primeramente una actividad científica, entonces, ¿qué es? Es primero y sobre todo una actividad política, una función práctica dentro de un sistema social” (Cronbach, 1977)

Evaluación de Programas y otros conceptos: Política Sistemas de valores y creencias Metapostulados de la ciencia dominantes Ideología política dominante Programadores sociales Políticos Investigadores Evaluadores de programas Estado de la ciencia Conceptos básicos Estructura y sistemas de promoción de la investigación aplicada Sistema político Recursos económicos Relaciones entre ciencia y política en evaluación de programas (tomado de Fernández Ballesteros, 1987)

Cómo surge la Evaluación de Programas en Educación Etapa del inicio. Siglos XVII y XVIII Etapa de la Reforma. Siglo XIX Etapa de los tests. 1900-1929 Etapa tyleriana (1930-1945). Etapa de la inocencia (1945-1957). Etapa de la expansión (1957-1972). Etapa de la profesionalización (1973-1980) La situación actual. Breve sinopsis

Cómo surge la Evaluación de Programas en Educación Popham (1980), De la Orden (1982),Salmerón (1997), Casanova (1999), Jiménez (1999), Mateo (2000a), Gómez i Serra (2000), Pérez Juste (2000a, b) Jornet (2001) y el Tesauro de Evaluación (Scriven, 1991). Evolución del concepto de evaluación educativa. Evoluciona hacia una concepción más global del rendimiento educativo, y su evaluación Evaluación de Aprendizajes Evoluciona hacia una concepción más diversificada de los objetos y los métodos de evaluación Evaluación de Programas Evaluación Educativa

Programas Socio-educativos Qué áreas atiende (I) Situación educativa: Escenarios Informal So-cial Individual No-Formal Programas Socio-educativos Enfoque Político Instituciones Formal Sistema Educativo Aula Acciones Formativas

Qué áreas atiende (II) La Educación actúa mediante Programas (Intervenciones orientadas a un fin/meta educativa) Diverso grado de formalización Componentes de un Programa: Medios y recursos materiales y humanos, concreción del diseño de actuación y metodología, objetivos, etc…

Qué áreas atiende (III) Unidades de Evaluación: Actores de la Educación (las personas) Organizaciones Elementos Materiales

Actores de la Educación: Qué áreas atiende (IV) Actores de la Educación: las Personas Alumnos/as Profesores/as Agentes de la Educación

Organizaciones Educativas Agrupaciones organizativas Qué áreas atiende (V) Organizaciones Educativas Sistemas Educativos Instituciones Educativas Agrupaciones organizativas

Elementos Formales de Materialización de la Intervención Educativa Qué áreas atiende (VI) Elementos Formales de Materialización de la Intervención Educativa Proyectos Diseños Curriculares Programas Materiales

Componentes del diseño: las preguntas de la evaluación (I) La Planificación de la Evaluación constituirá la adaptación del Plan de Evaluación a la realidad que pretende evaluar, anticipando, en la medida de lo posible, todos los componentes que estarán presentes en la situación evaluativa. Objetivo de la Planificación: asegurar la validez y utilidad de la Evaluación.

Componentes del diseño: las preguntas de la evaluación (II)

Componentes del diseño: las preguntas de la evaluación (III)

Definición del Objeto de Evaluación ¿Qué se evalúa? (I) Se trata de identificar las características del Objeto a Evaluar. Referencias: Concepto de Calidad Elementos para operativizar el concepto: Los objetivos y consecuencias de la formación. Las unidades de análisis: el sujeto, el servicio o el programa. Las tipologías de formación. La definición de efectos a evaluar: eficacia, eficiencia, funcionalidad

Definición del Objeto de Evaluación ¿Qué se evalúa? (II) Características de los enfoques de Calidad de Servicio y del Programa (Perales, 2002)

La definición de efectos a evaluar Eficacia: grado de consecución de objetivos. ( C B) Eficiencia: grado en que se optimizan los recursos en la consecución de objetivos. ((E,D) B) Funcionalidad: adecuación de todo el proceso a las necesidades, aspiraciones y expectativas sociales.((E,D,C,B) A) Modelo sistémico de Arturo De la Orden Efectos a evaluar: Eficacia Eficiencia Funcionalidad

Finalidad de la Evaluación ¿Para qué se evalúa? (I) Se trata de determinar el uso de la Evaluación (Scriven, 1967): ¿Identificar aspectos a Mejorar en un Programa o Calificarlo?

Identificar las audiencias implicadas (I) Concepto de Audiencia Weiss (1984), incluye: “tanto los miembros de los grupos que están palpablemente afectados por el programa y que, por tanto, estarán supuestamente afectados por las conclusiones evaluativas, como aquellos miembros de los grupos que toman decisiones en relación con el futuro del programa, tales como continuar o no con la financiación, o que pueden alterar el programa”.

Identificar las audiencias implicadas (II) Cuestiones implicadas

Identificar las audiencias implicadas (III) ¿Quién orienta o encarga la Evaluación? Identificar las expectativas del cliente ayuda a ajustar mejor el plan de evaluación (finalidad, consecuencias, usos…) Negociación y contrato de la evaluación

Evaluación Externa vs. Evaluación Interna Identificar las audiencias implicadas (IV) ¿Quién realiza la Evaluación? (II) Se trata de identificar quién va a ser el responsable de la Evaluación Afecta a la Credibilidad y al Coste de la Evaluación Opciones: Atención: “Externo o Interno” debe identificarse como un rol respecto del Programa Evaluado Evaluación Externa vs. Evaluación Interna …¿o bien,Mixta?

Identificar las audiencias implicadas (V) ¿Qué audiencias están implicadas? (III) Alumnos. Como sujetos de la Formación. Profesores, tanto de actividades teóricas como prácticas, como agentes directos de la Formación. Orientadores (Profesionales y Ocupacionales), como facilitadores de la integración socio-laboral. Coordinadores de Formación y/o Directores de Organizaciones dedicadas a la formación, como responsables de la misma. Empleadores, como receptores del producto formativo o como proveedores del capital que hace posible la formación. Instituciones Públicas y/o Privadas, que proveen fondos de formación. Sociedad, como receptora última del producto formativo o como subvencionadora de estos programas.

Fuentes e instrumentos de recogida de información (I) Cuestiones implicadas

Fuentes e instrumentos de recogida de información (II) ¿Qué información se requiere? Se trata de identificar cuál es la información relevante y de calidad para la evaluación La información requerida debe cumplir dos requisitos fundamentales: Pertinencia / relevancia Evaluabilidad Tipos de información: Descriptiva Explicativa

Fuentes e instrumentos de recogida de información (III) Estrategia de selección de información ¿Qué información es relevante según la finalidad y el objeto de la evaluación? ¿Qué papel juega cada información? ¿Es evaluable? ¿Es fiable y válida? ¿Podemos interpretarla? Contexto Entrada Proceso Producto

Fuentes e instrumentos de recogida de información (IV) Variables e Indicadores Las informaciones a considerar son llamadas variables, dado que son aspectos de la realidad que pueden adoptar distintos valores, que varían Un Indicador es un dato o resultado susceptible de una interpretación inequívoca o normalizada, que informa del estado o evolución de algún fenómeno Cuatro tipos de variables o indicadores, según su rol en el Plan de Evaluación

Fuentes e instrumentos de recogida de información (V) Clasificación de información Adaptado a partir del Modelo CIPP de Sttuflebeam y otros (1971) Variables / Indicadores Contextuales son aquellos que nos pueden ayudar a modular la interpretación de la Evaluación del Programa teniendo en cuenta la situación en que se inserta Variables / Indicadores de Entrada (Input) son los referidos a los medios con que se cuenta para el desarrollo del Programa, tanto medios materiales como personales Variables/ Indicadores de Proceso son los relativos al “Cómo se produce la Formación”, es decir, todas las implicadas en el desarrollo del Programa Variables / Indicadores de Producto -o Resultados de la Formación- son aquellos que pueden poner de manifiesto el logro de objetivos del programa

Fuentes e instrumentos de recogida de información (VI) Tabla de selección de información

Fuentes e instrumentos de recogida de información (VII) ¿A quién se le pide información? ¿Quién puede aportar la información requerida de una manera más fiable y válida? Alumnos Profesores Responsables de formación Supervisores ¿Existe más de una posibilidad? ¿Cuál es la más operativa? ¿Interesa triangular fuentes? ¿Es factible el acceso a la información? SI ¿El banco está actualizado? ¿Hacen falta permisos especiales para acceder? ¿Puede haber perturbaciones en el programa de formación? Bancos de datos

Fuentes e instrumentos de recogida de información (VIII) Tabla de fuentes de información

Fuentes e instrumentos de recogida de información (IX) ¿Cómo se recoge la información? Tipos de instrumentos, según el grado de estandarización: Instrumentos de Medida: pruebas de rendimiento/capacitación, y buena parte de los Cuestionarios o Escalas de Opinión. Técnicas Evaluativas: Entrevista, Auto-informes, Registros Observacionales. Criterios de selección de instrumentos: Adecuación al tipo de información a recoger Criterios técnico-metodológicos, y Oportunidad (la logística de la evaluación)

Momentos de recogida de información ¿Cuándo se recoge información? Momentos: Previo, Inicio, Durante, Final y Después del programa. (Pérez Carbonell, 1998)

Análisis de la información ¿Cómo se analiza y sintetiza la información? Del Análisis de Datos depende una correcta interpretación de la Evaluación La estructura inicial del Análisis de Datos deviene del Diseño de la Evaluación Tipos de Análisis Análisis cuantitativo: El Análisis Exploratorio de Datos (AED) es una fase crucial en el Análisis: de él depende buena parte de la selección de técnicas a aplicar El Análisis Confirmatorio de Datos (ACD) está orientado a determinar los efectos del Programa y a explicar los niveles observados en la Evaluación Análisis cualitativo de datos Recomendaciones El Análisis de Datos es una tarea dinámica, que debe ir reajustándose a la vista de los resultados Hay que ser muy preciso y claro al explicar los análisis realizados

Difusión de la información (I)

Difusión de la información (II) ¿Quién tiene derecho de acceso a la información? Dar información es básico para que la Evaluación sea creíble y útil Como principio general puede asumirse que todo aquél que esté implicado en el proceso, bien porque es evaluado -directa o indirectamente al evaluar el Programa de Formación-, bien porque está implicado como fuente de información tiene derecho a conocer resultados, los que le afectan directamente o los que le pueden ser útiles para sus decisiones acerca del Programa. Es conveniente recoger en el Contrato de Evaluación las responsabilidades en cuanto a la Custodia y usos posteriores de los resultados

Difusión de la información (III) ¿Cómo se elaboran los informes de evaluación? Informes a realizar: Informe Global en el que se incluyan todos los elementos implicados en la Evaluación Informes específicos por audiencias Recomendaciones: Contextualización de la Información y claridad son dos principios básicos para elaborar los Informes de Evaluación Debe incluirse una Síntesis y Recomendaciones en los Informes Los informes destinados a cada colectivo específico incluirán sólo la información que pueda interesarles o afectarles, adaptando el lenguaje y sistema de exposición a sus características

Difusión de la información (IV) ¿Cómo se elaboran los informes de evaluación? Aspectos a tener en cuenta en el Informe Global: ¿Se ha incluido una presentación Metodológica? ¿Se reseñan todos los componentes de Planificación de la Evaluación? ¿Se incluyen todos los resultados? ¿El lenguaje es claro y preciso?¿Se han desarrollado gráficos de apoyo? ¿La información está bien contextualizada? ¿Se realiza una síntesis adecuada? ¿Se aportan recomendaciones?

Difusión de la información (V) ¿Cómo se elaboran los informes de evaluación? Aspectos a tener en cuenta en los informes específicos de cada audiencia: ¿Se incluye la información de interés para la audiencia a que va dirigido? ¿La información está contextualizada? ¿El lenguaje se ajusta al nivel de la audiencia? ¿En suma, es representativo de los resultados completos?

¿Cómo utilizar los resultados de la Evaluación? Utilidad, para el cliente y los distintos implicados Justicia. Representación justa de la calidad del programa Equidad. Garantía de igualdad de opotunidades y el tratamiento diferencial, evitando sesgos.

Muchas gracias por su atención