Nota: Para ver el archivo IMPRIMIRLO EN FORMATO PÁGINA DE NOTAS

Presentación del tema: "Nota: Para ver el archivo IMPRIMIRLO EN FORMATO PÁGINA DE NOTAS"— Transcripción de la presentación:

1 Nota: Para ver el archivo IMPRIMIRLO EN FORMATO PÁGINA DE NOTAS
Tema 4 (parte final) EVALUACION Nota: Para ver el archivo IMPRIMIRLO EN FORMATO PÁGINA DE NOTAS Para ver el archivo IMPRIMIRLO EN FORMATO PÁGINA DE NOTAS

2 Evaluación de resultados
= Evaluación de la eficacia =/= Evaluación de objetivos Con este tipo de evaluación se trata de analizar el grado en que el programa consigue los resultados buscados. Así la evaluación de resultados es sinónimo de evaluación de la eficacia puesto que trata de establecer la capacidad del programa para alcanzar los objetivos propuestos. Pero hay que distinguir entre objetivos y resultados. Los objetivos son los efectos buscados por el programa y los resultados son los efectos producidos por el programa. De esta forma, mientras los objetivos son siempre buscados, previstos y positivos, los resultados pueden ser además no buscados, imprevistos y negativos. En todo caso una cuestión clave en este tipo de evaluación es determinar con claridad cuáles son los efectos buscados.

3 Evaluación de resultados
Diferentes clasificaciones : Cambios en la situación de las personas Cambios en las relaciones sociales 3. Cambios en las infraestructuras Como guía y según sea el contexto de referencia de los efectos buscados hay diferentes clasificaciones que pueden ayudarnos: 1. Efectos que buscan cambios en la situación de las personas a nivel de: sus ingresos, sus comportamientos, actitudes, conocimientos, estereotipos... 2. Efectos que buscan cambios en las relaciones sociales: en la comunicación interpersonal, en la cooperación, en el apoyo, en la participación... 3. Efectos que buscan cambios en las infraestructuras: físicas, sociales, culturales...

4 Evaluación de resultados
Metodología: 1. Especificación de los efectos buscados en referencia a los objetivos del programa. 2. Estricta delimitación de estos efectos de modo jerárquico, de mayor a menor concreción, en términos medibles. 3. Selección de los instrumentos adecuados para medir dichos efectos. 4. Recopilación de la información necesaria. 5. Análisis comparativo de logrado y de lo que se quería lograr. Ver Caso Práctico (transparencias 15)

5 Monitorización Características: a) evaluación permanente
b) rendición de cuentas c) funcionamiento del programa d) evaluación de tipo formativo La monitorización no es en sentido estricto un tipo de evaluación sino un diseño para la recogida de información acerca del modo en que el programa se va comportando. Tiene la ventaja de poder responder a un gran número de cuestiones evaluativas en cualquier momento del programa, y se caracteriza por: a) ser una evaluación permanente b) responder a un mandato político de rendición de cuentas c) centrarse en aspectos de funcionamiento del programa d) ser una evaluación de tipo formativo

6 Fases del proceso: Monitorización
Primer paso: determinación de los objetivos de la evaluación. Segundo paso: desarrollo de un modelo de flujo Tercer paso: desarrollo del sistema de indicadores e información Cuarto paso: desarrollo de los soportes documentales Quinto paso: elaboración de un diccionario y un manual de aplicación de los soportes documentales. Sexto paso: integración de los soportes documentales en el modelo de flujo. Séptimo paso: especificación de cómo se van a presentar los resultados de la evaluación y cómo se van a utilizar los resultados de la misma. Fases del proceso Primer paso: determinación de los objetivos de la evaluación. Segundo paso: desarrollo de un modelo de flujo que especifique los diferentes pasos del mismo en relación con la población objeto y el conjunto de actividades que constituyen el programa. Este modelo de flujo recoge la entrada de la persona usuaria al programa, los pasos hasta que recibe el programa, el conjunto de actividades de que es objeto, la actuación de los diferentes profesionales y su salida del proceso. Tercer paso: desarrollo del sistema de indicadores e información necesaria para responder a las dimensiones que integran el modelo de flujo. Cuarto paso: desarrollo de los soportes documentales que van a servir para recoger materialmente la información necesaria para llegar a los indicadores previamente fijados. Quinto paso: elaboración de un diccionario y un manual de aplicación de los soportes documentales. Sexto paso: integración de los soportes documentales en el modelo de flujo. Séptimo paso: especificación de cómo se van a presentar los resultados de la evaluación y cómo se van a utilizar los resultados de la misma.

7 Monitorización Este diseño exige, por tanto:
un sistema de indicadores, unos soportes documentales donde se recoja la información necesaria, un sistema de información informatizado, y una metodología capaz de analizar periódicamente la información recogida.

8 Monitorización 1) Evaluación de la cobertura
La monitorización permite llevar a cabo diferentes modalidades de evaluación simultáneamente, entre las más utilizadas: 1) Evaluación de la cobertura 2) Evaluación del esfuerzo 3) Evaluación del proceso 4) Evaluación de la productividad 5) Evaluación de la calidad de la atención

9 Evaluación de la cobertura
Monitorización Evaluación de la cobertura Dimensiones: volumen de población cubierta, perfil de la persona usuaria, accesibilidad al programa, demanda. Indicadores:  población objeto/población de la zona  casos atendidos  casos resueltos  abandonos  perfiles: edad, sexo, ocupación, estudios...  grado de conocimiento del programa  facilidad de acceso al Centro  demanda solicitada/concedida

10 Monitorización Evaluación del esfuerzo
Dimensiones: inputs de los programas-servicios necesarios para la atención prevista en la planificación de las intervenciones Indicadores:  volumen de recursos humanos  cualificación profesional  horas de dedicación según tipo de actividad  estatus jurídico del personal  número de equipamientos e instalaciones  recursos financieros

11 Evaluación del proceso
Monitorización Evaluación del proceso descripción de las actividades que tienen lugar en la intervención relacionándola con la distribución del tiempo de trabajo del personal implicado en la intervención. Podría aplicarse este tipo en toda su extensión tal y como hemos visto anteriormente, sin embargo, en la monitorización la evaluación del proceso se reduce a la descripción de las actividades que tienen lugar en la intervención relacionándola con la distribución del tiempo de trabajo del personal implicado en la intervención. (ver caso práctico transparencias 13 y 14)

12 Monitorización Evaluación de la productividad
Dimensiones: productividad técnica del personal de atención Indicadores:  relación actividades directas/indirectas  ratio de casos en atención, abiertos, resueltos y nuevos por profesional  ratio de casos totales por profesional

13 Monitorización Evaluación de la calidad de la atención
Dimensiones: tiempo de dedicación a cada caso, nivel de satisfacción de la persona usuaria. Indicadores:  tiempo dedicado a estudio del caso  tiempo dedicado a gestiones  tiempo dedicado a atención directa  tiempo que dura la tramitación de la demanda  número de documentos exigidos

14 Fases de la evaluación Fase 1: Planteamiento de la evaluación
Fase 2: Determinación del tipo de evaluación Fase 3: Elaboración del diseño de evaluación Fase 4: Recogida de información Fase 5: Análisis de la información Fase 6: Formulación de conclusiones y presentación de resultados Fase 7: Medidas de retroalimentación y posible aplicación LECTURA OBLIGATORIA DE Gómez Serra, M. (2004) Evaluación de los servicios sociales, ed. Gedisa, Barcelona: CAPÍTULOS 7 Y 8 (Ver archivo FASES DE LA EVALUACION)

15 Recogida de datos Ex ante In via Post facto Variables Indicadores
indices Observación directa Observación mediante encuesta Observación documental Observación Cualitativa Ex ante: Es la recogida de datos que se realiza con anterioridad al inicio del programa. Se utiliza cuando interesa disponer de información sobre determinados aspectos del mismo antes de su aplicación, con el fin de compararlos con datos obtenidos durante el desarrollo y/o al final. IN Via: La recogida de datos que se realiza durante el desarrollo del programa Post Facto: LA recogida de datos que se realiza al final del programa Para la recogida de datos es preciso determinar las variables, los indicadores y los indices, según se explica en las siguientes páginas. La recogida de datos se realiza como cualquier otra investigación social utilizando técnicas de Observación directa, encuesta, análisis de docuemento o técnicas cualitativas.

16 DEFINICION DE INDICADORES
Representación literaria del concepto Especificación de las dimensiones del concepto Elección de indicadores observables Elaboración de indices La definición de indicadores es un proceso que comporta cuatro operaciones, tal como lo ha descrito Lazarsfeld : Representación literaria del concepto Especificación de las dimensiones del concepto Elección de indicadores observables Elaboración de indices

17 DEFINICION DE INDICADORES
CONCEPTO INDICADOR INDICE En el proceso de definición de indicadores se trata de conseguir el mayor nivel de concrección sobre el objeto de evaluación. El concepto es la parte más abstracta de una determinada realidad social. El indicador apunta hacia las dimensiones del concepto definidas en términos objetivables y mensurables El indice es un parámetro para determinar el valor del indicador respecto a su presencia en la realidad estudiada En las siguientes páginas se puede ver con un ejemplo:

18 EJ. CONCEPTO DE INCORPORACION
“conjunto de acciones que emprende una persona, por iniciativa propia o a propuesta de los sistemas de protección social, con la finalidad de obtener una mejora en su posición social. El proceso de incorporación social supone la puesta en marcha de un plan de acción –implicito o explicito – mediante la identificación de metas, objetivos y acciones”

19 DIMENSIONES DEL CONCEPTO
Participación en las relaciones sociales Desarrollo de planes de actuación Sentimiento de pertenencia Utilización de recursos Grado de alcance de condiciones sociales de integración Etc.

20 INDICADORES OBSERVABLES
PARTICIPACIÓN EN RELACIONES SOCIALES Definición: Cantidad y calidad de relaciones sociales que mantiene la persona con su familia, red de amistades, vecindario. Pertenencia a asociaciones culturales, deportivas, sociales,... Frecuencia de relaciones mantenidas con familia, amistad... Asistencia a actos culturales, compromisos cívicos, etc.

21 INDICADORES OBSERVABLES
DESARROLLO DE PLANES DE ACTUACIÓN Definición: Puesta en marcha de acciones encaminadas a conseguir unos objetivos durante un plazo de tiempo determinado. Acciones de mejora de las condiciones de vida emprendidas por la persona en el último semestre Existencia de calendario de actividades con objetivos de mejora en las condiciones de vida para el próximo semestre

22 INDICADORES OBSERVABLES
UTILIZACIÓN DE RECURSOS Definición: Conocimiento de recursos sociales, públicos y privados, en cuanto a funcionamiento, forma de acceso y ámbito de intervención. Identificación de recursos sociales del entorno Conocimiento sobre programaciones de actos sociales, culturales, etc. Participación como usuario-a de determinados servicio de incorporación social (centros de orientación laboral, agencias de colocación, etc.) durante un periodo determinado de tiempo

23 DEFINICIÓN DE INDICES Diremos que hay un conocimiento de recursos sociales cuando la persona es capaz de: Identificar al menos tres recursos, indicando nombre de la entidad, localización o emplazamiento, actividad principal, forma de acceso. Señala tres actividades actos sociales o culturales celebrados en su entorno (municipio o comarca en el último mes) Ha solicitado o recibido al menos un recurso relacionado con el empleo

24 ALGUNOS INDICADORES Número de personas atendidas con un determinado problema sobre el conjunto de personas atendidas Números de personas atendidas con un determinado problema sobre el conjunto de personas con ese determinado problema Número de personas que finaliza un proceso de incorporación sobre el número de personas que participan en procesos de incorporación Tiempo medio de atención dedicado a las personas en procesos de incorporación que finalizan sobre el tiempo medio del servicio Número de personas que abandonan el proceso de incorporación social sobre el número de personas que inician un proceso de incorporación social Personal dedicado a atención de personas en proceso de incorporación sobre el número de personas potenciales usuarias del programa

25 Evaluación de la evaluabilidad
Eval. económica Evaluación de resultados Evaluación de la implementación Evaluación de la evaluabilidad Para finalizar este tema hay que recordar una serie de Principios básicos de jerarquización en el diseño de evaluaciones: Para finalizar el tema concluimos recordando con Alvira la aplicación de los diferentes tipos de evaluación, además de realizarse de acuerdo a los objetivos del cliente de la evaluación, debe respetar unos principios básicos de jerarquización, para obtener una interpretación adecuada de los resultados: La evaluación económica presupone la evaluación de resultados La evaluación de resultados la evaluación de la implementación Ninguna de las tres debería realizarse sin una previa evaluación de la evaluabilidad al igual que tampoco se debería intervenir sin una previa evaluación de necesidades Evaluación de necesidades

26 bibliografía Alvira, F. (1991) Metodología de la Evaluación de Programas, CIS, Madrid. Ballart, X. (1992) ¿Cómo Evaluar Programas y Servicios Públicos?: aproximación sistemática y estudios de caso, Ministerio para las Administraciones Públicas, Madrid. Briones, G. (1991) Evaluación de Programas Sociales, Trillas, México. Cohen, E. y Franco, R. (1993) Evaluación de Proyectos Sociales, Siglo XXI, Madrid. Colás Bravo, Mª.P. y Rebollo Catalán, Mª.A. (1993) Evaluación de Programas: una guía práctica, Kronos, Sevilla. Fernández-Ballesteros, R. (1995) Evaluación de Programas: una guía práctica en ámbitos sociales, educativos y de salud, Síntesis, Madrid. Gómez Serra, M. (2004) Evaluación de los servicios sociales, ed. Gedisa, Barcelona López Jiménez, J.J.. (1995) Indicadores Sociales para la Evaluación de las Acciones, Cáritas, Madrid. Medina Tornero, M.E. (1995) Organizar, Planificar y Evaluar en las Entidades Asociativas, FAMDIF, Murcia. Medina Tornero, M.E. (2000) Evaluación de la calidad asistencial del servicio de ayuda a domicilio en el Ayuntamiento de Murcia, Universidad de Murcia, Murcia. Pérez-Llantada, M.C. y López de la Llave, A. (1999) Evaluación de Programas de Salud y Servicios Sociales: metodología y ejemplos, Dykinson, Madrid. Rossi, P.H. y Freeman, H.E. (1989) Evaluación. Un Enfoque Sistemático para Programas Sociales, Trillas, México. Rueda Palenzuela, J.Mª. (1993) Programar, Implementar Proyectos, Evaluar: instrumentos para la acción, Certeza, Zaragoza.