Evaluación Unidad 2. El seguimiento y la evaluación  Siempre todo proceso evaluativo sea este de seguimiento o evaluación solo pueden ser analizados.

Presentación del tema: "Evaluación Unidad 2. El seguimiento y la evaluación  Siempre todo proceso evaluativo sea este de seguimiento o evaluación solo pueden ser analizados."— Transcripción de la presentación:

1 Evaluación Unidad 2

2 El seguimiento y la evaluación  Siempre todo proceso evaluativo sea este de seguimiento o evaluación solo pueden ser analizados o comparados con estándares esperados, y determinados en el diseño. Además, permite analizar impactos y efectos no esperados, tanto positivos como negativos.  Los procesos de seguimiento y de evaluación son complementarios entre sí, ya que el primero permite describir y calificar el cumplimiento de la planificación operativa y la evaluación permite ver si dicho cumplimiento, a su vez, ha conducido al logro de efectos e impactos que corroboran el diseño causal y permite analizar la política publica en su conjunto, es realmente indispensable hacer seguimiento y evaluación como un proceso sistémico y permanente en la gerencia de programas y proyectos.  Finalmente es importante destacar que el proceso de evaluación se alimenta en forma permanente de los resultados del seguimiento,  Seguimiento y evaluación, por tanto se constituyen como un proceso continuo y sistemático que mide y analiza el cumplimiento en un seguimiento sistemático de acciones, del logro de resultados y de las relaciones entre los dos. Por tanto en la práctica son confluentes e inseparables.

3 Introducción  La evaluación es un elemento cotidiano es forma permanente realizamos juicios de valor respecto de los eventos incluso más cotidianos y domésticos como por ejemplo que nos pareció el café de la mañana, en sí mismo el ser humano es crítico respecto de cada evento que lo rodea y por qué hacemos juicios de valor. En el caso del estado desde los medios periodísticos, hasta los ciudadanos emitirán juicios respecto de las decisiones del presidente, sus ministros, el congreso y el poder judicial, se utilizan encuestas de opinión para analizar las percepciones de la población respecto del mismo actuar del Gobierno y sus resultados.

4 Instrucción  La evaluación es por ende natural y necesaria, es un medio de permanente aprendizaje y retroalimentación de nuestras acciones, y permite no solo corregir errores en nuestras decisiones, sino principalmente ayuda a la interacción entre todos aquellos involucrados en una decisión o en una política pública.  También es cierto que no nos gusta ser evaluados, las acciones de control administrativo son vistas por las unidades ejecutoras como pérdidas de tiempo, por lo general también es importante advertir que las intervenciones de control están dirigidas a los procesos y no a los resultados (situación que debería cambiar) pero lo que se quiere remarcar es que los gestores aun no ven el seguimiento o evaluación como una práctica inherente a su que hacer cotidiano.

5 El seguimiento y la evaluación  En la práctica del análisis de políticas, programas y proyectos, se ha distinguido el seguimiento, o la evaluación operativa, de la evaluación de resultados.  El seguimiento permite hacer un control permanente del alcance, costo y tiempo del programa, en este orden de ideas plantea a los gerentes analizar diversas situaciones por las cuales las variables sujetas de análisis no logran cumplir con lo programado, por ejemplo:  El incumplimiento de la variable alcance está relacionada en el seguimiento con los indicadores de actividades, tareas y productos, en este sentido las anomalías en el cumplimiento de lo programado nos alejan de poder alcanzar los indicadores de impacto, ya que subyace una lógica causal, es decir el incumplimiento de las tareas equivalen al incumplimiento parcial de los indicadores de impacto, es por ello que durante la ejecución salvo que exista evidencia que muestre la necesidad el gerente del proyecto será un defensor del alcance del programa o proyecto y por ende de sus resultados. Con relación al tiempo el incumplimiento de esta variable siempre originara mayores costos, por lo general costos financieros por mayores intereses, costos administrativos producto de mayores planillas y gastos de operación y finalmente los sobre costos producto de no tener los productos a tiempo. Finalmente están como consecuencia del tiempo las demoras en la ejecución del cronograma de desembolsos.

6 Tipos de evaluación Es preciso recopilar y mostrar en este punto los tres momentos de evaluación de un proyecto:  Evaluación ex ante se vio en diseño de programas y proyectos corresponde a la evaluación de la política pública, traducida a programa o proyecto de inversión.  La evaluación en la ejecución o concurrente es el proceso de medir los resultados esperados programáticamente, por lo general durante la ejecución solo se miden gatilladores (indicadores de producto u otros construidos de forma tal que sepamos que estamos llegando a los indicadores de impacto y,  Finalmente de los indicadores de impacto

7 El objeto de la evaluación  Existen por un lado la evaluación del proyecto y del otro la evaluación del equipo de ejecución, Un buen gerente y su equipo, pueden ser eficientes en la ejecución de los planes operativos y aun así no lograr los objetivos esperados, por lo general los equipos de ejecución son más fuertes en los las competencias gerenciales que en las competencias técnicas y por ende se requiere en los procesos evaluativos de una mirada técnica permanente que debería ser sectorial, a los resultados del proceso evaluativo ya que los indicadores ya pueden ir mostrando que a pesar que la ejecución de actividades sea exitosa no se están alcanzando los propósitos para los cuales fuer creado el programa o proyecto y por ende se deben revisitar el modelo conceptual y el diseño del proyecto.  Por ejemplo si hemos diseñado un programa educativo que tiene el 80% de la inversión en infraestructura, y esta no moviliza la mejora en el rendimiento estudiantil, asi el equipo de la unidad ejecutora sea muy eficiente en el manejo de estas actividades solo se darán las inversiones de acuerdo a lo programado pero no podremos movilizar el indicador esperado, y se requiere de una buena lectura de los resultados para enmendar el diseño del programa o proyecto.  Por ello se requiere evaluar en forma separada al proyecto de los equipos a cargo de su ejecución

8 El sujeto de la evaluación  Por lo general uno asume que los procesos evaluativos son realizados por los propios equipos de gestión, esta idea no es del todo adecuada ya que seriamos permanente juez y parte en el este proceso evaluativo, se recomienda que si bien es parte del día el seguimiento, y sin duda tanto la información como su interpretación sea realizada por las unidades ejecutoras, los procesos evaluativos deben recaer en manos de terceros.  Tanto el seguimiento como la evaluación requieren determinar por un lado las fuentes de información y todos los actores involucrados en su generación, como también de determinar en forma adecuada los beneficiarios directos e indirectos de la intervención. Este análisis de involucrados no solo permite contar con quienes van a proveer información cuantitativa y cualitativa, sino además provee información respecto de a quienes vamos a rendir cuentas también.

9 El sujeto de la evaluación  De otro lado si consideramos la necesidad de que las evaluaciones incluyan no solo indicadores cuantitativos, sino también cualitativos los procesos de evaluación participativos son necesarios, ya que cuanto podemos involucrar a ciertos actores en el proyecto va a depender de la imagen que ellos tienen de la iniciativa, y la mejor forma de involucrar a los beneficiaros en mantenerlos informados no solo de la iniciativa sino de los resultados de la misma.  Muchas veces la percepción es diferente a la realidad y esto no contribuye al apoyo de la iniciativa, por ejemplo en los temas de seguridad ciudadana es mayor la percepción que la victimización real, esto hace que a pesar que un programa de seguridad ciudadana vaya obteniendo resultados, la población sienta que es eficiente y mantendrá desconfianza en la iniciativa, está comprobado que informar de índices serios a los stakeholders respecto del movimiento de tasas de crimen y violencia, cambia la percepción de los ciudadanos respecto de los niveles de inseguridad y por tanto modifica la percepción, esto a su vez genera que el programa pueda ser más exitoso ya que podría movilizar la reutilización de espacios públicos que a su vez disminuyen las tasas de violencia y crimen en la ciudad.

10 Elementos claves de una evaluación  El marco conceptual estipula los objetivos máximos, las estrategias o actividades que se proponen para lograr dichos objetivos y las relaciones esperadas entre los dos. Dicho marco brinda una visión clara de lo que se quiere lograr, de la forma en que se propone lograrlo y, por eso medio, nos permite observar las relaciones causales esperadas.  Los actores pueden incluir todos los actores que tengan interés en la iniciativa y su evaluación, sea directamente involucrados en la gestión o no. Podrían incluirse los gestores, las poblaciones objetivo, los proveedores, los excluidos, los financiadores (incluidos los contribuyentes) y diferentes segmentos de la sociedad civil.

11 Elementos claves de una evaluación  Los criterios y estándares de análisis definen las expectativas que forman la base de los juicios incorporados en la evaluación. Los criterios estipulan las cualidades o características esperadas de los procesos y/o de los resultados. Consideramos que por lo menos cuatro criterios tienen que ser aplicados al análisis de los procesos y resultados de las iniciativas sociales: –eficacia –eficiencia –equidad –sostenibilidad.

12 Ocho pasos para el diseño y puesta en marcha de un proceso evaluativo  La identificación de los diversos usuarios del proceso evaluativo y de otros interesados y su incorporación en el diseño y manejo del proceso;  La especificación de los marcos conceptuales que estipulan el entendimiento de los diversos actores, de las actividades o estrategias de la iniciativa y los resultados esperados;  La definición de las preguntas que los diversos actores proponen explorar por medio del proceso evaluativo;  La identificación y concertación de indicadores e informaciones relevantes;  La definición y puesta en marcha de estrategias e instrumentos para recopilar la información de manera sistemática y rigurosa;  La definición y manejo efectivo de flujos de la información generada por el proceso evaluativo;  La introducción de estrategias e incentivos que promueven el uso de dicha información; y  La puesta en marcha de estrategias para ajustar continuamente el proceso evaluativo. Los ocho pasos no necesariamente conforman una secuencia. Dan una visión global del proceso evaluativo, que en la práctica se desarrolla de manera iterativa mediante diversas aproximaciones y ajustes.

13 La retroalimentación y los incentivos  Como se retroalimenta los resultados a todos los actores que participen en el programa o proyecto.  Como se garantizan que los flujos de información entre los diferentes niveles de Gobierno.  Existen en Honduras incentivos concretos a quienes son responsables de los registros de información?  Se premia o se castiga en función de los resultados de los programas o proyectos?  Como se retroalimenta la planificación con los resultados de la evaluación?

14 Usuarios del sistema de seguimiento  Hay por lo menos tres elementos clave que hay que tener en cuenta en el diseño y el manejo de los procesos evaluativos: –el marco conceptual que define lo que la iniciativa propone realizar; –los actores que tengan intereses en dichos procesos; y –los estándares y/o criterios que se van a aplicar al juicio de la iniciativa que se evalúa.  El diseño y la construcción de flujos de información deben guiarse por la definición de las necesidades de información por parte de los diferentes interesados en el proceso evaluativo. El flujo de información debe asegurar que cada actor tenga información de buena calidad para guiar y enriquecer el papel que juega en la iniciativa.

15 Usuarios del sistema de seguimiento  Los flujos de información van más allá de la entrega del servicio, ya que también es importante el propio beneficiario y por ende si bien la recolección de información se recaba por lo general en los lugares de entrega del bien o servicio, esta recopilación puede incluir el levantamiento desde el mismo beneficiario, en lugar distinto al de entrega de los servicios, no siempre por ejemplo de satisfacción del servicio debe ser tomada en el momento de la prestación ya que va estar influenciada por la propia entrega del servicio,  Un gran problema existente en la recopilación de data es que no se diseñan en la lógica multidimensional, y por ende los diferentes niveles de recopilación no se benefician de la data, ni tienen acceso a su procesamiento, para citar un ejemplo un sistema de recopilación de datos de crimen y violencia en un país se realizaba desde las comisarias, sin embargo estas solo cargaban los datos y no podían ni siquiera consultar sus propios datos agregados, sin duda el incentivo para llenar la data era nulo, también es importante diseñar no solo acceso a la información sino también incentivos reales para el llenado de la data que deben traducirse en temas concretos, como por ejemplo menores pasos a un proceso o menor tiempo trabajado.  En la recopilación de la información debe quedar claro que cada dato es importante en la toma de decisiones, caso contrario, se incrementa el riesgo de sub registros (datos mal ingresados) que solo se hacen para cumplir una norma, es aquí en donde los temas de capacitación, verificación e incentivos son indispensables.

16 Institucionalización de los sistemas  Uno de los grandes problemas que enfrentamos en la evaluación es la calidad y oportunidad de la data, no hemos logrado crear bases de datos suficientes, confiables, y oportunas en los sectores públicos, lo cual atenta obviamente en contra del diseño de las políticas públicas, las decisiones sectoriales, y por ende del desarrollo del país.  Existe tal vez en forma no explicita una tendencia a no invertir en la generaciones de bases de datos fuertes, robustas e institucionales, esto impide que podamos hacer eficientes bases de datos para la comparación internacional de los principales indicadores sectoriales, muchas veces son estas comparaciones que podemos apreciar en instituciones como la organización mundial de la salud (OMS) hacen comparaciones globales, por continentes o regiones.  La falta de institucionalidad va mas allá de la comparación internacional en un mismo país el usar metodologías distintas en la medición impide el análisis longitudinal en una serie de tiempo, lo que es más grave aun considerando el mismo indicador, ya que han ido cambiando la construcción del indicador en el tiempo.

17 Institucionalización de los sistemas  Esta aparente falta de interés muestra que hay un camino por recorrer en la generación de información en los países, pero también nos debe llamar a la reflexión de los incentivos negativos que existen para institucionalizar las bases de datos, hay países en donde se considera que la data es negativa políticamente, es decir mostrar bajos resultados como por ejemplo en rendimiento estudiantil generara malos titulares en las noticia y, por ende no resulta beneficioso a juicio de algunos tener la data del rendimiento de los estudiantes, en estricto esto es un error de conceptualización ya que en términos de políticas públicas, estas compiten todo el tiempo entre sí, y por lo general se asignan recursos a aquellas que están en la agenda publica. El constructo de la agenda publica tiene que ver con la generación de valor2 público y por tanto explicitar un problema en su real magnitud y entendimiento de los agentes incluyendo a la ciudadanía lo catapulta a ser un tema de agenda publica que el país debe resolver, entonces lejos de ser un problema la existencia de datos que puedan generar evidencia del problema, significan una oportunidad de lograr proponer soluciones concretas al problema sujeto de evaluación.  Otro problema es que existan intereses que no están alineados con las políticas muchas veces el manejo de planillas y bonificaciones a los empleados públicos de un sector genera corrupción, en muchos casos por ejemplo el magisterio de un país significan miles de maestros en la planilla del estado, además estas planillas traen consigo una serie de bonificaciones, por ejemplo el bono rural en algunos países de la región, las acciones de control han demostrado que muchas veces se han venido pagando a maestros inexistentes, se ha generado la ruralidad en espacios urbanos ya sea por la consignación de una localidad urbana como rural, o que el maestro considerado como rural, dicta sus clases en escuelas urbanas, sin duda en estos casos va mas allá de tan solo falta de interés, pero son casos existentes que deben ser evaluados en los procesos de mejoramiento de una base de datos sectorial.

18 Los sistemas de información como vamos?  A juicio de ustedes las bases de datos sectoriales, son confiables, oportunas y completas?  Que acciones harían ustedes para mejorarlas?  Cuales son las restricciones para tener mejores bases de datos sectoriales?  Cual es el rol de los gobiernos subnacionales?

19 Ejemplos de información sectorial

20 Percepción

21 Tomado de la encuesta de seguridad ciudadana De Perú, metodología UNICRI, Ipsos Apoyo 2006

22

23 PROBLEMAS DE VICTIMIZACION

24

25

26

27

28

29

30

31

32

33 NIVELES DE REGISTRO

34 PROBLEMAS DE VIOLENCIA

35 COMPARATIVO DE VIOLENCIA

36 P < 0.05 Violencia contra NIÑOS Violencia contra PAREJAS Violencia NO FAMILIARES N%N%N% Total 1,233100.0517100.0432100.0 Consumo de alcohol TOMA 57846.9**29456.9**27062.5** NO TOMA 65553.122343.116237.5 Modos de corrección violentos en la niñez GOLPE 88471.7**39877.0**30069.4** NO GOLPE 34928.311923.013230.6 Preferencia por programa s de la TV Noticiero 48940.624047.213030.6 No noticiero 71459.426852.829569.4 Talk / Reality show 635.2**214.1204.7* No Talk / Reality show 1,14094.848795.940595.3 Telenovelas 18915.7**7314.44410.4 No telenovelas 1,01484.343585.638189.6 Peliculas violentas 33628.116632.8**15937.5 No peliculas violentas 85871.934067.226562.5 FACTORES DE RIESGO EN VIOLENCIA

37 QUE PIENSAN LOS JOVENES Principales elementos asociados a la violencia Drogas Alcohol Pandillas Armas Corrupción Pobreza Mala Educación Violencia Intrafamiliar Razones que explicarían la violencia Delincuencia Pandillaje Maltrato o abandono familiar Presión del grupo de pares Consumo de drogas y alcohol Necesidad económica Rivalidades ligadas al fútbol Pertenencia a una escuela, barrio, etc. COMUNIDAD FAMILIA ESCUELA

38 PROBLEMAS DE INFORMACION

39 ¿Qué información se requiere?  oportuna  confiable  representativa  útil Para que la información sirva al desarrollo de políticas, programas y acciones eficaces de prevención y control de la violencia se requiere que sea: LA INFORMACION EN LAS INSTITUCIONES

40 QUE HACER Mejorar los sistemas de informacion

41 ESTANDARIZACION DE CONCEPTOS, TERMINOS, FORMATOS Y SISTEMAS OPERATIVOS DISEÑO DE REGIMEN SIMPLIFICADO DE DENUNCIAS DESARROLLO DE APLICATIVOS INFORMATICOS IMPLANTACION DEL SISTEMA GEOREFERENCIACION

42 VARIABLES NECESARIAS Muertes Violentas (homicidios, suicidios, muertes por accidentes de tránsito, no intencionales) y lesiones por tránsito Delitos de mayor Impacto (robos, delitos sexuales, pandillaje) Violencia Intrafamiliar ¿ Qué información?  Variables de tiempo: –Día de ocurrencia (día de la semana) –Mes/año de ocurrencia –Hora de ocurrencia  Variables de lugar: –Escenario del hecho –Dirección (georeferencia) –Distrito/barrio de ocurrencia Variables de persona: Variables de persona: Edad de víctima y agresor Sexo de víctima y agresor Relación víctima-agresor Alcoholemia Condición de usuario (AT) Circunstancia del hecho Circunstancia del hecho Tipo de arma empleada Posible móvil Clase de accidente Tipo de vehículo Elementos de seguridad

43 PNP Unificación de Datos Mapas de eventos Reporte de casos Cuadros y gráficos FUNCIONAMIENTO: Ingreso de información Flujo de Información Muertes y lesiones por causas violentas (homicidios, suicidios, muertes y lesiones por AT) MINSAIML Base de Datos Consolidada Instituciones Reportantes Consolidación y depuración de la información Información completa, estructurada y disponible en tiempo real a través de Internet a usuarios autorizados

44

45

46 LUNMARMIEJUEVIESABDOM 0 5 10 15 20 25 N = 62 Día de ocurrencia 11% 15% 13% 8% 6% 34% 13% Casos Muertes por AT según día de ocurrencia Enero - Diciembre 2008 / Distrito X Observatorio del Crimen y la Violencia Fuente: Observatorio del Crimen, PNP, IML, DISA Lima Sur

47 Muertes por AT según hora de ocurrencia Enero - Diciembre 2008 / Distrito X Observatorio del Crimen y la Violencia Fuente: Observatorio del Crimen, PNP, IML, DISA Lima Sur

48

49 Proceso de Cierre  El proceso de cierre de proyecto incluye las actividades necesarias para la culminación del proyecto. Las acciones necesarias para el cierre, son mucho más importantes al final, sin embargo, a lo largo del proyecto, es necesario finalizar una serie de actividades intermedias. Al completarse determinadas fases del proyecto, se procede al cierre de dichas fases, donde se transfieren o se cancelan actividades para las siguientes etapas, se incluyen actividades de documentación y verificación de los entregables.

50 Procedimiento de Cierre Administrativo  Procedimiento de Cierre Administrativo. Son todas las actividades requeridas para recopilar registros, documentos e información que permiten analizar el rendimiento del proyecto. Se documentan las lecciones aprendidas y se organizan los archivos finales del proyecto o de la fase, para uso futuro de la organización. Incluye la participación de todo el equipo y de los principales interesados.

51 Procedimiento de Cierre Contractual  Procedimiento de Cierre del Contrato. Relacionado al cierre de todo acuerdo contractual que se haya generado como necesidad del proyecto. Alimenta el cierre administrativo. Incluye la verificación de los entregables (productos, servicios o resultados) contratados y el nivel de satisfacción alcanzado por los receptores. Es posible que, bajo ciertas circunstancias, se haga necesaria la cancelación anticipada de un contrato, debido a una incapacidad del contratante, problemas de financiamiento o problemas no previstos.

52 Importancia del Proceso de Cierre  Fuente importante para preparar proyectos, para determinar costos preliminares, tiempos, recursos y esfuerzos estimados proviene de la experiencia, del conocimiento de situaciones pasadas, de estadísticas y archivos de proyectos pasados. Generalmente, contamos poca información, la documentación es pobre o nula y la rotación de personas a cargo de proyectos es alta.  El cierre correcto de un proyecto proporciona la oportunidad de desarrollar mucho mejores proyectos en el futuro. La información, experiencias y prácticas de un proyecto, representan valiosísima oportunidad para desarrollar mejores proyectos a futuro.