Factores de Éxito de los Sistemas de Evaluación Junio 2008

¿Por qué es importante la evaluación? El diseño de sistemas de evaluación de la gestión pública es central para el fortalecimiento de la democracia (Rendición de Cuentas). La evaluación es una práctica política y técnica constructiva, de análisis y comunicación de información útil para mejorar aspectos de las políticas públicas. La evaluación en sí misma es un proceso de aprendizaje sobre la gestión, a través de la reflexión crítica y analítica sobre los aciertos y errores cometidos. Es importante que las personas y / o equipos que diseñan e implementan procesos de evaluación expliciten su marco de análisis, los objetivos que persiguen y los resultados esperados de su intervención, por la falta de objetividad que se puede dar en la práctica evaluativa.

¿Cómo debe estar diseñada la evaluación? Es necesario que el diseño de los sistemas de evaluación sea: Flexible, Abierto, Útil, Simple, Económico. Por lo tanto – antes de diseñar e implementar sistemas de evaluación de la gestión pública - es importante responder a preguntas tales como: ¿Qué modelo de Estado queremos? ¿En que medida la tecnología de gestión en cuestión contribuye a construir el Estado que queremos? ¿De qué manera la aplicación de esa tecnología de gestión promoverá una mejora en la calidad de vida de los diferentes sectores de la sociedad? ¿Cuáles son los antecedentes de uso de tecnologías similares en la organización donde se implementará? ¿Cuál es el significado que la implementación de esta tecnología de gestión tiene o tendrá para la organización?

¿Cómo identificar el tipo de evaluación? NIVEL CARACTERÍSTICAS Y OBJETIVOS GOBIERNO ESTRATÉGICO Diagnóstico: Identificación de las necesidades de la sociedad que serán satisfechas. Construcción del horizonte de sentido del proyecto político y de gobierno. Elaboración del Plan de Gobierno. Análisis de la capacidad institucional de las organizaciones públicas para lograr los objetivos de gobierno. Resultados: Logro de los objetivos propuestos. Impacto de las políticas públicas en la mejora de la calidad de vida de la población. Impacto en el fortalecimiento de la democracia, el sistema de representación, la construcción política y la relación Estado – Ciudadanía. GOBIERNO OPERATIVO Construcción y / o fortalecimiento de la relación Gobierno – Gestión. Traducción de las políticas estratégicas de alto impacto en objetivos de gestión. Proceso: Identificación de los mecanismos de “seguimiento” que serán utilizados para articular la “frontera” entre el gobierno y la gestión. Identificación y comunicación de los logros generales de gestión en función del Plan de Gobierno. Control del gasto.

Identificación de diferentes modelos de evaluación de la gestión pública Evaluación centrada en objetivos Evaluación no centrada en objetivos o libre de objetivos Evaluación formativa Modelos descriptivos Modelos clínicos El enfoque experimentalista Enfoques participativos La evaluación pluralista

¿Por qué son importantes los indicadores? Un indicador es una herramienta que permite entregar información cualitativa o cuantitativa del grado de cumplimiento de un objetivo de gestión previamente establecido. Los indicadores son la manera en que “vemos” lo que está pasando. Típicamente representan un complejo de actividades y relaciones dentro de la institución, que se presentan de una manera mesurable, o cuando menos de una manera recopilable. Los indicadores son un elemento central en el proceso de evaluación, por cuanto su finalidad es constituir una herramienta capaz de cuantificar la relación entre el escenario que se quiere obtener (objetivos) y el que efectivamente se logrará en el futuro. Cada objetivo puede tener varios indicadores claves que usualmente representan una mezcla de indicadores cuantitativos y cualitativos. Sin embargo, puede ser necesario reducir el número de indicadores que se está usando, o modificarlos para que sean más adecuados para un contexto o situación particular.

Requisitos que debe cumplir un indicador Pertinencia y relevancia Unicidad Exactitud y consistencia Objetividad Fáciles de interpretar Accesibilidad Comparables

Caso del SINE en Costa Rica

EL PND y su Evaluación EL Plan Nacional de Desarrollo (PND) “Jorge Manuel Dengo Obregón” 2006-2010 es la herramienta orientadora de las acciones estratégicas que debe llevar a cabo el gobierno. En el capítulo 8 “Evaluación del PND”, se establece como se le va a evaluar y dar seguimiento al PND, de manera tal que cubra todos los niveles del mismo. Se le dará seguimiento y se evaluará en el ámbito estratégico, basándonos en objetivos y resultados. Los procesos de seguimiento y evaluación generarán información valiosa para la toma de decisiones, principalmente en tres niveles: Rendición de cuentas al interior del Gobierno Rendición de cuentas frente a los órganos de control Rendición de cuentas frente a los ciudadanos

Niveles y tipos de evaluación Nacional Sectorial Institucional 1. Políticas y Metas Sectoriales 2. Acciones Estrategias Política Nacional Objetivos y Metas Globales Programas Estratégicos Proyectos Seguimiento y Evaluación (Producto, efecto e impacto)

Informes de seguimiento y evaluación Instrumentos Nacional Sectorial Institucional Contratos con la Ciudadanía MAPI (Matriz Anual de Programación Institucional) Matriz de seguimiento semestral Matriz de Seguimiento Semestral PND Matriz de Seguimiento Anual Matriz de Evaluación Anual Instrumentos de Verificación Instrumentos de Verificación Informes de seguimiento y evaluación

Informes A la mitad de cada año MIDEPLAN elabora el informe de Seguimiento del PND, tanto en el nivel institucional como sectorial. Al terminar el año, y según los requerimientos de la Ley Nº 8131, MIDEPLAN realiza un informe que evalúa las metas a nivel institucional, y le da seguimiento al nivel sectorial. Además se realiza un capítulo de los aportes del PND al desarrollo del país.

Metodología Institucional: En el nivel institucional tenemos dos instrumentos, uno para la recolección de datos, la Matriz Anual de Resultados Institucionales, cuyo contenido es proporcionado por las instituciones de cada uno de los sectores; el otro instrumento es Matriz Anual de Evaluación de Resultados Institucionales, en la cual los técnicos de MIDEPLAN realizan las valoraciones correspondientes a los datos proporcionados, basándose en indicadores. Es importante destacar que a nivel institucional contamos con la Matriz Anual de Programación Institucional (MAPI), la cual se utiliza para que las instituciones realicen estimaciones y proyecciones de lo que será su accionar en el año, por lo cual, a este nivel sí es posible realizar una evaluación de resultados, ya que hay una programación previa de las metas semestrales y anuales.

Metodología Sectorial: Ante la necesidad de tener una visión sectorial, se elaboró una Matriz de Seguimiento Sectorial (MASES), que recolecta los datos del sector para cada una de las Acciones Estratégicas contempladas en el Contrato con la Ciudadanía (CCC). Con esto, cada sector valora su avance en cada una de estas acciones, que son para el cumplimiento del periodo. Este instrumento se encontrará en su fase piloto durante el 2008, con el fin de valorar su efectividad. En este nivel se lleva a cabo un seguimiento del avance, no una evaluación, ya que el cumplimiento del Contrato con la Ciudadanía se estipula para el período 2006-2010. La evaluación se dará al final de la administración. La MASES se divide en dos tablas: Metas sectoriales Acciones Estratégicas y metas de las mismas.

Metodología Aportes al Desarrollo: En el nivel de Aportes al Desarrollo se busca obtener los resultados en la sociedad costarricense como producto directo e indirecto del quehacer institucional a la luz de lo planeado y por tanto plasmado en el Plan Nacional de Desarrollo 2006-2010. Es decir a partir del comportamiento de los principales indicadores que reflejan el desarrollo nacional y el avance en el cumplimiento de los resultados de los planes, programas y proyectos que se están ejecutando.