Indicadores de Desempeño en el Sector Público Curso Internacional Políticas Presupuestarias y Gestión Pública por Resultados INDETEC Cancún México 12 al 21 de Mayo Indicadores de Desempeño en el Sector Público Marianela Armijo Consultora Área de Políticas Presupuestarias y Gestión Pública ILPES/CEPAL Marianela.armijo@cepal.org

Indicadores de desempeño Objetivos del uso de indicadores Qué son De que tipo hay Cómo se diseñan Que requisitos deben tener

EVALUACION DE LA GESTION FOCO DE LA EVALUACION MEDICION DEL DESEMPEÑO LOGRADO POR LAS INSTITUCIONES ELABORACION DE MEDIDAS DE DESEMPEÑO PUEDE ABARCAR TODO EL PROCESO DE PRODUCCION INSUMOS PROCESOS PRODUCTOS RESULTADOS

OBJETIVOS USO INDICADORES Induce mejoras en Información Fundamenta la discusión de Resultados Posibilita la Evaluación Apoya el proceso de Formulación de Políticas Facilita el establecimiento de Compromisos de Resultado

INDICADORES DE DESEMPEÑO “Que indica o sirve para indicar”   Del latín “Indicare”, significa: “Mostrar o significar algo, con indicios y señales”   Real Academia de la Lengua

INDICADORES DE DESEMPEÑO   Es una herramienta que entrega información cuantitativa respecto del logro o resultado en la entrega de productos (bienes o servicios) generados por la institucion, cubriendo aspectos cuantitativos o cualitativos.

Indicador tiene dos funciones Un indicador como una Unidad de Medida entrega información que permite: Seguimiento y evaluación periódica de las variables clave de una organización (Productos, Objetivos Estratégicos) Y, los compara en el tiempo con los correspondientes referentes internos (metas), u otros externos (estándares a través de benchmarking, comparación con las mejores prácticas). Función descriptiva, que consiste en la aportación de información sobre el estado real de una actividad o acción Indicador tiene dos funciones Función valorativa que consiste en añadir a dicha información un juicio de valor lo más objetivo posible, sobre si el desempeño en dicha actividad está siendo o no el adecuado.

Monto Estimación Recursos Presupuestarios INSTITUCIÓN: Ministerio de Agricultura PROGRAMA O SUBPROGRAMA: Desarrollo Fitosanitario MISIÓN: .................................................................................... OBJETIVO(S) ESTRATÉGICO(S) INSTITUCIONAL(ES): FUNCION DESCRIPTIVA Productos Usuarios Objetivos Estratégicos Indicador (Producto, Resultado Intermedio, Resultado Final) Eficacia, Eficiencia, Calidad, Economía Fórmula Desempeño histórico Desempeño proyectado Monto Estimación Recursos Presupuestarios (millones de colones) Fuente De Datos Observaciones Línea Base Metas del Indicador 2007 2008 Monto FF Viviendas Lograr cubrir la programación anual de solicitud de vivienda Número de Viviendas entregadas (Producto) Cobertura satisfecha anual de vivienda Entrega viviendas programadas/ Viviendas entregadas Año t S/d Año t+1 50.000 50% Año t+2 80.000 100.000 2009 150000 2010 200000 Mejorar la calidad de la habiltabilidad de las viviendas Porcentaje de viviendas entregadas que tienen más de 60m2 (Producto/ Resultado Intermedio) Entorno urbano mejorado: parques, juegos infantiles, iluminación, etc Mejorar el entorno urbano de las viviendas Porcentaje de complejos de viviendas con entorno urbano mejorado FUNCION VALORATIVA

Metas Economia Calidad

PROCESO DE PLANEACION ESTRATEGICA PROYECTOS, PROGRAMAS, ACTIVIDADES RAZON DE SER DE LA ENTIDAD, FIN, PROPOSITO MISION PROPOSITOS FUNDAMENTALES FUTURO, ESCENARIO DESEADO, COMO QUIERE SER LA ENTIDAD VISION OBJETIVOS ESTRATEGICOS QUE ESPERA LOGRAR LA ENTIDAD PARA CUMPLIR SU MISION ANALISIS DEL MEDIO EXTERNO E INTERNO MEDIOS PARA LOGRAR LOS OBJETIVOS ESTRATEGICOS COMO ESTRATEGIAS PLAN ESTRATEGICO LINEAS DE ACCION CONCRECION DE LOS OBJETIVOS ESTRATEGICOS PROYECTOS, PROGRAMAS, ACTIVIDADES PRESUPUESTO MEDIDAS PARA ESTABLECER EL GRADO DE CUMPLI MIENTO DE LOS OBJETIVOS INDICADORES

IDENTIFICAR LAS AREAS DE MEDICION DE DESEMPEÑO

INDICADORES DE DESEMPEÑO (*) AMBITOS DE CONTROL PROCESO PRODUCTO RESULTADO D I M E N S O EFICACIA EFICIENCIA ECONOMÍA CALIDAD

TIPOS DE INDICADORES Indicadores que entregan información del desempeño desde el punto de vista de la actuación pública en la generación de los productos: Insumos (Inputs) Procesos o actividades Productos (outputs) Resultados finales (outcomes) Indicadores desde el punto de vista del desempeño de dichas actuaciones en las dimensiones: Eficiencia Eficacia, Calidad Economía.

RESULTADOS Resultados Intermedios: cambios en el comportamiento o estado o certificación de los beneficiarios una vez recibidos los bienes o servicios. Alumnos egresados del nivel de enseñanza media Hectáreas explotadas con título de dominio  Resultados Finales o Impacto: Resultados a nivel de fin de los bienes y servcios entregados, significan un mejoramiento en las condiciones objetivas de la población objetivo.  Porcentaje de disminución de los niveles de desnutrición infantil Tasa de crecimiento de los ingresos laborales de los trabajadores Programa Empleo Variación en la tasa de fallecidos en accidentes en las carreteras

RESULTADO FINAL O IMPACTO ¿Cómo están cambiando las condiciones que estamos interviniendo? RESULTADO FINAL O IMPACTO (OUTCOME)   ¿ Cuántas unidades de productos y servicios estamos generando? PRODUCTO – (OUTPUT) ¿Con qué rapidez lo estamos haciendo? ¿Cuanto nos cuesta?   PROCESO ¿Cuántos recursos invertimos, cuanto personal trabajó en el proceso?   INSUMO (INPUTS)

EJEMPLOS Indicador de Producto Indicador de Resultado Intermedio Indicador de Resultado Final Nº de niños matriculados en Educación preescolar pública/Nº de niños entre 3 a 6 años del país Porcentaje de niños de 3-6 años matriculados que logran terminar la enseñanza preescolar Porcentaje de niños que terminan preescolar logran Manejo de habilidades básicas en lecto escritura   Porcentaje de padres y madres satisfechos con la educación impartida

RESULTADO FINAL O IMPACTO EFICACIA PRODUCTO RESULTADO INTERMEDIO RESULTADO FINAL O IMPACTO Porcentaje de reclusos participando en el programa de reinserción/Total población reclusa potencialmente beneficiaria del Programa Tasa anual de variación de reclusos con contrato de trabajo Porcentaje de desempleo da población reclusa aprobada Talleres de capacitación realizados/Talleres de capacitación programados Participantes que consiguen certificarse /Total de participantes (Produtividad de los participantes año t -Productividad participantes año t-1/Produtividad participantes año t-1)*100

EFICACIA Indicador de eficacia: nos dice acerca del grado de cumplimiento de los objetivos de la organización, sin referirse al costo de los mismos. Por esta razón podemos obtener indicadores de eficacia, tanto de los productos (outputs), o bien de los resultados ya sea intermedios o finales (impactos-outcomes)  

CONCEPTOS EFICACIA RESULTADO (% RESULTADO LOGRADO EXITOSAMENTE RESPECTO REALIZADO-SOLICITADO) FOCALIZACION (LOGRADO RESPECTO DEL UNIVERSO) COBERTURA ( LOGRADO RESPECTO DE LA DEMANDA POSIBLE) IMPACTO (LOGRADO RESPECTO DEL PROBLEMA QUE SE QUIERE ATACAR)

EFICACIA (Cobertura)/Producto PORCENTAJE DE AREA DE CULTIVO INCLUIDA EN EL PROGRAMA Area Total del Programa de Cultivo Area de cultivo incluida en el Programa Dirección General de Servicios Agrícolas . Uruguay COBERTURA DE CONTROL DE EMISIONES DE LOS BUSES INTERURBANOS Controles de emisiones de Buses Interurbanos Total de Buses Inter urbanos Subsecretaria de Transportes Chile PORCENTAJE DE RECLUSOS INCLUIDOS EN PROGRAMA DE ACTIVIDAD INDUSTRIAL Reclusos con actividad industrial Total de reclusos Dirección Nacional de Cárceles Uruguay

RESULTADO FINAL O IMPACTO EFICACIA PRODUCTO RESULTADO INTERMEDIO RESULTADO FINAL O IMPACTO Porcentaje de reclusos participando en el programa de reinserción/Total población reclusa potencialmente beneficiaria del Programa Tasa anual de variación de reclusos con contrato de trabajo Talleres de capacitación realizados/Talleres de capacitación programados Participantes que consiguen certificarse /Total de participantes Porcentaje de desempleo de población reclusa aprobada (Produtividad de los participantes año t -Productividad participantes año t-1/Produtividad participantes año t-1)*100

EFICIENCIA Describe la relación entre dos magnitudes: La producción física de un producto (bien o servicio) y Los insumos o recursos que se utilizaronb para alcanzar ese nivel de producción Mayor cantidad de servicios dado el mismo nivel de recursos Alcanzar un determinado nivel de servicios utilizando la menor cantidad de recursos posible

Ejemplos de Indicadores de Eficiencia

EFICIENCIA EFICIENCIA-Producto Medio Número de inspecciones/número de inspectores Número de expedientes resueltos por semestre/dotación de personal en la tarea Número de inspecciones al transporte de pasajeros/personal que participa en la tarea Número de consultas/número de médicos

Calidad Capacidad de la institución por responder en forma consistente, rápida y directa a las necesidades de los usuarios A) Mediciones Indirectas. Mejorar los atributos y características de los productos. B) Mediciones Directas. Grado de satisfacción de los usuarios.

INDICADORES DE CALIDAD Oportunidad Accesibilidad Percepción de usuarios Precisión Porcentaje de respuestas a los Parlamentarios dentro de los límites acordados. Número de localidades cubiertas por atenciones móviles Porcentaje de aprobación excelente de los talleres de trabajo, por los participantes Porcentaje de contratos terminados por errores Porcentaje de reportes económicos entregados en tiempo acordado Nº de horas que la Biblioteca está abierta fuera de las horas de trabajo   Número de fallas reales/ Fallas programadas Porcentaje de Población con necesidades especiales que son miembros activos de la Biblioteca Porcentaje de usuarios satisfechos Nº de usuarios satisfechos/ Total usuarios encuestados Porcentaje de contratos con uno o más errores encontrados por revisiones externas Número de intervenciones con retraso/ Número de intervenciones totales Nº de usuarios Satisfechos con el trato en la atención/ Total usuarios

ECONOMIA Indicador de economía: mide la capacidad de de la institución para movilizar adecuadamente sus recursos financieros para lograr el cumplimiento de sus objetivos Porcentaje de recuperación de créditos de corto plazo Gasto de actividades de apoyo/gastos totales Aporte de beneficiarios a financiamento/Monto total de inversión del programa Gasto de funcionamento/gastos ejecutados totales Recuperación de cobranza/Facturación

CUANTOS RECURSOS OCUPAMOS INSUMO PROCESO PRODUCTO RESULTADO INTERMEDIO RESULTADO FINAL CUAN BIEN LO HACEMOS QUE HACEMOS HAY ALGUNA MEJORIA COMO CAMBIAN LAS CONDICIONES INICIALES CUANTOS RECURSOS OCUPAMOS I N D C A O R E S Costos planilla Costos unidades de productos Número de funcionarios Licitaciones realizadas Actividades Número de viviendas Kilómetros construidos Inspecciones realizadas Costo por vivienda Costo por kilómetro construido Tiempo de respuesta inspecciones Gasto administrativo/ Gasto Total Gasto Ejecutado/Gasto programado COMO CAMBIAN LOS COMPORTAMIENTOS DE LA VARIABLE, USUARIOS Porcentaje de viviendas con estándares de calidad en la normal Porcentaje de viviendas con entorno urbano mejorado Disminución del déficit habitacional Provincia X Porcentaje de usuarios que reciben vivienda declaran satisfacción por calidad y entorno T P Insumos Inptus Eficiencia Calidad Economía U F. Sistema de Información Interna Entidades Contraloría Eficacia (Cobertura, Focalización) Eficacia (Cobertura, Focalización) Presupuesto (Productos Finales) Sistema de Información Interna (Productos Intermedios) Sistema de Información interna (Productos intermedios, Productos finales, no relacionados con O.Estratégicos) Sistema de Información Directivo ORGANISMO DE PLANIFICACION

ASIGNAR LAS RESPONSABILIDADES POR EL CUMPLIMIENTO DE LAS METAS

Centros de Responsabilidad Unidad de la Organización que genera un producto o servicio Tiene un responsable a cargo con autonomía y autoridad Tiene recursos asignados para la generación de los productos o servicios

CONSTRUCCION DE FORMULAS

DEFINIR LAS FORMULAS O ALGORITMOS A) BASES DE COMPARACIÓN: Sirve para medir cobertura lograda, cumplimiento programado, cumplimiento solicitado Lo que se hace Lo que debe hacerse Nº de usuarios por atender Nº de usuarios atendidos Nº de certificados emitidos Nº Certificados solicitados Monto inversión ejecutada Monto asignado para inversión

B) DEFINICIÓN DE RATIOS FORMULAR ALGORITMOS B) DEFINICIÓN DE RATIOS Sirve para medir Costos medios, producto medio, indicadores de eficiencia Costos medios: Costo total consultas/ consultas realizadas Producto medio: Nº inspecciones realizadas/ Nº inspectores

ESTABLECER REFERENTES COMPARATIVOS BASES DE COMPARACION: DESEMPEÑO HISTORICO OBJETIVOS DEFINIDOS DESEMPEÑO LOGRADO EN INSTITUCIONES SIMILARES, PROCESOS O PROGRAMAS.

TIPOS DE INFORMACION Información contable-presupuestaria RECOPILAR LA INFORMACION NECESARIA PARA LA CONSTRUCCION DE INDICADORES Y CONSTRUIR SISTEMAS DE INFORMACION TIPOS DE INFORMACION Información contable-presupuestaria Estadísticas de producción física, cargas de trabajo del personal Encuestas, estudios especiales Benchmarking,etc

Validar los indicadores

Cómo seleccionar los indicadores Por su relevancia para el cumplimiento de los objetivos de la institución Por la importancia de la variable medida para mejorar el desempeño a partir de la evaluación Por la disponibilidad de datos que tengo Por la capacidad de controlar el desempeño

INTEGRALIDAD DE LA MEDICION Aumentar la cobertura del programa de raciones a un 55% de la población escolar. Llegar a un costos promedio de $5 Alcanzar1000 calorías por ración INDICADOR DE EFICACIA Población escolar en programa / población escolar total INDICADOR DE CALIDAD * Calorías por ración. * Porcentaje de aceptación de los escolares (encuesta) INDICADOR DE EFICIENCIA Costo promedio de las raciones: gasto total programa / número de raciones

INTERPRETAR LOS RESULTADOS NO HAY UNA MEDIDA UNICA QUE DEMUESTRE POR SI SOLA EL DESEMPEÑO DE LA INSTITUCION SE REQUIERE UN COMBINACION DE ELLAS: RESULTADOS, IMPACTO, EFICACIA, EFICIENCIA, CALIDAD “CIERTOS INDICADORES PUEDEN SER CONTRADICTORIOS ENTRE ELLOS”:

Comunicar e informar Ministerio/ Dirección de la Entidad Usuarios-Ciudadanos Ministerio de Economía y Finanzas/Oficina de Presupuestos Ciudadanía

Para la toma de decisiones Uso de los indicadores y de la evaluación en el Presupuesto Indicadores año n-1 y año +1 Indicadores de Ejecución presupuestaria, Procesos Discusión Aprobación Formulación Ejecución Evaluación de Inversiones Planificación Programación Evaluación Evaluación de Impacto Evaluación de Programas Indicadores Evaluaciones Complementarias INFORMES Retroalimentación Para la toma de decisiones Rendición de Cuentas Gobierno Sectores/ Ministerios Jerarcas Organos Rectores Congreso Órganos de Control Ciudadanía

Comunicar e informar La comunicación de los resultados tiene que estar focalizada en los aspectos claves de la gestión con mensajes simples, directos y demostrables El contenido de la comunicación en lo posible debe ser educativo considerando las necesidades de información de los usuarios-ciudadanos La información debe ser entregada en informes que tengan alguna periodicidad.

PROBLEMAS FRECUENTES EN LA CONSTRUCCION DE INDICADORES TRAMPA DE LA MEDICION: SE MUESTRA COMO RESULTADOS (Y SE HACE) SOLO LO QUE SE PUEDE MEDIR SE TIENDE A MEDIR DE ACUERDO A LA INFORMACION DISPONIBLE, DESCUIDANDO LA MEDICION DE LOS ASPECTOS MAS RELEVANTES SUBVALORACION DE LAS METAS FRENTE A UN AMBIENTE PUNITIVO DE LA EVALUACION

PROBLEMAS FRECUENTES EN LA CONSTRUCCION DE INDICADORES TENDENCIA A MEDIRLO TODO PARA NO SUBREPRESENTAR ESFUERZOS SE DESARROLLAN INDICADORES PERO NO SE USAN PARA LA TOMA DE DECISIONES.

Relación entre resultados y recursos asignados no puede ser lineal LIMITACIONES PARA LA EVALUACION DEL DESEMPEÑO INSTITUCIONAL EN EL AMBITO PUBLICO DIFICULTAD PARA VINCULAR ASIGNACION DE PRESUPUESTO A RESULTADOS LOGRADOS Relación entre resultados y recursos asignados no puede ser lineal LA EVALUACION TIENE UN COMPONENTE POLITICO IMPORTANTE Efectos de mostrar públicamente las deficiencias de desempeño

LIMITACIONES PARA LA EVALUACION DEL DESEMPEÑO INSTITUCIONAL EN EL AMBITO PUBLICO NATURALEZA INTANGIBLE DE BIENES PUBLICOS Dificultad de definir objetivos y metas Existen muchos procesos, productos que no pueden ser medidos: Diplomacia, Investigaciones, actividades culturales TIPOS DE SERVICIOS CUYA MEDICION RESULTA COMPLEJA ESTANDARIZAR ( DEBEN INCLUIR OTRAS VALORACIONES) Protección al menor, seguridad pública, recreación, cumplimiento de leyes, etc