“Planificación Estratégica y Construcción de Indicadores de Desempeño en el Sector Público de Costa Rica” Ministerio de Vivienda y Asentamientos Humanos Ministerio de Trabajo y Seguridad Social San José, 12 al 16 de abril de 2010 Lineamientos metodológicos para la construcción de indicadores de desempeño Área de Políticas Presupuestarias y Gestión Pública ILPES/CEPAL Marianela.armijo@cepal.org 1

Contenido Definiciones Contexto de los indicadores en la gestión orientada a resultados 10 pasos básicos para construir indicadores de desempeño Seleccionando los indicadores de desempeño Recomendaciones

Indicadores de Desempeño Es una herramienta que entrega información cuantitativa respecto del logro o resultado de los objetivos de la institución, cubriendo aspectos cuantitativos o cualitativos ¿Para qué sirve esta información? TOMAR DECISIONES

Indicadores de Desempeño “Que indica o sirve para indicar” Latín = “Indicare” = Mostrar o significar algo, con indicios y señales Desempeño: capacidad de una institución para gestionar adecuadamente sus recursos y dar cumplimiento a los objetivos y metas establecidos

SE RELACIONA DIRECTAMENTE Y SIEMPRE CON UN OBJETIVO UN INDICADOR ES UNA SEÑAL, UN AVISO, QUE NOS ENTREGA INFORMACIÓN SE RELACIONA DIRECTAMENTE Y SIEMPRE CON UN OBJETIVO Aumentar nivel de escolaridad del país Años promedio de escolaridad por habitante del país

Por que es necesario construir indicadores

Es necesario definir indicadores para: INSUMOS PROCESO PRODUCTOS RESULTADOS Eficacia Calidad Eficiencia Eficacia Calidad Eficiencia Economía Eficacia Calidad Eficiencia Eficacia (Eficiencia) RECURSOS Bienes PROYECTOS PROGRAMAS SERVICIOS

PRESUPUESTO NACIONAL Recursos Bienes y Servicios Beneficiarios (resultados: Intermedio - final)

INSTITUCIÓN Presupuesto ($) Resultados Producción (Q) (desde punto de vista de los beneficiarios) Producción (Q) Insumos / Procesos Indicadores Productos -Cobertura y focalización -Oportunidad -Carácterísticas de Bs. y Ss. -Costos Indicadores Actividades -Programas de trabajo -Programación -Ejecución de recursos Indicadores Misión y Objetivos Estratègicos -Intermedio -Final

Productos Estratégicos Para esto es necesario comprender la cadena de producción y resultado esperado Proceso productivo Productos Resultados Proceso 2 Proceso 3 Productos Estratégicos (Bienes y Servicios) Proceso 1 Proceso 4 Insumos Y Recursos

Y comprender que los objetivos de la institución deben estar alineados con los Objetivos (prioridades) gubernamentales………. O B J E T I V S Objetivos de Gobierno Agregación de mediciones I N D C A O R E S Ministerios Ministerios Ministerios MInisterios Entidades Entidades Programa Programa Operacionalización de objetivos

Y para que se generen los resultados esperados las Instituciones deben tener sus objetivos, definir resultados esperados y la forma de medirlos a través de indicadores Ministerios Ministerios Ministerios Ministerios Programas Programas Entidades División División División Dpto. Dpto.

Por eso es importante comprender el concepto y sentido de los indicadores Son herramientas de gestión que proveen un valor de referencia a partir del cual se puede establecer una comparación entre las metas planeadas y el desempeño logrado Un indicador de desempeño es una herramienta que entrega información cuantitativa respecto del logro o resultado de los objetivos de la institución Los indicadores de desempeño son medidas que describen cuán bien se están desarrollando los objetivos de una institución, a qué costo y con qué nivel de calidad.

En un sistema de cuenta pública orientada a resultados, se requiere datos sobre un conjunto de indicadores diferentes, que reflejan la información requerida para distintos niveles de toma de decisiones. Los legisladores y los Directores requieren información estratégica sobre la gestión de la institución (resultados finales e impacto), mientras que los Gerentes de Divisiones, Departamentos o Programas y sus staff requieren detalles sobre la provisión de insumos, las actividades, los productos finales y resultados intermedios

La idea de incorporar indicadores y metas de desempeño al proceso presupuestario es disponer de información sobre los niveles de cumplimiento de los objetivos planteados y resultados esperados de cada institución y enriquecer el análisis en la formulación del presupuesto y su discusión en el Congreso. Los indicadores y sus metas se presentan como información complementaria al Proyecto de Ley de Presupuestos, y una vez aprobado éste, las metas se vinculan con el seguimiento (monitoreo) de la ejecución.

¿QUE TIPO DE INDICADORES HAY? 16

Clasificación de los indicadores Según qué miden (dimensiones del desempeño): Eficacia Calidad Eficiencia Economía Según etapa del proceso productivo: Insumos Procesos Productos (bienes y servicios) Resultados (intermedios y finales)

AMBITOS DE MEDICIÓN y DIMENSIONES AMBITOS: DESDE LA CADENA DE PRODUCCION DIMENSIONES DESEMPENO PROCESOS PRODUCTO RESULTADOS EFICACIA EFICIENCIA ECONOMÍA CALIDAD

Indicador de EFICACIA Mide el grado de cumplimiento de un objetivo. No considera los recursos asignados para ello Ejemplo: Porcentaje de becas entregadas en relación a las programadas Reducción de la tasa de analfabetismo

CONCEPTOS EFICACIA RESULTADO (% RESULTADO LOGRADO EXITOSAMENTE RESPECTO REALIZADO-SOLICITADO) FOCALIZACION (LOGRADO RESPECTO DEL UNIVERSO) COBERTURA ( LOGRADO RESPECTO DE LA DEMANDA POSIBLE) IMPACTO (LOGRADO RESPECTO DEL PROBLEMA QUE SE QUIERE ATACAR)

EFICACIA (Cobertura)/Producto PORCENTAJE DE AREA DE CULTIVO INCLUIDA EN EL PROGRAMA Area Total del Programa de Cultivo Area de cultivo incluida en el Programa Dirección General de Servicios Agrícolas . Uruguay COBERTURA DE CONTROL DE EMISIONES DE LOS BUSES INTERURBANOS Controles de emisiones de Buses Interurbanos Total de Buses Inter urbanos Subsecretaria de Transportes Chile PORCENTAJE DE RECLUSOS INCLUIDOS EN PROGRAMA DE ACTIVIDAD INDUSTRIAL Reclusos con actividad industrial Total de reclusos Dirección Nacional de Cárceles Uruguay

Ámbito de los Productos: Bienes y/o servicios proporcionados directamente a los usuarios: Definir los requerimientos de los usuarios Establecer las características de los productos - Características técnicas del producto - Tiempo de entrega a los usuarios - Cobertura (todos los niños y niñas del país) - Focalización (niños y niñas en situación riesgo social) - Grado de satisfacción de los usuarios

Indicador de EFICIENCIA Mide la relación entre los productos y servicios generados con respecto a los insumos o recursos utilizados. Aproximaciones a este concepto: Costos de producción (costos medios, costos unitarios gastos administrativos en relación al gasto total) Productividad media de los distintos factores de producción Ejemplos: Costo promedio anual por alumno atendido Solicitudes tramitadas por funcionario

EFICIENCIA Indicador de eficiencia: costo por unidad de servicio o bienes provistos; o productividad de un input, son útiles en evaluar los costos relativos y productividad que diferente métodos de servicio entregan o la producción de bienes. Los indicadores de eficiencia pueden expresarse como “costo por producto”, o “unidades por insumo”, o “costo por resultado”.

Ejemplos de Indicadores de Eficiencia

EFICIENCIA EFICIENCIA-Producto Medio Número de inspecciones/número de inspectores Número de expedientes resueltos por semestre/dotación de personal en la tarea Número de inspecciones al transporte de pasajeros/personal que participa en la tarea Número de consultas/número de médicos

Indicador de CALIDAD Mide atributos, capacidades o características que deben tener los bienes o servicios para satisfacer adecuadamente los objetivos del programa. Calidad es una dimensión de la eficacia, pero por su importancia se la distingue con nombre propio Ejemplos: Grado de satisfacción de los usuarios Tiempo de respuesta a requerimientos de los beneficiarios

Calidad Capacidad de la institución por responder en forma consistente, rápida y directa a las necesidades de los usuarios A) Mediciones Indirectas. Mejorar los atributos y características de los productos. B) Mediciones Directas. Grado de satisfacción de los usuarios.

CALIDAD Calidad-Tiempo de respuesta Dirección General de Salud Tiempo de espera media para atender una consulta Dirección General de Salud Tiempo de tramitación media de solicitudes mineras Dirección General de Geología e Minas Tiempo medio para o estudio de cada Plan de Reforestamiento Dirección General de Recursos Naturales Dias de demora media de trámites de legalización Dirección General de Secretaría

CALIDAD Calidad- Satisfacción de usuarios Porcentaje de aprobación Encuesta de opinión a los usuarios Dirección Nacional de Registos Porcentaje de reclamos/casos atendidos Dirección Nacional de Topografía Asuntos resueltos/ Número de servicios reclamados Subsecretaria de Ministerio de Educación y Cultura Número de servicios reclamados/número total de servicios Hospital de Montevideo

INDICADORES DE CALIDAD Oportunidad Accesibilidad Percepción de usuarios Precisión Porcentaje de respuestas a los Parlamentarios dentro de los límites acordados. Número de localidades cubiertas por atenciones móviles Porcentaje de aprobación excelente de los talleres de trabajo, por los participantes Porcentaje de contratos terminados por errores Porcentaje de reportes económicos entregados en tiempo acordado Nº de horas que la Biblioteca está abierta fuera de las horas de trabajo   Número de fallas reales/ Fallas programadas Porcentaje de Población con necesidades especiales que son miembros activos de la Biblioteca Porcentaje de usuarios satisfechos Nº de usuarios satisfechos/ Total usuarios encuestados Porcentaje de contratos con uno o más errores encontrados por revisiones externas Número de intervenciones con retraso/ Número de intervenciones totales Nº de usuarios Satisfechos con el trato en la atención/ Total usuarios

Indicador de ECONOMÍA Mide la capacidad del programa para generar o movilizar adecuadamente los recursos financieros. Economía es una dimensión de la eficiencia. Ejemplos: Ingresos propios generados Presupuesto ejercido

Segun la Etapa del Proceso Productivo o Ambito de Medicion Proceso (Actividades - productos intermedios): Actividades vinculadas a la producción de bienes y servicios. Corresponden a las necesarias para generar los productos finales de la institución: procedimientos de compra licitaciones procesos tecnológicos administración financiera etc. - Porcentaje del presupuesto ejercido - Porcentaje de compras de insumos efectuadas dentro del tiempo programado 33

Algunos ejemplos de Indicadores en el ámbito de los Procesos: Porcentaje de ejecución del presupuesto Porcentaje de gasto en Recursos Humanos respecto de gasto total Porcentaje de gasto corriente respecto de gasto total Porcentaje de productos entregados respecto de lo programado Porcentaje de compras de insumos efectuadas dentro del tiempo programado Porcentaje de licitaciones adjudicadas respecto de licitaciones totales Porcentaje de ingresos propios percibidos respecto de los programados Porcentaje de subsidios asignados Porcentaje de familias pobres catastradas Porcentaje de normas de aviación actualizadas

Ámbito de los Procesos productivos (Ejemplos para Actividades Centrales) Definir aquellos procesos que son claves para la generación de los productos (bienes y/o servicios): procedimientos de compra Adquisición de insumos – contratación de empresas proveedoras Licitaciones Externalización de servicios - subcontratación de empresas que proveen los productos procesos tecnológicos Implementación de servicios por internet - procesos para generar productos

ÁMBITOS DE MEDICIÓN Producto (productos finales): Bienes y/o servicios públicos producidos o entregados por la institución para cumplir con su misión. Está dirigido al beneficiario final, o en algunos casos, intermedio. - Porcentaje de alumnos que reciben la beca oportunamente - Tiempo promedio de entrega de subsidios para la vivienda - Metros cuadrados construidos promedio por vivienda entregada 36

Algunos ejemplos de indicadores de focalización: Porcentaje de la población en situación de pobreza que recibe subsidio para agua potable Porcentaje de niños en situación de pobreza que reciben beca estudiantil Porcentaje de adultos mayores que reciben complemento alimenticio contra la desnutrición Porcentaje de deportistas que acceden a programas de alto rendimiento Porcentaje de comunas de alto riesgo cubiertas por programas especiales antidelincuencia Finalmente, también en eficacia se mide al cumplimiento de programas de trabajo: Porcentaje de capacitaciones de funcionarios en relación a lo programado

Algunos ejemplos de indicadores en el ámbito de los Productos: Porcentaje de familias sin vivienda que reciben aportes del Estado Porcentaje de familias pobres sin vivienda que reciben aporte del Estado respecto del total de familias sin vivienda que reciben aporte del Estado Tiempo promedio de entrega de subsidios para la vivienda Metros de cuadrados construidos promedio por vivienda entregada Porcentaje de condominios construidos que cuentan con infraestructura social (lugares para reuniones, parques, plazas, juegos para niños) Porcentaje de familias que manifiestan satisfacción con la vivienda entregada

ÁMBITOS DE MEDICIÓN Resultado intermedio: Es el resultado directo a lograr en la población objetivo dado el uso de los productos finales. Es la aportación específica a la solución de un problema o necesidad. - Porcentaje de profesoras indígenas asesoradas que aplican prácticas pedagógicas mejoradas con el enfoque de la Educación Intercultural Bilingüe 39

Ámbito de los Resultados: Resultados intermedios Cambio en el comportamiento de los beneficiarios una vez que han recibido los bienes y/o servicios. La entrega de los bienes y/o servicios a los usuarios supone que conduce a la Obtención de los resultados finales. Constituye una aproximación a los resultados finales

Algunos ejemplos de indicadores en el ámbito de Resultados Intermedios: Porcentaje de subsidios de vivienda efectivamente pagados respecto del total de subsidios otorgados Porcentaje de trabajadores sin calificación que egresan de un programa de capacitación técnica Porcentaje de participantes egresados de programa antidrogas con actitud crítica hacia la droga Porcentaje de empresas que no cumplen la normativa laboral Porcentaje de familias pobres que inician una actividad empresarial con apoyo del Estado Porcentaje de alumnos egresados de una carrera técnica

ÁMBITOS DE MEDICIÓN Resultados finales o impacto: Contribución a la solución de un problema o necesidad Complejidad de medir Impacto o Resultado Final: un programa o institución por lo general contribuye a alcanzar un resultado final y se complementa con la acción de otros programas e instituciones. 42

ÁMBITOS DE MEDICIÓN Resultados finales (impacto): ¿Cómo identificar el Impacto de nuestra institución? El impacto no se produce inmediatamente y medirlo requiere de un análisis más profundo, de la definición de un conjunto de indicadores y otros instrumentos complementarios como las evaluaciones de impacto. - Tasa de crecimiento del Sector de Tecnologías de la Información (TI) 43

Resultados Finales o Impacto: Resultados a nivel de fin de los bienes y servcios entregados, significan un mejoramiento en las condiciones objetivas de la población objetivo. Complejidad de medir Impacto o Resultado Final: un programas público contribuye a alcanzar un fin (resultado final) se complementa con la acción de otros programas ¿Cómo identificar el Impacto de nuestro programa? el impacto no se produce inmediatamente es difícil medirlo con un indicador (mejoramiento de la calidad de vida) por lo general no se dispone de información de punto de partida (línea base)

Algunos ejemplos de indicador de resultado final o impacto Porcentaje de trabajadores sin calificación egresados de un programa de capacitación que consiguen un empleo permanente Porcentaje de personas que no reinciden después de participar en programa antidrogas Tasa de accidentes de aviación Porcentaje de familias que superan la línea de pobreza Tasa de variación de delitos Porcentaje de empresas que cumplen la normativa laboral Tasa de incidencia de la poliomielitis Tasa de obesidad infantil Porcentaje de días sin suministros eléctrico a la población Tasa de suspensión de servicios de internet Porcentaje de reclamos solucionados de usuarios de servicios de telefonía

EJEMPLOS Indicador de Producto Indicador de Resultado Intermedio Indicador de Resultado Final Nº de niños matriculados en Educación preescolar pública/Nº de niños entre 3 a 6 años del país Porcentaje de niños de 3-6 años matriculados que logran terminar la enseñanza preescolar Porcentaje de niños que terminan preescolar logran Manejo de habilidades básicas en lecto escritura   Porcentaje de padres y madres satisfechos con la educación impartida

RESULTADO FINAL O IMPACTO PRODUCTO RESULTADO INTERMEDIO RESULTADO FINAL O IMPACTO Porcentaje de reclusos participando en el programa de reinserción/Total población reclusa potencialmente beneficiaria del Programa Tasa anual de variación de reclusos con contrato de trabajo Talleres de capacitación realizados/Talleres de capacitación programados Participantes que consiguen certificarse /Total de participantes Porcentaje de desempleo de población reclusa aprobada (Produtividad de los participantes año t -Productividad participantes año t-1/Produtividad participantes año t-1)*100

¿COMO CONSTRUIMOS UN INDICADOR?

10 pasos básicos para construir indicadores 1. Establecer las definiciones estratégicas como referente para la medición 2. Establecer las áreas de desempeño relevantes a medir Formular el indicador y describir la fórmula de cálculo 4. Validar los indicadores aplicando criterios técnicos 5 Recopilar los datos 6. Establecer las metas o el valor deseado del indicador y la periodicidad de la medición 7. Señalar la fuente de los datos o medios de verificación 8. Establecer supuestos (observaciones) 8. Evaluar: establecer referentes comparativos y establecer juicios 10. Comunicar e Informar el desempeño logrado

OBJETIVOS ESTRATEGICOS PRODUCTOS FINALES o ESTRATEGICOS 1. Establecer las definiciones estratégicas como referente para la medición del desempeño MISION VISION OBJETIVOS ESTRATEGICOS PRODUCTOS FINALES o ESTRATEGICOS

2. Establecer los factores relevantes, ámbitos y dimensiones de desempeño a medir……. De las Definiciones estratégicas extraer los Factores Relevantes que deben ser medidos. ¿Cuáles son los principales aspectos o variables claves que deben ser medidos en cada uno de los Objetivos (Misión, Objetivos Estratégicos, productos..) ? ¿Qué ámbitos deben ser medidos? ¿Qué dimensiones deben ser medidos? ¿Quién utilizará la información? ¿Qué decisiones tomará?

Factores relevantes a medir Se refiere las características que deseamos medir respecto al logro del objetivo. Ejemplo: Objetivo:Contribuir al desarrollo de la vida familiar, comunitaria y ciudadana de las familias de escasos recursos, mediante la entrega de vivienda social ubicada en conjuntos habitacionales

Factores relevantes a medir Ejemplo: Objetivo: Contribuir al desarrollo de la vida familiar, comunitaria y ciudadana de las familias de escasos recursos, mediante la entrega de vivienda social ubicada en conjuntos habitacionales Aspectos relevantes a medir: Familias de escasos recursos Vivienda social que permita desarrollar vida familiar Conjuntos habitacionales que permitan desarrollar vida comunitaria y ciudadana.

PROCESOS PRODUCTO Resultados (Intermedios y Finales) 2. Los ámbitos de medición y dimensiones atraviesan toda la cadena de producción y valor..hay que establecer qué es lo relevante AMBITOS DE MEDICION PROCESOS PRODUCTO Resultados (Intermedios y Finales) D I M E N S O EFICACIA EFICIENCIA ECONOMÍA CALIDAD

Mision Ministerio del Trabajo y Seguridad Social El Ministerio de Trabajo y Seguridad Social es la InstituciónRectora de la política socio-laboral de Costa Rica, dirigida a personas trabajadoras y empleadoras, que propicia el trabajo digno y contribuye al desarrollo y la justicia social.

Objetivos Estrategicos 1.Mejorar los medios y la cobertura para la convergencia oportuna de oferentes y demandantes de mano de obra, buscando de Esta manera la reducción del desempleo por causas friccionales. 2.Orientar la fiscalización laboral, hacia sectores definidos como prioritarios en razón de su vulnerabilidad laboral, con inspecciones integrales y focalizadas. 3.Sensibilizar, capacitar, y asesorar a los diferentes actores que participan en el ámbito laboral sobre la aplicación del marco jurídico que rige las relaciones laborales para el debido respeto de los derechos de los trabajadores. 4.Desarrollar una movilidad migratoria que esté en función de las posibilidades y requerimientos de empleo de los sectores productivos del país. 5.Promover una cultura de cumplimiento de los derechos y obligaciones laborales para un trabajo digno con enfoque preventivo. 6.Garantizar a nivel regional una efectiva asesoría y fiscalización para el trabajo digno. 7.Promover la integración de la oferta de formación técnica y capacitación para el trabajo, con los requerimientos del mercado laboral. 8.Propiciar alianzas interinstitucionales que fomenten la actividad productiva y la generación de empleo. 9.Satisfacer las expectativas de nuestros usuarios mediante servicios oportunos, equitativos, claros y accesibles desde cualquier parte del país. 10.Desconcentrar los servicios con criterios de necesidad, viabilidad y oportunidad. 11.Estandarizar los procesos y procedimientos para mejorar servicios dirigidos a todos los grupos de población

Reduccion de conflictividad Éxito de las mediaciones Misión Programa 731 Asuntos del Trabajo Dirección General de Inspección Mision Factores Relevantes Tutelar el cumplimiento de la normativa laboral, por medio de la inspección y mediación en los conflictos derivados de la relación de trabajo y a través de acciones de asesoramiento o facilitación en materia de los derechos de asociación, de salarios y de salud ocupacional, con el fin de contribuir a la equidad y armonía de las relaciones entre empleados y empleadores. Reduccion de conflictividad Éxito de las mediaciones Percepcion de equidad…..

Productos Productos Factores Relevantes Cobertura de inspeccion Acciones de Inspección Laboral en Sede Administrativa y Judicial. 2 Servicios de asesoría, conciliación y mediación en conflictos laborales individuales y colectivos. 3 Servicios de registro y acreditación de las organizaciones sociales laborales. 4 Servicios de asesoría e información en materia de salarios mínimos para el sector privado. Cobertura de inspeccion Costo de inspeccion Conciliaciones por area Tiempos de respuesta de Asesoria Cobertura de la acreditacion Tiempo de respuesta Oportunidad de la asesoria Solicitudes respondidas

Ministerio de Vivienda y Asentamientos Humanos Factores Relevantes Objetivos Estratégicos Déficit habitacional Focalización exitosa del otorgamiento del Bono Familiar Metros cuadrados por vivienda Servicios básicos viviendas otorgadas Situación social beneficiarios Sanciones cumplidas Estándares cumplidos Éxito de fiscalización Identificar las comunidades y poblaciones meta, prioritarias a nivel nacional, mediante la realización de estudios de campo y el manejo de bases de datos interinstitucionales; a fin de impulsar el otorgamiento del Bono Familiar de Vivienda y la canalización del crédito, a tales poblaciones, disminuyendo el déficit habitacional. 2. Diseñar y poner en marcha un Plan Nacional de Vivienda, de mediano y largo plazo, que contemple políticas y directrices (de carácter vinculante con otras instituciones del Sector) orientadas a ordenar el territorio nacional, a incrementar el desarrollo urbano y a posibilitar el acceso de los hogares, principalmente de clase baja y media, a una vivienda adecuada y a sentamientos humanos con servicios básicos. 3. Velar por el cumplimiento de los criterios técnicos de calidad de vivienda, sobre todo de interés social, determinados por las instituciones competentes; mediante la realización de auditorías periódicas y de la supervisión al acatamiento de las recomendaciones brindadas.

Ejemplo EJEMPLO Identificar los Factores Relevantes a medir INDICADORES OBJETIVO Promover en la población en general estilos de vida activa por medio de la práctica periódica del ejercicio físico, el deporte y la recreación - Estilos de vida activa de la población -Prácticas periódica del ejercicio físico, deporte y la recreación Porcentaje de la población objetivo que práctica alguna actividad deportiva 1 vez a la Semana Porcentaje de la población objetivo que mejora sus índices de salud sobre línea base Microempresas del sector rural con capacidades técnicas y emprendedoras consolidadas - Capacidades técnicas y emprededoras -Costo del subsidio % de incremento de Microemp participantes del programa que mejoran sus capacidades técnicas y emprendedoras, según índice de capacidades Costo promedio de asesoría a Microempresas

LISTA DE FACTORES RELEVANTES A MEDIR Definiciones estratégicas Factores Relevantes Misión Objetivos estratégicos Productos finales

Primer Trabajo Grupal Definición de los factores relevantes por categoría de objetivos 1. Para la MISIÓN defina los factores relevantes 2. Para los objetivos estratégicos defina los factores relevantes 3. Para los productos defina los factores relevantes 1 HORA

Corresponde construir cada uno de los indicadores UNA VEZ QUE SE TIENE CLARIDAD SOBRE: Cuáles son los aspectos relevantes que deben ser medidos Qué ámbitos se van a medir Cuáles dimensiones Corresponde construir cada uno de los indicadores

3. Formular el nombre del indicador y la fórmula de cálculo. El nombre del indicador debe ser lo más ilustrativo posible de lo que se quiere medir, y la fórmula debe permitir informar sobre los parámetros o variables que se están midiendo

Nombre del indicador Debe ser claro, preciso y autoexplicativo Que cualquier persona entienda qué se mide con ese indicador Si se usan siglas o aspectos técnicos, deben definirse en una nota explicativa “Porcentaje de aeropuertos que cuentan con sistema ILS” Nota: ILS (Instrument Landing System) es un sistema de aterrizaje instrumental con que cuentan los aviones para aterrizar en condiciones de baja visibilidad.

Sentido de la medición Indicador ascendente o descendente Mientras más aeropuertos tenga ILS es mejor, por lo tanto, el indicador es ascendente En general: Los indicadores de cobertura, focalización, accesibilidad, cumplimiento de programas de trabajo, etc. son ascendente. Los indicadores de tiempos promedio de respuesta a los usuarios son descendentes. Los indicadores que miden capacidad de utilización de recursos son ascendentes Los indicadores que miden errores son descendentes Los indicadores que miden satisfacción de usuarios son ascendentes

Fórmula de cálculo La relación matemática de las variables deben entregar como resultado lo que se definió en el nombre “Porcentaje de aeropuertos que cuentan con sistema ILS” (Total de aeropuertos con sistema ILS / Total de aeropuertos del país) * 100

Construcción de Fórmulas Nombre del indicador Variables que intervienen Fórmula del indicador

El nombre del indicador debe ser: Autoexplicativo Contextualizado Por ejemplo: “Porcentaje de solicitudes respondidas” ¿Es autoexplicativo y contextualizado?

“Porcentaje de solicitudes respondidas” Nombre del Indicador “Porcentaje de solicitudes respondidas” En la Oficina Principal de la institución En el país En un mes En un año Respecto de las solicitudes presentadas Etc.

Nombre del Indicador Nombre del indicador Qué o cuál es la medición…………….universo a considerar (contexto) % de solicitudes respecto de las respondidas solicitudes ingresadas

Nombre del Indicador Indica la relación Porcentaje de solicitudes respondidas respecto de las solicitudes ingresadas Variables Variable 1: solicitudes respondidas Numerador Variable 2: solicitudes ingresadas Denominador Respondidas Ingresadas

Fórmula de cálculo Fórmula: Numerador Denominador Total de solicitudes respondidas en el año t Total de solicitudes ingresadas en el año t * 100 * 100

Tipos de fórmulas más usadas Fórmula de cálculo Tipos de fórmulas más usadas Porcentaje (proporciones) Tasa de variación Razón o promedio Índices

1. Porcentajes (cobertura, focalización, etc.) Razón entre dos variables con una misma unidad de medida numerador denominador * 100 = X por ciento Igual unidad de medida (personas, Km., solicitudes, etc.

Cobertura: “Porcentaje de cobertura en la atención de adultos mayores” (Total de adultos mayores atendidos / Total de adultos mayores del país)*100 COBERTURA Adultos Mayores del país Adultos Mayores atendidos

Focalización: “Porcentaje de adultos mayores atendidos que se encuentran en situación de extrema pobreza” (Total de adultos mayores atendidos que se encuentran en situación de extrema pobreza / Total de adultos mayores atendidos)*100 FOCALIZACIÓN Adultos Mayores del país Adultos Mayores pobres Adultos Mayores atendidos

2. Tasa de variación Razón entre una misma variable pero en periodos diferentes variable año t variable año t – variable año t-1 Variable año t-1 variable año t-1 - 1 * 100 = * 100 = X por ciento

2. Tasa de variación Ejemplo: Tasa de variación de las exportaciones del país {(Total exportaciones año t / Total exportaciones año t-1) – 1*100}*100

2. Tasa de variación o de cambio {(Total exportaciones de miel año t / Total exportaciones año t-1) – 1}*100 400 TONELADAS de MIEL EXPORTADA 2009 375 TONELADAS de MIEL EXPORTADA 2008 - 1 x 100 1,0625 0,0625 + 6,25 (total de exportaciones de miel año t – total de exportaciones en el año t-1) / total de exportaciones en t-1 * 100 400 TONELADAS de MIEL EXPORTADA 2009 - 375 TONELADAS de MIEL EXPORTADA 2008 x 100 400 TONELADAS de MIEL EXPORTADA 2009 400 – 375 = 25 25/400 = 0,0625 0,0625 X 100 = 6,25

2. Tasa de variación o de cambio {(Total exportaciones de miel año t / Total exportaciones año t-1) – 1}*100 325 TONELADAS de MIEL EXPORTADA 2009 450 TONELADAS de MIEL EXPORTADA 2008 - 1 x 100 0,72777 - 0,27 - 27,7% (total de exportaciones de miel año t – total de exportaciones en el año t-1) / total de exportaciones en t-1 * 100 325 TONELADAS de MIEL EXPORTADA 2009 - 450 TONELADAS de MIEL EXPORTADA 2008 x 100 450 TONELADAS de MIEL EXPORTADA 2008 325 – 450 = -1,25 -1,25/325 = -0,27 -0,27 X 100 = -27,7%

3. Razón o Promedio (tiempos promedio, costos promedio, etc) Relación entre dos variables con distinta unidad de medida numerador denominador = unidades promedio del numerador por cada unidad del denominador

3. Razón o Promedio (tiempos promedio, costos promedio, etc) Ejemplo: Tiempo promedio de tramitación de solicitudes Tpo. Solicitud 1 + Tpo. Solicitud 2 + ..... + Tpo. Solicitud n Total de solicitudes tramitadas Sumatoria de tiempos de tramitación de cada solicitud / Total de solicitudes tramitadas = tiempo promedio por solicitud

3. Razón o Promedio (tiempos promedio, costos promedio, etc) Ejemplo: Promedio de alumnos por profesor de educación media Total de alumnos de educación media en el año Total de profesores de educación media en el año t = Alumnos promedio por profesor

4. Índices Permiten medir la evolución de una variable en el tiempo, a partir de un valor base. Ejemplo, Índice de Remuneraciones Promedio anual de remuneraciones año base: 5.000 Promedio anual de remuneraciones año t: 5.350 Índice año base: (Valor año base / valor año base)*100 = (5.000 / 5.000)*100 = 100 Índice año t: (Valor año t/ valor año base)*100 = (5.350 / 5.000)*100 = 107

4. Índices Promedio anual de remuneraciones año t+1: 5.885 Índice año t+1: (Valor año t+1/ valor año base)*100 = (5.885 / 5.000)*100 = 117,7 Valor índice: Año t+1 = 117,7 Año t = 107,0 Año base = 100,0

4. Índices Promedio anual de remuneraciones año n: Índice año n = (Valor año n / valor año base)*100

Desagregación por Sexo Porcentaje de personas pobres del país Distribución de pobreza por sexo: (Total hombres pobres / Total personas pobres)*100 (Total mujeres pobres / Total personas pobres)*100 Porcentaje de pobreza según sexo: (Hombres pobres / Total hombres)*100 (Mujeres pobres / Total mujeres)*100

Indicadores que permitan medir continuamente (año a año) variables relevantes en el cumplimiento de la misión y de interés para la ciudadanía Tasa de escolaridad Porcentaje de recaudación de impuestos Porcentaje de vías en buen estado Porcentaje de delitos contra la propiedad Porcentaje de plagas bajo control Porcentaje de fallos favorables Tiempo de respuesta

Segundo Trabajo de Grupo Definición de indicadores para cada factor relevante, según ámbito de medición 1. Defina por cada factor relevante el o los indicadores que lo midan. 2. Si ya ha definido indicadores revíselos y verifique que miden los factores RELEVANTES identificados. 3. Una vez que haya definido todos los indicadores clasifíquelos según su etapa en la cadena de producción (proceso, producto, Resultado) y en los ámbitos de desempeño: eficacia, calidad, eficiencia y economía (utilice las definiciones). 5. ESTABLEZCA LA FORMULA DE CALCULO Presente el trabajo 2 HORA DE TRABAJO

4. Validar los indicadores

Cada indicador propuesto debe ser validado técnicamente, según los siguientes criterios: Relevancia: debe reflejar una dimensión importante del logro del objetivo ¿Permite verificar el logro del objetivo en un aspecto sustantivo? Pertinente: debe ser preciso e inequívoco ¿No hay dudas respecto de qué se está midiendo? Debe aportar una base suficiente para evaluar el desempeño ¿Es suficiente para emitir un juicio respecto del desempeño? Costo Razonable: la información necesaria para generar el indicador debe estar disponible a un costo razonable ¿El beneficio de la información es mayor que el costo de obtenerla?

Confiable :¿Cualquier persona puede comprobar los resultados del indicador? Independiente: La institución o programa controla el resultado que entrega el indicador Integración: El total de los indicadores contempla las dimensiones de desempeno necesarias Aporte marginal: si hay más de un indicador para medir el desempeño de un objetivo, debe proveer información adicional en comparación con los otros indicadores propuestos ¿Mide aspectos no considerados en los demás indicadores?

Paso 4: Validar los Indicadores Relevancia Pertinencia Costo Razonable Confiable Independiente Integracion Aporte Marginal ¿Valida? 1. Sí 2. No

5. Recopilar los datos para construir los indicadores TIPOS DE INFORMACION Información contable-presupuestaria Estadísticas de producción física, cargas de trabajo del personal Encuestas, estudios especiales Benchmarking,etc

Para cada indicador, ¿está disponible la información en mi programa? Fuentes de Información Para cada indicador, ¿está disponible la información en mi programa? SÍ No ¿está en otra Entidad? Sí No ¿el beneficio > costo de obtenerla? Sí No Se mide Se busca una proxy

DESEMPEÑO LOGRADO EN INSTITUCIONES SIMILARES, PROCESOS O PROGRAMAS. 6. Establecer las metas o el valor deseado del indicador y la frecuencia de la medición DESEMPEÑO HISTORICO LINEA BASE OBJETIVOS DEFINIDOS DESEMPEÑO LOGRADO EN INSTITUCIONES SIMILARES, PROCESOS O PROGRAMAS.

Metas Las Metas constituyen la expresión concreta y cuantificable de los logros que se planea alcanzar en el año (u otro periodo de tiempo) con relación a los objetivos previamente definidos. Sentido de la Medición: Ascendente (cobertura, focalización, etc.) Descendente (tiempos de respuesta, tasas de enfermedades, etc.) ¿Qué es mejor como desempeño de la institución?

Importancia de las metas para el seguimiento (monitoreo) y evaluación Medición y evaluación Retroalimentación Medidas correctivas

Evaluación La evaluación es la comparación de los resultados obtenidos con las metas establecidas. La evaluación puede ocurrir durante el periodo de ejecución (evaluación contingente) o al finalizar dicho periodo (evaluación ex post).

Retroalimentación Los resultados de las evaluaciones se comunican a los encargados de cada área y a la Dirección, a fin de que estén informados respecto al grado de avance de las metas planteadas y, en caso de producirse desviaciones importantes respecto a lo programado, se acuerden las medidas correctivas que se adoptarán.

Medidas correctivas Las medidas correctivas pueden consistir en cambios en las áreas, cambio en las metas, nuevas asignaciones o recortes de los recursos presupuestarios, revisión de las tareas, etc.

Indicador y meta El resultado de la medición del indicador entrega un “valor”. Este valor se compara con la meta establecida para el indicador. La comparación permite establecer un juicio respecto del desempeño de la institución.

Ejemplo Indicador: Porcentaje de gastos administrativos Valor del indicador: 15% Meta del indicador: 20% Valor del indicador de institución similar: 10% Juicios: Cumplí la meta. Estoy por sobre el valor de una institución similar

Requisitos de las metas Su establecimiento debe considerar diferentes parametros (desempeño histórico, programas similares, estándares) Deben ser posibles de cumplir por la institución con los recursos financieros, humanos, físicos y tecnológicos disponibles Su logro debe depender de la institución (establecer supuestos)

Requisitos de las metas Deben establecerse para ser cumplidas en un plazo determinado Deben expresar claramente el ámbito geográfico que cubre Deben ser conocidas y acordadas con los ejecutores de las distintas áreas (establecer los responsables por el cumplimiento)

Para establecer la meta se deben considerar diferentes parámetros Línea base y desempeño histórico Desempeño de instituciones similares (benchmarking) Estándares aplicados a normas técnicas

Pasos para determinar una meta ¿No existe? Se construye¡¡¡ Programas similares Estándar técnico Identificar la línea base Se toma como referencia el actual desempeño Existe? Meta Indicador Año t % de alumnos 60% egresados

¿Qué es la línea base? Dato que se tomará como inicio para establecer los valores futuros a alcanzar por el indicador, los que servirán para evaluar el grado de cumplimiento de las metas. Para indicadores nuevos, podría suceder que no exista un valor base, por lo cual debe ser estimado. Una vez realizada la primera medición, se tomará como línea de base el último dato obtenido.

¿Dónde estamos ahora? ¿Cómo hemos estado antes? ¿Cuan lejos queremos y podemos llegar?

Considerar el nivel de desempeño de las metas a nivel nacional / local El tiempo de respuesta de la entrega de los pasaportes será el mismo en el país, en el Estado o en una determinada Región. Los kilómetros de vías reparadas serán un promedio nacional o en un tramo específico.

Las metas deben tener asignados responsables por su cumplimiento a nivel de la organización Debe quedar claramente establecido cual es la Unidad, Área, Dirección, que es responsable por el cumplimiento de la meta, aún cuando otras áreas intervengan con producción intermedia o final.  

Problemas frecuentes cuando se establecen las metas No existen o no se construyen los medios de verificación Los supuestos no son pertinentes (se imputan aspectos que la institución sí controla) La evaluación (el juicio sobre el desempeño no es confiable) Las metas estimulan un desempeño poco innovador y desafiante

Problemas frecuentes cuando se establecen las metas No existen datos disponibles para estimar la línea base La institución desconoce estándares de entidades similares Se desconoce la población objetivo y potencial Riesgo se sobre o subvalorar la meta No es posible evaluar respecto de las mejores prácticas (autocomplacencia) La meta no permite monitorear el avance hacia el cumplimiento del objetivo (y por lo tanto no se pueden tomar decisiones adecuadas)

Problemas frecuentes cuando se establecen las metas Subvaloracion de las metas frente a un ambiente punitivo de la evaluacion Trampa de la medición: se muestra como resultados (y se hace) solo lo que se puede medir Escasa utilidad para la toma de decisiones y mejora de la gestión No es posible avanzar hacia la mejora de los resultados relevantes para la organización y por ende para la ciudadanía

Frecuencia Misión Disminuye Objetivos estratégicos Productos Depende de la disponibilidad de la información (Fuente de Información) y del nivel de los objetivos que se está midiendo Misión Objetivos estratégicos Productos Actividades Disminuye Frecuencia Aumenta

Factores que inciden en la frecuencia de medición de los indicadores Las necesidades de uso de la información generada por los indicadores (proceso de toma de decisiones) Tiempo estimado en que se producirán los resultados del programa en los beneficiarios Disponibilidad de información cuando ésta es obtenida o proporcionada por fuentes externas Compromisos de cuenta pública o de informar resultados de la gestión (Secretaría de Hacienda)

7. Señalar las fuentes de datos o medios de verificación Registros de la institución (posibles de auditar) Estadísticas oficiales Encuestas (realizadas por entes externos)

8. Establecer Supuestos (observaciones) Aspectos no controlables por la institución: Deben ser muy concretos y no generales Variaciones del tipo de cambio, o de determinados precios pueden afectar niveles de ingresos esperados, tarifas, etc Aprobaciones de procesos por entes externos en la que hay probada posibilidad (norma o procedimiento externa) que puede alterar la programación) Flujo de recursos internacionales, etc.

Supuestos Comprometo X meta siempre y cuando se cumplan los siguientes supuestos: Tipo de cambio no aumente más de 10% La solicitudes de tramitación no aumenten más de 15%

Ejemplos de algunos aspectos sobre los cuales establecer Supuestos Situación macroeconómica Beneficiarios usan los componentes adecuadamente Se cumplen las corresponsabilidades de otros actores Otros estados o entidades destinan los recursos para lo que está establecido Los recursos de prestamos internacionales son entregados al programa en el tiempo establecido 121

Tercer Trabajo Grupal Revise el conjunto de los indicadores construidos y aplique los criterios de validación Complete la planilla de Indicadores para la programación presupuestaria

9. Evaluación de los Resultados Comparar valor del indicador al final del periodo y meta establecida Establecer No cumplimientos y Sobrecumplimientos (desviaciones) Análizar las Causas de los resultados Proponer Recomendaciones para corregir las desviaciones Establecer Compromisos para implementar las recomendaciones Definir Plazos de cumplimiento de los compromisos Definir Responsables por el cumplimiento de compromisos Definir Programa de Seguimiento de compromisos

Evaluación de los Resultados Indica- dores Valor Indicador Meta % Cumpli- miento Resul- tado(*) Causas del tado Reco- menda- ciones Compro- misos Plazos Respon- sables (*): Indicadores Cumplidos, No Cumplidos o Sobrecumplidos

10. Informar los Resultados Breve reseña de la institución Contexto de la medición: qué se midió y qué no Recursos utilizados por la institución Resultados de la gestión (logros y no logros) Principales causas de desviaciones de resultados Efectos de resultados negativos (en los ciudadanos, etc) Compromisos para el periodo siguiente

Recomendaciones para construir indicadores estratégicos y evitar incentivos perversos

Resultado será siempre de 100% INDICADORES QUE INFORMAN SOBRE CUMPLIMIENTO DE DEMANDA…..POR SI SOLO NO ENTREGAN INFORMACION UTIL PARA TOMA DE DECISIONES N°de certificados de antecedentes emitidos/ N° de certificados solicitados Esta prestación constituye una obligación legal de ser satisfecha, dado que es un requisito insoslayable para el usuario. Cobertura garantizada Resultado será siempre de 100% Aspectos relevantes de los resultados son la calidad del servicio, la oportunidad, la precisión, la disponibilidad a nivel nacional (cobertura geográfica).

Ejemplo “Atención de emergencias” Indicador: Número de emergencias programadas Meta: 1000 Número de emergencias que se atendieron 1500 En el Informe de evaluación anual aparece como “Meta superada”

Evitar indicadores que generen incentivos perversos” · Aumento en los porcentajes de recaudación por multas a contribuyentes evasores Puede incentivarse a destinar mayores recursos de los necesarios a las acciones de fiscalización en áreas donde las multas sean más onerosas; desestimando otros que tienen mayor importancia desde el punto de vista de la economía, la competencia, la seguridad para los usuarios, calidad de los productos, etc.

Evitar indicadores que generen incentivos perversos” · Porcentaje de detenciones por delitos Puede incentivarse una acción represiva no acorde con la situación delictiva, o destinar recursos extras para la represión del delito, dejando otras acciones preventivas, etc)

Evitar indicadores que generen incentivos perversos” · Disminución de tiempos de respuestas, sin llevar asociado una meta de calidad del producto entregado. Número de fallos judiciales en un tiempo X., puede implicar que el juicio no se ajuste a derecho, que los fallos sean inapropiados, generando problemas de seguridad, reincidencia, etc)

TENER EN CUENTA LA INTEGRALIDAD DE LA MEDICION Aumentar la cobertura del programa de raciones a un 55% de la población escolar. Llegar a un costos promedio de $5 Alcanzar1000 calorías por ración INDICADOR DE EFICACIA Población escolar en programa / población escolar total INDICADOR DE CALIDAD * Calorías por ración. * Porcentaje de aceptación de los escolares (encuesta) INDICADOR DE EFICIENCIA Costo promedio de las raciones: gasto total programa / número de raciones

CUANTOS RECURSOS OCUPAMOS INSUMO PROCESO PRODUCTO RESULTADO INTERMEDIO RESULTADO FINAL CUAN BIEN LO HACEMOS QUE HACEMOS HAY ALGUNA MEJORIA COMO CAMBIAN LAS CONDICIONES INICIALES CUANTOS RECURSOS OCUPAMOS I N D C A O R E S Costos planilla Costos unidades de productos Número de funcionarios Licitaciones realizadas Actividades Número de viviendas Kilómetros construidos Inspecciones realizadas Costo por vivienda Costo por kilómetro construido Tiempo de respuesta inspecciones Gasto administrativo/ Gasto Total Gasto Ejecutado/Gasto programado COMO CAMBIAN LOS COMPORTAMIENTOS DE LA VARIABLE, USUARIOS Porcentaje de viviendas con estándares de calidad en la normal Porcentaje de viviendas con entorno urbano mejorado Disminución del déficit habitacional Provincia X Porcentaje de usuarios que reciben vivienda declaran satisfacción por calidad y entorno T P Insumos Inptus Eficiencia Calidad Economía U F. Sistema de Información Interna Entidades Contraloría Eficacia (Cobertura, Focalización) Eficacia (Cobertura, Focalización) Presupuesto (Productos Finales) Sistema de Información Interna (Productos Intermedios) Sistema de Información interna (Productos intermedios, Productos finales, no relacionados con O.Estratégicos) Sistema de Información Directivo ORGANISMO DE PLANIFICACION

“Planificación Estratégica y Construcción de Indicadores de Desempeño en el Sector Público de Costa Rica”. San José, 5 al 9 de Abril. Ministerio de Justicia y Paz Dirección General de Presupuesto Nacional. Ministerio de Hacienda. Costa Rica Lineamientos metodológicos para la construcción de indicadores de desempeño Esta presentación ha sido elaborada por la autora, con los aportes de los cursos de Roberto Jimenez (rjimenez@movistar.cl), Jorge de La Fuente (Jorge.DelaFuente@cepal.org) Área de Políticas Presupuestarias y Gestión Pública ILPES/CEPAL Marianela.armijo@cepal.org 134