Roberto Jiménez M. Consultor ILPES / CEPAL Ministerio de Hacienda de Costa Rica Instituto Latinoamericano y del Caribe de Planificación Económica y Social (ILPES) SECRETARÍA TÉCNICA DE LA AUTORIDAD PRESUPUESTARIA PLANIFICACIÓN ESTRATÉGICA Y CONSTRUCCIÓN DE INDICADORES EN EL SECTOR PÚBLICO DE COSTA RICA” “Visión metodológica” Roberto Jiménez M. Consultor ILPES / CEPAL

Objetivo: Viaje desde Santiago de Chile hasta San José de Costa Rica, con escala en Ciudad de Panamá. Total: 5.315 Km.

Indicador de actitud u horizonte artificial Muestra la relación del eje longitudinal del avión con respecto al horizonte natural. Indicador de velocidad aerodinámica Mide la velocidad del avión expresada en nudos, con respecto al aire que se mueve alrededor. El indicador de velocidad aerodinámica contiene arcos coloreados en los extremos.

Indicador de rumbo Proporciona al piloto la dirección del avión en grados magnéticos Indicador de velocidad vertical Indica si el avión está ascendiendo, descendiendo o va nivelado y la velocidad vertical a la que asciende o desciende Altímetro Da la lectura de la altitud a la cual está volando el avión Coordinador de giro e inclinómetro Indicador de Potencia

Indicadores del avión Información de Controladores de Tránsito Aéreo Información Meteorológica Información Torre de Control de Juan Santamaría

1. Gestión privada versus gestión pública INSUMOS BIENES Y SERVICIOS CONSUMIDORES PROVEEDOR DE RECURSOS COMPAÑIA BALANCE $$$ COSTOS $$$ INGRESOS $$$

1. Gestión privada versus gestión pública INSUMOS BIENES Y SERVICIOS PUBLICOS CIUDADANOS PROVEEDOR DE RECURSOS ENTIDADES DE GOBIERNO INFORMACION DE DESEMPEÑO FONDOS COSTOS $$$ ITEMES PRESUP. PRESUPUESTO PUBLICO IMPUESTOS + EVALUACION DEL DESEMPEÑO = PRESUPUESTO POR RESULTADOS

Dirección General de Aviación Civil ¿Cuánto vale evitar que se caiga un avión? ¿Cuánto cobrar por otorgar una licencia de piloto de avión? ¿En cuánto se valora el detectar elementos peligrosos en el equipaje? ¿Cuánto vale un pronóstico meteorológico acertado? ¿Cuánto cobrar por el servicio de extinción de incendios?

2. Evaluación de desempeño y asignación de recursos El proceso de modernización del Estado tiene por finalidad: elevar las competencias de las instituciones y funcionarios movilizar los recursos públicos de manera más eficiente comprometiendo en su gestión y en sus resultados a todos los actores que intervienen orientación a satisfacer los requerimientos de los usuarios Que el funcionamiento regular de los servicios: respete los principios de transparencia, equidad y disciplina fiscal considere de manera prioritaria la satisfacción de los usuarios la realización personal y profesional de los funcionarios la asignación eficiente de los recursos capacidad de respuesta ante las nuevas demandas que plantea la modernización del país.

2. Evaluación de desempeño y asignación de recursos Lograr una gestión más eficiente y comprometida con los resultados implica: desarrollar liderazgos que impulsen el cambio incorporar técnicas modernas de gestión establecer metas medibles de desempeño dentro de un marco de participación y compromiso de los distintos actores

2. Evaluación de desempeño y asignación de recursos Una herramientas útil es la medición y evaluación de los bienes y servicios que provee cada institución pública, a través de un conjunto de indicadores claves. Un sistema que entregue información regular sobre la calidad de la gestión posibilitará: mayor eficiencia en la asignación de recursos físicos, humanos y financieros seguridad y confianza en su desempeño del conjunto de los funcionarios implicados en su implementación autonomía y responsabilidad de los directivos (cuentan con información para la toma de decisiones) mejorar la coordinación con los demás niveles del aparato público.

3. Indicadores de desempeño Es una herramienta que entrega información cuantitativa respecto al logro o resultado en la entrega de los productos (bienes y/o servicios) generados por la institución, pudiendo cubrir aspectos cuantitativos o cualitativos de este logro. Es una expresión que establece una relación entre dos o más variables, la que comparada con períodos anteriores, productos similares o una meta o compromiso, permite evaluar desempeño. - Número de aviones accidentados (NO es un indicadores) - % de aviones accidentados por cada 100.000 vuelos (SÏ es un indicador)

4. Utilidad de los indicadores Permiten medir y evaluar el desempeño y por lo tanto: es el primer paso para aplicar una gestión orientada a los resultados posibilitan detectar desviaciones respecto de lo planificado permite identificar áreas con problemas de gestión (demoras excesivas, ineficiencias, etc) aporta transparencia al uso de los recursos públicos

5. Uso de la información generada por los indicadores toma de decisiones de Jefes de Servicios e Instituciones jefaturas y ejecutivos de Programas cuenta pública al Parlamento, Contraloría y ciudadanía proceso de evaluación presupuestaria y asignación de recursos Gobierno y Ministros

5. Uso de la información generada por los indicadores Dirección General de Aviación Civil toma de decisiones de Jefes de Servicios e Instituciones: Autoridades de la DGAC, líneas aéreas, proveedores, OACI jefaturas y ejecutivos de Programas Jefaturas de Seguridad Operacional, de AVSEC, de Meteorología cuenta pública al Parlamento, Contraloría y ciudadanía Pasajeros proceso de evaluación presupuestaria y asignación de recursos (Ministerio de Hacienda) Gobierno y Ministros

6. Dificultades de medición en Sector Público Especificidad de la misión, multiplicidad de objetivos que persiguen las instituciones del Estado y heterogeneidad de sus servicios. - DGAC en Chile: radares para aviación civil y militar • Factores externos que condicionan la productividad (relacionada con la gestión de otros servicios) y la acción de niveles superiores del aparato público (Ministerios, Subsecretarías, Congreso). - DGAC en Chile: ingresos por tasas de embarque fijadas por Ministerio de Hacienda (condiciona mayor gasto, inversiones) • Los "productos" que genera el sector público suelen carecer de base monetaria o cuantitativa de evaluación y difícil expresarlos en términos cuantitativos (regulación de mercados, seguridad pública, fomento). Necesidad de desarrollar sistemas de evaluación que ponderen los elementos cualitativos. - Costo de AVSEC, costo de pronósticos, externalidades de pronósticos (agricultores) - Valoración por la ciudadanía

6. Dificultades de medición en Sector Público Prestaciones subsidiadas (no reflejan sus costos reales). La medición se hace en forma indirecta (consumo de recursos, nivel de gastos, dotación de personal) que no siempre son buenos indicadores. - Costo cobrado a líneas aéreas más grandes subsidian a líneas más pequeñas - Subsidio cruzado entre costo de radares para aviación civil y militar

7. Principios de los indicadores Pertinentes: deben estar orientados a procesos y productos esenciales de una institución. - Accidentabilidad de aviación, incidentabilidad, AVSEC Comparables: las actividades o unidades que se escojan para ser medidas deben ser comparables de un momento del tiempo a otro (semestralmente, anualmente, etc.). - Fiscalización de aviones grandes Costos razonables: la información base para su construcción debe ser recolectada a un costo inferior al beneficio de su medición. - Bases de datos de registro de fiscalizaciones, registro de fiscalizadores

7. Principios de los indicadores Confiables: los resultados deben ser independientes de quién efectúe la medición. - Tasa de accidentes de aviación: resultados aceptados por OACI Simples y Comprehensivos: deben cubrir aspectos significativos del desempeño de una institución, pero su número no puede exceder la capacidad de análisis de quienes los van a utilizar. - Seguridad de aviación (DGAC en CHILE tienen 10 indicadores comprometidos con la Ley de Presupuestos) Independientes: deben responder principalmente a las acciones desarrolladas por la institución en vez de a factores externos. - Incidentes de tránsito aéreo de responsabilidad de la DGAC

8. Medición del desempeño institucional Medir y evaluar lo importante: Desarrollar indicadores para lo que tiene relevancia estratégica y lo que es importante de cada institución: Aquello que tiene mayor impacto sobre los usuarios - Seguridad de aviación Porcentaje de recursos institucionales que ocupa - La mayoría de los recursos de la DGAC en Chile corresponden a Seguridad Prioridades gubernamentales, ministeriales o de agenda pública - Mantener categoría como país. Poder ingresar por ejemplo a EEUU.

8. Medición del desempeño institucional Todo se puede evaluar pero no todo es factible de medir: Un ámbito importante de la acción gubernamental relacionado con la provisión de ciertos bienes públicos (defensa, relaciones exteriores y coordinación de políticas) se caracterizan por la intangibilidad de sus resultados. Dificulta o hace imposible medir a través de indicadores. - ¿Cómo medir el resultado de los pronósticos meteorológicos? - Externalidades: agricultores, pescadores, etc

8. Medición del desempeño institucional Deben basarse sobre variables controlables en algún grado por las instituciones: Resultados mediatizados por variables externas (finanzas públicas, factores económicos, labor legislativa del Congreso) - Valor de tasas de embarque fijadas por autoridad gubernamental Las metas deben considerar lo anterior (dimensionar grado de influencia de la institución en las variables que afectan a cada indicador) - Competencias de controladores de tránsito aéreo Supuestos - Tiempo de demora de bomberos (desde inicio de la pista, sin lluvia o nieve, el avión queda dentro de la pista, etc)

8. Medición del desempeño institucional Homegeneidad en la medición: Definición adecuada de la unidad de producto (atenciones médicas, subsidios, fiscalizaciones, etc.) - Porcentaje de objetos retenidos a pasajero incógnito Unidades de producto de igual “costo” (que usen recursos institucionales equivalentes: horas hombres, insumos materiales, etc.) - Fiscalización aviones grandes v/s fiscalización aviones pequeños Lo anterior permite comparabilidad y evita distorsiones.

8. Medición del desempeño institucional Preocupación por valores extremos: Los promedios ocultan la información de los extremos: - Tiempo promedio de tramitación de primer pago de una pensión: promedio 25 días, mínimo 15 días, máximo 75 días. - Gasto promedio por curso de capacitación - Tiempo promedio de llegada de bomberos a avión accidentado Cómo avanzar?: - Porcentaje de primeras pensiones tramitadas en tiempo máximo de 30 días: 95%. - Gasto máximo por curso de capacitación. - Relación entre tiempo promedio de demora de bomberos y norma OACI

8. Medición del desempeño institucional Información de calidad a bajo costo La información base para la elaboración de indicadores debe ser: Recolectada a costo razonable Garantía de confiabilidad (es para la toma de decisiones) - Indicador de distancia entre aviones (pilotos toman decisiones)

Productos Estratégicos 9. Ámbitos de medición Proceso productivo Productos Resultados Proceso 2 Proceso 3 Productos Estratégicos (Bienes y Servicios) Proceso 1 Proceso 4 Insumos Y Recursos

9. Ámbitos de medición Procesos productivos: Actividades vinculadas con la ejecución o forma en que el trabajo es realizado para elaborar los productos (bienes y/o servicios): procedimientos de compra licitaciones procesos tecnológicos administración financiera etc. - Revisión y actualización de normas para pilotos y aviones - Especificaciones técnicas para pistas

9. Ámbitos de medición Productos: Bienes y/o servicios producidos o entregados a los usuarios. Primer resultado de la acción de un servicio o acción pública Es el efecto más inmediato que tiene la población beneficiaria - Licencias de pilotos y aviones - Aviones controlados por transito aéreo - AVSEC

9. Ámbitos de medición Resultados intermedios: Cambios en el comportamiento, estado, actitud o certificación de los beneficiarios una vez que han recibido los bienes o servicios de una institución. - Retención de objetos peligrosos Resultados finales (impacto): Mejoramiento significativo, y en algunos casos perdurable en el tiempo, en alguna de las condiciones o características de la población una vez que han recibido los bienes o servicios de una institución. Es el beneficio de mediano y largo plazo obtenido por la población atendida. - Tasa de accidentes de aviación

10. Dimensiones del desempeño que deben ser medidas Eficacia: Grado de cumplimiento de los objetivos planteados. En qué medida la institución está cumpliendo con sus objetivos No considera necesariamente los recursos asignados para ello - Cumplimiento de la normativa aeronáutica

10. Dimensiones del desempeño que deben ser medidas Eficiencia: Relación entre la producción física de un producto y los insumos o recursos que se utilizaron para alcanzar ese nivel de producto. Alcanzar un cierto nivel de producción utilizando el mínimo de recursos posibles. Aproximaciones a este concepto: productividad media de los distintos factores de producción (nivel de actividad y recursos utilizados) costos de producción (costos medios, costos unitarios gastos administrativos en relación al gasto total) - Costo promedio de fiscalización de aviones grandes - Costo promedio por pasajero revisado

10. Dimensiones del desempeño que deben ser medidas Economía: Capacidad de una institución para generar y movilizar adecuadamente los recursos financieros - Ingresos propios generados por tasas de embarque - Ejecución presupuestaria

10. Dimensiones del desempeño que deben ser medidas Calidad (eficacia): Capacidad para responder en forma rápida y adecuada a sus usuarios. Evalúa atributos del producto entregado por la institución. - Grado de satisfacción de pilotos con servicio de controladores de tránsito aéreo - Tiempo de respuesta de bomberos ante avión accidentado

PROCESO PRODUCTO RESULTADO ÁMBITOS DE MEDICIÓN PROCESO PRODUCTO RESULTADO D I M E N S O EFICACIA EFICIENCIA ECONOMÍA CALIDAD

11. Aspectos a considerar para la construcción de indicadores Temporalidad: Determinación del momento en que comenzará a realizarse la medición. Determinación del período de medición, semestral, anual, bianual, etc.

11. Aspectos a considerar para la construcción de indicadores Fuentes de información: Sistemas de Información: la información requerida para las mediciones debe formar parte de los procesos regulares de gestión de la institución. Los sistemas de información deben contar con: - información disponible - procedimientos de recolección de información (diseño de nuevos y perfeccionamiento de los vigentes) Instrumentos de Medición de Resultados Finales (censos o muestras): - estadísticas - encuestas - pautas de observación Estudios: para mediciones más complejas, requiriéndose por lo tanto de procesos también complejos y costosos de recolección y procesamiento de la información (ejemplo: evaluaciones de impacto)

11. Aspectos a considerar para la construcción de indicadores Información histórica Metas (recursos y prioridades) Nivel de cumplimiento (factores que inciden) Análisis de resultados y desviaciones (recomendaciones, compromisos y seguimiento)

12. Aspectos a definir para cada indicador Sentido de la medición: ascendente o descendente. - Porcentaje de aviones grandes que cumplen con la normativa aérea: ascendente Desagregación por sexo: separar mediciones entre hombres y mujeres. - Pasajeros atendidos (relación hombres – mujeres) (baños) Indicadores Institucionales o asociados a productos estratégicos. - Porcentaje de ejecución del presupuesto (institucional) - Tasa de incidentes de tránsito aéreo (Tránsito Aéreo)

12. Aspectos a definir para cada indicador Frecuencia de medición: mensual, bimensual, semestral, anual, bianual -Pronósticos diarios Unidad de medición: porcentajes, unidad de tiempo, unidades monetarias, unidades físicas - Accidentes de aviación por cada 100.000 vuelos Meta: valor que se espera alcanzar en el futuro - Tiempo promedio de respuesta de bomberos en relación a norma OACI = 1 Supuestos: condiciones externas que pueden afectar el cumplimiento de la meta Medio de Verificación: bases de datos, registros o documento que contienen la información que permite el cálculo del resultado del indicador y la verificación de sus resultados

12. Aspectos a definir para cada indicador Supuestos: condiciones externas que pueden afectar el cumplimiento de la meta - Incidentes de tránsito aéreo de responsabilidad de los controladores de tránsito aéreo. Medio de Verificación: bases de datos, registros o documento que contienen la información que permite el cálculo del resultado del indicador y la verificación de sus resultados. - Base de datos de Tránsito Aéreo.

MATRIZ DE INDICADORES PROCESO PRODUCTO RESULTADO INTERMEDIO FINAL EFICACIA EFICIENCIA ECONOMIA CALIDAD

MATRIZ DE INDICADORES PROCESO PRODUCTO RESULTADO INTERMEDIO FINAL EFICACIA % de bomberos que cumplen objetivos en entrenamiento % de aviones accidentados atendidos Porcentaje de accidentes atendidos exitosamente EFICIENCIA Costo promedio de mantención de carros bombas Costo promedio por evento ECONOMIA % de ejecución del presupuesto del SEI CALIDAD Tiempo promedio respuesta

Roberto Jiménez M. Consultor ILPES / CEPAL Ministerio de Hacienda de Costa Rica Instituto Latinoamericano y del Caribe de Planificación Económica y Social (ILPES) SECRETARÍA TÉCNICA DE LA AUTORIDAD PRESUPUESTARIA PLANIFICACIÓN ESTRATÉGICA Y CONSTRUCCIÓN DE INDICADORES EN EL SECTOR PÚBLICO DE COSTA RICA” “Visión metodológica” Roberto Jiménez M. Consultor ILPES / CEPAL