Herramienta de Evaluación de la Calidad de los Indicadores (HECI) Políticas públicas basadas en evidencia Guadalajara, Jalisco Marzo 2017

Lógica de la política pública basada en evidencia Guía por análisis y muestra qué funciona, qué no, y el por qué. Permite orientar políticas y programas públicos. El uso rigoroso de información estadística y geográfica, a través del sistema de M&E, informa sobre desempeño, y genera consecuencias: Asignación/reasignación presupuestal Gestión de programas e instituciones públicas Informacion pública sobre calidad del gasto En este marco, México ha avanzado en la GpR. “Cada quien tiene derecho a tener su propia opinión, pero no a tener sus propios datos.“

Gestión por Resultados El modelo de Gestión por Resultados requiere: sistemas de planificación, programación, presupuestación, seguimiento y evaluación y acuerdos institucionales entre entidades rectoras (Secretarías de Planificación, Finanzas, Desarrollo Social, etc.) Un elemento clave en todos los sistemas de gestión es contar con indicadores de calidad a nivel de políticas, de programas, y de gestión. Datos e indicadores de calidad permite diseñar, monitorear y evaluar programas y políticas publicas

La importancia de indicadores de calidad y cantidad adecuada Contar con indicadores oportunos y confiables, es clave para informar al presupuesto, conocer el desempeño de programas públicos y rendir cuentas. Sin esto, la eficiencia de un sistema de GpR se ve limitada. Si el número de indicadores es excesivo y su calidad no se controla, las posibilidades de identificar hallazgos del desempeño y provocar recomendaciones es baja o nula. La cantidad se limita por mecanismos de sistematización y requerimientos de planeación, elaboración de informes y presupuesto.

Definición de indicadores Iniciativas con un número definido de indicadores: CONEVAL/Hacienda en México; SINERGIA en Colombia; RUTA en la República Dominicana, Tablero de Control Paraguay, etc. La sistematización de indicadores en reportes de monitoreo de gestión debe responder: Cuántos bienes y servicios se entregan? Quiénes los reciben? Cuánto se invierte? Cuáles es su calidad, y resultados?

Calidad de indicadores No es suficiente tener indicadores asociados a programas presupuestales u objetivos estratégicos de los planes de desarrollo. Los sistemas de monitoreo y evaluacién serán tan buenos como lo sea la calidad y oportunidad de sus indicadores y de sus datos.

La calidad de indicadores, sus metas y fuentes C – Claro R – Relevante E – Económico M – Monitoreable A - Adecuado Común aplicar criterios CREMA para valorar la CALIDAD al definir los indicadores. Criterio SMART ayuda a guiar la definición de METAS - si la definición de metas no considera series de tiempo, benchmarks y análisis de recursos disponibles, será poco realista. S – Específico M – Medible A – Alcanzable R – Realista T - Temporalidad Finalmente, la calidad de un indicador solo será tan bueno como sus FUENTES. Uso de clasificadores Variable identidad Documentación Poca perdida de datos, etc.

Fuentes de información CREMA/SMART son herramientas necesarias pero no suficientes para valorar la calidad de un indicador y su meta. La experiencia al evaluar indicadores en varios países es: Indicadores y metas cada vez mejor definidos pero basadas en archivos de datos inconsistentes, incompletos y poco confiables.

Es necesaria una herramienta que permita una evaluación integral

Problemas frecuentes en las fuentes de información

HECI Herramienta de Evaluación de la Calidad de Indicadores

Herramienta de Evaluación de la Calidad de Indicadores (HECI) Se utiliza para la auto-evaluación de la formulación de indicadores y sus metas y la calidad de las fuentes de información a través de una serie de criterios. Los resultados permiten identificar oportunidades de mejora.

Consideraciones para priorizar indicadores para la aplicación de la herramienta No se puede aplicarla a todos los indicadores, debe iniciar con los más prioritarios, y después capacitar y expandir el uso de la herramienta. Criterios propuestos para la priorización: Asociados a proyectos prioritarios por: Monto de Gasto, Cobertura de Beneficiarios; Vinculación al PND, etc. Utilizar técnicas de priorización, como el método MICMAC Delimitar también por tipo de indicadores: Impacto, resultados, gestión, etc.

Taller de auto-evaluación con la HECI Objetivo: Analizar la formulación de indicadores y metas a través de criterios como CREMA y SMART. Hacer valoración rápida de las fuentes de información utilizadas. Participantes: Responsables de la preparación de las MIRs o equivalentes y responsables del manejo de los archivos de datos. Material de trabajo: archivo Excel, archivo de datos (sin importar formato), formulario, formatos, documentos técnicos, documentación relativa al indicador, etc.

Descripción de la herramienta Claro Relevante Medible Adecuado Formulación de indicadores (9 preguntas) Específico Comparable Acordado Pertinente Acotado en el tiempo Definición de metas (8 preguntas) Fuentes de información Metadatos Datos Calidad de fuentes de información (10 preguntas y archivo de datos) Calificación 0-100 para cada componente; calificación global del indicador

Instrucciones para aplicar la HECI (1/2) Asegurarse que el indicador este dentro de los indicadores seleccionados y acordados. Asegurarse que todas las preguntas sean respondidas. En caso de responder “99 No aplica”, asegurarse que esto no se deba a una falta de entendimiento de la pregunta. Si la respuesta “99 No aplica” es válida, poner la razón en la columna siguiente. Recolectar documentos de soporte necesarios para entregarlos junto con la herramienta. Realizar una nota en el Excel con el nombre del documento.  Las calificaciones con 99 no penalizan, es decir no son consideradas en la puntuación. Sin embargo, es importante asegurarse que efectivamente no aplica.

Instrucciones para aplicar la HECI (2/2) 5. Asegurar que los participantes cuenten con el archivo de datos. 6. Corroborar las respuestas de los participantes con lo observado en la base de datos. 7. Siempre dejar que los participantes sean quienes respondan, pero hacerlos reflexionar en sus respuestas.

Sección 1: Evaluación de la calidad los indicadores Claro Relevante 3) Medible 4) Adecuada Rubros de Evaluación de Calidad de los Indicadores 3) Medible Evaluación Ejemplo Puntuación 3.1 ¿Se ha definido con claridad la línea base para el indicador? 0. No existe una clara definición de las características de la línea de base para el indicador 3. Se ha definido la línea base pero aún no se ha hecho el cálculo 5. Existe una clara definición de la línea de base 99. No aplica La línea de base es el valor de referencia que toma el indicador, a partir del cual se pueden realizar análisis de series temporales y valorar el resultado o gestión del programa. Para lo anterior, la metodología de cálculo del indicador no debe cambiar para que la serie temporal no sea interrumpida y la línea de base sea consistente en diferentes puntos a lo largo del tiempo. 5

Sección 2: Evaluación de calidad de las metas de los indicadores 1) Específico 4) Pertinente 2) Comparable 5) Acotado en el tiempo 3) Acordado Rubros de la Evaluación de Calidad de las Metas de los Indicadores 2) Comparabilidad Evaluación Ejemplo Puntuación 2.2 ¿Existe un punto de referencia (nacional o internacional) que sirva de apoyo a la formulación de la meta? 0. No existe un punto de referencia (nacional o internacional) para el indicador 5. Si existe un punto de referencia (nacional o internacional) para el indicador 99. No aplica Por ejemplo: el indicador mortalidad materna en México fue de 51 muertes por cada 100,000 nacimientos vivos en 2010. Este indicador puede compararse con el objetivo de 22.2 muertes por cada 100,000 nacimientos establecidos en los Objetivos de Desarrollo del Milenio por la ONU. Un programa para disminuir la población analfabeta mayor de 15 años en el estado de Guanajuato, cuyo indicador es 8.2, puede utilizar como referencia para su meta el promedio nacional el cual es 6.9 Si un programa es nuevo y único, y por tanto no tiene punto de referencia se debe responder "No aplica". 5

Sección 3: Evaluación de calidad de las fuentes de información Fuente de información Metadatos 3) Datos Rubros y Sub-rubros de Evaluación de Calidad de las Fuentes de Información 2) Metadatos Evaluación Criterios y/o Ejemplos Puntuación 2.2 ¿Existe una variable de identificación única por cada unidad de observación de los registros en la fuente de información? 0. No existe Las variables de identificación unívoca permiten identificar de manera única cada caso en particular. Por ejemplo: CURP, RFC, identificador del hogar, etc. 5 5. Si existe 99. No aplica

Nesstar Para la evaluación del componente Fuentes de información se utilizará el software libre Nesstar. Generar un diccionario de variables El software puede descargarse de la siguiente página en internet: www.ihsn.org

Contactos Para preguntas o aclaraciones respecto a los criterios o administración de la herramienta: Kiyomi Cadena kcadena@worldbank.org Alejandro Medina amedinagiopp@worldbank.org Jonna Lundwall jlundwall@worldbank.org