La Matriz de Marco Lógico: Indicadores

Presentación del tema: "La Matriz de Marco Lógico: Indicadores"— Transcripción de la presentación:

1 La Matriz de Marco Lógico: Indicadores
Juan Cristóbal Bonnefoy Secretaría de Desarrollo Social, Ciudad de México, Febrero de 2006

2 ¿Por qué necesitamos indicadores en la planificación y ejecución de iniciativas públicas?
Análisis Misión y Interno y Objetivos de Contexto Quiénes somos o Qué hacemos Cómo sabemos que Dónde queremos ir hemos llegado Medidas de Desempeño Cómo podemos llegar Estrategias

3 Indicadores en la MML Proporcionan la base para supervisar y evaluar la iniciativa Definen metas que nos permiten conocer en que medida se cumplen los objetivos Establecen una relación entre dos o más variables Pueden cubrir aspectos cualitativos o cuantitativos Entregan información cuantitativa Deben ser acordados con los involucrados Indicadores Fin Propósito Compo- nentes Activi- dades Los indicadores son fundamentales para una buena administración de la ejecución del proyecto y para la evaluación de sus resultados e impactos.Definen metas específicas que nos permiten conocer en que medida se cumplen los objetivos, en cuatro dimensiones: calidad, cantidad cronograma y costos. Además nos permiten analizar la eficacia de los resultados del proyecto y la eficiencia con que éste se ejecutó o se opera. Para ello los indicadores establecen una relación entre dos o más variables. Por ejemplo, entre un incremento porcentual de los ingresos medios de una comunidad (primera variable), en un determinado periodo de tiempo (segunda variable), comparado con el incremento porcentual de los ingresos medios en el país (tercera variable). Las variables pueden ser de tipo cuantitativo (medibles numéricamente) o cualitativo (expresadas en calificativos). Pero, para el cálculo de los indicadores, las variables de tipo cualitativo deben ser convertidas a una escala cuantitativa. Por ejemplo, la opinión de los alumnos acerca de los cursos de un programa de capacitación podría obtenerse al término de cada curso mediante una evaluación en que indiquen si el curso fue excelente, bueno, regular, malo o muy malo. Pero para el cálculo de un indicador basado en esta información será necesrio convertir esta información a una escala cuantitativa. Por ejemplo, podrá asignarse el valor “1” a muy malo, “2” a malo y así sucesivamente, para calcular luego el promedio de todas las opiniones. Así, los indicadores siempre nos entregaran información de tipo cuantitativo, lo cual tiene ventajas respecto a la objetividad del indicador. Es recomendable que los indicadores se discutan y consensuen con los principales involucrados en el proyecto. Ello permite que los resultados de la supervisión y evaluación del proyecto, y las recomendaciones y acciones que surgan de dichos procesos, sean aceptadas con mayor facilidad por los involucrados. Aunque con frecuencia pueden definirse muchos indicadores para cada uno de los niveles de objetivo de un proyecto, es recomendable utilizar el menor número a fin de concentrar los esfuerzos y la atención en unos pocos indicadores relevantes. Un excesivo número de indicadores requiere de mucho esfuerzo para recopilar la información necesaria y calcularlos, distrayendo así la atención del equipo de los objetivos del proyecto. En algunos proyectos, puede ser difícil definir indicadores apropiados. En tales casos es recomendable recurrir a indicadores indirectos (“proxy”). Ante la imposibilidad de medir lo que efectivamente nos interesa, medimos otra variable que tenga una relación lo más directa posible con el fenómeno de interés. Por ejemplo, puede ser muy difícil determinar el nivel real de ingresos de una comunidad por la tendencia usual a subdeclararlos, pero podemos observar sus condiciones de vida (vivienda, electrodomésticos, etc.) de allí inferir si los ingresos han mejorado.

4 Características de un buen indicador
Objetivo Medible objetivamente Relevante Específico Práctico y económico Asociado a un plazo Un buen indicador debe poseer las siguientes características; Ser objetivo, lo cual quiere decir que debe ser independiente de nuestro modo de pensar y sentir. Nuestro punto de vista y nuestras emociones no deben influir en el indicar en forma alguna. Por ejemplo utilizar como indicador del logro de un objetivo el valor promedio de un puntaje asignado por los miembros del equipo del proyecto no sería para nada objetivo. Si lo sería un indicador tal como “Incremento mensual en el número de capacitados”. Ser medible objetivamente, es decir, tampoco debe influir en la medición del indicador nuestro modo de pensar y nuestros sentimientos. Por ejemplo, basar un indicador en los resultados de una encuesta aplicada a un grupo seleccionado “a dedo” por un integrante del equipo del proyecto sería incorrecto. Para que la medición fuese objetiva la encuesta deberái aplicarse a un grupo seleccionado en forma aleatoria. Ser relevante, lo que exige que el indicador mida un aspecto importante del logro del objetivo. De nada sirve un buen indicador (que cumpla con las demás condiciones aquí discutidas), si lo que mide no es importante respecto al objetivo. Por ejemplo, si se quisiera medir la eficiencia con que se realiza el armado de una “mediagua”, el indicador “Número de clavos clavados versus número de clavos que se doblaron” no sería para nada relevante. Ser específico, característica que requiere que el indicador mida efectivamente lo que se quiere medir. Por ejemplo, un indicador definido como “Incremento porcentual anual en el nivel medio de ingreso de la comunidad beneficiada por el proyecto” no sería específico, ya que el incremento de los ingresos podría deberse también a factores externos al proyecto. Un indicador específico podría ser “Diferencia en el incremento porcentual anual de los ingresos medios de los beneficiados por el proyecto respecto de los no beneficiados”. Ser práctico y económico, lo cual requiere que la obtención y el procesamiento de la información para el cálculo del indicador requieran poco trabajo y sean de bajo costo. Por ejemplo, indicador cuyo cálculo requiera hacer extensivas encuestas y la contratación de un econometrista para analizar los resultados no sería práctico ni económico. Debe estar siempre asociado a un plazo, es decir, debe especificarse el período de tiempo para el cual se calculará el indicador (mensual, anual, bi-anual, a los cuatro años de iniciado el proyecto, etc.).

5 ¿Cuáles son las Dimensiones del Desempeño?
Eficiencia Relación entre dos magnitudes físicas: producción de un bien o servicio y los insumos que se utilizaron para alcanzar ese nivel de producto. Ejs: Costo unitario de producción o costo promedio. Eficacia El grado de cumplimiento de los objetivos planteados. ¿En qué medida la iniciativa está cumpliendo con sus objetivos fundamentales? Economía Capacidad de la iniciativa para generar y movilizar adecuadamente los recursos financieros en pos de su misión/propósito. Ejs: Capacidad de autofinanciamiento, ejecución del presupuesto y recuperación de préstamos. Calidad del Servicio Capacidad de la iniciativa para responder en forma rápida y directa a las necesidades de sus usuarios. Son atributos de la calidad: oportunidad, accesibilidad, precisión y continuidad, comodidad y cortesía en la atención.

6 Tipo de indicadores Según el tipo de información que entregan se distinguen indicadores de: Eficacia: Miden el nivel de cumplimiento de los objetivos Ej. Variación porcentual en el número de usuarios que consultan datos hidrológicos por año y por tipo de información solicitada. Ej. Porcentaje de la red vial que preserva su nivel de servicio de diseño (o cercano) Eficiencia: Relacionan productos con costos o recursos Ej. Costo medio anual por dato hidrometeorológico Ej. Costo total por Km. de camino conservado Ej. Número de pacientes atendidos por médico Según el aspecto del logro de los objetivos que miden, se distinguen los siguientes tipos de indicadores: Indicadores de eficacia, que apuntan a medir el nivel de cumplimiento de los objetivos, como por ejemplo: “Incremento porcentual en la cobertura de atención de salud en la localidad a los dos años de concluido el proyecto” Indicadores de eficiencia, los cuales buscan medir que tan bien se han utilizado los recursos en la producción de los resultados. Para ello establecen una relación entre los productos o servicios generados por el proyecto y el costo incurrido o los insumos utilizados. Por ejemplo, un indicador de eficiencia sería: “Costo promedio por persona capacitada por mes”. Indicadores de calidad, que buscan evaluar atributos de los bienes o servicios producidos por el proyecto respecto a normas o referencias externas. Suelen ser los más dificiles de definir y de medir, pero son de suma importancia para una buena gestión de los proyectos y para la evaluación de resultados. Por ejemplo, en un proyecto frutícola un indicador de calidad podría ser: Porcentaje de la fruta cosechada en una temporada que califica para exportación (calibre, color, etc). Indicadores de costo, que relacionan el costo programado con el incurrido en las actividades del proyecto (presupuestado versus real). Por ejemplo, “Costo efectivo de cada curso / costo presupuestado”

7 Tipo de indicadores Según el tipo de información que entregan se distinguen indicadores de: Calidad: Evalúan atributos respecto a normas, referencias externas o satisfacción de los beneficiarios (usuarios) Ej. Confiabilidad de los pronósticos hidrometereológicos Ej. Porcentaje de pacientes atendidos que se declaran saisfechos con la atención recibida Economía: Reflejan capacidad para generar y movilizar recursos financieros Ej. Porcentaje de ejecución del presupuesto asignado Ej. Porcentaje de recuperación de créditos Según el aspecto del logro de los objetivos que miden, se distinguen los siguientes tipos de indicadores: Indicadores de eficacia, que apuntan a medir el nivel de cumplimiento de los objetivos, como por ejemplo: “Incremento porcentual en la cobertura de atención de salud en la localidad a los dos años de concluido el proyecto” Indicadores de eficiencia, los cuales buscan medir que tan bien se han utilizado los recursos en la producción de los resultados. Para ello establecen una relación entre los productos o servicios generados por el proyecto y el costo incurrido o los insumos utilizados. Por ejemplo, un indicador de eficiencia sería: “Costo promedio por persona capacitada por mes”. Indicadores de calidad, que buscan evaluar atributos de los bienes o servicios producidos por el proyecto respecto a normas o referencias externas. Suelen ser los más dificiles de definir y de medir, pero son de suma importancia para una buena gestión de los proyectos y para la evaluación de resultados. Por ejemplo, en un proyecto frutícola un indicador de calidad podría ser: Porcentaje de la fruta cosechada en una temporada que califica para exportación (calibre, color, etc). Indicadores de costo, que relacionan el costo programado con el incurrido en las actividades del proyecto (presupuestado versus real). Por ejemplo, “Costo efectivo de cada curso / costo presupuestado”

8 Indicadores para actividades
Indicadores de costo Relacionan costos (presupuestado / real) Ej. Sobrecosto porcentual del equipamiento Indicadores de cronograma Miden el nivel de cumplimiento de los plazos programados Ej. Porcentaje de actividades cuyo plazo de ejecución superó el programado Ej. Número medio de días de atraso por actividad. Indicadores de cantidad Miden el nivel de cumplimiento respecto a la cantidad programada de productos o servicios a generar. Ej. Porcentaje de personas capacitadas respecto a las programadas. Indicadores de cronograma, que miden el nivel de cumplimiento de los plazos programados para la ejecución de actividades o para la generación de los componentes. Por ejemplo, un indicador de este tipo sería: “Porcentaje de actividades cuyo plazo de ejecución superó el programado”. Otro podría ser: “Número promedio de días de atraso por actividad”. Indicadores de cantidad, los cuales miden el nivel de cumplimientoen respecto a la cantidad programada de productos o servicios a generar. Por ejemplo: “Porcentaje de personas capacitadas respecto a las programadas por mes”. No siempre los indicadores se limitarán a medir uno sólo de los aspectos señalados. En muchos casos es posible definir indicadores que combinan dos o más dimensiones, los cuales tienen la virtud de resumir en un solo número una mayor cantidad de información respecto a la marcha del proyecto y sus resultados. Por ejemplo, es frecuente el uso a nivel de Fin y de Propósito de indicadores que combinan calidad, cantidad y tiempo, tal como: “Número de capacitados (cantidad) por mes (tiempo) que aprueban el examen de conductor profesional (calidad)”.

9 Indicadores Fin Propósito Compo- nentes Activi- dades
Disminución porcentual de la tasa de morbilidad de los 450 habitantes de Pueblo Esperanza al cabo de tres años. Miden contribución al logro del fin a mediano o largo plazo (impactos). Miden resultados al terminar la ejecución del proyecto. Fin Propósito Compo- nentes Activi- dades Porcentaje de la población que aprueba test de conocimientos sobre higiene al término del proyecto. Número de consultas atendidas por mes. Consultas por especialista por mes. Porcentaje de consultas no derivadas. Miden eficacia, eficiencia y calidad en el logro de los componentes. Porcentaje de la población objetivo capacitada al término del proyecto Número de capacitados por capacitador por año. Nivel de satisfacción de los capacitados. No se utiliza el mismo tipo de indicadores en los distintos niveles de objetivos, ya que lo que se pretende medir es diferente. A nivel de Fin se trata de medir la contribución del proyecto al logro del Fin, situación que sólo será posible observar a mediano o a largo plazo. Por lo general, los indicadores utilizados combinarán en su definición aspectos de cantida, calidad y plazo. Por ejemplo, un indicador a nivel de Fin podría ser: “Disminuir en un 50% la tasa de morbilidad de los 450 habitantes de Pueblo Esperanza al cabo de tres años.” A nivel de Propósito se intenta medir el impacto generado al término de la ejecución del proyecto. También en este caso los indicadores tienden a incorporar las dimensiones de calidad, cantidad y plazo. Por ejemplo un indicador a nivel de Propósito podría ser: “Porcentaje de la población que aprueba test de conocimientos sobre higiene al término del proyecto” A nivel de los Componentes, los indicadores suelen medir eficacia, eficiencia y calidad en la provisión de los bienes o servicios por el proyecto. Por ejemplo, indicadores a este nivel podrían ser: “Porcentaje de la población objetivo capacitada al término del proyecto” (eficacia), “Número de capacitados por capacitador por año” (eficiencia) y “Nivel de satisfacción de los capacitados” (calidad). Por último, a nivel de las actividades los únicos indicadores empleados suelen ser el costo presupuestado de cada actividad. Ello a fin de no extender demasiado la MML. Pero si se considera importante hacerlo y no hay muchas actividades, también pueden agregarse otros indicadores para cada una. Por ejemplo, podría indicarse también el plazo programado para la ejecución de cada actividad. Costo por curso. Costo por metro cuadrado construido Costo del equipamiento. Miden el costo de las actividades.

10 Indicadores CONAPRAN Fin Propósito Compo- nentes Activi- dades
Satisfacer las necesidades básicas a los AM de escasos recursos Eficacia: % de AM atendidos / AM de escasos recursos (federal o estadual) Eficiencia: % annual de gastos administrativos del programa Economía: % annual de ejecución presupuestaria Fin Propósito Compo- nentes Activi- dades C1 AM de escasos recursos atendidos a través de Hogares Eficacia: % de AM atendidos / los que postulan Calidad: % que califican la atención como buena o muy buena Eficiencia: Costo promedio anual de AM atendido (desv est, mínimo y máximo) Economía: % de recursos de pensiones de AM

11

12

13

14 Información sobre los Indicadores
Nombre: Porcentaje de la población que aprueba test de conocimientos sobre higiene Fórmula de cálculo: {número de test con 7 o más puntos (escala 1 a 10) / número de test realizados}*100 Medio de verificación: Test de diez preguntas aplicado a una muestra aleatoria de 45 personas capacitadas. Valor actual (línea de base): 10 % Tendencia observada y proyectada: La situación se ha mantenido igual en los últimos tres años y no se preveen cambios sin el proyecto. Meta propuesta: Igualar la media regional (60% de aprobación) Metas parciales (avance): No se consideran Una buena definición de indicadores y su cabal comprensión por parte de los principales involucrados en el desarrollo del proyecto es de suma importancia. Por ello, además de la información que se registra en la MML en las columnas de Indicadores y de Medios de Verificación, es recomendable preparar como parte de la documentación del proyecto una descripción más detallada de cada uno. Dicha descripción debería contener para cada indicador incluido en la MML la siguiente información: El nombre del indicador, el cual corresponderá por lo general a una breve descripción de éste. Por ejemplo: “Porcentaje de la población que aprueba test de conocimientos sobre higiene” Una explicación de cómo se calculará el valor del indicador (fórmula que se aplicará para calcularlo). Por ejemplo: “Número de test con 7 o más puntos (escala 1 a 10) dividido por el número de test realizados, multiplicao por 100” El o los medios de verificación (ver sección siguiente) que se utilizarán para obtener la información necesaria para el cálculo del indicador. Por ejemplo: “Se aplicará un test de diez preguntas tipo “V o F” a una muestra aleatoria de 45 personas de la localidad que hayan participado en el programa de capacitación”. El valor actual del indicador, el cual nos servira de referencia (línea de base) cuando queramos evaluar los resultados del proyecto. Por ejemplo: “Actualmente el indicador tiene un valor de 10 %, ya que sólo cuatro personas aprobaron el test de diagnóstico realizado a una muestra aleatoria de 40 personas”. La tendencia observada y proyectada, ya que el valor del indicador no necesariamente se mantendrá a futuro si no se realiza el proyecto. La situación podría empeorar o mejorar y deberemos comparar los logros alcanzados con la situación esperada sin proyecto. Por ejemplo: “La situación se ha mantenido igual en los últimos tres años y no se preveen cambios si no se realiza el proyecto”. La meta propuesta, es decir el valor que esperamos tenga el indicador cuando corresponda calcularlo. Por ejemplo: “Igualar la media regional (60% de aprobación) al término del proyecto”. En ciertos casos es conveniente definir también metas parciales, las cuales nos permitiran controlar el avance del proyecto. Por ejemplo, en un programa de nutrición infantil podrían fijarse metas parciales para indicadores tales como “porcentaje de niños desnutridos” o “peso promedio de los niños tratados respecto al peso normal para su edad”.

15 La proyección de metas es una tarea compleja …
Dale!! No nos podemos equivocar todas las veces.

16 Ciclo básico del proceso de construcción de indicadores
.Identificación y/o Revisión de: Misión: Productos Clientes Objetivos Estratégicos . Establecer las medidas de desempeño claves Eficacia Resultados Finales Eficiencia Intermedios Economía Procesos Calidad Productos 10. Comunicar e Informar 9. Analizar e Interpretar los Resultados 3. Asignar las responsabilidades 4. Establecer los indicadores en cada nivel de la organización 5. Establecer los referentes comparativos 6. Construir las fórmulas 7. Recolectar los datos y generar sistemas de información 8. Validar los indicadores

17 PASOS BASICOS PARA LA CONSTRUCCION DE INDICADORES
IDENTIFICAR y/o REVISAR PRODUCTOS Y OBJETIVOS ¿Qué será medido? IDENTIFICAR LAS DIMENSIONES Y AMBITOS DE DESEMPEÑO ¿Qué ámbitos y dimensiones del desempeño es conveniente medir? ESTABLECER RESPONSABILIDADES ORGANIZACIONALES ¿Cuáles serán los Centros de Responsabilidad, o Áreas responsables por el desempeño logrado ¿A qué niveles realizaremos la evaluación?

18 Ciclo básico del proceso de construcción de indicadores de gestión
.Identificación y/o Revisión de: Misión: Productos Clientes Objetivos Estratégicos . Establecer las medidas de desempeño claves Eficacia Resultados Finales Eficiencia Intermedios Economía Procesos Calidad Productos 10. Comunicar e Informar 9. Analizar e Interpretar los Resultados 3. Asignar las responsabilidades 4. Establecer los indicadores en cada nivel de la organización 5. Establecer los referentes comparativos 6. Construir las fórmulas 7. Recolectar los datos y generar sistemas de información 8. Validar los indicadores

19 PASOS BASICOS PARA LA CONSTRUCCION DE INDICADORES
CONSTRUIR LAS FORMULAS O ALGORITMOS ¿Cómo relacionamos las variables de medición? ESTABLECER LAS METAS O REFERENTES PARA LA COMPARACION ¿Sobre que comparamos los indicadores para saber si el desempeño es adecuado? RECOPILAR LA INFORMACION NECESARIA ¿Qué datos y antecedentes me permitirán construir los indicadores?

20 Ciclo básico del proceso de construcción de indicadores de gestión
.Identificación y/o Revisión de: Misión: Productos Clientes Objetivos Estratégicos . Establecer las medidas de desempeño claves Eficacia Resultados Finales Eficiencia Intermedios Economía Procesos Calidad Productos 10. Comunicar e Informar 9. Analizar e Interpretar los Resultados 3. Asignar las responsabilidades 4. Establecer los indicadores en cada nivel de la organización 5. Establecer los referentes comparativos 6. Construir las fórmulas 7. Recolectar los datos y generar sistemas de información 8. Validar los indicadores

21 PASOS BASICOS PARA LA CONSTRUCCION DE INDICADORES
VALIDAR: APLICAR CRITERIOS DE TECNICOS Y REQUISITOS ¿Cómo sabemos que los indicadores construidos miden efectivamente la gestión y los resultados? ANALIZAR LOS RESULTADOS OBTENIDOS ¿Por qué se produjeron los resultados? COMUNICAR E INFORMAR ¿Quiénes tienen que conocer nuestros resultados? Organización, Usuarios, SHCP, Congreso, etc

22 Dimensión Nombre del Indicador Fórmula de Cálculo Ámbito de Control
EJEMPLOS DE INDICADORES DE DESEMPEÑO Dimensión Nombre del Indicador Fórmula de Cálculo Ámbito de Control Eficacia Porcentaje de familias atendidas por el Programa que superan línea de pobreza (N° de familias que superan la pobreza en añot / N° total de familias en el Programa en añot)*100 Resultado Final Eficiencia Promedio de fiscalizaciones por fiscalizador N° de acciones de fiscalización / N° de fiscalizadores Resultado Intermedio Economía Porcentaje de ingresos propios de la institución (Ingresos generados por el servicio / Total de ingresos del servicio) * 100 Proceso Calidad Tiempo promedio de tramitación de solicitudes Sumatoria (Tiempo de procesamiento de solicitudes individuales)/ N° de solicitudes tramitadas Producto

23 Recomendaciones sobre Indicadores
Pueden requerirse varios indicadores por objetivo para medir distintos aspectos de éste (ej.: disminución de enfermedades bronco-pulmonares, disminución de enfermedades infecto-contagiosas). El equipo de la iniciativa puede requerir otros indicadores que no son de interés para los demás involucrados. Estos se tratarán según lo descrito, pero no se incorporarán en los informes externos. Si los impactos se producirán a muy largo plazo o si el costo de estimar el indicador es muy alto, es mejor buscar indicadores “Proxy” (ej.: porcentaje de disminución de la inasistencia escolar por mes). Por último es conveniente señalar que: Pueden requerirse varios indicadores por objetivo para medir distintos aspectos de éste. Por ejemplo, al analizar la disminución de la morbilidad en la población puede ser útil contar con indicadores que nos permitan conocer por separado la disminución de enfermedades bronco-pulmonares y la disminución de enfermedades infecto-contagiosas. En todo caso no debe olvidarse que la MML debe ser un buen resumen de los aspectos más importantes del proyecto, por lo que no debe abusarse en cuanto al número de indicadores para cada objetivo (tres o cuatro suelen ser suficientes). El equipo responsable de ejecutar el proyecto puede requerir de un mayor número de indicadores para su gestión. Estos se tratarán tal como se ha descrito antes, pero no se incorporarán en la MML si no son relevantes para otros involucrados. Por ejemplo, al jefe del equipo podría interesarle conocer el número promedio de horas extras requeridas por los miembros del equipo para completar las tareas encomendadas. Si los impactos se producirán a muy largo plazo o si el costo de estimar el indicador es muy alto, es recomendable buscar indicadores indirectos (“proxy”). Estos son indicadores que miden alguna característica distinta de la deseada, pero que se sabe está altamente correlacionada con la que queremos medir. Por ejemplo, si no existiesen estadísticas sobre morbilidad de la población y fuese muy costoso generarlas, un indicador indirecto de la disminución de la tasa de morbilidad podría ser: “Porcentaje de disminución de la inasistencia escolar por mes”.

24 Medios de Verificación
Resumen Narrativo Indicadores Medios de Verificación Supuestos Nombre Fórmula Fin: Propósito: Compo-nentes: Activi-dades:

25 Cuestionario de validación de los indicadores
Requisito a validar SI/ NO 1. El indicador tiene claramente un producto relevante o estratégico con el cual se vincula y un objetivo asociado  2. El indicador tiene claramente una meta o referente para ser medido su resultado 3. El resultado del indicador explica de forma precisa y clara el grado de cumplimiento de la meta o el resultado es ambiguo 4. Muestra o expresa el indicador de forma clara el resultado para poder ser analizado por el responsable 5. Se ha definido la frecuencia de medición del indicador 6. La unidad de medición es adecuada para la meta que se espera medir 7. En la construcción del indicador han participado el Jefe del área o Centro de Responsabilidad 8. Los indicadores han sido validados por la Unidad de Control de Gestión y por la Dirección para informarse del desempeño del Área o Centro de Responsabilidad

26 Medios de Verificación ¿Cómo obtenemos la evidencia?
Son las fuentes de información que se pueden utilizar para verificar el logro de los objetivos (cálculo de los indicadores). Pueden incluir: Estadísticas Material publicado Inspección visual Encuestas Informes de auditoría Registros contables Medios de verificación Fin Propósito Compo- nentes Activi- dades MEDIOS DE VERIFICACION Los medios de verificación corresponden a las fuentes de información, primarias o secundarias, que se utilizará para obtener la información que permitira calcular los indicadores. La existencia de esta columna en la MML tiene la ventaja de obligar a quién formula el proyecto y define los indicadores a identificar fuentes existentes de información. O bien, si estas no están disponibles, a incluir en el diseño del proyecto actividades orientadas a recoger la información requerida. Los medios de verificación pueden incluir: Estadísticas existentes o preparadas específicamente para el cálculo de los indicadores del proyecto. Fuentes posibles de estadisticas son el INE ( los distintos ministerios (en particular los de Salud, Educación, Vivienda, Trabajo, Interior, Agricultura, Economía y Planificación), distintos servicios (por ejemplo SAG, Registro Civil, Impuestos Internos, Sernapesca) y ciertos organismos internacionales (CEPAL, FAO, OIT, FMI, etc.) y ONG. Por cierto que también en la propia institución que adelanta el proyecto pueden existir estad´siticas útiles para el cálculo de los indicadores. Material publicado que contenga información útil para verificar el logro de los objetivos del proyecto. Puede tratarse por ejemplo de estudios cuyo tema se relacione con el proyecto, publicaciones en periódicos o revistas, tésis universitarias y normas nacionales o internacionales (especialmente para definir las metas). Una buena forma de acceder a material de este tipo con rapidez y a bajo costo es buscarlo en internet. Inspección visual por parte de algún especialista. En particular para verificar el logro de los componentes, tanto en calidad como en cantidad, puede recurrirse muchas veces a la visita de un experto en el tipo de bienes o servicios que el proyecto genera. El resultado de encuestas es un medio de verificación de uso frecuente. Estas pueden haberse realizado con otro fin, o ser ejecutadas específicamente como una actividad del proyecto. Son especialmente útiles en el caso de indicadores cuyo objetivo sea medir calidad. Los informes de auditoría y registros contables del proyecto son medios de verificación que ayudan al calculo de indicadores de costos y de eficiencia.

27 Detalle para medios de verificación
Fuentes de información: Test de 10 preguntas sobre las materias tratadas en la capacitación. Método de recopilación: Selección de muestra aleatoria de 45 personas capacitadas, encuesta en persona. Responsable de la recopilación: Juanita Pérez Frecuencia de recopilación: Por una vez, a los tres meses de concluido el último evento de capacitación. Método de análisis: Cada respuesta correcta da un punto, aprobación con siete puntos. Se calculará porcentaje de aprobación, media y desviación estandar. Modo de distribución: Correo electrónico Usuarios: Unidad de planificación y evaluación, gerente del proyecto, entidades cooperantes, junta de vecinos. En la MML se registrará en la columna de medios de verificación la fuente a la que se recurrirá para obtener la información necesaria para el cálculo del indicador y la frecuencia con que se recopilará. Sin embargo, para el trabajo del equipo del proyecto es conveniente que se detalle en un documento anexo la siguiente información para cada medio de verificación: La identificación de la fuente de información. Si se trata de información estadística generada por una institución habrá que señalar su nombre, el nombre de la estadística a emplear y a que oficina o persona recurrir. En el caso de publicaciones deberá indicarse su nombre y donde se la consigue. Para inspección de expertos será conveniente identificar a el o los expertos, o al menos definir el perfil profesional que deberán tener. Si se aplicará una encuesta deberá indicarse el tipo de encuesta a realizar y los tópicos a consultar, por ejemplo, “Test de 10 preguntas sobre las materias tratadas en la capacitación”. El método que se aplicará para la recopilación de la información. Algunos métodos posibles son: visita personal, solicitud por teléfono, carta, fax o , búsqueda en internet y registro de solicitudes recibidas. En el caso de una encuesta deberá especificarse como se realizará esta, por ejemplo: “Selección de muestra aleatoria de 45 personas capacitadas, encuesta en persona”. Quién será el responsable de la recopilación. La frecuencia con se realizará la recopilación, por ejemplo: “Se encuestará por una sola vez, a los tres meses de concluido el último evento de capacitación”. Una explicación detallada del método que se utilizará para la verificación y el análisis de la información recopilada. Por ejemplo, para la encuesta podría indicarse que: “Cada respuesta correcta da un punto. El puntaje de aprobación será igual o superio a siete. Se calculará el porcentaje de aprobación, la media de los puntajes y su desviación estandar.” El uso que se dará a la información recopilada, es decir, el o los indicadores en cuyo cálculo se empleará. Por ejemplo: “Cálculo del indicador Porcentaje de la población que aprueba test de conocimientos sobre higiene”. El modo de distribución que se empleará para hacer llegar la información a quienes la utilizarán para el cálculo del indicador ( no solo el equipo del proyecto puede calcular los indicadors, también debe poder hacerlo cualquier involucrado que lo desee). Por ejemplo, podría indicarse que la información s distribuirá por correo electrónico. Quienes serán los usuarios de la información A quién se le enviará). Por ejemplo podría especificarse que la información será enviada a la Unidad de planificación y evaluación, al gerente del proyecto, a las entidades cooperantes, y al presidente de la junta de vecinos.

28 Recomendaciones sobre Medios de Verificación
Si falta información será necesario incluir actividades para obtenerla. Si no se puede conseguir la información, habrá que cambiar el indicador (usar “proxy”). Si hay más de una fuente de información, verificar la consistencia de los datos. Medios de verificación deben ser acordados con los involucrados. Algunas consideraciones finales acerca de los medios de verificación: Si no es posible identificar un medio de verificación existente para el calculo de un indicador, será necesario estudiar la posibilidad de incorporar al proyecto actividades que permitan obtener los datos necesarios. Si no se puede conseguir la información pues no existe un medio de verificación ni se pueden incorporar actividades para conseguirla, será necesario cambiar el indicador (usar “proxy”). Si hay más de una fuente de información para obtener los datos necesarios, pueden indicarse todas, pero deberrá indicarse cual se utilizará de preferencia, empleando las demás para verificar la consistencia de los datos. Los medios de verificación deben ser acordados con los involucrados. Si ello no se hace, pueden presentarse más tarde problemas acerca de cual fuente de información más apropiada para calcular los indicadores. Por ejemplo puede haberse especificado como uno de los medios de verificación para indicadores de costos el uso del IPC para lleva los valores a una misma fecha (de modo de hacerlos comparables). Sin embargo, si no existió un acuerdo previo, la entidad que financia el proyecto podría no estar de acuerdo y señalar que debe usarse para dicho efecto el valor del dólar.

29

30

31 No todo lo que pueda ser contado cuenta
No todo lo que pueda ser contado cuenta ... y no todo lo que cuenta puede ser contado ...