INDICADORES Noviembre 2010

¿QUÉ SON? Son variables empíricas (directamente observables) y concretas (acotadas y de menor nivel de abstracción) que se utilizan para la observación indirecta de otras variables o dimensiones más abstractas y generales de las que son parte. Son aspectos o características observables de aquellos hechos que es necesario observar en una evaluación. En evaluación, los indicadores operan como señales que facilitan la valoración de los resultados (cambios) alcanzados y el establecimiento de puntos de referencia, permitiendo la comparación de situaciones a lo largo del tiempo. Desde ese punto de vista, sirven como un sistema de alerta temprana para tomar las decisiones necesarias en el momento justo.

Los indicadores deben ser Observables, es decir, hacer referencia a hechos reales sobre los que existe información o es posible construirla. Esta característica también se refiere al hecho que los indicadores deben permitir el recojo directo de datos sobre sí mismos, sin ser desprendidos en otras variables más específicas. Neutros, formulados sin contener cifras o términos que expresen a priori sentido (aumento, disminución, mejora, etc.) de cambio alguno. Se deben limitar a indicar la presencia o no del aspecto o hecho que se quiere observar. En ese sentido, la valoración es un ejercicio posterior que corresponde al análisis de los datos recogidos sobre cada indicador o pregunta formulada para la evaluación. Precisos, enunciados de tal manera que si distintas personas los leen entiendan exactamente lo mismo. Para ello, se requiere haber logrado una buena definición de aquellas dimensiones o variables que se desea observar, evitando la inclusión de juicios de valor que se presten a interpretación personal. La idea es que distintos operadores los puedan utilizar, en distintos momentos y territorios, sin perder el potencial de comparación. Conocidos y consensuados por todos quienes de una u otra manera están involucrados en los proyectos y en su evaluación. La formulación participativa es una manera de garantizar conocimiento, consenso y uso de los indicadores.

Por el tipo de hechos que pueden observar, los indicadores se clasifican en: Indicadores cuantitativos, que permiten observar hechos cuya manifestación es una cantidad continua que puede ser expresada en distintos tipos de números (frecuencias, porcentajes, tendencias, etc.). Ejemplo: porcentaje de familias usuarias del proyecto según variación de su ingreso real. Indicadores cualitativos, que permiten observar hechos cuya manifestación es una o varias cualidades, que por lo general se presentan de manera particular en cada unidad de observación. Su expresión es siempre nominal (tipos, formas, etc.) y sus valores mutuamente excluyentes. Ejemplo: tipos de sistemas tecnológico-productivos por región. Indicadores mixtos, aquellos que permiten observar los hechos desde dos perspectivas: establecer cambios cualitativos en ellos y determinar en cuántas unidades de observación se presentan esos cambios. Ejemplo: número de unidades de producción campesina por región, según grado de mejoramiento tecnológico en términos de: aplican tecnologías agrícolas convencionales; aplican tecnologías para protección de suelos; aplican tecnologías para optimizar uso del agua; aplican tecnologías que preservan la biodiversidad de la zona. Índices, combinan varios indicadores sobre una misma variable, lo cual hace complejo el análisis y el trabajo estadístico. Ejemplo: Índice de Desarrollo Humano (IDH).

PLAN: CADENA DE CAMBIOS ESTRATEGIA RESULTADO ESTRATEGIA RESULTADO Si tuación Inicial CAMP E S I N A y FAMILIAS Las Unidades de Producción Campesina han mejorado Se han posicionado competitivamente en el mercado Capacitación en Producción Orgánica Asesoría Crédito Generación de alianzas Han mejorado su calidad de vida FortalecimientoOrganizacional Las Organizaciones se han fortalecido Alianzas Participan en Decisiones Asesoría Promoción de participación ciudadana Capacitación

ESTRATIFICACIÓN DE INDICADORES Logros Resultados Productos Propósito Indicadores de Seguimiento Indicadores de Evaluación De Producto De Proceso Impacto Efectos # de personas que saben como adminis un negocio % de variación de la productividad % de variación en ingresos Ejemplo: # de talleres en gestión empresarial # de H y M partip. cursos

Aspectos de un indicador y pasos para construirlos Descripción: cualidad o aspecto a medir. Identifique QUÉ cualidad o aspecto se quiere medir Explicite los elementos de esa cualidad o aspecto. Asegúrese que el contenido de la cualidad o aspecto está completo Priorice éstos elementos y seleccione los más relevantes Unidad de análisis: personas, familias, organizaciones, instituciones. Identifique en QUIÉN(ES) se esperan encontrar

Aspectos de un indicador y pasos para construirlos Unidad de medida: Si es un dato (#,%), una estimación u opinión (grado, nivel) Especifique con qué TIPO DE MEDIDA se medirán o verificarán (número, porcentaje, grado, nivel) Fuente: de donde se obtiene (documentos, realidad del proyecto) Indique CUÁNDO y en DÓNDE (lugar) espera que se dé ese aspecto o cualidad

EJEMPLO DE CONSTRUCCIÓN DE INDICADORES RESULTADO: Al final del proyecto, los H y las M de la organización X apoyada por el proyecto, están participando activamente en la negociación de proyectos productivos con diferentes entidades públicas y privadas ¿Quiénes? Cualitativa ¿Qué? Tipo de medida Cuantitativa

EJEMPLO DE CONSTRUCCIÓN DE INDICADORES Tipo de proyectos productivos negociados por las M y negociados por los H de la organización X Número de proyectos productivos negociados por las M y negociados por los H de la Organización X Tipo de entidades públicas y privadas con las que negocian las M y negocian los H de la Organización X Número de entidades públicas y privadas con las que negocian las M y negocian los H de la Organización X

EJEMPLO DE CONSTRUCCIÓN DE INDICADORES # y tipo de proyectos productivos negociados por las M de la Organización X por tipo de entidad # y tipo de proyectos productivos negociados por los H de la Organización X por tipo de entidad Número y tipo de proyectos productivos negociados por las organizaciones con mayoría de M en sus directivas Número y tipo de proyectos negociados por las organizaciones con mayoría de H en sus directivas

EJEMPLO DE CONSTRUCCIÓN DE INDICADORES # de H y # de M de la Organización X, según nivel de participación en negociación de proyectos, en términos de: Dan información cuando se la requieren Dan información cuando se la requieren y discuten las propuestas que otros hacen Dan información cuando se la requieren, discuten las propuestas de otros y presentan propuestas propias con enfoque de género Dan información cuando se la requieren, discuten las propuestas de otros, presentan propuestas propias con enfoque de género y forman parte de comisiones de negociación

ESCALAS DE GRADO Y DE NIVEL Los elementos muestran prioridad y NO son acumulativos, ni necesariamente secuenciales Los elementos de la escala muestran una secuencia lógica y son acumulativos En la organización de los elementos, ver que: Primera escala: sea el mínimo o situación inicial Última escala: sea el máximo esperado o resultado final Revisar la lógica de la secuencia o priorización

Ejemplo de indicador Objetivamente verificable Porcentaje de Hombres y de Mujeres según grado de autoestima: Expresan sentirse incapaces de solucionar sus problemas y que sus ideas no son importantes Asisten a reuniones y discuten las propuestas de otros Manifiestan que sus conocimientos pueden aportar y manifiestan orgullo por su cultura Manifiestan sentirse capaces de asumir cargos directivos en sus organizaciones Expresan sentirse capaces de asumir la representación de sus organizaciones en instancias decisión local

INDICADORES NEUTROS Y OBJETIVAMENTE VERIFICABLES TRADICIONAL NEUTRO Y VERIFICABLE # de H y # de M que mejoraron su autoestima Se recoge información parcial del “Universo” Propician enfoque de “rendir cuentas” No hace explícito lo que se quiere verificar Se tendrán tantos datos del indicador como personas lo apliquen Puede generar desconfianza # de H y # de M según grado de autoestima en términos de:… Se recoge información de todo el “universo” Propicia un enfoque de aprendizaje: saber quiénes cambian, quiénes no y por qué Hace explícito qué se verificará: confiabilidad Permite información para toma de decisiones

INDICADOR CUALITATIVO MEDICIÓN DE INTANGIBLES INDICADOR CUALITATIVO Grado de Reconocimiento de la Institución Recibe invitaciones para dar a conocer su trabajo Tiene capacidad de convocar otras instituciones Ha sido llamada a formar parte en instancias de decisión Es nodo de coordinación de redes con instituciones similares

EJEMPLO DE INDICADOR MIXTO Resultado: Productores innovadores prestan servicios de Asesoría Técnica Indicador: Porcentaje de agricultores según capacidad de innovación Replican las recomendaciones técnicas …. Comprenden el funcionamiento de la tecnología …. Modifican uno de los componentes de la tecnología … Hacen cambios fundamentales a la tecnología …. Generan nuevas tecnologías y conocimientos

EJEMPLO DE INDICADOR MIXTO Resultado: Organizaciones se autogestionan Indicador: Porcentaje de organizaciones según grado de autogestión Incrementa progresivamente el número de socios Los socios asisten regularmente a reuniones Cuenta con reglas y procedimientos claros Llevan contabilidad eficientemente

EJEMPLO DE INDICADORES CUANTITATIVOS Resultado: Aumentar el ingreso familiar de los pequeños productores Porcentaje de familias que varían en un X% el ingreso per cápita anual % de familias que varían en X% el consumo en relación a la canasta básica alimentaria % de familias que diversifican su consumo alimentario

Debilidades en INDICADORES QUÉ HACER Indicadores no “neutros”. Ej: # de Organizaciones consolidadas Indicadores poco claros, ambiguos. Ej: Grado de consolidación (alto, medio, bajo) Hacer explícito, en palabras claves, el cambio que se quiere evaluar y formular escalas. Ej: Número de Organizaciones según nivel de consolidación, en términos de: …. (escalas) No colocar unidades de medida o verificación. Ej: Espacios de participación en políticas públicas Identificar en QUIENES evaluar los cambios y definir unidad. Ej: # y tipo de espacios existentes de participación en políticas públicas Formular “muchos” indicadores sin relación clara con Resultados, ni con actividades Definir qué actores requieren qué información y en cada indicador preguntarse: ¿Quién necesita esta información? ¿Para qué?

LAS VARIABLES EN LA INVESTIGACIÓN OPERACIONALIZACIÓN DE VARIABLES

Pasos 1. DEFINICIÓN NOMINAL: Selección o construcción de una definición para la variable. 2. IDENTIFICACIÓN DE DIMENSIONES: Derivación de la variable original en variables más específicas que expresan aspectos importantes de la definición. 3. ELECCIÓN DE INDICADORES: Derivación de las dimensiones (variables específicas) en variables empíricas susceptibles de observación directa.

EJEMPLOS DE OPERACIONALIZACIÓN Pobreza educativa 23

Definición Situación de carencia de medios educativos y condiciones pedagógicas básicas que se traduce en bajos niveles de eficiencia de los servicios educativos.

Dimensiones Pobreza educativa Medios educativos Condiciones pedagógicas Eficiencia de los servicios

Dimensión: Medios educativos Alumnos por computadora Medios educativos Equipos y materiales Guía didáctica por docente Texto en área formativa por alumno

Dimensión: Condiciones pedagógicas % de docentes titulados Condiciones pedagógicas Formación docente Alumnos por docente % de docentes en la especialidad Carga docente % de docentes en formación continua

Dimensión: Eficiencia de los servicios Cobertura del currículo Eficiencia de los servicios Eficiencia interna % de promoción % de egresados en educación superior Tasa de retención Eficiencia externa Años promedio de graduación % de egresados en el mercado laboral

EJEMPLOS DE OPERACIONALIZACIÓN Consolidación de alianzas interinstitucionales 29

Definición Situación de las alianzas según sus niveles de desarrollo organizacional, sus capacidades para la generación de propuestas y para hacer incidencia en políticas públicas.

Consolidación de alianzas interinstitucionales Dimensiones Niveles de desarrollo organizacional Consolidación de alianzas interinstitucionales Capacidades para la generación de propuestas Capacidades de incidencia en políticas públicas

Dimensión: niveles de desarrollo organizacional Formalización de las funciones Canales de participación para sus miembros Niveles de Desarrollo organizacional Composición intersectorial Transparencia en la gestión de recursos

Dimensión: capacidades para la generación de propuestas Capacidad de negociación entre sí y con otros Capacidades para la generación de propuestas Capacidad para generar propuestas técnicas Capacidad para generar propuestas políticas

Dimensión: capacidades para hacer incidencia en políticas públicas Número de campañas de incidencia en políticas Capacidades para hacer incidencia en políticas públicas Número de propuestas asumidas como políticas públicas