COMISIÒN DE VIGILANCIA DE LA CÀMARA DE DIPUTADOS Unidad de EvaluaciÓn LA EVALUACIÒN AL DESEMPEÑO Y LOS INDICADORES EN LA FISCALIZACIÒN SUPERIOR Dr. Fernando Vera Smith Enero de 2012

COMISIÓN DE VIGILANCIA DE LA CÁMARA DE DIPUTADOS Unidad de Evaluación INDICADORES Proceso administrativo y sistema de control Sistema de medición Concepto Construcciòn y utilidad Clasificaciòn

Proceso Administrativo PLANEACIÓN Y ORGANIZACIÓN SISTEMA DE MEDICIÓN MEDICIÓN DE RESULTADOS DIRECCIÓN COMPARACIÓN DE RESULTADOS VS OBJETIVOS ANÁLISIS DE CAUSAS DE VARIACIONES IDENTIFICACIÓN Y EVALUACIÓN DE OPCIONES TOMA DE DECISIONES Y ACCIONES CORRECTIVAS CONTROL EVALUACIÓN DE ACCIONES IMPLANTADAS Y RETROALIMENTACIÓN RETROALIMENTACIÓN

SISTEMA DE CONTROL Establecimiento de metas Evaluación de opciones Sistema de medición Toma de decisiones Registro de resultados Evaluación y retroalimentación Comparación de resultados vs. metas e indicadores Rendición de cuentas Análisis de causas de variaciones

Sistema de Medición ¿Qué medir? ¿Contra qué comparar? ¿Cómo medirlo? ¿A quién, cuándo y con qué periodicidad reportarlo?

Sistema de Medición Criterios de Evaluación Factores críticos de éxito en la entidad Atributos de productos y servicios Estándares Calidad Capacidad Cantidad Estructura Costo Economía Oportunidad Eficiencia Utilidad

Sistema de Medición “Lo que no se puede medir no se puede entender, lo que no se puede entender no se puede controlar y lo que no se puede controlar no se puede mejorar”. En las mismas circunstancias, los resultados de las organizaciones son diferentes dependiendo de la actuación de sus integrantes.

Sistema de Medición Asignación de números a los objetos o fenómenos, atendiendo a las reglas establecidas de antemano. Determinación de la longitud, volumen, peso o distancia de objetos físicos, o cualidades, defectos, situaciones o resultados de las acciones realizadas.

Sistema de Medición Resistencia a la Medición Miedo (no sé qué pase con esto) Negación (yo no soy el responsable) Transferencia (el responsable es otro) Maquillaje (a mí no me agarran) Síndromes: Prima Donna (soy especial) Linus (frazada de seguridad) Panacea (varita mágica) Garrote (golper a los “malos”)

Sistema de Medición Resistencia a la Medición Manía por las mediciones (exceso) Hiperactividad (sin relación) Reacción en exceso (en investigación y cambios) ¿Y yo qué gano?

Sistema de Medición Resistencia a la Medición Cambios Improcedentes Por cambiar (sin sentido) Destruyendo lo positivo (todo estaba mal) Sin trascendencia (títulos, presentación) Mayor costo que beneficio Por poder personal Sin participación de los afectados por el cambio

Sistema de Medición Criterios de Evaluación Normas o estándares contra las cuales se compara el desempeño de la administración de una entidad en el cumplimiento de sus objetivos, en la relación con su entorno y en el grado de economía, eficiencia y eficacia logrado en sus operaciones.

Sistema de Medición Factores Críticos de Éxito Son los elementos y las actividades esenciales para que una organización pueda lograr su VISIÓN y cumplir con su MISIÓN. Los FACTORES CRÍTICOS DE ÉXITO se identifican analizando los procesos de cada negocio o institución. IV-10

Sistema de Medición Concepto y Tipo de Variables Atributos , cualidades, propiedades o características que hacen similares o diferentes a las organizaciones, lo que permite ordenarlos según el matiz o la modalidad con que poseen , que pueden : Presentarse o no en los productos, servicios, bienes y operaciones. Presentarse en matices o modalidades diferentes, o En grados, magnitudes o medidas distintas a lo largo de un continuo.

Concepto Valor numérico que provee una medida para ponderar el desempeño cuantitativo y/o cualitativo de un sistema. Parámetros que integran al sistema de medición para evaluar el nivel de cumplimiento de los objetivos, que dan respuesta a la misión de una institución a través de resultados alcanzados.

Concepto Instrumento cuya aplicación nos muestra la tendencia y la desviación de una actividad sujeta a influencias internas y externas con respecto a una unidad de medida convencional. Son relaciones cuantitativas entre dos cantidades que corresponden a un mismo fenómeno o fenómenos diferentes.

Construcciòn y Utilidad ENTENDIMIENTO ¿Qué hacer? ¿Cómo hacerlo? ¿Con qué hacerlo? PROCESO ADMINISTRATIVO PLANEACIÓN Misión, visión y estrategias - objetivos- Programas, proyectos, funciones y procesos Asignación de recursos

Construcciòn y Utilidad PROCESO ADMINISTRATIVO EJECUCIÓN Producción de bienes y servicios – metas- Resultados de la operación ENTENDIMIENTO ¿Qué, cuánto, cuándo, dónde y para quién producirlo? ¿Qué avances y desviaciones? ¿Qué impacto? ¿Qué correcciones o cambios?

Construcciòn y Utilidad Proceso de Elaboración ACTIVIDADES Identificación y evaluación de riesgos críticos Identificación de factores críticos de éxito de la entidad y de programas, procesos y funciones Establecimiento de medidas para su eliminación o minimización. Identificación de atributos de diseño, de procesos y definición de normas y políticas ATRIBUTOS DE DISEÑO Accesibilidad Sencillez Seguridad Mantenimiento Almacenamiento Identificación de atributos de los productos y servicios Establecimiento de estándares de operación. ATRIBUTOS DE BIENES Y SERVICIOS Calidad Cantidad Costo Oportunidad Utilidad Establecimiento de metas Cuantificación de impactos

Construcciòn y Utilidad Proceso de Implantación VALIDACIÓN PRUEBA PILOTO REQUERIMIENTO DE INFORMACIÓN IMPLANTACIÓN OBTENCIÓN DE INFORMACIÓN NO DISPONIBLE DIFUSIÓN

Construcciòn y Utilidad Análisis de los Indicadores RECOLECCION DE DATOS IDENTIFICACIÓN Y ANÁLISIS DE ALTERNATIVAS ANÁLISIS DE VARIACIONES TOMA DE ACCIONES CORRECTIVAS CAUSAS DE VARIACIONES SEGUIMIENTO

Construcciòn y Utilidad Causas de Variaciones SISTEMAS PROCEDIMIENTOS Y TECNOLOGÍA PERSONAL CONTROL DE CALIDAD EQUIPO Y MATERIALES INEXISTENTE NO ADECUADO EN MAL ESTADO INEXISTENTES NO ADECUADOS SIN CUMPLIMIENTO O UTILIZACIÓN INEXISTENTE NO CAPACITADO NO MOTIVADO RECHAZOS REPROCESOS RETRASOS CAUSAS DE VARIACIONES SOCIAL POLÍTICO LABORAL ECONÓMICO AMBIENTAL TECNOLÓGICO SIN SURTIDO SURTIDO EXTEMPORÁNEO FUERA DE ESPECIFIACIONES COSTO EXCESIVO DEVOLUCIONES INCOMFORMIDADES QUEJAS DEMANDA ENTORNO PROVEEDORES CLIENTES

Utilidad Para la Administración En la planeación Historia Competencia Posibilidades actuales Características del entorno En la dirección Comunicación Motivación Retribución Que se incluyen diversas dimensiones Que existan incentivos y sanciones En el control Monitoreo Análisis de desviaciones Toma de acciones Logro de objetivos

Utilidad Para la auditoría: En la familiarización o investigación preliminar En la planeación En la evaluación del sistema de control y del sistema de información En la ejecución de la auditoría (evaluación) En la presentación de sus hallazgos (cuantificación)

Indicadores Correlación entre misión, visión y objetivos estratégicos COHERENCIA DE LA PLANEACIÓN MISIÓN Proporcionar productos electrónicos y sistemas para ayudar a los clientes de todo el mundo a mejorar su eficacia personal y empresarial VISIÓN Lograr “X%” de participación en el mercado local en los próximos 5 años. OBJETIVO ESTRATÉGICO Participar en el mercado local en “Y%” para el próximo año PROGRAMAS Incorporación de nuevos productos (3) Proyecto 1 Proyecto 2 Proyecto 3 Proyecto de incorporación de nuevos distribuidores (10) Proyecto de reducción de costos, línea A (20%), línea B (15%).

Indicadores Selección de Forma y Puntos de Medición Criterios: Forma de medición: Que se incorporen a la operación, para minimizar su costo y acelerar su obtención Que se determinen de las operaciones sin que requieran procesos posteriores Que se evalúe la relación costo/beneficio de su obtención

Indicadores Selección de Forma y Puntos de Medición Criterios: Selección de puntos de medición que: Midan sólo aspectos críticos, para evitar generación de datos, controles y costos excesivos Sean congruentes con los objetivos Evalúen su grado de cumplimiento y sus desviaciones críticas Impacten positivamente en la conducta Influyan significativamente Sean aceptados por quienes los menejen Sean revisados periòdicamente Sean flexibles (relaciòn insumo-producto)

Indicadores de la Entidad Factores críticos de éxito Indicadores Del objetivo estratégico Participación en el mercado de “X%” Preferencia de los clientes hacia los productos de la entidad Participación de mercado Grado de satisfacción de los clientes en cuanto a : Garantía Manejo Disponibilidad Oportunidad Servicio Mantenimiento Precio

Indicadores de la Entidad Factores críticos de éxito Indicadores De los programas y proyectos Desarrollo y operación de nuevos productos (3) Desarrollo y operación de nuevos distribuidores (10) Abatimiento de costos (20% línea A y 15% línea B) Desarrollo y operación de nuevos productos Desarrollo y operación de nuevos distribuidores Costos unitarios de productos A y B De los procesos y funciones existentes Retención de clientes Mínimo de Quejas Oportunidad de entrega (3 días) Competitividad en precios (más bajo) Retención de Clientes Porcentaje de quejas Días de retraso en entrega Competitividad en precios

Indicadores Cualidades COHERENCIA Relación lógica ascendente, descendente y lateral. RELEVANCIA Procesos y productos esenciales de la entidad INTEGRIDAD Conjunto homogéneo e interrelacionado a distintos niveles de desagregación CONFIABILIDAD En los procesos de: definición, elaboración, validación, análisis de variaciones, toma de acciones correctivas y seguimiento. COMPARABILIDAD Consideración en la determinación de indicadores de objetivos de : historia, otras unidades, competencia, cambios…

Indicadores Cualidades UNICIDAD Mismos valores y significado para todos OPORTUNIDAD Periodicidad y fecha de emisión ACCESIBILIDAD Por quienes se vean afectados, incluso clientes ECONOMÍA Regla costo beneficio SENCILLEZ Entendibles por quienes los utilicen y tengan conocimientos básicos de administración y de la operación PARTICIPACIÓN Involucramiento de todos los actores relevantes en: diseño, mecánica de captura, sumarización, validación, distribución, análisis de variaciones, toma de decisiones y seguimiento.

Indicadores Clasificación INTERNOS De cumplimiento de objetivos de la entidad (eficacia) Participación en el mercado o cobertura de la población Ventas, utilidades, costos, etc. Auditorías De diseño del proceso De cumplimiento de su normatividad De la producción de bienes y servicios Economía Eficiencia Eficacia EXTERNOS De impacto (encuestas y sondeos) Percepción de la “utilidad” de la entidad por: Cliente Proveedores Personal Comunidad Accionistas Percepción de los clientes de la utilidad de los productos y servicios proporcionados: Precio Calidad Servicios Garantía Mantenimiento Disponibilidad Condiciones de Pago

Indicadores Clasificación Por su contenido Por su relación con los objetivos Por su objetividad Por su estructura Otras clasificaciones

Indicadores Clasificación – por su contenido Insumos Proceso Productos/servicios Calidad Oportunidad Costo Utilidad/costo

Indicadores Clasificación – por su contenido Calidad Elaboración del producto o proporción de servicios de acuerdo con determinadas especificaciones Precisión (dentro de nivel tolerable de error) Ruido (ausencia de) Continuidad (en la entrega del servicio o el bien) Fallas en su uso (ausencia o cantidad dentro de rango) Oportunidad

Indicadores Clasificación – por su contenido Calidad Otros atributos evaluados vía análisis de procesos o de encuestas: Seguridad Factibilidad de Manejo Cortesía en la atención Compatibilidad con equipos complementarios Variedad de usos Comodidad Disponibilidad (en tiempo y lugar) Caducidad Conservación (más tiempo o más simple, mejor calidad) Costo y facilidad de mantenimiento Portabilidad (manejo) Garantías

Indicadores Clasificación – por su contenido Calidad Indicadores más comunes (1): Errores Rechazos Reprocesos Desperdicios Quejas (1) Relacionados con los de economía, eficiencia, eficacia e impacto.

Indicadores Clasificación – por su contenido Oportunidad Comprende los tiempos de obtención de insumos, proceso y entrega. Ejemplos: Promedio de atención Veces que se atendió (o dejó de atender) Entrega del producto o servicio en el tiempo pactado. Dentro del tiempo estándar Días de atraso Entrega a tiempo Análisis de desviaciones Tiempos de espera (de respuesta, de aportación de documentos, de decisiones, etc.) Tiempos de inactividad (cuellos de botella, reunión de lotes)

Indicadores Clasificación – por su contenido Costo Valor de los insumos adquiridos o utilizados en la producción de bienes y servicios Forma parte de los indicadores de economía y eficiencia (no conviene manejarlo por separado) En el caso de gastos generales, como porcentaje del total

Indicadores Clasificación por sus Objetivos INSUMO PROCESO SALIDA DE MEDIOS DE FINES De economía De eficiencia De eficacia De capacidad De impacto

Indicadores Clasificación por sus Objetivos De Economía Tipo de Insumo Contenido del Indicador Atributo Materiales, suministros y equipos. Calidad Costo Oportunidad Rechazos y/o devoluciones Reprocesos Quejas y/o reclamaciones Variaciones en costos por precio y/o cantidad Paros en producción por falta de material

Indicadores Clasificación por sus Objetivos De Economía Tipo de Insumo Contenido del Indicador Atributo Humanos Calidad Costo Oportunidad Rotación de personal Aspirantes a empleos vs contrataciones Aspirantes a inscripción vs inscritos Evaluaciones del personal Costo de contratación Renuncias Retrasos por falta de personal Financieros Tasa de Interés vs utilidad de operación

Indicadores Clasificación por sus Objetivos De Eficiencia Relación entre insumos y productos en cuanto a cantidad, costo y tiempo. No deben existir actividades “eficientes” no vinculadas con las metas. Ejemplos: Unidades producidas por hora-máquina y por persona-hora Peticiones recibidas vs atendidas Alumnos ingresados vs egresados

Indicadores Clasificación por sus Objetivos De Capacidad Relación entre el nivel de utilización de los recursos y los disponibles o potenciales de uso. Pueden evaluarse en función de diversas unidades. Conviene convertirlas en pesos. Capacidad utilizada Fórmula = Capacidad instalada Conclusiones más probables Suficiente No aprovechada (ociosa) Insuficiente Subutilizada Excesiva

Indicadores Clasificación por sus Objetivos De Eficacia Grado en que se logran las metas. Pueden corresponder a unidades de servicio internas o de contacto con clientes. Realización del objetivo Fórmula = del programa Logro o beneficio planeado Porcentaje de recuperación de créditos Cobranza/Facturación Porcentaje de deserción (o asistencia) en capacitación o educación Denuncias recibidas vs resueltas Quejas recibidas vs resueltas (de clientes, empleados o proveedores).

Indicadores Clasificación por sus Objetivos De Impacto Efecto o resultado final del programa (grado de éxito o fracaso). Percepción que tienen los clientes (internos y externos) de los productos o servicios generados. Pueden ser cualitativos (percepción de beneficios) o cuantitativos (coberturas)

Indicadores Clasificación por sus Objetivos De Impacto Ejemplos La emisión de licencias para restaurantes (eficacia) mejoró la sanidad (impacto). Los alumnos egresados (eficacia) alcanzaron el nivel deseado de educación (impacto) El sistema de control de medio ambiente de una entidad (eficacia) redujo la contaminación de un río (impacto).

Indicadores Clasificación por sus Objetivos De Impacto Ejemplo de niveles de Impacto GRADO DE APROVECHAMIENTO (EN LA EFICIENCIA O CALIDAD CON QUE SE DESARROLLAN SUS LABORES) MEJORA ECONÓMICA DEL PARTICIPANTE NO. DE EGRESADOS O CAPACITADOS MEJORA DE LA POBLACIÓN ETCÉTERA

Indicadores Clasificación por sus Objetivos Ejemplos de impacto: En clientes o usuarios: Satisfacción Calidad (especificar) del producto o servicio Disponibilidad Atención Oportunidad (tiempo de espera) Participación en el mercado Clientes perdidos o ganados Territorios cubiertos o no Tipos de clientes cubiertos o no

Indicadores Clasificación por sus Objetivos Ejemplos de impacto: En la sociedad (deseables o indeseables) Económicos (crecimiento o decrecimiento) Niveles de empleo o desempleo Marginación Distribución del ingreso Producto nacional bruto Ingreso per capita Nivel de vida de la población

Indicadores Clasificación por sus Objetivos Ejemplos de impacto: En la sociedad (deseables o indeseables) Sociales (calidad de vida) Servicios proporcionados vs solicitados Solicitudes atendidas vs recibidas Atención a la demanda (porcentaje) Cobertura (o rezago) en servicios Población con o sin “X” característica Seguro social Educación Habitación Empleo Hacinamiento Agua Derenaje Carreteras Comunicaciones

CONCLUSIONES Y RECOMENDACIONES A LA FUNCIÓN DE EVALUACIÓN E INDICADORES DE DESEMPEÑO TANTO DE LA UEC COMO PARA LA ASF Es necesario fortalecer la evaluación del desempeño y establecer un sistema de indicadores del desempeño tanto en la UEC como en la ASF, mediante: Profesionalización del personal Mejoramiento del marco normativo Utilización de tecnologías y mejores prácticas. Autoevaluaciones.

CONCLUSIONES Y RECOMENDACIONES A LA FUNCIÓN DE EVALUACIÓN E INDICADORES DE DESEMPEÑO TANTO DE LA UEC COMO PARA LA ASF Participar en Comisiones que evalúen los indicadores establecidos en los programas e instituciones . Desarrollar investigaciones de las mejores prácticas en el ámbito internacional sobre los temas de Auditoría al Desempeño, Autoevaluaciones, Indicadores y Mejores Prácticas Gubernamentales, entre otras. Estructurar y establecer la capacitación por niveles y temas para profesionalizar la actividad

El “principio” de anualidad. El “principio “ de posterioridad. CONCLUSIONES Y RECOMENDACIONES A LA FUNCIÓN DE EVALUACIÓN E INDICADORES DE DESEMPEÑO TANTO DE LA UEC COMO PARA LA ASF Romper paradigmas que vienen desde tiempo inmemorial y que no están acordes con las necesidades actuales, tales como: El “principio” de anualidad. El “principio “ de posterioridad. La estructura, formato y concisión de los informes.