Ana Carolina Rodríguez Rivero Aplicación Metodología de Monitoreo y Evaluación de Gobierno en Línea en Colombia Ana Carolina Rodríguez Rivero Consultora Planeación, Monitoreo y Evaluación - Programa Gobierno en línea

El Modelo de Monitoreo y Evaluación Agenda Reunión El Modelo de Monitoreo y Evaluación Aplicación metodología de monitoreo y evaluación Resultados Departamento del Huila

El Modelo de Monitoreo y Evaluación ¿Por qué monitorear y evaluar? Para el mejoramiento continuo en el que hacer. Para analizar y entender la situación. Para comparar con estándares, objetivos y metas establecidas previamente. Para retroalimentar a los actores a partir del compartir las lecciones aprendidas. “Los proyectos que se miden, monitorean y evalúan tienen la posibilidad de ir realizando ajustes al proceso. Si se deja la evaluación sólo al final, se corre el riesgo de no tener la posibilidad de evitar un fracaso”. UNESCO y Monitor de Privacidad y acceso a la información en América Latina. Informe de Análisis y Propuestas en materia de acceso a la información y la privacidad en América Latina. 2007

El Modelo de Monitoreo y Evaluación ¿Por qué monitorear y evaluar? El sistema de monitoreo y evaluación se fundamenta en que el fin último del Gobierno en línea es lograr mayor bienestar y equidad en los colombianos. Para aportar al bienestar y la equidad, se busca tener impacto en tres áreas estratégicas: impulsar la gobernabilidad del país, fortalecer la ciudadanía y aumentar la competitividad. 

El Modelo de Monitoreo y Evaluación ¿A quién monitorear? La contribución a estas tres áreas estratégicas se determina a partir de los resultados obtenidos en la relación con el Gobierno en línea de tres grupos de actores: ciudadanos, empresas y entidades públicas. Ciudadanos Empresas Entidades Actores del Gobierno en Línea Necesidades Expectativas Uso Calidad Impacto

El Modelo de Monitoreo y Evaluación Insumos: - Infraestructura - Capacidad económica - Actitud/Voluntad Política - Barreras - Incentivos - Recurso Humano Procesos: - Aceptación - Apropiación - Participación - Cultura Empresarial - Fases GEL - Tratamiento de datos Resultados - Efectividad del GEL - Visión unificada del Estado - Credibilidad y Confianza - Orientación al Ciudadano/Empresa - Eficiencia - Integralidad y Transparencia - Protección de la información - Percepción de seguridad Impacto - Gobernabilidad - Fortalecimiento de Ciudadanía - Competitividad ¿Qué monitorear?

El Modelo de Monitoreo y Evaluación

El Modelo de Monitoreo y Evaluación Es así como los insumos, los procesos, los resultados y el impacto se constituyen en los cuatro componentes de medición y evaluación del modelo (qué monitorear), frente a los tres grupos de actores del Gobierno en línea (A quiénes monitorear). Para cada uno de los actores, en los cuatro componentes de medición mencionados se establecieron unos aspectos a medir y evaluar, con unos atributos que se esperan lograr en cada aspecto a medir, unos indicadores asociados a cada atributo y las variables (informativas y calificativas) que conforman cada indicador, esta información conforma la estructura general de evaluación.   Ejemplo de la Estructura General de Evaluación

El Modelo de Monitoreo y Evaluación 1 2 Identificar los actores Para cada actor identificar los componentes de medición Actores Insumos Entidades Procesos Resultados Impacto Insumos Empresas Procesos Resultados Impacto Insumos Ciudadanos Procesos Resultados Impacto

El Modelo de Monitoreo y Evaluación 1 2 3 Identificar los actores Para cada actor identificar los componentes de medición Para cada componente se identifican aspectos a medir Actores Infraestructura Insumos Capacidad Económica Entidades Preparación Aceptación Procesos Apropiación Participación Efectividad Visión unificada del Estado Integralidad y transparencia de gestión Orientación a los ciudadanos y empresas Resultados Protección de la información de los usuarios Seguridad Eficiencia Gobernabilidad Impacto Ciudadanía Competitividad

El Modelo de Monitoreo y Evaluación 1 2 3 4 5 Identificar los actores Para cada actor identificar los componentes de medición Para cada componente identificar aspectos a medir Identificar los atributos relacionados Identificar Indicadores Actores Infraestructura Acceso Indicador(es) Insumos Disponibilidad Entidades Procesos Recursos Resultados Impacto Preparación Empresas Procedimiento similar al de entidades pero ajustado a cada actor Ciudadanos

El Modelo de Monitoreo y Evaluación 1 2 3 4 5 6 Identificar los actores Para cada actor identificar los componentes de medición Para cada componente identificar aspectos a medir Identificar los atributos relacionados Identificar Indicadores Identificar variables Actores Infraestructura Acceso Indicador(es) Insumos Variable 1 Asequible Entidades Procesos Variable 2 Recursos Resultados Variable 3 Impacto Preparación Empresas Procedimiento similar al de entidades pero ajustado a cada actor Ciudadanos

El Modelo de Monitoreo y Evaluación ¿Cómo monitorear?: Etapas del Monitoreo Planear las acciones a seguir. Observar la realidad de los actores. Medir el avance de las acciones. Analizar resultados para entender la situación. Evaluar comparando con estándares, objetivos y metas. Discutir los resultados con los actores. Concluir para definir acciones de mejora. Retroalimentar a los actores con base en los resultados obtenidos y las conclusiones obtenidas. Aprender de los resultados de la medición. Comprometer en la ejecución de las acciones a seguir. Divulgar los resultados de la ejecución del proceso.

Aplicación metodología de monitoreo y evaluación de Gobierno en línea Etapa de Planear, Observar y medir Ajustes de las Estructuras Generales de Evaluación (EGE) para cada uno de los actores (ciudadanos, empresas y entidades). Ajuste de los formularios para la recolección de la información establecida en los diferentes EGE´s y evaluación de los sitios Web. Identificación del Universo. Diseño de la muestra para ciudadanos, empresas y entidades con base en los resultados del 2008. Ciudadanos Empresas Entidades - Encuestas Encuestas Representante Legal Empleado Encuestas Representante Legal Líder GEL Servidor Público -Sitios Web

Aplicación metodología de monitoreo y evaluación de Gobierno en línea Etapa de Planear, Observar y medir- Consideraciones Universo El universo está conformado por 23.371.541 personas mayores o iguales a 16 años de edad, residentes habituales de las cabeceras municipales, de acuerdo con la proyección de población para los años 2008 y 2009, según el Censo de Población y Vivienda del año 2005 (www.dane.gov.co - Sección REDATAM). Ciudadanos La fuente utilizada para determinar el universo de estudio es el Censo de Población y Vivienda del año 2005 realizado por el Departamento Nacional de Estadística – DANE (www.dane.gov.co - Sección REDATAM). Allí se reporta la existencia de 1´401.148 empresas registradas en el cuestionario de unidad económica el cual fue aplicado a la totalidad de unidades económicas encontradas en las áreas censales, distribuidas por sector económico Empresas El Universo de las entidades públicas se construye con base en la estructura del Estado según sus ramas: Ejecutiva, Legislativa y Judicial; y según su cobertura: Nacional o Territorial. Entidades

Aplicación metodología de monitoreo y evaluación de Gobierno en línea Etapa de Planear, Observar y medir- Consideraciones Muestra Se incluyeron la totalidad de los municipios (inclusión forzosa) que se encontraban en las categorías de la especial a la quinta, debido a que el número de municipios para estas categorías es baja y son los municipios de mayor importancia en el país (capitales de departamento y mayor número de habitantes).   Con respecto a la sexta categoría, se selecciona una muestra buscando que hubiera representatividad de todos los departamentos (exceptuando a San Andrés y Providencia, dado que no tiene municipios en la sexta categoría). CATEGORÍA N° MUNICIPIOS UNIVERSO MUESTRA Especial 5 Primera 16 Segunda 15 Tercera 17 Cuarta 21 Quinta 28 Sexta 999 193 TOTAL 1.101 295

Aplicación metodología de monitoreo y evaluación de Gobierno en línea Etapa de Planear, Observar y medir- Consideraciones Muestra Ciudadanos Variables de desagregación muestra: La población de ciudadanos se dividió teniendo en cuenta categoría de municipio, estrato socioeconómico, el género y el rango de edad, distribuidos de la siguiente manera: Bajo (estrato 1 y 2) Medio (estratos 3 y 4) Alto (estratos 5 y 6 ESTRATO Especial Primera Segunda Tercera Cuarta Categoría municipio Hombre Mujer GÉNERO 16 – 18 19 – 24 25 - 39 40 - 55 ≥ 56 RANGO DE EDAD

Aplicación metodología de monitoreo y evaluación de Gobierno en línea Tamaño de la muestra Ciudadanos

Aplicación metodología de monitoreo y evaluación de Gobierno en línea Variables de desagregación de la muestra: Se establecen los grupos de empresas que serán medidas, según el tamaño de la empresas y el sector al que ésta pertenezca, así: : Empresas Grandes Medianas Pequeñas Microempresas TAMAÑO Especial Primera Segunda Tercera Cuarta Categoría municipio Industria Comercio Servicios SECTOR Para la medición de 2009 se consideró pertinente incorporar la percepción de los empleados de las empresas pequeñas y micro, no contemplados en la medición del año 2008.

Aplicación metodología de monitoreo y evaluación de Gobierno en línea Tamaño de la muestra Empresas RL Empleados

Aplicación metodología de monitoreo y evaluación de Gobierno en línea Variables de desagregación de la muestra: Entidades La información fue recolectada a través de encuestas a los líderes de Gobierno ne línea de las entidades seleccionadas en los 295 municipios. Para la aplicación de la encuesta se determinaron dos tipos de entidades una de inclusión forzosa o censo y otra por muestra tal como se describe a continuación mostrando el cubrimiento en las entidades por censo y el error estándar relativo para la muestra

Aplicación metodología de monitoreo y evaluación de Gobierno en línea ENTIDADES ENCUESTAS SITIOS WEB CUBRIMIENTO Orden Nacional Todas las entidades (202) Todas las entidades 51% Orden Territorial Todas las gobernaciones (32) Todas las gobernaciones. 81% Todas las asambleas departamentales (32) Todas las asambleas departamentales. 53% Todas las alcaldías de los municipios seleccionados (distritales y municipales) Todas las alcaldías (distritales y municipales). 85% Todos los concejos de los municipios seleccionados (distritales y municipales) Todos los concejos distritales . 68% Todas las Registradurías (259), Contralorías (63) y Personerías (15) Contralorías y Personerías 50% Una muestra de las Procuradurías, Notarias, Cámaras de Comercio que se encuentran en los municipios seleccionados. (una empresa de servicios públicos y una notaria o procuraduría o una cámara de comercio 600) Todas las entidades, diferentes a alcaldías, gobernaciones, asambleas y concejos (empresas de servicios públicos, cámaras de comercio, notarias, curadurías, instituciones educativas, hospitales, notarias) 454 entidades con un Error Estándar Relativo máximo del 4% para fenómenos de ocurrencia superiores al 50%

Aplicación metodología de monitoreo y evaluación de Gobierno en línea Tamaño de la muestra Entidades Representante legal Líder Gel Funcionarios Sitios web

Resultados Departamento del Huila Consideraciones modelo para: Implementación Fase de Información: Se evalúan 56 criterios para un total de 110 puntos. Cada criterio tiene un puntaje diferente dependiendo de la importancia del mismo en la implementación de la fase. Los criterios establecidos para dar el puntaje son cumple o no cumple, no se califica parcialmente. Implementación Fase de Interacción: Se evalúan 13 criterios de acuerdo con lo establecido en el manual para la implementación de la estrategia de Gobierno en línea. De estos criterios se incluyen tres relacionados con si la entidad informa los tiempos y términos en los que dará respuesta a los ciudadanos y si da respuesta a un mail enviado.

Resultados Fase de información e interacción NOMBRE ENTIDAD TOTAL FASE DE INFORMACIÓN TOTAL FASE DE INTERACCIÓN ALCALDIA DE ISNOS 69 49 ALCALDIA DE NEIVA 82 81 ALCALDIA DE PITAL 74 42 ALCALDIA DE PITALITO 84 44 ALCALDIA DE SALADOBLANCO 32 ALCALDIA DE SANTA MARIA 68 37 ALCALDIA DE SUAZA 67 ALCALDIA DE TERUEL 85 ALCALDIA DE TIMANA 61 ALCALDIA DE ACEVEDO 79 39 ALCALDIA DE AGRADO ALCALDIA DE AIPE 76 ALCALDIA DE ALGECIRAS 54 ALCALDIA DE ALTAMIRA 45 33 ALCALDIA DE BARAYA 65 ALCALDIA DE CAMPOALEGRE 87 ALCALDIA DE COLOMBIA 72 Entidades

Resultados Fase de información e interacción NOMBRE ENTIDAD TOTAL FASE DE INFORMACIÓN TOTAL FASE DE INTERACCIÓN ALCALDIA DE ELIAS 66 26 ALCALDIA DE GARZON 74 ALCALDIA DE GIGANTE 85 37 ALCALDIA DE GUADALUPE 92 ALCALDIA DE HOBO 82 ALCALDIA DE IQUIRA 75 32 ALCALDIA DE LA PLATA 42 ALCALDIA DE NATAGA ALCALDIA DE OPORAPA 83 ALCALDIA DE PAICOL 67 ALCALDIA DE PALERMO 70 ALCALDIA DE PALESTINA 81 ALCALDIA DE RIVERA 72 ALCALDIA DE SAN AGUSTIN 77 ALCALDIA DE TARQUI 61 11 ALCALDIA DE TELLO 89 ALCALDIA DE TESALIA 60 ALCALDIA DE VILLAVIEJA 79 YAGUARA GOBERNACION HUILA 47 Entidades

Ranking Departamentos No. ENTIDAD TERRITORIAL % FASE INFORMACIÓN 1 CASANARE 77 2 QUINDÍO 76 3 RISARALDA 4 ARAUCA 75 5 CALDAS 74 6 HUILA 7 META 73 8 ANTIOQUIA 9 BOYACÁ 72 10 CESAR 11 NORTE DE SANTANDER 12 SANTANDER 13 CUNDINAMARCA 71 14 BOLÍVAR 70 15 MAGDALENA 16 SUCRE 17 TOLIMA 18 NARIÑO 19 ATLÁNTICO 69 20 VAUPÉS 68 21 VALLE DEL CAUCA 22 CÓRDOBA 67 23 CHOCÓ 24 CAUCA 25 LA GUAJIRA 66 26 VICHADA 65 27 CAQUETÁ 64 28 PUTUMAYO 29 SAN ANDRES Y PROVIDENCIA 63 30 GUAVIARE 62 31 GUAINÍA 54 32 AMAZONAS 53 No. ENTIDAD TERRITORIAL % FASE INTERACCIÓN 1 CUNDINAMARCA 75 2 CESAR 49 3 CASANARE 47 4 META 5 SAN ANDRES Y PROVIDENCIA 46 6 ARAUCA 43 7 QUINDÍO 8 RISARALDA 9 ATLÁNTICO 42 10 AMAZONAS 11 TOLIMA 12 BOYACÁ 41 13 NORTE DE SANTANDER 14 SUCRE 15 VAUPÉS 16 HUILA 17 SANTANDER 40 18 ANTIOQUIA 19 CALDAS 20 BOLÍVAR 39 21 MAGDALENA 22 CAUCA 23 VALLE DEL CAUCA 38 24 PUTUMAYO 37 25 CÓRDOBA 36 26 LA GUAJIRA 27 NARIÑO 28 GUAVIARE 34 29 VICHADA 33 30 CHOCÓ 31 CAQUETÁ 32 GUAINÍA Entidades

Ana Carolina Rodríguez Rivero Muchas gracias Ana Carolina Rodríguez Rivero ana.rodriguez@gobiernoenlinea.gov.co