1 REPUBLICA DEL ECUADOR VI CENSO DE POBLACION Y V DE VIVIENDA DEL 2001 EVALUACION DE LOS METODOS DE CONSISTENCIA E IMPUTACION DE DATOS.

Presentación del tema: "1 REPUBLICA DEL ECUADOR VI CENSO DE POBLACION Y V DE VIVIENDA DEL 2001 EVALUACION DE LOS METODOS DE CONSISTENCIA E IMPUTACION DE DATOS."— Transcripción de la presentación:

1 1 REPUBLICA DEL ECUADOR VI CENSO DE POBLACION Y V DE VIVIENDA DEL 2001 EVALUACION DE LOS METODOS DE CONSISTENCIA E IMPUTACION DE DATOS

2 2 MODELO LOGICO GENERAL PARA LA REVISION DE DATOS DOCUMENTACION INICIAL Previa la elaboración del Plan de Validación (Métodos de consistencia e imputación de datos), los documentos fuentes son: - Manual del Empadronador - Manual de Critica-Codificación Plan de Validación fue realizado tanto para el Censo Experimental y el Censo definitivo, elaborado en forma conjunta por la Secretaria Técnica del Censo, técnicos informáticos y funcionarios regionales, en ambos casos con soporte técnico del Fondo de Población de las Naciones Unidas

3 3 EVALUACION DE LOS METODOS DE CONSISTENCIA E IMPUTACION DE DATOS MODELO LOGICO GENERAL PARA LA REVISION DE DATOS PRACTICA DE CORRECCION (MANUAL O AUTOMATICA) Se toma la decisión de realizar una critica “liviana”, las principales tareas son: - Revisión estructural del cuestionario, especialmente la estructura Vivienda-Hogar-Población - Asignación de valores demasiado obvios, específicamente por las características geográficas de la provincia, a más de la codificación de las preguntas abiertas. Toda la revisión de la consistencia y específicamente la corrección se realizó a través de la validación automática.

4 4 EVALUACION DE LOS METODOS DE CONSISTENCIA E IMPUTACION DE DATOS MODELO LOGICO GENERAL PARA LA REVISION DE DATOS METODO DE COMPROBACION DE VALIDEZ Y COHERENCIA SECUENCIAL Se realiza una comprobación secuencial, pero para obtener reportes con las frecuencias de los valores de las variables. En ningún caso para asignar directamente valores a variables que debiendo tener algún valor valido, el mismo es erróneo o no lo tiene (“blanco”). En determinados casos por las características regionales, existe asignación de valores en forma directa, pero no constituye un método permanente.

5 5 EVALUACION DE LOS METODOS DE CONSISTENCIA E IMPUTACION DE DATOS MODELO LOGICO GENERAL PARA LA REVISION DE DATOS EJEMPLO DE COMPROBACION Y ASIGNACION SECUENCIAL Para la variable V001 Tipo de Vivienda: Si V001 = 5, y si no son provincias de la Costa u Oriente y el área es diferente a urbano, asignar 4 a V001 (Aquí se puede observar que para realizar esta comprobación y asignación secuencial, tiene importancia la condición geográfica de la provincia que se está validando).

6 6 EVALUACION DE LOS METODOS DE CONSISTENCIA E IMPUTACION DE DATOS MODELO LOGICO GENERAL PARA LA REVISION DE DATOS MULTIPLE Como la comprobación y asignación secuencial fue considerado un método valido solo para determinados casos, la comprobación y la asignación de los nuevos valores, fueron considerados de acuerdo a la comprobación o análisis múltiple (n variables). EJEMPLO DE COMPROBACION MULTIPLE Ejemplo: Para asignar la edad P003 para las personas que tienen información en otras variables, el plan de validación establece entre otras, las siguientes comprobaciones múltiples:

7 7 EVALUACION DE LOS METODOS DE CONSISTENCIA E IMPUTACION DE DATOS MODELO LOGICO GENERAL PARA LA REVISION DE DATOS “Para estas personas la edad será asignada, si es invalida (omisión de información) o en los casos que se encuentre inconsistente en por lo menos una de las siguientes relaciones: - Edad y años de estudio - Edad y características económicas - Edad y fecundidad En los casos en que la edad sea considerada valida y sea inválida la otra variable, se considera la edad como correcta y se asignará posteriormente el valor correcto a la variable inconsistente.

8 8 EVALUACION DE LOS METODOS DE CONSISTENCIA E IMPUTACION DE DATOS MODELO LOGICO GENERAL PARA LA REVISION DE DATOS TECNICAS DE CORRECCION Y ATRIBUCION DE DATOS ESTATICA No se aplicó el método estático (“cold deck”), por cuanto las características sociodemográficas del país en base a su contraste natural no permiten la asignación de valores permanentes, esta particularidad es valida para todas las temáticas de vivienda, hogar y población; por ejemplo hay casos en que determinados cantones de una provincia que se encuentra o pertenece a una región, pero esos cantones realmente se encuentran en otra región geográfica del país o la característica sociodemográfica de la población de una provincia es distinta a otra.

9 9 EVALUACION DE LOS METODOS DE CONSISTENCIA E IMPUTACION DE DATOS MODELO LOGICO GENERAL PARA LA REVISION DE DATOS TECNICAS DE CORRECCION Y ATRIBUCION DE DATOS DINAMICA Entonces aplicamos la técnica de corrección dinámica para los valores omitidos (blancos) o también si la información es inconsistente por efecto del método de comprobación múltiple. Se prepararon matrices iniciales, con valores que se obtienen del resultado de frecuencias o cruces, generalmente de acuerdo a la mayor probabilidad valida de ocurrencia en la comprobación múltiple de las variables que intervienen en la matriz para la asignación.

10 10 EVALUACION DE LOS METODOS DE CONSISTENCIA E IMPUTACION DE DATOS PROGRAMACION DE LAS PAUTAS DE CONSISTENCIA LINEAMIENTOS CONCEPTUALES PARA LA FORMULACION DE ERRORES DE CONSISTENCIA El Censo experimental permitió estructurar en gran porcentaje los errores de consistencia. Comportamiento de las variables en la critica-codificación, retroalimenta el manual y por ende el Plan de Validación General. La experiencia del personal técnico (demógrafos) y del personal técnico regional. Procesos informáticos, sean estas frecuencias o tabulaciones especiales en el archivo original, previo a la validación.

11 11 EVALUACION DE LOS METODOS DE CONSISTENCIA E IMPUTACION DE DATOS PROGRAMACION DE LAS PAUTAS DE CONSISTENCIA FUNDAMENTOS CONCEPTUALES PARA LA ASIGNACION DE VALORES Los archivos y reportes del Censo del año 1990 sirven como referencia importante. El comportamiento de las variables durante el Censo Experimental. Los reportes obtenidos durante la validación inicial ayudan en gran medida a mejorar la asignación de valores durante el proceso de validación definitiva. Nuevamente la experiencia del personal técnico del INEC, específicamente demógrafos y técnicos regionales.

12 12 EVALUACION DE LOS METODOS DE CONSISTENCIA E IMPUTACION DE DATOS PROGRAMACION DE LAS PAUTAS DE CONSISTENCIA ASPECTOS INFORMATICOS PARA LA PROGRAMACION DE LAS PAUTAS DE CONSISTENCIA Para el ingreso de la información censal, se utiliza CsPro como software base; por lo tanto se generan los archivos en formato texto (ASCII); y luego del proceso de control de la cobertura, estos ficheros ingresan a ser validados en el módulo CONCOR del paquete IMPS. -Todas las inconsistencias declaradas en el Plan de Validación General ingresan a los programas CONCOR - Norma fundamental es revisar la estructura: Vivienda – Hogar - Población

13 13 EVALUACION DE LOS METODOS DE CONSISTENCIA E IMPUTACION DE DATOS PROGRAMACION DE LAS PAUTAS DE CONSISTENCIA ASPECTOS INFORMATICOS PARA LA PROGRAMACION DE LAS PAUTAS DE CONSISTENCIA - Programación de las inconsistencias de las variables en forma separada. - Programación para la detección de inconsistencias con la comprobación combinada o múltiple, en todos los casos con la generación de reportes que permitan el análisis, previo a la asignación de los valores.

14 14 EVALUACION DE LOS METODOS DE CONSISTENCIA E IMPUTACION DE DATOS PROGRAMACION DE LAS PAUTAS DE CONSISTENCIA PROGRAMACION INFORMATICA DE LAS REGLAS DE IMPUTACION - Se empieza con la corrección de la estructura definida en el cuestionario censal: Vivienda – Hogar - Población. - Se asignan los valores considerados obvios, valores que no alteran o dañan la información original. - Rutinas de asignación de valores para las variables criticas o estructurales como son: edad, sexo y relación de parentesco y rutinas de asignación de valores para el resto de variables; con análisis por capítulos de acuerdo a la boleta; en todos los casos con reportes que permiten medir el porcentaje de imputación.

15 15 EVALUACION DE LOS METODOS DE CONSISTENCIA E IMPUTACION DE DATOS IMPLEMENTACION DE PAUTAS DE CONSISTENCIA ACTIVIDADES DESARROLLADAS PARA EL ANALISIS DE ERRORES ACCIONES DE SUPERVISION EN EL CAMPO Al tratarse de un Censo de hecho, no hubo acciones de supervisión en el campo. Pero durante la fase de critica-codificación, si existió la supervisión permanente a esta actividad por parte del personal de la Secretaria Técnica del Censo; lo que permite retroalimentar criterios para no afectar o alterar la información original.

16 16 EVALUACION DE LOS METODOS DE CONSISTENCIA E IMPUTACION DE DATOS IMPLEMENTACION DE PAUTAS DE CONSISTENCIA ACTIVIDADES DESARROLLADAS PARA EL ANALISIS DE ERRORES ACCIONES DE SUPERVISION EN GABINETE Todo los análisis de errores se lo realizan en gabinete, previo a la validación o asignación e imputación: - Generación de reportes y/o estadísticas - Análisis conjunto del personal técnico (Secretaria Técnica, técnicos regionales y personal informático) - Porcentaje muy por debajo al 4 % se consideraba normal. - Porcentajes superiores, obligaban a evaluar los criterios de asignación.

17 17 EVALUACION DE LOS METODOS DE CONSISTENCIA E IMPUTACION DE DATOS IMPLEMENTACION DE PAUTAS DE CONSISTENCIA ACTIVIDADES DESARROLLADAS PARA EL ANALISIS DE ERRORES ACCIONES DE SUPERVISION EN GABINETE - Por razones geográficas se procede al cambio de ciertos parámetros de las reglas de asignación y/o imputación. - Para casos especiales se procedió a revisar la información original contenida en las boletas, en caso de algún valor mal ingresado, se corregía el archivo original. Estos procedimientos se aplicaron especialmente en la revisión de las variables económicas.

18 18 EVALUACION DE LOS METODOS DE CONSISTENCIA E IMPUTACION DE DATOS IMPLEMENTACION DE PAUTAS DE CONSISTENCIA LECCIONES A PARTIR DE UN CASO SINGULAR DE LA EXPERIENCIA NACIONAL No existe un caso especial o la definición de un método o técnica nueva para resolver dicho inconveniente; pero al definir los procesos descentralizados por primera vez, esta fase de revisión e imputación de datos no se podía ejecutar en forma directa en las Regionales, por lo que se procede de la siguiente manera: - Cada regional ingresa una provincia con ciertas características: tamaño, geografía y población. - Taller de revisión del Plan de Validación y programas desarrollados para el efecto, con apoyo internacional.

19 19 EVALUACION DE LOS METODOS DE CONSISTENCIA E IMPUTACION DE DATOS IMPLEMENTACION DE PAUTAS DE CONSISTENCIA LECCIONES A PARTIR DE UN CASO SINGULAR DE LA EXPERIENCIA NACIONAL - Concentración de la fase de validación en una ciudad central del país. - Validación conjunta entre el personal especializado de la administracion central del INEC y los técnicos regionales, lo que permite la supervisión directa.

20 20 EVALUACION DE LOS METODOS DE CONSISTENCIA E IMPUTACION DE DATOS BALANCE DE LOS METODOS DE CONSISTENCIA E IMPUTACION DE DATOS APLICADOS EXPERIENCIAS POSITIVAS - Conocimiento de las formas de corrección manual y automática. - Conocimiento de las técnicas de imputación automática, en especial el método dinámico. EXPERIENCIAS NEGATIVAS - No se tuvo una experiencia negativa con los métodos de consistencia e imputación. - Presión política.

21 21 EVALUACION DE LOS METODOS DE CONSISTENCIA E IMPUTACION DE DATOS RECOMENDACIONES PARA LA RONDA DEL 2010 Por la falta de experiencia especialmente de los técnicos informáticos y técnicos regionales, por la salida de los técnicos con experiencia, se recomienda: - Capacitación al grupo técnico (demógrafos e informáticos) sobre nuevas metodologías especialmente para la elaboración de planes de critica-codificación, validación e imputación. - Capacitar formalmente a los técnicos informáticos en CONCOR o en aplicaciones similares. - Establecer líneas de cooperación horizontal entre los institutos de estadística para talleres o soporte técnico para procesos de validación censal.