Informe Final Equipo de GRADE -- Junio 2006 -- Estudio de Línea de Base de la Segunda Fase del Proyecto Subsectorial de Irrigación Informe Final Equipo de GRADE -- Junio 2006 --

La Segunda Fase del PSI Esquema General de Evaluación I. ASPECTOS GENERALES La Segunda Fase del PSI Esquema General de Evaluación

La Segunda Fase del PSI CARACTERÍSTICAS OBJETIVO Período de vigencia: 2005 – 2007 Financiamiento: US$ 10MM Endeudamiento US$ 7MM Tesoro Público US$ 5MM Aporte de beneficiarios OBJETIVO Contribuir al incremento de la producción y la productividad de la agricultura de riego de la costa

La Segunda Fase del PSI OBJETIVOS ESPECÍFICOS Rehabilitación, mejoramiento y modernización de los sistemas de riego de los valles de la Costa. Promover el uso de técnicas innovadoras de riego en usuarios Incrementar el número de Juntas de Usuarios consideradas “elegibles”, capaces de autogestionarse Capacitar a usuarios en el uso de tecnologías y procedimientos innovadores de riego Incrementar la formalización de los derechos de agua e identificar la problemática de la gestión de agua para resolver conflictos. Estos objetivos específicos definen cinco productos identificados en el Marco Lógico, cada uno articulado a uno de los cuatro componentes del proyecto.

La Segunda Fase del PSI COMPONENTES DEL PROYECTO Componente “A”: Rehabilitación y mejoramiento de la infraestructura de riego y drenaje Componente “B”: Riego Tecnificado Componente “C”: Capacitación y Asistencia Técnica C1: Entrenamiento en servicio a las JU C2: AT en la tecnificación de riego Componente “D”: Apoyo a la gestión de los recursos hídricos D1: Formalización de derechos de agua D2: Implementación del sistema de registro de derechos de agua D3: Apoyo implementación de estrategia de RRHH

Esquema General de Evaluación Tres elementos básicos del ML que orientan el esquema de evaluación de impactos: Dos unidades de intervención (JU y regantes) El objetivo general del proyecto es la mejora de los ingresos de los agricultores de la costa beneficiados Concentrar el esfuerzo en la evaluación de impactos productivos y de manejo de agua y suelos. Adicionalmente, se desarrolló un esquema específico para la evaluación y seguimiento de cambios en el uso de pesticidas por parte de agricultores beneficiarios del Componente “B”

II. METODOLOGÍA DE LÍNEA DE BASE DEL PROYECTO Enfoque conceptual Identificación de indicadores Instrumentos de la ELB Diseño Muestral para la ELB El trabajo de campo

Enfoque Conceptual El impacto neto del proyecto, debe considerar que existe un impacto “no atribuible” al mismo medido como el cambio en la variable de análisis en el grupo de control. Esta variación debe ser sustraída del impacto observado en el grupo intervenido:

Enfoque Conceptual La medición del impacto de un proyecto implica la determinación del valor inicial de los indicadores , tanto para el grupo intervenido como para el grupo de control. Este valor inicial deberá ser contrastado con el valor de la variable al término del proyecto para ambos grupos. El presente estudio corresponde al diseño e implementación de un Estudio de Línea de Base (ELB), el cual identifica el valor inicial de los indicadores de impacto en el momento previo a la intervención. Además se propone un sistema de seguimiento y evaluación de impactos del proyecto. Un ELB normalmente requiere de la ejecución de una encuesta aplicada a una muestra representativa del universo de beneficiarios directos del proyecto, así como una muestra representativa del grupo de control.

Indicadores Indicadores de Impacto

Indicadores Variables de Control

Instrumentos de la Línea de Base Se definieron los siguientes instrumentos básicos para el Estudio de Línea de Base: Encuesta a productores agropecuarios Encuesta de Juntas de Usuarios Una vez que se diseñaron los instrumentos en función de los objetivos del proyecto, se realizó una validación en campo de cada uno de ellos para: Realizar los ajustes necesarios Validar la información para el desarrollo de instrumentos complementarios Determinar los factores logísticos que pudieran afectar el trabajo de campo.

Diseño Muestral Objetivo del diseño muestral Población Objetivo Generar muestras representativas bajo error controlado para el grupo de intervención y de control, teniendo en cuanta los componentes de la intervención de la segunda fase del PSI, y otros criterios de estratificación Población Objetivo Productores agropecuarios de valles de la Costa donde se hará intervención en los Componentes A y B (C y D son de carácter universal) Población que no será intervenida en el proyecto con A ni B (Grupo Control) Productores con parcelas menores de 10ha Fuentes de información Padrón de usuarios y predios proporcionados por el PSI (SIRIG) Padrón de usuarios registrados como Grupos de Gestión Empresarial Relación de proyectos seleccionados para ejecución dentro del componente “A”.

Problemas de calidad de las fuentes de información No fue posible identificar los registros de los GGE con el padrón de usuarios. De los 1327 usuarios registrados (1257 únicos), solamente 333 coinciden por nombre o DNI con padrón de JUs. Se dispuso de información sobre 26 obras (14 JU). De ellas solamente en 8 JU se tiene el listado de obras completas, para las restantes información es parcial. Existen duplicados tanto en los registros de GGE y en los padrones de usuarios. Definiciones operativas Son beneficiarios potenciales de obras del componente A aquellos predios (y sus respectivos productores) que se encuentran dentro de la comisión de regantes atendida por el tramo u obra de infraestructura que será objeto de la intervención del componente A. Son beneficiarios potenciales del componente B aquellos productores que forman parte a la fecha (listado 12/2005) de Grupos de Gestión Empresarial.

Diseño Muestral Diseño bietápico: Selección de Juntas de Usuarios, luego de productores Estratificación según situación de beneficiarios potenciales por componente: solamente para componentes A y B Selección aleatoria para la primera etapa y sistemático (por tamaño) de arranque aleatorio para la segunda etapa Definición de la muestra como panel de predios.

Primera Etapa Estratificación: Clasificación de JU por zona geográfica y según sean intervenidas por los componentes “A” y/o “B”, o no. Se incluyen forzosamente en la muestra de JU a todas aquellas que tienen información de cobertura del componente “A” Se completa en la medida de lo posible los tamaños de muestra deseados con JU seleccionadas aleatoriamente para cada estrato en el caso de las JU no intervenidas. Se seleccionaron finalmente 20 JU; 9 en el Norte, 6 en el Centro y 5 en el Sur. Para efectos estadísticos, la primera etapa tendría los siguientes estratos: JU intervenidas y con información de cobertura del Componente “A” JU NO intervenidas en el Norte JU NO intervenidas en el Centro JU NO intervenidas en el Sur

Segunda Etapa Se filtran y dejan de lado las parcelas de más de 10ha Se clasifican a las JU en tres categorías usando la definición de beneficiarios potenciales por Comisión de Regantes: JU beneficiarias totalmente del Componente “A” – Tipo1 JU parcialmente beneficiarias del Componente “A” – Tipo2 JU NO intervenidas por el Componente “A” – Tipo3 Estratificación: Por Tamaño de la parcela en cuartiles de áreas (JU Tipo1 y Tipo3) Por Intervención, según sean beneficiarias del Componente “A”: parcela que pertenece a la CR intervenida y Por tamaño, según la mediana de áreas (JU Tipo2) Al interior de cada estrato se realiza una selección sistemática de arranque aleatorio, previo ordenamiento por Comisión de Regantes y Tamaño, para asegurar representatividad espacial. Los beneficiarios del Componente “B” constituyen un estrato aparte, denominado “Estrato Censal”.

Muestra final El trabajo de campo buscó aplicar la encuesta a 2,119 productores, divididos en: 1632 muestras en los estratos aleatorios 487 muestras en el estrato censal En esta muestra se esperaba obtener entonces: 646 muestras de beneficiarios potenciales del componente A 487 muestras de beneficiarios potenciales del componente B 487 muestras de control en JU parcialmente beneficiarias del componente A 499 muestras de control en JU de control

Trabajo de Campo Encuesta a Productores Selección de recursos humanos para la ejecución de la encuesta a través de convocatorias en la Bolsa de Empleo del MTPE y de encuestadores de GRADE Perfil de encuestadores con experiencia en trabajo de campo como encuestadores y de preferencia con carreras afines a la agricultura, economía y ciencias sociales. Establecimiento de un plan de capacitación intensivo de aproximadamente 3 días Supervisión técnica y administrativa en campo del personal. Tasa de respuesta de 90% para el grupo aleatorio, debiendo efectuar 491 reemplazos debido a dificultades para ubicar en campo a los productores => no afectó el diseño muestral Tasa de respuesta de 75% para el grupo censal, debido principalmente a duplicidad de inscritos (varios miembros de un hogar inscritos como independientes) y algunos rechazos.

GRUPO ALEATORIO

GRUPO CENSAL

Encuesta a JU Pese a los ajustes derivados de la prueba piloto, se mantuvieron algunas dificultades para la completa implementación de la encuesta, debido principalmente a que la información que manejan las JU no se encuentra debidamente sistematizada y organizada y a la falta de tiempo del personal administrativo y/o técnico para brindar la información. Se logró cumplir con los objetivos de recojo en un 80% aproximadamente teniendo información completa de 10 JU, parcial de 6 JU y no se pudo obtener información de 4 JU. Falta organizar y sistematizar la información que manejan las JU En muchos casos la información no se maneja adecuadamente Cambios en el personal afectan el manejo de la información

III. RESULTADOS DE LA ENCUESTA DE LÍNEA DE BASE Cobertura de la ELB a productores Resultados generales de la ELB Resultados por zonas y grupos de intervención Variables de Control

Cobertura Encuesta a Productores Se encuestaron 1,830 productores que representan un total de 251,861 productores.

Cobertura Encuesta JU

Resultados Generales de la ELB

Ingreso Agropecuario Neto Sumatoria de los ingresos por venta de todos los productos y sub-productos agropecuarios comercializados por el productor durante el 2005, menos los costos directos de producción asociados a dicha producción en dicho período de referencia

Valor Bruto de la producción agropecuaria por hectárea Valor de la producción agropecuaria (incluyendo productos y sub-productos) valorizada a precios declarados y dividida entre el total de hectáreas asociadas a dicha producción.

Valor de la Producción Agropecuaria por volumen de agua entregado Ratio del Valor Bruto de la Producción agropecuaria expandido para cada JU entre el Volumen de Agua estimado entregado a dicha JU a los productores de menos de 10ha. El volumen de agua se obtiene a partir de los registros administrativos de las JU o de la información del PSI

Valor de la Producción Agropecuaria por inversión del proyecto Ratio del Valor Bruto de la Producción agropecuaria expandido para cada CR beneficiaria del componente “A” entre el monto a invertir en dichas obras Solo aplicable al grupo intervenido

Productividad de principales cultivos Cantidad producida por un producto específico entre el área usada para dicha producción en el período de referencia.

Productividad de principales cultivos

Intensidad de Uso de la Tierra Capacidad de uso de la tierra para generar producción en el período de referencia de un año. Resulta de estimar la superficie acumulada anual cultivada entre el máximo de la superficie activa con cultivos en el mismo período.

Relación entre gastos de O&M actuales respecto a los necesarios Nivel actual de gastos de O&M que se estima realizó cada JU durante el 2005 en relación al estándar internacional de US$ 75xha para valles con infraestructura de regulación y US$ 34xha para valles sin esta infraestructura

Disponibilidad de agua de riego registrada Volumen de agua disponible para riego para el 2005 calculado en base a la estimación de los Volúmenes de Agua disponibles para los regantes durante el 2005 de acuerdo a declaraciones de JU y/o registros administrativos del PSI

Porcentaje exportable en la cédula de cultivos Proporción de cultivos de alto valor destinados a la exportación dentro de la cédula de cultivos en relación a la superficie cultivada

Porcentaje de hectáreas con sistemas de Riego Tecnificado Proporción del área con instalaciones de Riego Tecnificado o mejorado (presurizado o tecnificado por gravedad) en relación a la superficie agrícola

Porcentaje de productores que acceden a líneas de crédito Proporción de agricultores que declararon haber recibido crédito en los 3 años previos a la realización del estudio.

Variables de Control

IV. ESTUDIOS DE CASO SOBRE USO DE PESTICIDAS

Objetivo e Hipótesis Objetivo: Analizar los probables cambios inducidos y el posible impacto generado por la implementación de sistemas de riego tecnificado sobre el uso y manejo de pesticidas a nivel de parcela. Hipótesis: La adopción de sistemas de riego tecnificado contribuye a una mayor incidencia de prácticas agronómicas de alta tecnología que conllevan, a su vez, un uso más intensivo de pesticidas y agroquímicos a nivel de parcela.

Metodología Instrumento: Guía de entrevistas semi-estructuradas Unidad de análisis: Agricultor individual (22 casos) Valles seleccionados: Chao, La Leche, Ica Tipos de agricultores: Agricultores que cuentan con riego presurizado Agricultores que cuentan con riego tecnificado por gravedad Agricultores sin riego tecnificado potenciales beneficiarios del componente de riego tecnificado del PSI II Agricultores sin riego tecnificado que no son potenciales beneficiarios del componente de riego tecnificado del PSI II

Principales cultivos por valle Resultados Principales cultivos por valle Valle Nº Agricultores Cultivos Parcelas La Leche Chao Ica 9 7 6 Ají páprika, Pimiento piquillo, Mango, Maracuyá, Frejol zarandaja, Maíz, Frejol caupí y Algodón. Ají páprika, Espárrago, Ají escabeche, Maíz y Palto Ají páprika, Espárrago, Vid, Pecano, Papa y Algodón 15 12 10 Total 22 37

Análisis de Resultados Nivel educativo

Distribución de parcelas Análisis de Resultados Distribución de parcelas

Uso de pesticidas: Páprika Análisis de Resultados Uso de pesticidas: Páprika

Uso de pesticidas: Espárrago Análisis de Resultados Uso de pesticidas: Espárrago

Uso de pesticidas: Maíz Análisis de Resultados Uso de pesticidas: Maíz

Nivel de aplicaciones y asistencia técnica recibida Análisis de Resultados Nivel de aplicaciones y asistencia técnica recibida

Prácticas agronómicas MIP Análisis de Resultados Prácticas agronómicas MIP

Buenas prácticas de manejo de agroquímicos Análisis de Resultados Buenas prácticas de manejo de agroquímicos

Análisis de Resultados Cambios observados y esperados en el manejo del cultivo generados por el riego tecnificado

Análisis de Resultados Cambios observados y esperados en el manejo de pesticidas generados por el riego tecnificado

Conclusiones de Estudios de Caso Los cultivos destinados al mercado externo (e.g. páprika y espárrago) involucran mayor inversión de instalación y manejo de cultivo y tienden a un uso más intensivo de pesticidas. No se ha verificado una relación directa entre riego tecnificado y cambio de la cédula de cultivo hacia cultivos de exportación de mayor valor económico y mayor demanda de pesticidas. Existen otros factores más determinantes del cambio, entre ellos el acceso a financiamiento. No se ha verificado que la adopción de riego tecnificado determine un mayor uso de pesticidas. Factores de mayor relevancia para el mayor o menor uso de pesticidas son: el tipo de cultivo, el nivel educativo del agricultor, el tipo de asistencia técnica recibida, el acceso a información y capacitación, y los sistemas de regulación de manejo de pesticidas. Por el contrario, el riego tecnificado podría influenciar un menor uso de pesticidas al contribuir a un uso más eficiente del agua y de los fertilizantes.

Conclusiones de Estudios de Caso La producción de cultivos para el mercado externo está generalmente asociada a prácticas y condiciones favorables a un uso más racional o sostenible de pesticidas (e.g. producción bajo contrato, empleo de listados de pesticidas permitidos, control ex-post). Sin embargo, no asegura la eliminación o reducción del uso de pesticidas considerados como muy tóxicos o extremadamente tóxicos. Las parcelas con riego tecnificado están asociadas al empleo de un mayor número de prácticas de manejo integrado de plagas (MIP) y de buenas prácticas agrícolas de manejo de agroquímicos, lo cual estaría explicado por el mayor nivel educativo de los agricultores y el empleo de cultivos de exportación con mecanismos de control. La percepción común es que los sistemas de riego tecnificado contribuyen a una menor incidencia de plagas y enfermedades, y por lo tanto a un menor uso de pesticidas en parcela. Los agricultores que no cuentan con sistemas de riego tecnificado tienden a mostrar una expectativa sobrevaluada de las ventajas y beneficios de dicho sistema de riego.

Conclusiones de Estudios de Caso El efecto de la adopción de sistemas de riego tecnificado sobre el manejo de pesticidas está supeditado a los siguientes factores: a) la decisión de cambio de la cédula de cultivo (a cultivos de exportación); b) el nivel de preparación y capacitación del productor; c) el tipo de la asistencia técnica recibida para el manejo agronómico del cultivo; y d) la calidad del funcionamiento y manejo del sistema de riego tecnificado. Indicadores de efectos propuestos: Número de aplicaciones de pesticidas alta y/o extremadamente peligrosos Porcentaje de aplicaciones de pesticidas alta y/o extremadamente tóxicos. Número de prácticas de manejo integrado de plagas Número de buenas prácticas de manejo de agroquímicos

V. PROPUESTA DE SISTEMA DE SEGUIMIENTO, EVALUACION y APRENDIZAJE DEL PROYECTO

Objetivos del SSEA Darle seguimiento a indicadores críticos para el desempeño del proyecto identificando eventos críticos e indicadores de riesgo que permitan generar alertas tempranas para hacer ajustes y modificaciones que mejoren el desempeño del proyecto; Medir indicadores de impacto económico, social y ambiental del proyecto en el tiempo con respecto a la situación “sin proyecto”, de tal forma que éste sea un proyecto “evaluable” objetivamente en términos de impactos con respecto a grupos de control o testigos; Generar un esquema integral de evaluación y aprendizaje sobre los factores que afectan la intervención, especialmente sobre los factores causales que expliquen diferencias en resultados, tanto a nivel relativo o interno (entre espacios o agricultores intervenidos) como absoluto o externo (entre el proyecto y grupos de control o testigos).

Componentes del SSEA

Seguimiento a Obras, JUs, Grupos de gestión para Concursos, Evaluación Intermedia del Proyecto; Estudios en Profundidad; Evaluación Final del Proyecto; III Fase del Proyecto

Indicadores de seguimiento

Instrumentos para seguimiento Encuesta Anual de Productores del Sistema de Evaluación de periodicidad anual (Ver Anexo 5.1.), orientada a tomar información productiva y sobre los niveles de satisfacción de las Juntas de Usuarios y de los regantes con respecto a los servicios generados por el proyecto. Esta encuesta deberá ser aplicada por la propia unidad central de monitoreo y evaluación del PSI en la medida que se requieren evaluar elementos que son materia de la intervención de las oficinas zonales, asi como la propia satisfacción de los agricultores con respecto al trabajo del conjunto de la institución. Otro instrumento básico para la recolección de indicadores de este sub-sistema son reportes trimestrales, semestrales y anuales estandarizados diligenciados por las Oficinas Regionales del PSI que deben ser procesados por la unidad encargada del SSEA (ver Anexo N° 5.2). La unidad responsable del SSEA deberá validar estos formatos y capacitar el personal de las Oficinas Regionales para su correcto llenado y envío periódico al SSEA.

Instrumentos para Medición de Impactos Encuesta de Línea de Base (ELB) Encuesta de Evaluación Final (EEF) Seguimiento de parcelas sobre Uso de Pesticidas (SPUP)

Evaluación y Aprendizaje El sub-sistema de evaluación y aprendizaje se centra en el desempeño relativo y absoluto de la intervención. En este caso, planteamos que el esquema de evaluación y aprendizaje esté orientado a dos funciones: (i) evaluar el comportamiento diferenciado de la intervención y proponer ajustes; (ii) entender los factores explicativos de porqué hay resultados diferenciados en términos relativos y globales. Los instrumentos centrales para generar este proceso de evaluación y aprendizaje son (i) evaluación intermedia; (ii) diversos estudios específicos sobre temas críticos del proyecto. Este sub-sistema, además, deberá nutrirse de información y otros estudios complementarios, que permitan completar el conjunto de factores explicativos respecto al desempeño diferenciado y absoluto de la intervención.

V. RECOMENDACIONES

Recomendaciones Es altamente recomendable que el PSI mejore sustancialmente la calidad de la información sobre las JUs y los regantes, en la medida que sobre ella se construyen los instrumentos de seguimiento y evaluación. La encuesta de línea de base es solo la primera piedra en el sistema de evaluación. Se recomienda que la encuesta de evaluación final también sea realizado por un consultor externo al PSI, que es la práctica estándar para darle confiabilidad a los resultados. De otro lado, el esquema de seguimiento y aprendizajes puede ser manejado por el equipo técnico especializado del PS. Es preciso validar los instrumentos propuestos para el esquema de seguimiento. Estos instrumentos han sido diseñados de acuerdo a los criterios de la sección 5, pero no han pasado aún por un proceso de validación. La consultoría ha validado importantes instrumentos de la ELB, en especial la encuesta a productores, a JUs y las fichas de seguimiento de uso de pesticidas. Es altamente recomendable que estos instrumentos sean nuevamente utilizados en sucesivas evaluaciones, especialmente la encuesta de productores que debe aplicarse al final del proyecto.

Recomendaciones Es importante que los potenciales grupos de intervención definidos para esta línea de base se acerquen lo más posible a los reales intervenidos en el proyecto. Esto asegurará que la evaluación sea rigurosa. Al analizar los impactos de la intervención del proyecto debe aprovecharse la información proveniente de las variables de control. Estas variables permiten hacer un análisis de impactos condicionados, y evitar sesgos en la atribución de impactos o falta de ellos debido a variables exógenas a la intervención. Es importante que el diseño propuesto por esta consultoría para el esquema de evaluación, seguimiento y aprendizaje sea compartido con los funcionarios responsables del proyecto tanto a nivel sectorial como en el sistema nacional de inversión pública. Es importante que en los próximos años se asignen recursos para la adecuada implementación del sistema propuesto, y que se planifiquen las acciones y aplicación de instrumentos de acuerdo a lo sustentado en este informe.

Recomendaciones sobre el SSEA El SSEA estaría a cargo del coordinador de la Unidad de Monitoreo y Evaluación del PSI. El SSEA deberá contar con una contraparte en cada uno los equipos que ejecutan los componentes, como con las Oficinas Regionales del PSI. Estas contrapartes serán responsables de remitir los informes y datos requeridos por el sub-sistema de indicadores críticos en los reportes periódicos correspondientes. Se recomienda que el responsable del SSEA tenga como asistente a un experto en sistemas e informática que diseñe e implemente el soporte informático para el sub-sistema 1 del proyecto, así como maneje y alimente las bases de datos correspondientes.