Nuestra experiencia en el monitoreo y evaluación en prevención de drogas.

Unidad de Prevención, Tratamiento y Rehabillitación UNDOC Giovanna Campello Unidad de Prevención, Tratamiento y Rehabillitación UNDOC VII Reunión del Grupo de Expertos de la CICAD en Reducción de la Demanda, 13 – 15 de septiembre de 2005 Ottawa, Canada

UNODC ha llevado a cabo dos tipos de trabajo con respecto al monitoreo y evaluación (“m & e”) en prevención de abuso de drogas: 1 -- Aproximaciones al progreso de los Estados Miembro (“EM”) de llegar a los compromisos que asumieron en la Delcaración Política de 1998 (incluyendo prevención de abuso de drogas, tratamiento y rehabilitación) 2 -- Identificacón y diseminación de las mejores prácticas en monitoreo y evaluación de las actividades de prevención de abuso de drogas que han sido implemtadas por organizaciones basadas en la comunidad y la juventud.

1 – Aproximaciones a los programas y actividades en prevención de abuso de drogas de los Estados miembro.

Con respecto a la prevención el cuestionario pregunta: Los Estados mimebro de las Naciones Unidas reportan sus actividades en Prevención a través de cuestionarios (BRQs) Con respecto a la prevención el cuestionario pregunta: El EM ha implementado actividades de prevención en diferentes escenarios (si/no) Si la respuesta es si, la cobertura ha sido baja/media/alta. Las actividades han sido sensitivas en terminos de género (si/no) Han sido evaluadas (si/no)

Limitaciones de los Cuestionarios Provee la percepción del Estado miembro Provee información limitada Solo en implementación, no en impacto (el cuestonario solo pregunta si las activdades han sido evaluadas o no, no pregunta sobre los resultados de la evaluación) Tipo de respuestas Si/NO - bajo/medio/alto

Todavía alguna indicación útil, por ejemplo, sobre evaluación en prevención % de EM que reportan que sus actividades en Prevención han sido evaluadas

Cuestionario a ser revisado en Octubre/Noviembre de 2005 en Vienna Cómo se relaciona el cuestionario de UNODC con otros instrumentos regionales que existen para medir hasta donde llegan las actividades en Prevención? Cuestionario a ser revisado en Octubre/Noviembre de 2005 en Vienna Representacón de CICAD, EMCDDA Ver como se puede coninuar con el trabajo de monitoreo después del 2005.

2 – Monitoreo y evaluación de Programas e organizaciones basadas en la juventud y la comunidad.

Cómo identificamos las mejores practicas Revisión de literatura (académica) que idenifica principios y cuestiones Los principios/cuestiones son discutidos y enriquecidos en reuniones con quienes trabajan en prevención y con jóvenes de todas las regiones. Los resultados también se circulan y son discutidos con puntos focales en agencias nacionales e interncionales. Proxima publicación: MONITOREO Y EVALUACIÓN! Proxima pieza de trabajo: Prevención de Estimulantes de tipo amfetamínico

Nuestras publicaciones Todas disponibles en nuestra página WEB! www.unodc.org/youthnet

Definiciones de Monitoreo y Evaluación  Nota: estas son definiciones que encontramos útiles; estamos concientes de la existencia de areas grises y que hay terminología que tiene uso diferente. El Monitoreo se trata de la implementación de actividades. Se hace durante la implmentación y alimenta el proceso. La Evaluación se trata del impacto de las actividades. Se lleva a cabo depués de la implementación y aproxima cambios en la situación del grupo objetivo, incluyendo y no limitando lo que ya se ha hecho (implementación)

Que (debe ser evaluado)? Prevención del uso?  Aproximar el impacto en términos de prevención de abuso de drogas puede ser contraproducente Las activdades de la mayoría de las organizaciones están muy limitadas al numero de factores protectores y de riesgo al que se dirige, cubrimiento, intensidad y duración. Para que sea válido, el tipo de analisis estadístico requerido es complejo y/o requiere muestras muy amplias. Cambio en los factores protectores?  Aproxima el impacto en terminos de si los factores protectores y de riesgo han cambiado (en la base de la evidencia de su relación con la prevención de abuso de drogas)

Ejemplo de un pequeño grupo de jóvenes con una meta (largo plazo) de disminuir el numero de jovenes que empiezan usar drogas dentro de su comunidad. FACTOR DE RIESGO IDENTIFICADO 1 –Pobre comunicación entre padres y jóvenes OBJETIVO (INMEDIATO) 1 – Para el final de nuestro proyecto, la comunicacón entre padres y jóvenes de la comunidad habrá mejorado. INDICADORES DE LOGRO DEL OBJETIVO 1 – Numero de comidas que las familias toman juntas ha aumentado – jóvenes reportan mejor comunicación con sus padres, incluyendo temas de abuso de drogas. ACTIVDADES PLANEADAS CON EL FIN DE LOGRAR EL OBJETIVO 1 – Sesiones de habilidades de crianza después del colegio una vez a la semana por dos meses. -- Comidas familiares gratis una vez a la semana – Picnics familiares una vez al mes.

Ejemplo (continuación) FACTOR DE RIESGO IDENTIFICADO 2 – Los jóvenes tienen mucho tiempo sus manos pero no mucho que hacer con el. OBJETIVO (INMEDIATO) 2– Para el final de nuestro proyecto, los jóvenes de la comunidad están mas envueltos en actvidades construcitvas durante su tiempo libre. INDICADORES DE LOGRO DE OBJETIVO 2– Número de jóvenes envueltos en una acitvidad constructiva al menos dos veces a la semana en sus ratos libres. -- Numero de jóvenes pasando rato en la calle haciendo nada ha disminuido. ACTIVDADES PLANEADAS CON EL FIN DE LOGRAR EL OBJETIVO 2 – Organizar entrenamientos deportivos incluyendo el componente de Promoción de la salud y paticipación en competencias – asistir a los jóvenes en la organizaión y/o encuentro de actividades que incluyan el componente de Promoción de la salud.

Cómo? Algunos principios básicos (Al menos) recolectar información de base y en el tiempo para ver como va cambiando la situación. Usar una variedad de métodos para recolectar información y validarla (triangulación) Para evaluar se necesita un buen monitoreo. Como puede decir que lo que se ha hecho es efectivo, si no sabe lo que se hizo en primer lugar?

Cómo? Los métodos Encuestas (autoaplicadas) a través de cuestionarios. No es fácil! Especialmente tener la muestra correcta y crear un cuestionario simple pero efectivo. Trabajo intensivo! Probrar los cuestionarios, asegurar anonimato y confidencialidad, análisis de las respuestas. Provee números que a la gente (y a los donantes) les gustan!

Cómo? Los métodos Entrevistas con informantes claves Proveen una serie de puntos de vista específicos Puede dar intrspección útil si se hace una triangulación rigurosa. Discusiones de grupos (incuyndo grupos focales, tecnicas visuales, p. ej. Mapeo, juegos de rol, técnicas basadas en el drama) Provee rapidamente el punto de vista de un grupo de gente similar. La extrapolación no es facil pero sigue siendo MUY util para introspección. Necesidad de facilitación con experiencia y un ambiente que genere confianza (p. ej. No un lugar en donde los adultos puedan oir lo que los jovenes dicen)

Quién (debe estar involucrado)? Staff, (jovenes) voluntarios y particantes jóvenes Para maximizar la relevancia de la evaluación a la organizacón ellos deben y pueden estar envueltos en la planeación, asumiedo el análisis y reportando. De todas amneras necesitarán apoyo y/o capacitación. Actores de la comunidad relevantes (administradores de las escuelas y en la comunidad, trabajadores soiales y de la salud, líderes religiosos, donantes etc..) No todo el mundo tiene que estar envuelto en todo pero si tienen que estar informados en puntos cruciales para que puedan facilitar y asumir la evaluación (permiso para acceder a información/jóvenes/actores de la comunidad; asesoría estadística, etc..) Evaluador Externo Los evaluadores dan la credibilidad a los resultados, pero son costosos y necesitan seguimiento. Contratar un evaluador puede ser una decision de inversión de parte de la organización que quiere asumir una evaluación mas compleja (mas por abogacía que por aprendizaje)

Su decisión dependerá de como está evaluando! Su donante le dijo? Muchas decisiones ya han sido tomadas por usted Para mejorar su programa? Una reflexion de la una organziacion abierta, en donde se hayan implementado, la retroalimentación de los participantes y algunos impactos en términos de factores de riesgo y factores protectores puede ser muy útil. Para abogar con los donantes y la comunidad? Resultados de la autoevaluación (ver arriba) incluyen datos simples, algunas entrevistas y discusiones de grupos focales pueden ir mas lejos de lo que piensa! Para demostrar que su programa tiene efectos en la prevención del uso y abuso de drogas? Su programa puede estar andando desde hace tiempo, con la cobertura e intensidad que usted puede creer: sí, este es el momento de invertir tiempo y recursos para demostrar que estamos previniendo el uso y abuso de drogas! Va a necesitar un evaluador externo y posiblemente un grupo focal.