Evaluación de Programas/Iniciativas en Salud Mental/Adicciones.

Presentación del tema: "Evaluación de Programas/Iniciativas en Salud Mental/Adicciones."— Transcripción de la presentación:

1 Evaluación de Programas/Iniciativas en Salud Mental/Adicciones.
Dr. Jaime C. Sapag Special Advisor/Project Coordinator CAMH’s Office of International Health NOTE FOR USAGE: • Title Slide - Use caps for “title” (presentation name). “Subtitle” could be your Dept. name. • Do not change to show header/footer info on title slide. Curso sobre Salud Mental y Adicciones en Atención Primaria Chile– Perú (Enero-Abril, 2011) Semana Presencial, de Enero de 2011.

2 Cronograma Necesidad de Evaluación y Definiciones.
Niveles y Tipos de Evaluación. La Matriz de Evaluación. Algunas Consideraciones Técnicas y Metodológicas en Evaluación. Recolección de Datos. Gestión y Logística en Proyectos de Evaluación. Gestión del Conocimiento en Evaluación.

3 1. Necesidad de Evaluación y Definiciones.

4 Salud Mental/Adicciones: La Necesidad de Evaluar.
Problemas de salud mental/adicciones representan un desafío central para la Salud y para los Servicios de Salud en el mundo, así como en Chile y Perú. Se asocian a índices de mortalidad/morbilidad y de discapacidad y afectan la calidad de vida. Problema en individuos, familias y comunidades. Ustedes trabajan directamente con usuarios que necesitan ayuda en lo relativo a salud mental/adicciones. Se requiere evaluar iniciativas orientadas a prevenir, promocionar la salud, detectar, tratar y rehabilitar personas que enfrentan problemas de salud mental/adicciones.

5 La Evaluación de Servicios y Sistemas de Salud Mental y Adicciones
¿Por qué necesitamos evaluar lo que hacemos? ¿Qué desafíos y temores tenemos? ¿Qué nos puede ayudar a enfrentar/superar esos desafíos?

6 ¿Qué Dicen los Poetas? PAUSA De vez en cuando hay que hacer una pausa contemplarse a sí mismo sin la fruición cotidiana examinar el pasado rubro por rubro etapa por etapa baldosa por baldosa y no llorarse las mentiras sino cantarse las verdades. Mario Benedetti

7 OPS: Estrategia y Plan de Acción Sobre Salud Mental en la Región
Área estratégica No. 1: Formulación y ejecución de políticas, planes y leyes nacionales de salud mental Área estratégica No. 2: Promoción de la salud mental y prevención de los trastornos psíquicos, haciendo hincapié en el desarrollo psicosocial de la niñez Área estratégica No. 3: Prestación de servicios de salud mental centrados en la atención primaria de salud. Definición de condiciones prioritarias y ejecución de las intervenciones Área estratégica No. 4: Fortalecimiento de los recursos humanos Área estratégica No. 5: Fortalecimiento de la capacidad para producir, evaluar y utilizar la información sobre salud mental

8 ¿Qué Entendemos por Evaluación?

9 ¿Qué les parece este bus?

10 ¿Qué les parece este camión?

11 1 2 3 4 ¿Cuál es el mejor bolso?

12 ¿Qué Entendemos por Evaluación?
La evaluación consiste en la recogida sistemática de retroalimentación acerca de un programa o intervención. La retroalimentación se utiliza en la toma de decisiones. Proporcionar información de la cual se deriven criterios útiles para la toma de decisiones en relación con la administración y desarrollo del programa, proyecto o estrategia a evaluar.

13 ¿Por Qué y Para Qué Evaluar?
Las razones varían, dependiendo de los grupos dentro del contexto ¿Quién está interesado/a en la evaluación? ¿Agencias sostenedoras: (estado/fundación privada)? ¿Directores o administradores de programas – proyectos de programas? ¿Profesionales de un programa? ¿Consultores de programas (académicos/profesionales)? ¿Científicos/académicos/investigadores? ¿Público/opinión pública?

14 La retroalimentación puede ser sobre muchas cosas
Necesidades comunitarias en relación a los objetivos y prioridades del programa Naturaleza y calidad respecto a la implementación u operación del programa Cómo los/as participantes se sienten con el programa El impacto - los resultados alcanzados El costo del programa Los resultados en relación a los costos del programa

15 Potenciales Barreras para Evaluación
Falta de interés entre los co-trabajadores u otras personas clave; no suficiente prioridad para evaluación Preocupación acerca de la exactitud del proceso de evaluación, la gente puede preferir no ser honesta (para evitar que se conozcan los problemas) Falta de claridad respecto a qué tipo de evaluación (expectativas no concordantes) Necesidad de habilidades de evaluación; parece complicado – no se sabe por dónde empezar Miedo a la evaluación (preocupación por malas noticias; preocupación por ser personalmente evaluado) Falta de tiempo y de recursos

16 2. Niveles y Tipos de Evaluación.

17 ¿Qué se Evalúa? Niveles de Evaluación.
Caso único: se focaliza en un caso individual en la práctica clínica, para generar un feedback continuo que permite correcciones respecto al tratamiento inicialmente diseñado. Actividad: evaluación de un tratamiento o técnica específicos (p.ej., determinado fármaco, prevención de recaídas, etc.). Programa: evaluamos el tratamiento ofertado por un servicio o programa específico (p. ej., Plan Primera Respuesta, Plan Ambulatorio, Residencial, programa depresión APS. etc.). Servicio: constituye la evaluación de todos aquellos servicios prestados por una mismo Servicio de salud. Sistema: se trata del nivel más complejo y con mayor trascendencia socio- política.

18 ¿Evaluación Interna o Externa?
Planificada y ejecutada por miembros del equipo de trabajo ¿Externa? Ejecutada por personas que no han participado en el programa

19 Principales Tipos de Evaluación
Necesidades: previa a la planificación e implementación del programa de tratamiento. ¿Qué necesidades existen en la comunidad, relacionadas con el problema?. Proceso: ¿cómo está desarrollándose el programa de tratamiento?. ¿Hasta qué punto está realizándose según se planificó?. Resultados: ¿cómo han cambiado los pacientes y en qué medida son atribuibles estos cambios al tratamiento?. Satisfacción: ¿cuál es la visión del tratamiento, por parte del paciente?. Costos: ¿cuál es el costo de cada componente del tratamiento?. ¿Y el total?. Económica: ¿el tratamiento es más eficiente que otras opciones? Las tres primeras constituirían el eje básico de la evaluación, siguiendo la secuencia lógica: definición del problema -> intervención -> resultados. Las dos últimas (satisfacción y costes) adquieren especial relevancia tanto en la esfera privada (competitividad) como en la pública (justificación de las actuaciones y competencia presupuestaria). Marsden et al., 2000

20 evaluación de resultados
Justificación – Eficacia – Eficiencia – Efectividad – Destinatarios Evaluación ex ante o de diseño Evaluación de término medio o de proceso Evolución ex post evaluación económica evaluación de resultados satisfacción usuaria evaluación de proceso evaluación de necesidades Estableciendo una Cultura Saludable de Evaluación Interna

21 Relación entre Planificación y Evaluación
Necesidades identificadas/ priorizadas Metas y objetivos establecidos Re-diseño/ mejoría Diseño de programa/sistema Evaluación Implementación

22 El Seguimiento/Monitoreo vs. la Evaluación
Ambos sirven para medir resultados/procesos, pero… El seguimiento/monitoreo: Enfoque en la ejecución del proyecto y la probabilidad de éxito en lograr los objetivos Típicamente manejado internamente La evaluación: Proporciona información más detallada sobre los temas visto antes (justificación/pertinencia, eficiencia, eficacia, destinatarios, impacto) Manejada interna o externamente Las tres primeras constituirían el eje básico de la evaluación, siguiendo la secuencia lógica: definición del problema -> intervención -> resultados. Las dos últimas (satisfacción y costes) adquieren especial relevancia tanto en la esfera privada (competitividad) como en la pública (justificación de las actuaciones y competencia presupuestaria). 22

23 Calidad en la Evaluación
Utilidad – debe servir los requerimientos de los destinatarios Viabilidad / Factibilidad – en cuanto a tiempo y recursos disponibles Ética – que la evaluación siga los marcos legales/éticos, que tome en cuenta el bienestar de los involucrados Fidelidad – selección de indicadores, métodos de análisis apropiados, interpretación de resultados, recomendaciones Las tres primeras constituirían el eje básico de la evaluación, siguiendo la secuencia lógica: definición del problema -> intervención -> resultados. Las dos últimas (satisfacción y costes) adquieren especial relevancia tanto en la esfera privada (competitividad) como en la pública (justificación de las actuaciones y competencia presupuestaria). 23

24 Teoría y marcos de evaluación: una perspectiva histórica.
Diferentes, pero no mutuamente excluyentes etapas (Shadush, 1991): 1. “Métodos de investigación tradicionales" ( ): promueve formas muy precisas para definir, implementar y evaluar las intervenciones, y está representado por evaluadores como Scriven (1991) y Campbell (1969). 2. “Modelos alternativos de evaluación” ( ), que básicamente aboga por la integración de métodos cualitativos y el uso de resultados de la evaluación de la acción y el cambio social. 3. Enfoque de integración (1985 hasta ahora) de las teorías anteriores y la adición de nuevas perspectivas, como los del pensamiento sistémico ( (Jackson, 2003; Williams & Imán, 2007).

25 Algunos Modelos Teórico-Conceptuales de Evaluación
La evaluación clásica La evaluación basada en asociados (o partes interesadas La evaluación participativa La evaluación naturalística 25 25

26 En la práctica… Típicamente se decide en un modelo para guiar la evaluación, adaptando conceptos y metodologías de los otros modelos Importancia de incorporar marco teórico pertinente 26

27 Aday et al. Marco para Aplicar Investigacion de Servicios de Salud en
la Evaluación de Políticas de Salud.

28 Broemeling et al. Modelo para Medir “Performance” en Atención Primaria.

29 3. La Matriz de Evaluación.

30 Diseño de una Evaluación
Preguntas iniciales: ¿ Ya está en marcha el programa, o recién se piensa implementarlo? ¿ Cuál forma de evaluación mejor se adecua a los intereses de las partes interesadas? ¿de Proceso? ¿de Impactos? ¿ Cuáles recursos están disponibles? 30

31 Diseño de una Evaluación
¿ Cuál es el área geográfica y jurisdicción o jurisdicciones del programa a ser evaluado? ¿ Ya existe una base de datos sobre el alcance o resultados del programa? ¿ Ya existe una evaluación de un programa similar en otra jurisdicción? ¿ Es relativamente fácil, o difícil, identificar el grupo meta de la intervención? 31

32 La Matriz de Evaluación
1. Definición del problema El propósito general ….. 2. Preguntas de evaluación Preguntas específicas.. 3. Indicadores Información específica que se necesita…. 4. Datos requeridos Datos necesarios por cada indicador …. 5. Fuentes de datos Información existente o nueva - dónde.. 6. Métodos de recolección de datos Cómo la información es recolectada.. 7. Análisis Cómo la información es examinada para responder las preguntas… 8. Responsabilidad Quién es responsable de qué …. 9. Tabla con la estimación de tiempo de cada tarea Cada tarea mayor y debiera considerar cuándo …. Las piedras principales son …

33 Matriz de Evaluación

34 El Marco Lógico de Programa
(MLP) NO es la Matriz de Evaluación. Permite visualizar/comprender y definir más detalladamente el “objeto” de evaluación. 34

35 Desagregando la “lógica” de iniciativas de salud mental y adicciones
Insumos Actividades Productos Efectos Directos Impactos Caso Hipotético 65% de usuarios pudieron identificar uno o mas cambios positivos en su vida debido al tratamiento 5 personas, T/C; 4 medicos, T/P; 7 horas atención medica/día Detección de personas con depresión; diagnóstico; tratamiento; seguimiento 800 personas tratadas y evaluadas por año. Índice de remisión de síntomas bajó en un prom- edio anual de 3%. 35

36 4. Algunas Consideraciones Técnicas y Metodológicas en Evaluación.

37 Medición, Diseño y Recolección de Datos Están Estrechamente Conectados
¿Qué se necesita medir y qué indicadores utilizar? ¿Cómo organizaremos y recolectaremos los datos? Problemas de validez y confiabilidad Viene el chequeo de realidad: ¿Tenemos los recursos?

38 Respondiendo las Preguntas de Evaluación con Variables, Indicadores y Datos
Variables son las cosas/conceptos que Uds. están interesados en medir (ej. uso de droga) Indicadores son las formas en las cuales Uds. medirán las cosas o conceptos (ej. cantidad consumida por día, frecuencia por semana, problemas relacionados con el uso) Datos son las observaciones reales que obtienen (mediciones de los/as participantes del programa u otras fuentes)

39 Confiabilidad y Validez
Estas son propiedades importantes de sus mediciones. Resultan críticas para la confianza que Uds. y otros tendrán en sus resultados. Confiabilidad: muchos tipos de confiabilidad, pero habitualmente se refiere a qué tan consistentemente Uds. medirán la variable con el indicador o la herramienta de medición en particular ( ej. qué tan consistente en el tiempo, considerando varios observadores… ) Validez: la habilidad/capacidad del indicador o herramienta de medición para realmente medir lo que se está pensando que se está midiendo (ej. ¿le has apuntado o has perdido el blanco?)

40 Aproximaciones Cuantitativa versus? Cualitativa
Se puede usar una como complemento de la otra Amplitud versus profundidad cuantitativa cualitativa

41 Cuantitativa: Buscando la comprensión amplia a través de mucha gente
Usualmente, toma menos tiempo para poder ser reportada La generalización es importante A menudo, se ajusta mejor con las expectativas de la gente que usará los resultados (especialmente evaluación de resultados) Buenos instrumentos de medición disponibles

42 Ejemplos de Aproximaciones Cuantitativas
Cuantitativos Encuestas cuantitativas (ej. ítems estructurados, y categorías de respuestas) Bases de datos del programa / sistema de información Observación y escalas de rating Evaluación directa

43 Cualitativa Busca la profundidad de la comprensión
Puede identificar los aspectos clave para focalizar posteriormente las mediciones cuantitativas No tiene interés en la generalización Si tienen el tiempo para el análisis de datos (ej. dos analistas) No tiene tamaño muestral o mediciones razonables cuantitativas Si se trata de una evaluación de resultados, tener una audiencia bien informada para el reporte La expertise debería estar disponible, especialmente al usar una aproximación cualitativa para la evaluación de resultados

44 Examplos de Aproximaciones Cualitativas
Grupos focales Observación y notas de campo Entrevistas semi-estructuradas Revisión de documentación del programa

45 ¿Cuándo cada aproximación funcionará “mejor” para Ustedes?
No hay una regla dura y rápida, pues es posible usar cualquier aproximación en casi todas las situaciones Es preferible usar métodos mixtos más que elegir uno u otro Guías generales…..

46 Implicancias para Proyectos de Evaluación
Intente identificar indicadores que podrían ayudarles a responder sus preguntas de evaluación Use indicadores tanto cuantitativos como cualitativos, cuando sea posible Use la matriz de estrategia de evaluación para registrar sus ideas

47 5. Recolección de Datos.

48 La Encuesta/Cuestionario
Puede ser muy útil tanto para el componente cuantitativo como el cualitativo de una evaluación

49 Elementos Clave en el Diseño de un Cuestionario
Coherencia con los objetivos del estudio y el diseño de evaluación Las preguntas propiamente tales El formato de respuestas y las categorías Cualquier instrucción especial que aparezca en el cuestionario La longitud de la encuesta El formato de la encuesta, en su conjunto

50 Aplicación de la Encuesta
En Persona vs. Auto-administrada Medios: Por teléfono Por correo Por Internet Avisos Previos y Seguimiento de Respuesta Importancia de preparación de entrevistadores Seguimiento y control de calidad Importante: Estrategias para alcanzar la máxima tasa de respuesta posible. 50

51 Algunas Consideraciones para el Manejo de Información Cuantitativa en Evaluación
Revisar los datos. Definir cual será el manejo de los datos “missing”. Resguardar las bases de datos. Tabular adecuadamente la información. Para “ratings” y “ rankings” considerar los promedios para cada pregunta. Por ejemplo, para una pregunta “x”, la respuesta promedio fue 2,4; que puede tener mas sentido que indicar cuantas personas respondieron 1 o 2 o 3 en esta pregunta. Considerar la integración de alternativas para presentar los resultados. Por ejemplo: 20% bueno y muy bueno.

52 Entrevistas con Informantes Claves
Comprenden preguntas con respuestas abiertas que motiven unas respuestas detalladas en cuanto a las experiencias, percepciones, opiniones, sentimientos y conocimientos del entrevistado. Las entrevistas pueden ser estructuradas, semi-estructuradas o libres de estructura. Normalmente proporcionan una buena explicación del fenómeno y una descripción adecuada del contexto, desde el punto de vista del entrevistado. La información proveniente puede servir como contexto para la posterior elaboración de encuestas a ser aplicada a una población o muestra más grande.

53 Grupos Focales Sirven como espacio para que un grupo de invitados compartan sus pensamientos, preocupaciones, sentimientos, actitudes e ideas sobre un tema o sobre varios temas. Tal como las entrevistas con informantes claves, los grupos focales pueden respaldar a datos recaudados mediante los métodos cuantitativos. Ayudan en la posterior formulación de encuestas y también pueden retroalimentar el análisis de datos provenientes de una encuesta estructurada. Su éxito depende en parte de la facilitación por un moderador que puede asegurar una alta participación en la discusión sobre los asuntos importantes y dentro del periodo de tiempo planificado. Para aprovechar el tiempo al máximo, se debe considerar la entrega de encuestas breves a los participantes en los grupos focales en el momento de su llegada mientras que esperan la llegada de los demás participantes.

54 Reuniones Grandes Sirven para obtener un sinopsis del contexto o de la problemática. Se puede considerar desagregar la reunión grande en grupos focales después de unas rondas preliminares de discusión. Por ejemplo, se podría desagregar un grupo de 50 personas en 5 grupos focales. Además, las presentaciones en plenaria y el uso de herramientas audio-visuales sirven para comunicar la información y estimular la participación. Este foro requiere de un facilitador para captar los puntos de vista de los grupos o representados.

55 Observación Directa Anotar las impresiones acerca de las actividades, comportamientos, relaciones interpersonales, eventos organizacionales o comunitarios, y cualquier otra experiencia humana relacionada al sujeto de investigación que se puede observar. Las observaciones sirven para retroalimentar el proceso de triangulación que busca un consenso y/o las relaciones entre los hallazgos provenientes de las distintas fuentes de datos. Por ejemplo, si una familia dá los datos sobre su ingreso anual mediante una encuesta, puede ser que la observación de su condición de vida verifique o contradiga la respuesta. Puede ser necesario hacer más preguntas para aclarar la situación. Dependiendo de la situación, se puede considerar el uso de cámaras fotográficas si enriquecen las observaciones.

56 Análisis de Documentos y Artefactos
Consiste en realizar una revisión sistemática de varios documentos relacionados al tema de análisis, incluyendo informes oficiales o informales de la organización o el programa, fotografías, y correspondencia. Sirve para entender los cambios que ha experimentado una organización o un programa durante su evolución. Se debe considerar formular un cuadro para poder captar la información proveniente de documentos en forma sistemática para facilitar un análisis posterior y su integración a los demás hallazgos.

57 Métodos Mixtos Una oportunidad
Importante considerar el propósito de la investigación, la factibilidad, las capacidades del equipo, el contexto local, lo que esperan quienes solicitan la evaluación, etc. Diferentes maneras de aplicar métodos mixtos y de integrar/analizar sus resultados

58 Aplicación de los Métodos que Sean Apropiados para Sus Proyectos de Evaluación…

59 Análisis de Datos Es un elemento fundamental en el proceso evaluativo.
Varía según si se trata de una aproximación cuantitativa, cualitativa o mixta. Es esencial pensar en el análisis antes de iniciar el proceso de recolección de datos. Los objetivos/hipótesis del estudio así como la muestra están íntimamente ligados al tipo de análisis que se debe realizar, en cada caso.

60 6. Gestión y Logística en Proyectos de Evaluación.

61 Dimensiones de un Proyecto
Dimensión técnica: se aplican conocimientos/competencias específicas de diversas disciplinas, de acuerdo al problema en cuestión y a los objetivos del proyecto. Dimensión humana: las relaciones humanas son parte esencial del desarrollo de un proyecto o proceso evaluativo, existiendo múltiples áreas relevantes e intereses al respecto. Dimensión gestión: es aquello invisible que facilita el que las dimensiones técnicas y humanas, en un contexto especifico, con recursos limitados, se expresen armónicamente para alcanzar los objetivos de la propuesta.

62 Fases en la Gestión de un Proyecto
Fase de planificación. Aquí la pregunta es cómo el equipo de trabajo se prepara para satisfacer las exigencias del proyecto, incluyendo las actividades, la definición del presupuesto, etc.. Una planificación detallada facilita el desarrollo del proyecto y previene la aparición de “sorpresas” no gratas. Fase de ejecución. Representa el conjunto de tareas y actividades que suponen la realización propiamente dicha del proyecto, la ejecución de la obra de que se trate. Implica la gestión cotidiana y dinámica de los recursos en la forma adecuada para desarrollar el proyecto. Fase de entrega. Todo proyecto está destinado a finalizarse en un plazo predeterminado, culminando en la entrega a los receptores predeterminados. En este caso, se trata del reporte de evaluacion, de acuerdo a los estándares esperados, alcanzando los objetivos propuestos.  

63 Planificación Es muy importante incorporar en la planificación:
Roles y Responsabilidades. Actividades e hitos del proyecto / Plazos. Presupuesto detallado. Mecanismos de seguimiento. Posibilidades de falla, retrasos, etc. Visión realista. Es fundamental que esto sea explicito y de conocimiento de quienes están involucrados en la propuesta evaluativa.

64 Aspectos Críticos para la Gestión de un Proyecto de Evaluación.
Tiempo Equipo Recursos (humanos, económicos, etc.) Acciones / Actividades Calidad Estos cuatro aspectos están interconectados estrechamente. Es fundamental buscar la mejor “ecuación” para su adecuado equilibrio.

65 El Equipo de Evaluación
Definición de roles y responsabilidades. Estilo de trabajo en equipo. Comunicación. Menejo de conflictos. Clima de trabajo.

66 El Factor Humano La gestión exitosa de proyectos, independientemente de la estructura organizativa, es sólo tan buena como lo sean los individuos y líderes que gestionen las funciones básicas (Kerzner, 1998).

67 Tiempo Necesario. Aprobación ética. Formación del equipo.
Depende de varios factores... Es necesario ser cuidadosos en su estimación y activos en el seguimiento. Considerar: Aprobación ética. Formación del equipo. Definición de instrumentos. Piloto. Proceso de recolección de datos. Procesamiento de datos. Análisis. Discusión. Diseminación de resultados.

68 Presupuesto La definición y asignación de los recursos suele ser, en la práctica, uno de los aspectos que más complicaciones produce. Implica prever, al menos, tres elementos: qué tipo de recursos se van a usar; en qué cantidad; durante cuánto tiempo. Realismo / Posibilidades de financiamiento. Capacidad de priorizar.

69 Prevenir Posibles Dificultades
Conflictos en el equipo. Dificultades financieras. Falta de disponibilidad de información. Inadecuada estimación de tiempos. Dificultades en la comunicación. Problemas éticos inesperados. Desorden en la gestión. Insuficiente sistema de seguimiento y control. Otros.

70 7. Gestión del Conocimiento
en Evaluación.

71 Es esencial tener un plan de intercambio de conocimiento global de los resultados de su evaluación con el fin de facilitar la efectividad de su uso para el futuro de las intervenciones eficaces. Hay diferentes modelos para intercambio de conocimientos. Es importante considerar un enfoque integral de intercambio de conocimientos (CIHR, 2008; CIHR, 2004) en un ciclo continuo dinámico. Incluir una síntesis y aplicación éticamente racional de conocimiento dentro de un sistema complejo de interacciones entre investigadores/evaluadores y usuarios-para acelerar la captura de los beneficios de la evaluación. Proceso continuo Considerar tomadores de decisiones, actores comunitarios... Recomendaciones que surgen de la evaluación.

72 Modelo de Intercambio de Conocimiento

73 Escondido dentro de este modelo de intercambio de conocimiento hay una distinción crítica
Práctica informada por la evidencia …. Típicamente a partir de investigación revisada por pares, financiada por grants, guiada por teoría, metodológicamente muy sólida, cara, demandante de tiempo e increíblemente importante… Aprendizaje basado en la práctica …. Un nuevo concepto que integra aspectos de evaluación y el intercambio de conocimiento relacionado.

74 Aprendizaje basado en la práctica
Permite el mejoramiento continuo de las intervenciones y el aprendizaje a partir de ellas en contextos de práctica de la vida real Puede sonar mucho como “investigación de servicios de salud”, pero es mucho más sobre ir generando evidencia desde contextos de práctica El aprendizaje basado en la práctica es una variación que incluye la generación de evidencia, y también enfatiza la utilización de evidencia a través de procesos de intercambio de conocimiento

75 Conclusiones e invitación a integrar progresivamente con más fuerza evaluación en la práctica.

76 Reconocimiento y Agradecimiento
Parte importante de esta presentación se basa en los materiales del Programa de Entrenamiento de CAMH: “Hacia el fortalecimiento de los Sistemas de Salud: Desarrollo de Capacidades Institucionales en Evaluación de Iniciativas de Salud Mental y Adicciones” que han sido preparados por (en orden alfabético): Brian Rush, Judith Scharager, Susan Healey, y Jaime Sapag.

77 Referencias Aday, A., Begley, C.H., Lairson, D.R., & Balkrishnan R. (2004). Evaluating the healthcare system: effectiveness, efficiency and equity. Chicago: AHR. AJCSEE (American Joint Committee on Standards for Educational Evaluation). (1994). The program evaluation standards, 2nd Edition. Newbury Park, CA: Sage Publications. Alvarado, R., Vega, J., Sanhueza, G., & Muñoz, M.G. (2005). Evaluación del programa para la detección, diagnóstico y tratamiento integral de la depresión en atención primaria, en Chile. (Evaluation of the program for depression detection, diagnosis, and comprehensive treatment in primary care in Chile.) Rev Panam Salud Publica 18(4/5), 278–286. Araya, R., Rojas, G., Fritsch, R., Gaete, J., Rojas, M., Simon, G., & Peters, T.J. (2003). Treating depression in primary care in low-income women in Santiago, Chile: a randomized controlled trial. The Lancet 361 (9362), Barnsley, J., Berta, W., Cockerill, R., MacPhail, J., & Vayda, E. (2005). Identifying performance indicators for family practice: assessing levels of consensus. Can Fam Physician, 51, Bickman, L., Guthrie, P.R., Foster, E.M., Lambert, E.W., Summerfelt Wm.,T., Breda, C.S., & Heflinger, C.A. (1995). Evaluating managed mental health services: The Fort Bragg experiment. New York and London: Plenum Press. . Broemeling, A.M., Watson, D.E., Black, Cm., & Reid, R.J. (2006). Measuring the performance of primary health care: existing capacity and future information needs. University of British Columbia. Centre for Health Services and Policy Research. Cabrera, D., & Trochim, W. (2006). A protocol of systems evaluation. In: D Cabrera (ed). Systems evaluation and evaluation systems whitepaper series. Ithaca BY: Cornell University National Science Foundation Systems Evaluation Gran No. EREC Caldas de Almeida, J.M., & Horvitz-Lennon, M. (2010). Mental health care reforms in Latin America: An overview of mental health care reforms in Latin America and the Caribbean. Psychiatr Serv, 61, CDC (1999). Framework for Program Evaluation in Public Health. Morbidty and Morbality Weekly Report, 48 No. RR-11. CFPC (College of Family Physicians of Canada) and CPA (Canadian Psychiatric Association). (2000). Shared mental health care in Canada: Current status, commentary and recommendations. Retrieved from (Last access: January 13, 2010). CIHR (Canadian Institute of Health Research). (2004). The CIHR Knowledge Translation Strategy : Innovation in Action. CIHR (Canadian Institute of Health Research). (2010). About Knowledge Translation. Retrieved from (Last access: October 19, 2010). Craven, M.A., & Bland, R. (2006). Better practices in Collaborative Mental Health Care: An analysis of the evidence base. Canadian Journal of Psychiatry, 51, 7S-72S. Creswell, J.W., Fetters, M.D., & Ivankova, N.V. (2004). Designing a mixed methods study in primary care. Ann Fam Med, 2, 7-12. Cronbach, L.J. (1982). Designing evaluations of educational and social programs. San Francisco, CA: Jossey-Bass. Fetterman, D.M., Kaftarian, S.J., & Wandersman, A. (Eds.). (1996). Empowerment evaluation: Knowledge and tools for self-assessment & accountability. California: Sage Publications. Finn, T. (2007). A Guide for Monitoring and Evaluating Population-Health-Environment Programs. USAID-Measure Evaluation. Freire, P. (1970). Pedagogy of the oppressed. New York: Seabury.

78 Gask, L. , Sibbald, B. , & Creed, F. (1997)
Gask, L., Sibbald, B., & Creed, F. (1997). Evaluating models of working at the interface between mental health services and primary care. The British Journal of Psychiatry, 170, 6-11. Haggerty, J., Martin, C. (2005). Evaluating Primary Health Care in Canada: The Right Questions to Ask! Retrieved from (Last access: January 13, 2010) Haggerty, J.L., Yavich, N., & Báscolo, E.P. (2009) A framework for evaluating primary health care in Latin America. Rev Panam Salud Publica, 26(5), House, B. (1980). Evaluating with validity. Beverly Hills, CA: Sage. Kates, N., Gagne, M.A., & Melville Whyte, J. (2008). Collaborative mental health care in Canada: Looking back and looking ahead. Canadian Journal of Community Mental Health, 27(2), 1-4. Katon, W.J., Schoenbaum, M., Fan, M.Y., et al. (2005). Cost-effectiveness of improving primary care treatment of late-life depression. Arch Gen Psychiatry, 62, 1313–1320. Kennedy, E., & Griffiths, H. (2003). Mental health ‘collaborative’ challenges care culture. Psychiatric Bulletin, 27, Minoletti, A., Toro, O., & Castillo, M. (2008). Chile: integrated primary care for mental health in the Macul District of Santiago. In: WHO and WONCA. Integrating mental health into primary care: a global perspective. p Olney, C.A. (2005). Using evaluation to adapt health information outreach to the complex environments of community-based organizations. J Med Lib Assoc, 93 (4), S57-S67. PAHO (2009). Strategy and Plan of Action on Mental Health for the Americas. 49th Directing Council CD49/11, PAHO, Washington, D.C., USA, 28 September-2 October 2009. Patton, M. Q. (1994). Developmental evaluation. Evaluation Practice, 15(3), Patton, M.Q. (2007). Evaluation focus options: Developmental evaluation and other alternatives. In: Utilization – focused evaluation. SAGE, USA. p Patton, M.Q. (2010). Developmental evaluation: Applying complexity concepts to enhance innovation and use. New York: The Guilford Press. Porteous, N.L., Sheldrick, B.J., & Stewart, P.J. (1999). Enhancing managers’s evaluation capacity: A case study from Ontario Public Health. The Canadian Journal of Program Evaluation, Special issue, 137–154. Prince, M., Patel, V., Saxena, S., Maj, M., Maselko, J., Phillips, M., & Rahman, A. (2007). No health without mental health. Lancet, 370 (9590), 859 – 877. Punch, Keith. (2005). An Introduction to Social Research: quantitative and qualitative approaches. London: Sage Publications. Rodríguez, J., Barret, T., Narvaez, S., Caldas, J.M., Levav, I., & Saxena, S. (2007). Sistemas de salud mental en El Salvador, Guatemala y Nicaragua: resultados de una evaluación mediante el WHO AIMS. (Mental health systems in El Salvador, Guatemala and Nicaragua: AIMS-WHO results). Rev Panam Salud Publica, 22(5), Rodriguez, J.J., Kohn, R., & Aguilar-Gaxiola, S. (Eds.). (2009). Epidemiologia de los trastornos mentales en America Latina y El Caribe. Washington, D.C.: PAHO. Rogers, E. (2003). Diffusion of Innovations, 5th ed. New York: The Free Press.

79 Rush B, Sapag JC, Chaim G, Quinteros C. (Accepted on October 12, 2010)
Rush B, Sapag JC, Chaim G, Quinteros C. (Accepted on October 12, 2010). Client Characteristics within the The Chilean National Youth Addiction Treatment Demonstration System. Journal of Substance Abuse Treatment. Rush, B. (2003).The Evaluation of Treatment Services and Systems for Substance Use Disorders. R. Psiquiatr. RS, 25(3), Rush, B., Urbanoski, K., Bassani, D., Castel, S., Wild, T.C., Strike, C., Kimberley, D., Somers, J. (2008). Prevalence of co-occurring substance use and other mental disorders in the Canadian population. Can J Psychiatry, 53(12), 800–809 Saldivia, S., Vicente, B., Kohn, R., Rioseco, P., & Torres, S. (2004). Use of mental health services in Chile. PsychiatricServices, 55: 1; 71-6. Saraceno, B., van Ommeren, M., Batniji, R., Cohen, A., Gureje, O., Mahoney, J., Sridhar, D., & Underhill, C. (2007). Barriers to improvement of mental health services in low-income and middle-income countries. Lancet, 370 (9593), Saxena, S., Maulik, P.K., O’Connell, K.,& Saraceno, B. (2002). Mental health care in primary and community settings: results from WHO’s Project Atlas [editorial]. Int J Soc Psychiatry, 48(2), Schoenbaum, M., Unützer, J., McCaffrey, D., et al. (2002). The effects of primary care depression treatment on patients’ clinical status and employment. Health Serv Res, 37, 1145–1158. Shield, T., Campbell, S., Rogers, A., Worrall, A., Chew-Graham, C.,& Gask, L. (2003). Quality indicators for primary care mental health services. Qual Saf Health Care 12, Simon, G. (2008). Collaborative care for mood disorders. Current Opinion in Psychiatry, 22:37–41. Starfield, B. (1998). Primary care: balancing health needs, services and technology. New York: Oxford University Press. Stufflebeam, D.L., & Shinkfield, A.J. (2007).Evaluation theory, models, and applications. San Francisco, USA: Jossey-Bass. Thornicroft, G., & Tansella, M. (1999). The mental health matrix. Cambridge: Cambridge University Press

80 Jaime_Sapag@camh.net MUCHAS GRACIAS!
Dr. Jaime Sapag Asesor Especial / Coordinador de Proyectos Oficina de Salud Internacional CAMH MUCHAS GRACIAS!