Resultados de la evaluación de impacto David Moreno Candil María Garza Vigil Villahermosa, Tabasco Junio de 2014

Objetivo Mostrar los resultados globales de la evaluación de impacto que se realizó durante el ciclo escolar

Lo que buscamos en Peraj Apoyar a niños/as de sexto grado de primaria para desarrollar su potencial individual y social mediante el establecimiento de una relación significativa con un estudiante universitario que funge como su tutor.

Lo anterior se pretende lograr a partir de actividades que impacten en las siguientes áreas: 4 AFECTIVA SOCIAL CULTURAL ACADEMICA MOTIVACIONAL COMUNICACIÓN

Algo hemos hecho bien…el crecimiento de Peraj en México 5 Número de tutor) Universidades Campus

Hipótesis: Como consecuencia de este trabajo, esperaríamos… 6 Disminución en el riesgo de deserción escolar. Disminución de conductas auto- destructivas, tales como el uso de sustancias, y/o actividades ilícitas.

La necesidad de evaluación. Primeros intentos Re—definición de objetivos Identificación de variables a evaluar. Desarrollo del banco de ítems El desarrollo de la estrategia de evaluación de Peraj.

La necesidad de evaluar Desde el inicio del programa, ha existido la preocupación por determinar si funciona o no. Se cuenta con una amplio acervo de testimoniales de diversos participantes (tutores, padres, profesores, coordinadores, etc.). La gran mayoría de ellos señalan que el programa funciona muy bien. Creciente necesidad de indicadores “objetivos”.

Primeros intentos a una evaluación “objetiva” En el verano de 2010, se designó a una comitiva para desarrollar una herramienta de evaluación objetiva. –Diseño pre-post –Fácil de reproducir y aplicar en las distintas sedes del programa. El primer intento tomó como punto de partida las 6 áreas de desarrollo. No funcionó, –Complejidad en establecer definiciones operacionales de las áreas. –Extensión de la batería.

Segundo intento: Recurrir a un instrumento estandarizado, diseñado para evaluar el impacto de un programa de mentoring (Hemingway, M. Karcher, 2005). –Revisión de la literatura sobre la escala. –Traducción –Estudio piloto ( ) –Análisis de los resultados Aunque la Hemingway ha mostrado su eficacia en EEUU, incluso con poblaciones mexicanas, no resultó adecuada para el contexto mexicano. –Baja consistencia interna de las subescalas. –Connectedness era alta en la evaluación de inicio de la muestra (n=1400). –Este constructo quizás no sea el adecuado para evaluar a niños mexicanos. Primeros intentos a una evaluación “objetiva”

Re-definición de objetivos Aprendizajes de los primeros intentos “fallidos” de evaluación: –Dejar de tratar de evaluar las “áreas de desarrollo”, establecer una diferencia entre cómo trabajamos y nuestros objetivos. –Es posible desarrollar una herramienta propia. –Considerar la realidad Mexicana. Iniciamos un proceso reflexivo –Sobre nuestra práctica de mentoring: ¿cómo trabajamos? ¿con quiénes? ¿Por qué trabajamos de ese modo? ¿Cuáles son nuestras metas? –¿Cuál es el papel de Peraj en sentido “amplio”? ¿Cuál es nuestra contribución a la sociedad Mexicana?

Modelo Peraj Alumnos de últimos años de universidad Alumnos de 5to y 6to de primaria Quienes Nivel socioeconómico bajo Bajo desempeño académico Falta de supervisión y/o apoyo de los padres Comportamiento agresivo/disruptivo Influencias negativas en su entorno social Que son ExitososComprometidosActivos En riesgo Modelo ¿Por qué? Contextos similares Superaron las mismas adversidades Por tanto Nuestra meta es promover la resiliencia escolar, promover un “yo ideal” (Rhodes & DuBois, 2008) en el niño donde la educación y la escuela sean centrales.

La deserción escolar en México

Acerca de la deserción escolar La deserción o el abandono escolar no es un evento súbito en la trayectoria escolar de un alumno, es el resultado de un proceso que se va gestando desde las primeras experiencias del alumno con la escuela Algo que es muy importante en relación a este fenómeno es que es multi-causal, y, no es culpa del alumno

Identificación de variables a evaluar La deserción escolar es un serio problema en México, sin embargo, existe poca investigación sobre esta problemática. Para evaluar el impacto de Peraj en la deserción escolar: –Revisión de literatura especializada. Determinar qué variables correlacionan con el riesgo de deserción escolar. –Revisión de testimoniales. Identificar, de acuerdo a los usuarios del programa, en qué aspectos o elementos se incide. Identificar las fortalezas y debilidades del programa. –Revisión de nuestra práctica. Establecer una relación entre las actividades que se realizan en el programa y el riesgo de deserción escolar.

De la revisión de literatura se encontraron las siguientes variables que se relacionan a la deserción escolar, factores de riesgo

¿Se puede hacer algo? Fuente: CIS-NDPC/N study of risk factors for school dropout, 2006, (tomado de Hammond, 2007)

A través de la acción de Peraj…

Desarrollo del banco de ítems A partir de las variables identificadas y la información recabada de los testimoniales, se establecieron 8 dimensiones para evaluar el Riesgo de Deserción Escolar en niños de primaria. Estas dimensiones son factores alterables que se atienden a través de las actividades que se realizan en el Programa Perai.

Desarrollo del banco de ítems Dimensiones que evalúa el instrumento: –Expectativas escolares –Autoconcepto académico –Autonomía –Locus de control –Agresión –Esfuerzo escolar –Valoración de la escuela –Vinculación con la escuela. A partir de estas dimensiones se elaboraron 80 ítems (10 por dimensión). –Formato tipo Likert. –Redactados para niños de primaria – Asignados de forma aleatoria a cuatro versiones del cuestionario (cada ítem aparecería en dos versiones del cuestionario).

RESULTADOS DE LA APLICACIÓN DEL CUESTIONARIO

Consistencia interna El cuestionario fue aplicado a un total de 2996 niños y niñas de todo el país. –1937 –1059 grupo control

¿Qué pasó en el ciclo escolar? Comparaciones pre y post Los Se puede apreciar como, del inicio al final del ciclo escolar hay una transición hacia la izquierda, es decir una disminución en el nivel de riesgo que reportan los Grupo control Ocurre un fenómeno inverso, conforme avanza el ciclo escolar, los niños y niñas que no participaron en el Programa Peraj se desplazan a la derecha, es decir, reportan mayor riesgo.

¿Qué pasó con los niños que participaron y los que no? Pre-test Se puede apreciar que hay algunas diferencias en los niños. Estas resultaron no ser estadísticamente significativas. Post-test Se puede apreciar con mayor claridad el efecto que tiene Peraj en los en los niveles bajos de riesgo (≤2.5), es mayor la cantidad que de niños control y viceversa en alto riesgo.

El cuestionario también nos permite saber el desempeño por universidad.

RESULTADOS GENERALES

Resultados generales. Considerando solo los niños (as) que respondieron PRE y POST (1085 Peraj, 492 control). ¿Cuántos disminuyeron en riesgo? 54.29% de los Peraj (589/1085) % del grupo control (225/492). ¿Cuántos de los que se encontraban en alto riesgo (≥2.5) disminuyeron? 80.88% de los Peraj (203/251) % del grupo control (97/184). ¿Cuántos de los que se encontraban en alto riesgo (≥2.5) pasaron a bajo riesgo (≤2.5)? 55.38% de los Peraj (138/251) % del grupo control (28/184).

30 Logros en las 8 dimensiones Post – Post Entre los niños que al término del año escolar se encuentran en situación de riesgo (valores iguales o mayores a 2.5) en las diversas áreas que influyen en la deserción escolar, aquellos que participan en Peraj disminuyen estos riesgos de la siguiente manera: 42% Disminuyen su agresividad 41% Mejoran su autoconcepto 17% Aumentan su autonomía 30% Valoran más el esfuerzo personal 60% Tienen mayores expectativas escolares 34% Asumen mayor responsabilidad por sus actos 42% Valoran más la importancia de la escuela 39% Tienen mayor vinculación a la escuela Dando como resultado global un 50% de disminución entre los que están en riesgo alto de deserción escolar.

Disminución del riesgo de deserción escolar 50% de los niños que terminarían el año en alto riesgo de deserción escolar, terminan en bajo riesgo por participar en Peraj

32 Encuesta de la calidad de la relación (Rhodes et al 2001)

33 Otras implicaciones de los resultados del cuestionario Peraj

34 ¿Qué significan nuestros resultados? 1.Tenemos un buen cuestionario que nos permite identificar riesgo de deserción escolar en alumnos de primaria. 2.La participación en Peraj contribuye a que se aminore el riesgo de deserción. –En términos generales se disminuye el riesgo. –Los Peraj que estaban en los niveles más altos de riesgo de deserción escolar transitan con mayor facilidad a niveles de riesgo bajo que quienes no participaron en el programa (55.38% vs %) 3.Aunado a lo anterior, parece ser que la tendencia de riesgo de deserción escolar en los alumnos aumenta en el transcurso del ciclo escolar. Esto es algo a lo que se debe prestar atención, ya que tradicionalmente no se considera a los niños y niñas de primaria como alumnos en riesgo.

35 4.Se elaboró una nueva versión del cuestionario con los reactivos más útiles (40) de la versión original (los que discriminaban y arrojaban mayor información). 5.El cuestionario Peraj no solo permite evaluar el impacto del programa en los sino también permite identificar a quienes más se pueden beneficiar de participar en Peraj. 6.El cuestionario Peraj nos permitirá también identificar qué IES están teniendo mejores resultados y, de este modo, rescatar elementos de intervención que se puedan llevar a otros espacios. ¿Qué significan nuestros resultados?

36 Dinámicas de uno a uno Dinámicas grupales Programa extra-escolar* Tutoría entre iguales Base comunitaria (community-based) Base escolar (school-based) 10 meses de duración, reuniones regulares. “Los programas habrían de capitalizar de forma más efectiva este potencial de las relaciones con jóvenes comprometidos, haciendo de estas una parte central de los programas de atención, más que un producto colateral inesperado.” The Critical Ingredient in Afterschool Programs, Dr. Jean Rhodes, University of Massachusetts, Boston, February 2005 Aunado a lo anterior, Peraj combina una serie de estrategias de mentoring exitosas

37 Reclutamiento de tutores Reclutamiento de Procesos de selección (screening) de tutores Procesos de selección (screening) de Capacitación y entrenamiento de tutores Entrenamiento de Empate Monitoreo y supervisión de las relaciones Dinámicas de cierre del proceso *Elements of Effective Practice for Mentoring (2009), Third Edition – National Mentoring Partnership Peraj cumple con elementos de mejores prácticas en mentoring*

38 Como un modelo de “franquicia social”, donde la labor de la Administración de Peraj es: Promoción. Proveer de un modelo “listo para usarse” Entrenar a los capacitadores Supervisar Evaluar Proveer de mejoras constantes Otros: Facilidad de hacer estudios a gran escala Compartir información Webinars Encuestas y sondeos Peraj es replicable

39 “Muéstrale el camino a un niño y cuando crezca no se desviará de él”

¡Muchas gracias! 40