Ficha Metodológica Técnica : Encuestas Telefónicas con CATI. Universo

Presentación del tema: "Ficha Metodológica Técnica : Encuestas Telefónicas con CATI. Universo"— Transcripción de la presentación:

1 Medición de Satisfacción de Usuarios/as 2013: Resultados Generales de los Programas

2 Ficha Metodológica Técnica : Encuestas Telefónicas con CATI. Universo
Beneficiarios/as de 8 programas desarrollados por FOSIS durante el 2013: Programa Acción, Programa Yo Emprendo (en su versión básica y avanzada), Programa Educación Financiera, Programa Yo Emprendo Semilla, Programa Fondo Nacional de Desarrollo Regional, Programa Yo Trabajo Joven, Programa Apoyo Tu Plan Laboral y Programa Ingreso Ético Familiar. Muestreo Probabilístico con selección aleatoria de usuarios/as y por cuotas por programa evaluado. Marco Muestral Registro telefónico de usuarios/as actualizado por FOSIS al 15 de diciembre de 2014. Muestra 3.138 casos para los programas seleccionados. Error +/- 1,6 puntos porcentuales si fuera muestreo aleatorio simple para resultados con varianza máxima. Fecha de Terreno 13 de febrero al 09 de marzo de 2015.

3 Errores muestrales Totales y por Programa/Sistema
N° Programa Marco Muestral Muestra Efectiva Error Finito 1 Acción 2013 5.898 421 4.6% 2 Yo Emprendo Semilla 2013 9.407 400 4.8% 3 Yo Emprendo (Básico y Avanzado) 2013 4.805 431 4.5% 4 Educación Financiera 2013 4.499 387 5 Fondo Nacional de Desarrollo Regional 2013 4.946 381 6 Yo Trabajo Joven 2013 1.242 314 7 Apoyo Tu Plan Laboral 4.019 382 8 Ingreso Ético Familiar 2014 5.000 422 Total 39.816 3.138 1.6%

4 Indicadores de rendimiento
Tasa de respuesta bruta Tasa de rechazo bruta Tasa de contacto Tasa de respuesta sobre contactados Tasa de rechazo sobre contactados 01 Programa ACCIÓN 2013 59% 3% 78% 75% 5% 02 Programa YO EMPRENDO SEMILLA 46% 4% 79% 58% 03 Programa YO EMPRENDO BÁSICO 33% 76% 44% 04 Programa YO EMPRENDO AVANZADO 39% 67% 7% 05 Programa EDUCACIÓN FINANCIERA 56% 06 Programa FONDO NDR 41% 74% 55% 07 Programa YO TRABAJO JOVEN 35% 47% 6% 08 Programa APOYO TU PLAN LABORAL 34% 73% 09 Programa INGRESO ÉTICO FAMILIAR 32% 62% 52% TOTAL 40% 54% Nota: Los cálculos se realizan en función de los números discados durante el estudio. N=7.944

5 Resultados Principales para los Programas Evaluados

6 Descripción de la muestra total de Programas
Sexo Edad Presencia de hijos < 15 Jefatura de hogar

7 Forma de Cálculo de la Satisfacción y Ejemplos de Medidas utilizadas
Porcentajes Promedios Valor máximo para la población de beneficiarios Insatisfacción Promedio obtenido en la muestra de beneficiarios Satisfacción Valor mínimo para la población de beneficiarios Neto: 20% El valor neto es: Satisfacción - Insatisfacción

8 1. Evaluación General de los Programas

9 Evaluación general del programa: Nota en tramos
En términos generales, en una escala de 1 a 7, donde 1 es pésimo y 7 es excelente, ¿qué nota le pondría a este apoyo, programa o proyecto en el que participó? (%) Neto: 91% 94% 88% 90% 96% 92% 86% Buena evaluación general: 93% evalúa con nota 6 o 7 Buena evaluación relativa: Neto de 91% No hay diferencias importantes según segmentos Programa mejor evaluado: Educación Financiera (EdF) Programa peor evaluado: Yo Trabajo Joven (YTJ) Muestra: En barras se omite categoría ‘Ns-Nr’

10 Evaluación general del programa: Media e intervalos
En términos generales, en una escala de 1 a 7, donde 1 es pésimo y 7 es excelente, ¿qué nota le pondría a este apoyo, programa o proyecto en el que participó? El promedio de evaluación de los programas es 6,6 Sobre el total, la peor evaluación está en YTJ Sobre el total, la mejor evaluación está en YE-B YTJ es significativamente menor a Acción, YE-B y EdF Muestra: 3138

11 2. Evaluación Institución Ejecutora

12 Evaluación Institución Ejecutora: Nota en tramos
En términos generales, en una escala de 1 a 7, donde 1 es pésimo y 7 es excelente, ¿qué nota le colocaría a esta institución que me acaba de mencionar? (%) Neto: 87% 89% 86% 88% 90% 81% 85% Buena evaluación general: 89% evalúa con nota 6 o 7 Buena evaluación relativa: Neto de 87% No hay diferencias importantes según segmentos Institución mejor evaluada: Fondo Nacional de D. Regional (FNDR) Institución peor evaluada: Yo Trabajo Joven (YTJ) Muestra: En barras se omite categoría ‘Ns-Nr’

13 Evaluación Institución Ejecutora: Media e intervalos
En términos generales, en una escala de 1 a 7, donde 1 es pésimo y 7 es excelente, ¿ qué nota le colocaría a esta institución que me acaba de mencionar? (%) El promedio de evaluación de las instituciones ejecutoras es 6,6 No hay programa significativamente debajo del total No hay programa significativamente sobre el total No hay diferencias significativas en el promedio entre programas Muestra: 2716

14 Institución Ejecutora: Dimensiones
Siempre pensando en la Institución que entregó o prestó el apoyo del cual participó, ¿qué tan de acuerdo se encuentra con las siguientes afirmaciones? (%) Mayor acuerdo con atributos de compromiso y atención Menor acuerdo con respuestas oportunas ante reclamos Muestra: En barras se omite categoría ‘Ni de acuerdo ni en desacuerdo’ y ‘Ns-Nr’

15 Institución Ejecutora: Dimensiones por Programa
Siempre pensando en la Institución que entregó o prestó el apoyo del cual participó, ¿qué tan de acuerdo se encuentra con las siguientes afirmaciones? (% Muy de acuerdo) 01 Acción 02 YE-S 03 YE-B 04 YE-A 05 EdF 06 FNDR 07 YTJ 08 APL Fue capaz de resolver mis necesidades y las de mi grupo 39 51 46 33 29 Tuvo la capacidad de adaptarse a las necesidades que fueron surgiendo 36 35 44 41 27 30 24 Me inspiró confianza 43 38 50 49 34 Me entregó una atención de muy buena calidad 45 42 54 53 32 Tenía profesionales comprometidos con el trabajo 55 40 Entregaba la información que necesitábamos de forma oportuna 28 Tenía profesionales muy capacitados en su quehacer 52 47 Ante los reclamos fueron capaces de dar una respuesta oportuna 26 22 Color verde indica porcentaje mayor de “muy de acuerdo” entre los programas Color rojo indica porcentaje menor de “muy de acuerdo” entre los programas Muestra: 2716

16 Institución Ejecutora: Dimensiones por Segmentos
Siempre pensando en la Institución que entregó o prestó el apoyo del cual participó, ¿qué tan de acuerdo se encuentra con las siguientes afirmaciones? (%) Sexo Edad Hijos < 15 Jefe de hogar Fue capaz de resolver mis necesidades y las de mi grupo > Mujeres X Tuvo la capacidad de adaptarse a las necesidades que fueron surgiendo Me inspiró confianza > Sí tienen Me entregó una atención de muy buena calidad Tenía profesionales comprometidos con el trabajo Entregaba la información que necesitábamos de forma oportuna Tenía profesionales muy capacitados en su quehacer > Adultos (41 a 50) Ante los reclamos fueron capaces de dar una respuesta oportuna El signo “>” indica al grupo con un mayor porcentaje en “muy de acuerdo” El signo “x” indica que no hay diferencias importantes entre los grupos Muestra: 2716

17 3. Conocimiento, imagen y evaluación de FOSIS

18 Conocimiento de FOSIS ¿Conoce o ha escuchado hablar de FOSIS? (%) Muestra: Se omite categoría ‘Ns-Nr’ Alto conocimiento general: 93% dice “conocer o haber escuchado hablar” Mayor conocimiento en programas Yo Emprendo y Educación Financiera Menor conocimiento en Programa Ingreso Ético Familiar (95%) No hay diferencias importantes según segmentos

19 Participación anterior en programas FOSIS
¿Ha participado anteriormente o está actualmente participando en algún otro proyecto financiado por el FOSIS? (%) Muestra: Se omite categoría ‘Ns-Nr’ Otros proyectos FOSIS: 26% dice haber participado o estar participando Mayor declaración en Programa Yo Emprendo Avanzado Menor declaración en Programa Yo Emprendo Semilla y FNDR No hay diferencias importantes según segmentos

20 Publicidad sobre FOSIS
Pensando en los últimos 6 meses, ¿ha visto, leído o escuchado publicidad de FOSIS? (%) Muestra: Se omite categoría ‘Ns-Nr’ Publicidad FOSIS: 54% dice haber visto, leído o escuchado Mayor proporción en Programa YE-B, APL e IEF Menor proporción en Programa Yo Trabajo Joven (YTJ) Mayor proporción en quienes tienen hijos menores de 15 años (57%)

21 Evaluación de FOSIS: Nota en tramos
De acuerdo a su experiencia a lo que usted sabe, en una escala de 1 a 7, donde 1 es pésimo y 7 es excelente, ¿qué nota le colocaría a FOSIS? (%) Neto: 90% 93% 91% 95% 89% 85% 79% Buena evaluación general: 92% evalúa con nota 6 o 7 Buena evaluación relativa: Neto de 90% Programa mejor evaluado: YE-B y FNDR Programa peor evaluado: IEF (Neto: 79%) Muestra: En barras se omite categoría ‘Ns-Nr’

22 Evaluación de FOSIS: Media e intervalos
De acuerdo a su experiencia a lo que usted sabe, en una escala de 1 a 7, donde 1 es pésimo y 7 es excelente, ¿qué nota le colocaría a FOSIS? El promedio de evaluación de los programas es 6,6 Sobre el total, la peor evaluación está en IEF y YTJ Sobre el total, la mejor evaluación está en YE-B y FNDR IEF es significativamente menor a Acción, YE-S, YE-B, YE-A, EdF, FNDR y APL YTJ es significativamente menor a Acción, YE-B y FNDR Muestra: 3138

23 Evaluación de FOSIS: Dimensiones
Siempre pensando en el FOSIS, ¿qué tan de acuerdo se encuentra con las siguientes afirmaciones?: FOSIS… (%) Muestra: Sólo para quienes conocen o han escuchado de FOSIS. En barras se omite categoría ‘Ni de acuerdo ni en desacuerdo’ y ‘Ns-Nr’ Mayor acuerdo con atributos sobre utilidad del material, efectividad y aporte personal Menor acuerdo con facilidades para acceder a beneficios

24 Evaluación de FOSIS: Dimensiones por Programa
Siempre pensando en el FOSIS, ¿qué tan de acuerdo se encuentra con las siguientes afirmaciones?: FOSIS… (% Muy de acuerdo) 01 Acción 02 YE-S 03 YE-B 04 YE-A 05 EdF 06 FNDR 07 YTJ 08 APL 09 IEF Es efectivo ayudando a las personas a salir de la pobreza 46 45 60 43 40 34 42 30 Tiene programas, apoyos o proyectos que son de calidad 41 51 35 31 21 Entrega suficientes facilidades para acceder a sus beneficios 38 33 44 49 28 26 Es claro y transparente en la asignación de sus beneficios 39 55 36 37 25 Me inspira confianza 59 57 Me ha entregado material que me ha resultado útil 63 62 Ha sido un gran aporte para mi vida actual 64 Color verde indica porcentaje mayor de “muy de acuerdo” entre los programas Color rojo indica porcentaje menor de “muy de acuerdo” entre los programas Muestra: 2716

25 Evaluación de FOSIS: Dimensiones por Segmentos
Siempre pensando en el FOSIS, ¿qué tan de acuerdo se encuentra con las siguientes afirmaciones?: FOSIS… (%) Sexo Edad Hijos < 15 Jefe de hogar Es efectivo ayudando a las personas a salir de la pobreza > Mujeres > Adultos (41 a 50) > Sí tienen X Tiene programas, apoyos o proyectos que son de calidad Entrega suficientes facilidades para acceder a sus beneficios Es claro y transparente en la asignación de sus beneficios Me inspira confianza Me ha entregado material que me ha resultado útil (41 a 60) Ha sido un gran aporte para mi vida actual > Sí JH El signo “>” indica al grupo con un mayor porcentaje en “muy de acuerdo” El signo “x” indica que no hay diferencias importantes entre los grupos Muestra: 2716

26 4. Oficina de Atención Ciudadana (OAC)

27 Muestra: Quienes conocen FOSIS. En barras se omite categoría ‘Ns-Nr’
Conocimiento de OAC ¿Sabe Ud. que el FOSIS tiene una oficina especial para atender público que se llama Oficina de Atención Ciudadana (OAC)? Muestra: Quienes conocen FOSIS. En barras se omite categoría ‘Ns-Nr’ Conocimiento OAC: 45% dice saber Mayor conocimiento en Programa Yo Emprendo Básico y Educación Financiera Menor conocimiento en Programa Yo Trabajo Joven

28 Muestra: Quienes conocen OAC. En barras se omite categoría ‘Ns-Nr’
Acceso a la OAC ¿Ha utilizado o accedido a esta oficina para realizar alguna consulta, sugerencia o reclamo? Muestra: Quienes conocen OAC. En barras se omite categoría ‘Ns-Nr’ Acceso a OAC: 40% dice haber utilizado o accedido Mayor uso en Programa Yo Emprendo Avanzado y Yo Emprendo Básico Menor uso en Programa Acción y Programa Ingreso Ético Familiar

29 ¿Logró resolver su consulta, sugerencia o reclamo?
Resolución de la OAC ¿Logró resolver su consulta, sugerencia o reclamo? Muestra: Quienes accedieron a OAC. En barras se omite categoría ‘Ns-Nr’ Resolución: 90% dice haber resuelto su consulta, sugerencia o reclamo Mayor resolución en programas YE-B y EdF Menor resolución en programas YE-S, Acción y YTJ

30 Satisfacción con la atención de la OAC
¿Qué tan satisfecho quedó con la atención entregada en la OAC? Satisfacción: 48% dice estar “muy satisfecho” y 48% dice estar “satisfecho” Satisfacción total: 96% (“muy satisfecho” + “satisfecho”) Satisfacción neta: 94% (satisfacción total – insatisfacción total) Mayor proporción “muy satisfecho” en programas Acción, YE-B y EdF Menor proporción “muy satisfecho” en programas IEF y YE-A Muestra: Quienes accedieron a OAC. En barras se omite categoría ‘Ni satisfecho ni insatisfecho’ y ‘Ns-Nr’

31 OAC: Dimensiones por Segmentos
Conocimiento, Acceso, Resolución de requerimientos y Satisfacción Sexo Edad Hijos < 15 Jefe de hogar ¿Sabe Ud. que el FOSIS tiene una oficina especial para atender público que se llama Oficina de Atención Ciudadana (OAC)? CONOCIMIENTO > Mujeres > Adultos (41 a 50) X ¿Ha utilizado o accedido a esta oficina para realizar alguna consulta, sugerencia o reclamo? ACCESO ¿Logró resolver su consulta, sugerencia o reclamo? RESOLUCIÓN ¿Qué tan satisfecho quedó con la atención entregada en la OAC? SATISFACCIÓN (51 o +) El signo “>” indica al grupo con un mayor porcentaje en “muy de acuerdo” El signo “x” indica que no hay diferencias importantes entre los grupos Muestra: Quienes accedieron a OAC

32 5. Evaluación del Agente de Desarrollo Local

33 Contacto con Agente de Desarrollo Local
Durante la ejecución del programas, ¿conoció o tuvo contacto con el Agente de Desarrollo Local del FOSIS o Supervisor FOSIS? (%) Muestra: En barras se omite categoría ‘Ns-Nr’ Contacto ADL: 77% dice haber conocido o contactado con ADL Mayor contacto en Programa Yo Emprendo Básico y Yo Emprendo Avanzado Menor contacto en Programa Yo Trabajo Joven y Apoyo tu Plan Laboral

34 Evaluación ADL: Nota en tramos
¿Qué nota le pone al Agente de Desarrollo Local del FOSIS o Supervisor del FOSIS en los siguientes aspectos? Utilice una escala de 1 a 7, donde 1 es pésimo y 7 es excelente (%) Neto: 94% 95% 81% 91% 93% Muestra: Quienes tuvieron contacto con el ADL. En barras se omite categoría ‘Ns-Nr’ Buena evaluación general: 94% evalúa con nota 6 o 7 Área mejor evaluada: Amabilidad Área peor evaluada: Frecuencia de visitas para supervisión

35 Evaluación ADL: Media e intervalos
¿Qué nota le pone al Agente de Desarrollo Local del FOSIS o Supervisor del FOSIS en los siguientes aspectos? Utilice una escala de 1 a 7, donde 1 es pésimo y 7 es excelente Muestra: Quienes tuvieron contacto con el ADL. En barras se omite categoría ‘Ns-Nr’ Primer nivel de evaluación: Amabilidad y Nivel de conocimiento Segundo nivel de evaluación: Capacidad resolutiva y trabajo general Tercer nivel de evaluación: Frecuencia de visitas para supervisión

36 Evaluación ADL: Dimensiones por Programa
¿Qué nota le pone al Agente de Desarrollo Local del FOSIS o Supervisor del FOSIS en los siguientes aspectos? Utilice una escala de 1 a 7, donde 1 es pésimo y 7 es excelente (Promedio) 01 Acción 02 YE-S 03 YE-B 04 YE-A 05 EdF 06 FNDR 07 YTJ 08 APL Nivel de conocimiento y preparación 6.74 6.76 6.79 6.78 6.77 6.80 6.75 Amabilidad 6.84 6.73 6.72 6.82 6.68 Frecuencia con que hacía visitas para supervisar 6.47 6.41 6.43 6.51 6.02 6.53 Capacidad para resolver problemas 6.69 6.58 6.70 6.63 Su trabajo, en general 6.56 6.62 Color verde indica porcentaje mayor de “muy de acuerdo” entre los programas Color rojo indica porcentaje menor de “muy de acuerdo” entre los programas Muestra: 2716

37 Evaluación ADL: Dimensiones por Segmentos
¿Qué nota le pone al Agente de Desarrollo Local del FOSIS o Supervisor del FOSIS en los siguientes aspectos? Utilice una escala de 1 a 7, donde 1 es pésimo y 7 es excelente (Promedio) Sexo Edad Hijos < 15 Jefe de hogar Nivel de conocimiento y preparación X Amabilidad Frecuencia con que hacía visitas para supervisar > Adultos (41 o +) Capacidad para resolver problemas Su trabajo, en general El signo “>” indica al grupo con un mayor porcentaje en “muy de acuerdo” El signo “x” indica que no hay diferencias importantes entre los grupos Muestra: 2716

38 6. Sincronía con expectativas sobre el programa, lealtad y recomendación

39 Sincronía con expectativas sobre el programa
Siguiendo con su experiencia con el Programa, ¿este superó, igualó o defraudó sus expectativas? (%) Superación de expectativas: 72% declara que el programa superó expectativas Mayor superación de expectativas en FNDR, Acción y EdF Menor superación de expectativas en YTJ y APL Mayor superación de expectativas en adultos (41 años o más) Muestra: En barras se omite categoría ‘Ns-Nr’

40 Recomendación a un tercero y Participación Futura
Si una persona cercana a usted estuviera evaluando participar en el mismo programa del cual formó parte usted, ¿le recomendaría que participe?/Si se presentara la necesidad, y considerando su experiencia, ¿participaría nuevamente en un programa financiado por FOSIS? (%) Muestra: En barras se omite categoría ‘No’ y Ns-Nr’ Recomendación: un 98% recomendaría el programa Participación futura: un 98% participaría en un programa FOSIS en el futuro Menor recomendación y participación futura: Programa Yo Trabajo Joven No hay diferencias importantes por segmentos

41 7. Síntesis y Conclusiones

42 Síntesis y Conclusiones
Respecto al proceso de levantamiento y la muestra Muestra robusta: altas tasas de contactabilidad y eficiencia en el uso de registros telefónicos. Bajas tasas de rechazo por parte de usuarios/as. Muestra principalmente femenina, adulta, con hijos menores de 15 años, tanto jefes de hogar como no jefes de hogar. Respecto a la evaluación de los programas e instituciones ejecutoras Buena evaluación general de los programas: netos sobre el 90%, excepto YE-S (88%) y YTJ (86%). La evaluación a instituciones ejecutoras más baja que la evaluación del programa (87% neto). Se destaca el compromiso y calidad de atención. Más débiles en la resolución de reclamos. Las instituciones con menor evaluación son de FNDR, YTJ y APL. Respecto a FOSIS Amplio conocimiento y reconocimiento de FOSIS: en promedio, un 93%. Sólo IEF más bajo. Mayor declaración de participación anterior en YE-A (40%). El resto en torno al 30% o menos. Evaluación FOSIS con un neto de 90%. Atributos destacados: utilidad, efectividad y aporte personal. Mejores evaluaciones en YE-B y YE-A. Peor evaluación en IEF.

43 Síntesis y Conclusiones
Respecto a las Oficinas de Atención Ciudadana (OAC) y los Agentes de Desarrollo Local (ADL) Bajo conocimiento de OAC (45%) y bajo acceso (40%), pero alta satisfacción con la atención (96%). Alto contacto con ADL (77%), menor en programas como YTJ y APL. Buena evaluación de atributos de los ADL (todo sobre 81% neto). Lo mejor evaluado: amabilidad, lo peor evaluado: frecuencia de visitas. Mejor evaluación de los ADL en APL, Acción y FNDR. Peor evaluación de los ADL en YE-A y YTJ Respecto a las expectativas y los niveles de recomendación/participación futura Alta superación de expectativas (72%), mejor en FNDR, Acción y EdF, más bajo en YTJ y APL, quienes tienden a decir que “igualó sus expectativas”. Niveles de recomendación y participación futura en torno al 98% y de forma transversal entre programas. Levemente inferior en YTJ.

44 Medición de Satisfacción de Usuarios/as 2013: Resultados Generales de los Programas