EVALUACIÓN DE LA CAPACITACIÓN: LA TRANSFERENCIA COMO EVIDENCIA DE VALOR Subdirección de Desarrollo de las Personas 2016

Temario Jornada La Jornada estará dividida en dos grandes temas revisar: I Parte: Presentación el Modelo y revisión de fases de DNC, Planificación y Ejecución de la Capacitación. II Parte: Revisión de Aspectos Generales del Indicador de Capacitación PMG-MEI 2016.

EVALUACIÓN DE LA CAPACITACIÓN: I PARTE: PRESENTACIÓN DEL MODELO

1.- Presentación del Modelo TEMARIO – I PARTE 2.- Rol Consultor Gestor de Capacitación 3.- Proceso de Detección de Necesidades de Capacitación 4.- Planificación de la Capacitación 5.- Ejecución de la Capacitación 6.- Resumen I° Parte del Modelo

1.- Presentación del Modelo TEMARIO – I PARTE 2.- Rol Consultor Gestor de Capacitación 3.- Proceso de Detección de Necesidades de Capacitación 4.- Planificación de la Capacitación 5.- Ejecución de la Capacitación 6.- Resumen I° Parte del Modelo

Evolución del Sistema: Situación al Egreso PMG (año 2011). A partir del egreso, se trata de intencionar un cambio de paradigma: “ Foco en la calidad y el impacto de la capacitación en el sector público” Implementación de Metodología de Evaluación de Transferencia (2012) 1.- Presentación del Modelo

Los desafíos en materia de capacitación son: Mejorar el desempeño de los funcionarios públicos, a través de capacitación focalizada y de calidad. Contribuir a mejorar la calidad y eficacia en la provisión de servicios de capacitación en el sector público. 1.- Presentación del Modelo

NivelMedición 1. REACCIÓN Mide la satisfacción de los participantes ante una actividad de capacitación. 2. APRENDIZAJE Mide los cambios en los conocimientos, habilidades y actitudes. 3. TRANSFERENCIA (Aplicabilidad) Mide los cambios de comportamiento en el puesto de trabajo. 4. RESULTADOS Mide los cambios en variables organizacionales a nivel de producción y resultados, para determinar el impacto de las actividades de capacitación. MODELO DE EVALUACIÓN DONALD KIRKPATRICK 1.- Presentación del Modelo

Resultado de la capacitación en el participante Probabilidad de éxito SI...…el participante tiene una reacción positiva frente a la actividad Entonces hay una mayor probabilidad de que… SI …..el participante adquiera conocimientos o desarrolla habilidades Entonces hay una mayor probabilidad de que… SI …..el participante use nuevos conocimientos, habilidades y actitudes en el trabajo. Entonces hay una mayor probabilidad de que… El uso de nuevos conocimientos, habilidades y actitudes mejora el desempeño de la organización. CADENA DE VALOR DE LA EVALUACIÓN 1.- Presentación del Modelo

Servicios Públicos Lideran Preparación, Ejecución, Evaluación y Registro Servicios Públicos Lideran Preparación, Ejecución, Evaluación y Registro Dirección Nacional del Servicio Civil Entrega Orientaciones, Asesoría y Acompañamiento Dirección Nacional del Servicio Civil Entrega Orientaciones, Asesoría y Acompañamiento 2 Meses 2- 6 Meses 1 Mes 1.- Presentación del Modelo

TEMARIO – I PARTE 2.- Rol Consultor Gestor de Capacitación 3.- Proceso de Detección de Necesidades de Capacitación 4.- Planificación de la Capacitación 5.- Ejecución de la Capacitación 6.- Resumen I° Parte del Modelo

2.- Rol Consultor Gestor de Capacitación El proceso de Detección de Necesidades de Capacitación (DNC) busca determinar el problema, necesidad o desafío que está interfiriendo en el desempeño funcionario, y que por ende, afecta en términos agregados el desempeño institucional. Dilema: Hacer el proceso sólo a jefaturas o incorporar a los funcionarios ? El Modelo de Gestión de Capacitación asigna un nuevo papel del Gestor de Capacitación: ROL CONSULTOR.

2.- Rol Consultor Gestor de Capacitación

Función Diagnóstica Apoyar en solución a las causas, no a síntomas 2.- Rol Consultor Gestor de Capacitación

Beneficios y Costos del Proceso bajo rol Consultor: Beneficios: Permite acotar hacia lo “critico” que se desea intervenir. Focaliza la inversión de capacitación (hacia funcionarios e identifica si la necesidad es abordable por capacitación) Da una mirada de proceso general. Co-construcción del desempeño esperado. Entrega una orientación certera para las siguientes fases del modelo (planificación, ejecución y evaluación).

2.- Rol Consultor Gestor de Capacitación Beneficios y Costos del Proceso bajo rol Consultor: Costos: Implica una participación activa de la unidad o jefatura requirente. Requiere un proceso de indagación más profundo. Implica una sistematización detallada de la información.

1.- Presentación del Modelo TEMARIO – I PARTE 2.- Rol Consultor Gestor de Capacitación 3.- Proceso de Detección de Necesidades de Capacitación 4.- Planificación de la Capacitación 5.- Ejecución de la Capacitación 6.- Resumen I° Parte del Modelo

1.- Informarse del Contexto Organizacional. 2.- Reunirse con el requirente de la capacitación (cliente). 3.- Reunirse con otros actores. 4.- Reunir evidencia complementaria. 5.- Identificar una brecha de conducta y/o desempeño. 6.- Definir objetivos de desempeño. 7.- Sistematización de la información. Siete pasos para revisión de la necesidad: 3.- Proceso de Detección de Necesidades de Capacitación

PASO 1: Informarse del contexto organizacional Los elementos que pueden ayudar a entender y analizar las causas del problema necesidad o desafío, podrían ser los siguientes: Conocimientos, habilidades o actitudes: que se requieren para un determinado desempeño. Ambiente laboral: las herramientas que se están utilizando, el espacio físico, el tiempo, el conocimiento de los objetivos de trabajo, el feedback (ausencia o presencia de él), carga de trabajo, entre otros. Motivación: logro, incentivos. Conocer en mayor detalle las funciones que realiza la Unidad, metas, proyectos para dominar aspectos técnicos. 3.- Proceso de Detección de Necesidades de Capacitación

PASO 2: Reunirse con el requirente de capacitación (cliente) El formato completo de este formulario, se encuentra en el documento «Guía Práctica para gestionar la capacitación en los Servicios Públicos», Pág Analizar con él la causa que origina el problema, desafío o necesidad, perfil de participantes, consensuando brechas de desempeño y finalmente, los objetivos de desempeño. PAUTA DE ENTREVISTA 3.- Proceso de Detección de Necesidades de Capacitación

PASO 3: Reunirse con otros actores Otros actores podrían corresponder a: Funcionarios que trabajan en la Unidad/Departamento donde se identifica la necesidad. Clientes internos que se relacionan con la Unidad/ Departamento donde se identifica la necesidad. Identificar otros actores que puedan aportar otros elementos sobre la necesidad, problema o desafío a ser abordado por la capacitación. 3.- Proceso de Detección de Necesidades de Capacitación

PASO 4: Reunir evidencia complementaria Por ejemplo: Informes de auditorías. Reclamos recibidos por OIRS. Información de avances de metas. Resultados de indicadores. Desempeños observados. Para acotar o precisar la necesidad, problema o desafío, que permita identificar las causas, no los síntomas de las situaciones que se presenten. 4.- Detección de Necesidades de Capacitación (DNC)

PASO 5: Identificar una brecha de conducta y/o desempeño Breve Ejercicio de identificación de conductas… 3.- Proceso de Detección de Necesidades de Capacitación

PASO 5: Identificar una brecha de conducta y/o desempeño GARZÓN Ser sociable, extrovertido y amable con los clientes. Conocer los distintos platos y tragos que se sirven en el local y sus precios. Atender a los clientes de manera excepcional. MAESTRO DE COCINA Preparar la variedad de platos fríos y calientes contemplados en el menú. Tener una personalidad capaz de trabajar bajo presión. Conocer los distintos tipos de platos y de cultura gastronómica. AUXILAR DE ASEO Conocer los procedimientos de limpieza establecidos. Mantener el aseo del local. Ser limpio, ordenado y pulcro. 3.- Proceso de Detección de Necesidades de Capacitación

PASO 5: Identificar una brecha de conducta y/o desempeño La necesidad del cliente se debe traducir en conductas concretas, es decir, que es lo que la persona debería hacer de manera distinta en su lugar de trabajo. 3.- Proceso de Detección de Necesidades de Capacitación

PASO 5: Identificar una brecha de conducta y/o desempeño Ejemplos de conductas: Revisar la planificación estratégica del área. Registrar semanalmente la información en el sistema SISPUBLI. Ejecutar procedimiento de conciliación entre las partes. No son conductas: X Rasgos de personalidad: Extrovertido, responsable, empático. X Motivaciones: Ganas de hacer cosas, interés por un tema. X Conocimientos: Sabe mucho de procedimientos, conoce la historia de la compañía. X Habilidades: Es inteligente, persuade clientes. 3.- Proceso de Detección de Necesidades de Capacitación

Elementos de un Objetivo de Desempeño: Teniendo clara la brecha conductual, se puede definir el objetivo de desempeño, que es aquello que debe hacer la persona en el lugar de trabajo. PASO 6: Definir Objetivo de Desempeño 3.- Proceso de Detección de Necesidades de Capacitación

Ejemplos de Objetivos de Desempeño: Generar informes de fiscalización (conducta), de acuerdo a los estándares y criterios establecidos en el manual técnico (condición), para garantizar una interpretación homogénea de los resultados que entregan los instrumentos de medición (criterio). Despachar la correspondencia de la institución (conducta) conforme a pauta de distribución (condición) durante la jornada de trabajo (criterio). Manejar integralmente la información de los sistemas informáticos (conducta), a través de la infraestructura definida para el modelo de atención (condición), conforme a los estándares de calidad y oportunidad definidos por la institución (criterio). PASO 6: Definir Objetivo de Desempeño 3.- Proceso de Detección de Necesidades de Capacitación

Contenidos Relevantes de esta Ficha: Evidencias de la necesidad. Como apoya la capacitación a esa necesidad. Objetivo de desempeño de la actividad. Conductas asociadas al desempeño. Perfil y N° de participantes. Niveles de evaluación a la que se someterá (reacción, aprendizaje y transferencia). Otros. El formato completo de este formulario, se encuentra en la «Guía Práctica para gestionar la capacitación en los Servicios Públicos», pág PASO 7: Sistematización de la información Contando con toda la información de esta etapa, de debe completar la Ficha Resumen de Detección de Necesidades. 3.- Proceso de Detección de Necesidades de Capacitación

1.- Presentación del Modelo TEMARIO – I PARTE 2.- Rol Consultor Gestor de Capacitación 3.- Proceso de Detección de Necesidades de Capacitación 4.- Planificación de la Capacitación 5.- Ejecución de la Capacitación 6.- Resumen I° Parte del Modelo

¿Qué es? 4.- Planificación de la Capacitación: Diseño Instruccional

Componentes Modelo de Diseño Instruccional 4.- Planificación de la Capacitación: Diseño Instruccional

Seis pasos del Diseño Instruccional 1.- Revisión de factores de contexto. 2.- Definición de Objetivos de Aprendizaje. 5.- Retroalimentación del aprendizaje. DISEÑO INSTRUCCIONAL 3.- Definición de contenidos. 4.- Definición de actividades de aprendizaje. 6.- Determinación de estructura de la actividad y diseño del programa. 4.- Planificación de la Capacitación: Diseño Instruccional

PASO 1: Revisión de factores de contexto Se clasifican en dos: Características de los participantes: Edad, género, nivel educacional, conocimientos, experiencia, motivaciones, etc. Características del entorno: Recursos tecnológicos, características de la sala, Nº de participantes por curso, modalidad presencial o e-learning. Factores del entorno en que se desarrollará la capacitación. 4.- Planificación de la Capacitación: Diseño Instruccional

PASO 2: Definición de Objetivos de Aprendizaje (OA) Es la formulación explícita sobre el aprendizaje que el participante debe lograr al terminar la actividad. 4.- Planificación de la Capacitación: Diseño Instruccional

¿Es lo mismo un objetivo de desempeño que un objetivo de aprendizaje? 4.- Planificación de la Capacitación: Diseño Instruccional

Consideraciones para definir un objetivo de aprendizaje: a) Analizar el tipo de objetivo de aprendizaje necesario para cumplir el objetivo de desempeño. 4.- Planificación de la Capacitación: Diseño Instruccional

Consideraciones para definir un objetivo de aprendizaje: b)Definir el grado de complejidad del objetivo: Verbo a utilizar. c) Agregar los componentes: condición y criterio. 4.- Planificación de la Capacitación: Diseño Instruccional

Características de un buen OA: Siempre comenzar con la frase « Al finalizar el taller el participante será capaz de…» Elige sólo un verbo por objetivo. Ser realista. Ser objetivo. Utilizar un lenguaje específico. Ser breve y concreto. 4.- Planificación de la Capacitación: Diseño Instruccional

PASO 3: Definición de Contenidos Análisis sobre tres aspectos: a)Definición de Contenidos. b)Determinación de Secuencias de contenidos. c)La definición del tiempo dedicado a cada tema. 4.- Planificación de la Capacitación: Diseño Instruccional

PASO 4: Definición de Actividades de Aprendizaje Tipos de Actividades de Aprendizaje: Individuales: Lectura de libros, entrevistas, revisión de documentos, etc. Grupales: Panel de discusión, casos de estudio, role playing, etc. Se refiere al método que permite al participante generar aprendizaje para facilitar la transferencia. 4.- Planificación de la Capacitación: Diseño Instruccional

PASO 5: Retroalimentación del Aprendizaje Ejemplos de Estrategias: Revisión conjunta de pruebas. Actividades prácticas. Auto corrección de pruebas. Reflexión de grupos. Generar seguimiento y acciones con el fin de verificar los aprendizajes en el curso. 4.- Planificación de la Capacitación: Diseño Instruccional

PASO 6: Determinación de estructura de la actividad y diseño de la actividad. El formato completo de este formulario, se encuentra en la «Guía Práctica para gestionar la capacitación en los Servicios Públicos», pág. 34 Para este paso se utiliza el instrumento llamado “Guión Metodológico”, que es una pauta que facilita la planificación de una actividad. 4.- Planificación de la Capacitación: Diseño Instruccional

Una Pausa?.....

1.- Presentación del Modelo TEMARIO – I PARTE 2.- Rol Consultor Gestor de Capacitación 3.- Proceso de Detección de Necesidades de Capacitación 4.- Planificación de la Capacitación 5.- Ejecución de la Capacitación 6.- Resumen I° Parte del Modelo

PASO 3: Definición de Contenidos Análisis sobre tres aspectos: a)Definición de Contenidos. b)Determinación de Secuencias de contenidos. c)La definición del tiempo dedicado a cada tema. 4.- Planificación de la Capacitación: Diseño Instruccional

Hito Inicial de la Etapa: Proceso de sensibilización de los participantes sobre la actividad de capacitación. Tiene como propósito que los participantes conozcan las dimensiones del curso, en termino de contenidos, objetivos de desempeño, evaluaciones involucradas, etc., previo al inicio del curso. La modalidad para afrontar este hito puede ser a través de correo electrónico, reunión inicial o a través del compromiso de implementación. 5.- Ejecución de la Capacitación

a)Evaluación diagnóstica. b) Supervisión al desarrollo técnico de la actividad. c) Supervisión al desarrollo logístico de la actividad. ETAPA EJECUCIÓN 5.- Ejecución de la Capacitación

1.- Presentación del Modelo TEMARIO – I PARTE 2.- Rol Consultor Gestor de Capacitación 3.- Proceso de Detección de Necesidades de Capacitación 4.- Planificación de la Capacitación 5.- Ejecución de la Capacitación 6.- Resumen I° Parte del Modelo

6.- Resumen 1° Parte del Modelo Ideas Fuerza… Un factor clave de este proceso es indagar con los requirentes/actores involucrados en la actividad. Empoderar al líder del proceso en el rol consultor (facilitador). El producto de la fase de detección es la definición consensuada del Objetivo de Desempeño y las conductas asociadas. Esto será la base para las siguientes etapas de la aplicación de la metodología.

Ideas Fuerza… Un factor clave de este proceso es planificar la actividad en base a los participantes, contexto y recursos disponibles. En esta etapa se definen los Objetivos de Aprendizaje, los cuales deben ir en directa relación al Objetivo de Desempeño definido. El producto de esta fase es el Guion Metodológico, el cual es un compendio del curso en términos de contenidos, estructura, recursos, etc., el cual puede ser construido por el oferente de la actividad y debería ser validado por la jefatura de la unidad que está solicitando el curso. 6.- Resumen 1° Parte del Modelo

EVALUACIÓN DE LA CAPACITACIÓN: II PARTE: ASPECTOS GENERALES DEL INDICADOR

Temario 1.- Evaluación Proceso año Gestión Indicador de Capacitación Año Elementos a considerar en Proceso Próximos Hitos del Sistema.

1.- Evaluación Proceso año N° de Servicios No validados en Primera Instancia: 48 Servicios. N° de Servicios No validados en Segunda Instancia: 25 Servicios. N° de Servicios sin validación año 2015: 19 Servicios % de Servicios sin validación año 2015: 13,4% Periodo de Revisión Red de Experto: enero – febrero Servicios con Compromiso en Indicador: 141 Instituciones.

1.- Evaluación Proceso año Causales de No Validación: 1.Ausencia de uno o más Medios de Verificación que da cuenta la aplicación de metodología. 2.Ausencia de registro y/o visualización de Formulario de Sistematización de Actividades. 3.Inconsistencia de Información entre instrumentos. 4.Publicación incorrecta de valores efectivos del indicador. Causal de no validación por una variable o combinación de más de una.

1.- Evaluación Proceso año Conclusiones: a)Coordinación con encargado de metas institucional para verificar seguimiento y correcta publicación de valores efectivos. Forma Correcta: Nombre Indicador + Formula de Calculo + Compromiso + Porcentaje logrado. (3/3) 100% (1/2) 50%

1.- Evaluación Proceso año Conclusiones: b) Es de vital importancia verificar que los instrumentos que se registren en el sistema estén correctamente ingresados y puedan ser visualizados. c) Reforzar el concepto de coherencia entre los instrumentos como un factor clave de validación.

2.- Gestión Indicador de Capacitación Año Instrumentos que evidencian la aplicación de la metodología: Resumen Detección Necesidades de Capacitación.(DNC) Guion Metodológico. Informe de Resultados de la Actividad. Matriz de Datos Tabulados. Adicional: Formulario de Sistematización de Actividades.

2.- Gestión Indicador de Capacitación Año Medios de Verificación: 1)Certificado de revisión, emitido por la DNSC, con detalle de las actividades de capacitación con compromiso de evaluación de transferencia. (Emitido en noviembre de 2015). 2)Certificado de registro del Plan Anual de Capacitación en portal SISPUBLI, con detalle de las actividades de capacitación con compromiso de evaluación de transferencia programadas al 31 de diciembre del año t-1. (Emitido en enero de 2016).

2.- Gestión Indicador de Capacitación Año Medios de Verificación: 3) Reporte de Sistema Informático de Capacitación del Sector Público, SISPUBLI, administrado por la Dirección Nacional del Servicio Civil. (Se emite cuando se registran instrumentos finales en SISPUBLI. Plazo Máximo: 31 de diciembre de 2016). 4) Certificado emitido por DNSC, que informa los valores efectivos del indicador al 31 de diciembre del año t. (DIPRES indicará la estructura y forma de obtención de este certificado).

2.- Gestión Indicador de Capacitación Año ¿ Cual es el plazo para el cumplimiento del indicador? Recordar que el Decreto N° 231 establece que los servicios deben medir, informar y publicar bajo los siguientes criterios: “Cada indicador se entenderá informado si el servicio informa a la red de expertos correspondiente, los valores efectivos de los indicadores transversales, al menos al 31 de diciembre de 2016”. “Cada indicador se entenderá medido si el servicio informa a DIPRES los valores efectivos al 31 de diciembre de 2016, presentando los medios de verificación de dichos valores” “Cada indicador se entenderá publicado si el servicio informa los valores efectivos de los indicadores transversales comprometidos, en su página web institucional al 8 de enero del 2017”.

3.- Elementos a considerar en Proceso i.¿ Es posible modificar el PAC del servicio? Se puede modificar todas las acciones y contenidos definidos en el PAC 2016 del servicio, salvo lo comprometido en transferencia lo cual se debe mantener inalterable en cuanto a su planificación. ii. ¿La planificación de la/s actividades puede sufrir modificaciones? Sí puede sufrir modificaciones, sin embargo esas modificaciones no deben alterar la correcta ejecución de la actividad en base a la metodología ni condiciones mínimas de ejecución (horas y participantes). Además, las desviaciones en el proceso deben ser fundamentadas en el informe de la actividad y en el formulario de sistematización.

3.- Elementos a considerar en Proceso iii. Si no ejecutó una actividad comprometida, ¿pone en riesgo el cumplimiento del indicador?. Se analizará caso a caso, siempre y cuando se justifique e indique las causales que dan origen a la no ejecución. En el formulario de sistematización se deberá dar cuenta de esta situación, adjuntando los antecedentes que permitan sustentar esta situación.

3.- Elementos a considerar en Proceso iv. Si los participantes que tenia definido capacitar aumentaron, ¿debo evaluarlos a todos en transferencia?. Dependerá del servicio decidir el número de participantes a evaluar, es decir, si considerará el número establecido en el compromiso o si evaluará a la totalidad. En ambos casos deberá fundamentar la elección en el informe de la actividad y el formulario de sistematización.

3.- Elementos a considerar en Proceso Modificaciones de los Instrumentos: En la Ficha Resumen DNC: Precisiones en los cuadros de objetivo/s de desempeño de la actividad y las conductas a evaluar.

3.- Elementos a considerar en Proceso Modificaciones de los Instrumentos: En el Guion Metodológico: Precisión en el cuadro de identificación del objetivo de desempeño a evaluar y el número de participantes.

3.- Elementos a considerar en Proceso Modificaciones de los Instrumentos: En el Informe Final de la Actividad: Se agrega un cuadro en el punto 1 referido a los antecedentes de la actividad.

3.- Elementos a considerar en Proceso Modificaciones de los Instrumentos: En el Informe Final de la Actividad: Se agrega un cuadro en el punto 3 referido a las conclusiones y recomendaciones para la toma de decisiones.

3.- Elementos a considerar en Proceso Modificaciones de los Instrumentos: En el Formulario de Sistematización: Se agrega un cuadro referido a modificaciones que hayan sufrido la actividad en relación a lo planificado.

3.- Elementos a considerar en Proceso Modificaciones de los Instrumentos: En la Matriz de Resultados: Se agrega algunas ayudas contextuales para el tratamiento de la información y como obtener los datos a solicitar.

4.- Próximos Hitos del Sistema. ActividadPlazoResponsable Envío de instrumentos de la metodología de Transferencia: o Ficha resumen Detección de Necesidades. o Guion Metodológico. o Informe de resultados de evaluación. o Matriz de resultados. o Formulario de Sistematización 2 al 6 de mayo DNSC Envío de instrumentos de, al menos, una actividad comprometida: o Ficha resumen Detección de Necesidades. o Guion Metodológico. 17 de junio (Fecha Tentativa) Servicios públicos Revisión de instrumentos enviados por SP. Junio-Julio (fechas Tentativas) DNSC Comunicación sobre el resultado de revisión a SP Julio –Agosto (fechas Tentativas DNSC

Datos de Contacto: Daniela Triantafilo Torres Consultora Especialista en Capacitación y Formación – 2 Daniel Triviño Guerrero Consultor Especialista en Capacitación y Formación – 2

MUCHAS GRACIAS … Subdirección de Desarrollo de las Personas 2016 EVALUACIÓN DE LA CAPACITACIÓN: LA TRANSFERENCIA COMO EVIDENCIA DE VALOR