Proyecto Modernización Laboral de la Industria Azucarera, México Taller Coordinadores Módulo 3 Evaluación y Certificación de Competencias en el Marco del ROI Septiembre,2009

Algunos Mitos (1) No se pueden medir los resultados de la capacitación. Es difícil saber qué información recolectar. Si no se puede calcular el retorno de la inversión, entonces no es útil evaluar. La medición es sólo efectiva en los ámbitos productivos y financieros. ¿Los gerentes no demandan evaluaciones, así es que por qué habría que hacerlo?

Algunos Mitos (2) Hay muchas variables que afectan el cambio conductual para evaluar el impacto de la capacitación. La evaluación lleva a la crítica. No es necesario justificar lo que hacemos, podemos mostrar todos nuestros registros. Medir el progreso hacia los objetivos de aprendizaje es una estrategia de evaluación adecuada. Las Evaluaciones probablemente podrían costar mucho.

Los 4 niveles de evaluación (Kirkpatrick) Nivel de Evaluación Preguntas Reacción ¿Quedaron satisfechos los participantes con el programa? Aprendizaje ¿Qué aprendieron los participantes en el programa? Conducta ¿Cambiaron su conducta los participantes en base a lo que se aprendió? Resultados ¿El cambio afectó positivamente a la organización?

Esquema de 5 niveles ROI (Phillips) Nivel de Evaluación Descripción 1. Reacción y Acciones Planeadas Mediciones de la reacción de los participantes del programa y los resultados específicos de planes de implementación. 2. Aprendizaje Medición de los cambios en los conocimientos, habilidades y actitudes. 3. Aplicaciones al Trabajo Mediciones del cambio en la conducta en el trabajo y las aplicaciones específicas del material de capacitación. 4. Resultados en la Organización Medición del impacto (económico y social) del programa en la organización 5. Resultados Financieros Comparar el valor monetario de los resultados con los costos del programa, usualmente expresado en porcentaje.

Cálculo del ROI ROI (%) = Beneficios Netos del Programa x 100 Costos del Programa

Instrumentos de Recolección de Datos Encuestas Cuestionarios Entrevistas Grupos Focales Pruebas Observación Registros de Desempeño

Método de Aislamiento: Grupo Control Tiempo O1 O2 Grupo Control O3 O4 Grupo Experimental Intervención Hipótesis a verificar: O1 = O3 O1 = O2 O3 < O4 ó O3 > O4

Gráfico de Tendencia Meses Tasa de Accidentes 5.85%: Promedio 6 meses pre-capacitación Programa de capacitación 6% 3% 4.45%: Promedio proyectado usando como base los datos previos 2.7%: Promedio 6 meses post-capacitación Tasa de Accidentes E F M A M J J A S O N D E Meses

Aplicación al puesto de trabajo Resultados en la Organización Plan para el ROI Nivel Objetivos Método de Evaluación Tiempo Responsable 1. Reacción Reacción positiva Recomendación de mejoramientos Cuestionario de reacción Al final del 2do. día Al final del 3er. día Facilitador 2. Aprendizaje Adquisición de habilidades. Selección de habilidades Práctica de habilidades Durante el programa Grupo SIMAPRO 3. Aplicación al puesto de trabajo Uso de habilidades Frecuencia de uso de habilidades Eliminar Barreras Observación – lista de Revisión 3 meses después 3 semanas después Coordinador de capacitación 4. Resultados en la Organización Reducción de Accidentes Monitoreo del desempeño Coordinador de Capacitación

Ejemplo Caso GAEC de SST

NIVEL 1: REACCION Sobre un máximo de 100 puntos el 1er Módulo del Curso: Coordinar la Formación, Evaluación y Certificación por Competencias alcanzó un promedio de 76 puntos

NIVEL 1: REACCION

Respuestas con menor puntaje NIVEL 1: REACCION debilidades Respuestas con menor puntaje Max 100 1 Satisfecho con el aprendizaje que has logrado 70 2 Satisfecho con los aspectos organizativos 3 Satisfecho con los resultados del aprendizaje 72 4 Satisfecho sobre los temas del Módulo 74

NIVEL 2: APRENDIZAJE

NIVEL 2: APRENDIZAJE Se entrevistó de manera aislada (sin la presencia de los facilitadores) al Sr. XX del área de Molinos con 20 años de experiencia en el Ingenio quien en resumen opinó lo siguiente: Ahora aprecia más la seguridad personal y la de la empresa. - Está comprometido con poner en práctica lo aprendido porque considera que así deben de ser las cosas. - Su propuesta de mejora al curso consiste en que para que lo que vieron en el curso lo apliquen en el Ingenio, que se les proporcione la herramienta correcta, porque la que hay ya está muy usada y presenta algunos desperfectos.   El Sr. YYY del área de Batey en resumen expresó lo siguiente: Sí les sirve para su trabajo diario, e incluso para aplicarlo con su familia. - El método utilizado es el adecuado para ellos, le gustó e incluso él en su casa sí leía y hacía la tarea que dejaban los facilitadores. Se le preguntó acerca de los contendidos y expuso que todo se entendió, incluso términos que nunca habían oído como Ergonomía. Explicó que la ergonomía era la relación entre el cuerpo humano y los equipos, e incluso extrapoló la situación a casos concretos. - Contestó a la pregunta de ¿qué mejoraría del curso?, que él solicitaría que la empresa dentro de sus limitaciones proporcionara los insumos para que todos tengan seguridad y salud en el trabajo.

NIVEL 3: APLICACIONES AL TRABAJO EVALUACIÓN DE COMPETENCIAS: DESEMPEÑOS PRODUCTOS CONOCIMIENTOS

Cumplimiento de Acciones de Mejora NIVEL 4: RESULTADOS EN LA ORGANIZACION Cumplimiento de Acciones de Mejora 170 PROPUESTAS DE MEJORA

NIVEL 5: RESULTADOS FINANCIEROS (ROI) Análisis ROI Programa: Reducción de Accidentes Responsable: ____________ Fecha: _______________ Indicador Método de tendencia Método de conversión de indicador Categoría de costo Beneficios Intangibles Otros aspectos Objetivos de Comunica-ción Accidentes por Mes Días de incapacidad por mes Análisis de datos mensuales Conversión directa usando contribución a la prima de riesgo al IMSS Cálculo del costo promedio del accidente Costo del curso Materiales Almuerzo/ Café Sala Salario de participantes Costo de coordinación Satisfacción de los trabajadores Fluctua-ciones por temporada Participantes Jefes de Depto. Gerentes de Tienda Gerente Zonal, Regional Personal de Capacitación Instructores

NIVEL 5: RESULTADOS FINANCIEROS (ROI) PRIMA DE RIESGO 2009 $ 992,974 PRIMA DE RIESGO 2010 $ 306,838 DIFERENCIA $ 686,135 COSTO CAPACITACION $ 350,000 (686,135 - 350,000) / (350,000) = 96% ROI:

Las Mejores Prácticas de ROI 1. Se implementa como un proceso de mejoramiento y no como evaluación del desempeño del área de capacitación y desarrollo. 2. Los estudios son dirigidos muy selectivamente (5% - 10% de los programas). 3. Se utilizan diversos métodos de recolección de datos. 4. Se aíslan los efectos del aprendizaje/desarrollo de otras influencias. 5. Los impactos son convertidos en valor monetario.

Competencias del Coordinador para ROI Planificar el proceso ROI. Recopilar datos. Aislar efectos de la capacitación. Convertir datos en valores monetarios. Monitorear costos de las acciones. Analizar datos y calcular el ROI. Presentar evaluación datos. Implementar el proceso de ROI. Hacer consultoría interna de ROI. Enseñar a otros el proceso ROI.

Muchas Gracias http://competenciasazucar.ning.com