Debra McKinney Gehman Congreso CLADE Quito, Ecuador 12 de mayo de 2006 Introducción a la medición de los resultados de la formación corporativa Debra McKinney Gehman Congreso CLADE Quito, Ecuador 12 de mayo de 2006

Objetivos Lograr con una visión general y articulada sobre el tema. Diferenciar la “moda” de la “sustancia”. Poder hablar con los directivos de su empresa de manera profesional sobre el tema. Contar con información inicial y fuentes de profundización, si desea iniciar.

La gerencia estratégica y la medición PRIMER CAPÍTULO La gerencia estratégica y la medición

“[…] mientras la mayoría de los directivos de empresa creen firmemente que el aprendizaje es crucial, algunos tienen serias dudas si la capacitación en la cual invierten constantemente produce el aprendizaje que verdaderamente apoya al negocio.” Running Training Like a Business, David Van Adelsberg & Edward A. Trolley, Berrett-Koehler Publishers, San Francisco, 2000, p. 3

Resultados del negocio Retorno Desempeño Valor Mercado ENFOQUES DIFERENTES Contenido Costo Conocimiento Volumen Participantes Resultados del negocio Retorno Desempeño Valor Mercado Ibid., p.12

REGLAS DE JUEGO DIFERENTES Demanda asegurada Operar dentro del presupuesto Sostenido por la organización Éxito = actividad Convivir con riesgo Maximizar utilidades Sostenido por el cliente Éxito = resultado Ibid., p.13

Sus factores de éxito en C&D Aclarar razón de existencia del área: crear valor Partir de la estrategia de la empresa Alinearse y enfocarse Responder a las necesidades de sus clientes principales Aplicar una seria disciplina de negocios Ibid., p. 20

MITOS Y MIEDOS “No puedo medir los resultados de la formación.” ¿Cómo puede afirmar que agrega valor? “No sé qué información recolectar.” Con buen diseño, ya es sencillo. “No necesito justificarme; ya gozo de credibilidad.” Evaluamos la función, no al individuo. Las crisis no respetan las reputaciones. “Medir el progreso hacia los objetivos es suficiente.” Los objetivos enfocan el contenido. ¿Cuál es el impacto?

MITOS Y MIEDOS “Mi jefe no lo pide. ¿Por qué revolver avisperos? Sin datos objetivos, su trabajo depende de la opinión de alguien. “Hay demasiados variables.” Aísle las variables que su área controla. “Si no puedo calcular el ROI, no vale la pena.” No se emplea ROI para 100% de los casos. “Probablemente costaría demasiado.” ¡Cuesta más no hacerlo! Jack J. Phillips, Handbook of Training Evaluation and Measurement Methods, 2nd. Ed., Gulf Pubishing Co., Houstin TX, 1991, pp. 1-5.

¡Ud. necesita un plan! ¿Qué va a evaluar? ¿Para qué? ¿A quiénes va a evaluar? ¿Participantes? ¿Docentes? ¿Diseñadores? ¿Individuos? ¿Equipos de trabajo? ¿Cuándo va a evaluar? ¿Antes? ¿Durante? ¿Después? ¿Una vez? ¿Periódicamente? ¿Qué hará con los resultados?

¡Ud. necesita un plan! ¿Quiénes reciben los resultados? ¿Para qué le sirven a Ud.? ¿A la empresa? ¿A los participantes? ¿A sus jefes? La medición y la evaluación son medios, no fines en sí mismos. ¡Si no tiene un plan, no empiece!

Algunos conceptos básicos SEGUNDO CAPÍTULO Algunos conceptos básicos

B/C, ROI… ¿de qué estamos hablando? Vr. beneficios totales del programa Vr. costos totales del programa Vr. beneficios netos programa Vr. costos totales programa X 100

Las fórmulas anteriores nos indican que… Debemos ser capaces de manejar elementos básicos de costeo. Requerimos un sistema sencillo para que todas las personas en nuestra área puedan ingresar datos pertinentes. Debemos adoptar una actitud de gestión activa y propositiva en nuestra área, en vez de la tradicional postura reactiva a necesidades.

EFICIENCIA EFICACIA MEDICIÓN

EFICIENCIA Encontrar y revelar costos escondidos. Reducir costos agresivamente. Construir y mantener sistemas y procesos confiables. Operar como un costo variable, no como un gasto fijo. Ser flexible y oportuno. Van Adelsberg & Trolley, op. cit. p. 20.

EFICACIA Se relaciona con el valor percibido y la ganancia tangible. Hay que segmentar sus clientes – participantes, supervisores, directivos - porque tienen sus propias prioridades. Se relaciona con la estrategia organizacional, Trata cada intervención como una transacción de negocios. Ibid., pp. 37-44

EFICIENCIA EFICACIA Estrategia (plan estructurado) Gestión (costos, procesos) MEDICIÓN Mida lo importante

¿MEDICIÓN SUBJETIVA U OBJETIVA? Objetivo = real, verdadero, sin sesgo, impersonal, alejado de sentimientos y percepciones personales. Subjetivo = afectado por las opiniones, limitaciones o sesgos de las personas que interpretan los hechos. Aún cuando existan hechos, las explicaciones son subjetivas. LOS NEGOCIOS EMPLEAN MUCHAS MEDICIONES SUBJETIVAS. Scott B. Parry, Evaluating the Impact of Training, ASTD, Alexandria VA, 1997, p. 82.

¿COMPROBACIÓN O CORRELACIÓN? “Comprobación” tiene tintes jurídicos, e implica la posibilidad de encontrar una relación causa-efecto. “Correlación” tiene un sentido estadístico e implica causas multi-variables. Estamos trabajando con gente. ¿Qué nos sirve? ¿Qué es posible?

¿MEDICIÓN O CONFIANZA? “[Cuando los directivos piden pruebas] creemos que realmente buscan confianza. Después de todo, si se sintieran seguros que la capacitación satisfaciera las necesidades importantes y estratégicamente significativas del negocio, ¿pegarían la mesa y exigirían valor precisamente medido? Creemos que no.” Van Adelsberg & Trolley, op. cit.., p. 17.

VALIDEZ Y CONFIABILIDAD La objetividad de los datos puede establecerse al revisar su VALIDEZ (si es verídico) y su CONFIABILIDAD (replicabilidad) Un resultado puede ser CONFIABLE (aparece repetidas veces), sin ser VÁLIDO (verídico). ¡Ojo con las conclusiones alegres! “echar números” no garantiza las respuestas. Parry, op.cit.

¿QUÉ CONCLUIMOS DE TODO ESTO? La medición y la evaluación resultante son herramientas valiosas de gestión. Otorgan credibilidad a nuestras actividades. El hecho de tener una respuesta numérica no significa que ésta sea “verdadera” ni “mejor”. En nuestro campo, la medición subjetiva es útil y la correlación es más común que la comprobación. La medición toma tiempo y cuesta dinero. Midamos lo que vale la pena, con profesionalidad. Si no sabe, ¡infórmese!

Una introducción a las herramientas TERCER CAPÍTULO Una introducción a las herramientas

Primero, no todas las fallas no son remediables mediante la capacitación HUMAN PERFORMANCE IMPROVEMENT MEJORA DEL RENDIMIENTO HUMANO

MEJORA DEL RENDIMIENTO HUMANO: LOS PRINCIPIOS BÁSICOS Emplea un enfoque sistémico y basado en resultados. Enfoca logros en vez de comportamientos. Considera a la organización como un sistema. Ethan Sanders, “What is HPI?” en George M. Pisurich, ed., HPI Essentials. ASTD, Alexandria VA 2002, pp. 2-7.

Análisis del negocio Análisis del desempeño Análisis de causa Conocimiento Motivos Recursos físicos Estructura/pro- cesos Información Bienestar Selección de intervención Brecha Estado real desempeño Evaluación del resultado Implementación de intervención HPI in the Workplace, ASTD, Alexandria, VA, 2000, II-5

Los cuatro niveles de Donald Kirkpatrick Reacción Aprendizaje Segundo, tenemos que entender cómo se evalúa los resultados de la formación. Los cuatro niveles de Donald Kirkpatrick Reacción Aprendizaje Comportamiento Resultado Donald L. Kirkpatrick, Evaluating Traing Programs: The Four Levels, Berrett-Koehler, San Francisco, CA, 1996, p. 23.

Reacción: “¿Cómo le pareció?” Ventajas Fácil de desarrollar y aplicar Respuesta inmediata Permite tomar acciones inmediatas Peligros Complacencia inapropiada Inferir lo que no se preguntó “Calificar al cirujano”

Aprendizaje: “¿Qué aprendió?” Identifica conocimientos, habilidades y/o actitudes desarrolladas o mejoradas. Ventajas similares al nivel 1. Requiere pruebas pre/pos siempre; se aconseja grupos de control cuando sea práctico.

Comportamiento: “¿Lo puede hacer solo en el puesto de trabajo?” Problemas Resistencia organizacional Imposibilidad de predicción individual Continuidad o reversión Consideraciones Cuándo evaluar Con qué periodicidad evaluar Cómo evaluar

Resultados: “¿Se logró algún cambio en la organización?” Resultados concretos y claros Beneficio- costo Evidencia o comprobación Documentación

La “gran pelea” - ¿4 niveles ó 5? Kirkpatrick dice que ROI es parte del nivel 4: resultado Phillips dice que el ROI es el nivel 5, y que nivel 4 es cualitativo. No importa mucho, mientras seamos Consistentes al reportar en la empresa.

Tendencias de evaluación por nivel Nivel 1 100% programas Nivel 2 50% Nivel 3 30% Nivel 4 20% ROI 10% Jack J Phillips, ed., Measuring Return on Investment, vol 1, ASTD, Alexandria VA. 1998, p. 3

Tercero, independiente del número de niveles, necesitamos un proceso para llevar a cabo la medición y la evaluación resultante.

Modelo para el proceso de valoración Propósito evaluación Instrumentos evaluación Tabular costo del programa Calcular ROI Recolectar datos Aíslar los efectos de capacitación Convertir datos a valor monetario Momento de evaluación Identificar beneficios intangibles Niveles de evaluación Jack J. Phillips, Return on Investment, Gulf Publishing Co., Houston TX, 1997, p. 25 JacJ. Phillips, Return on Investment,

¡La medición es el medio, no el fin! CUARTO CAPÍTULO ¡La medición es el medio, no el fin!

Prepare el camino ¿La organización ya expresó interés en el tema? ¿Existe una infraestructura formal de medición en su organización? ¿Está familiarizado con él? ¿Cuenta con una “padrino” organizacional para esta actividad? ¿Cuáles son sus propios conocimientos y habilidades en este campo? ¿Necesita prepararse más?

Este es un proyecto, y necesita un equipo Definición y capacitación del equipo de trabajo Definición de políticas Definición de metas y cronograma Desarrollo de herramientas de apoyo Implementación de piloto Capacitación personal ARH y gerentes Implementación gradual Monitoreo y comunicación de resultados

Revise la calidad de sus insumos Análisis de necesidades – las actividades innecesarias o irrelevantes no agregan valor. Diseño instruccional – objetivos claros Implementación de buena calidad. Entra basura… …sale basura

Puede reportar sus datos de muchas maneras… Informes “corrientes” Cuadro de mando integral (balanced scorecard) y variantes (information dashboard, HR scorecard, etc.) NO SE DEJE CONFUNDIR EN EL PROCESO DE MEDICIÓN Y EVALUACIÓN DE LA FORMACIÓN POR ESToS elementos DE GESTIÓN. Son la forma, no el fondo.

2004 Tablero de mando - Capacitación y desarrollo Fourth National Bank 2004 Tablero de mando - Capacitación y desarrollo Gerente: Kirkpatrick No. Estrat. Categoría Resultados mensuales A   Medidas financieras/ de producción Real Meta Estado Cambio 1 Utilidad por acción 1,62 1,72 - 2 Retención de clientes 88% 94% 3 Lealtad de clientes (dispuesto a referir) 72% 85% igual 4 Retención de empleados 92% + 5 Lealtad de empleados (intención quedarse) 95% 6 Costo capacitación/empleado $ 230 $ 200 7 Gastos del departamento 320k 300k B Medidas de clientes Tasa de ventas cruzadas 6 a 1 4 a 1 Calidad del perfil del cliente 65% 90% nuevo Seguimiento del jefe a capacitación Entrevistas de inducción realizadas 40 42 Notas evaluación nivel 3 para determinar Solicitudes de consultoría interna 14 12 C Medidas de sistemas internos Observaciones sesiones de coaching 16 Sesiones de apoyo de coaching con gerentes 15 Excede meta Cumple meta Alerta Requiere ayuda Facsímil incompleto

Para informarse… American Society for Training and Development www.astd.org International Society for Performance Improvement www.ispi.org

¿Estamos preparados?

¡GRACIAS! Debra McKinney Gehman dlmckg@cable.net.co Tel. ofc. 571-243-4166, 571-243-6888