Escuela de Negocios Itaú Unibanco Evaluación de la Capacitación Congreso Clade 2012 27 | sep | 2012

AGENDA Breve Reseña – Itaú Unibanco ¿Cómo es el proceso de las acciones de desarrollo? ¿Por qué es importante medir los resultados de la capacitación? ¿Cuáles son los beneficios del uso de la medición de resultados de la formación para las organizaciones y los recursos humanos? Presentación de los cuatro niveles de medición de resultados de la formación, en base a la metodología de Kirkpatrick. Las metodologías para la aplicación del estudio, aplicabilidad, impacto y retorno de la inversión. Presentación de un caso de retorno de la inversión.

1 . Breve reseña de Itaú Unibanco 1er Banco Brasileño y uno de los 15 mayores* bancos del mundo por valor de mercado. En Brasil Presente en el 93% de los municipios con más de 50 mil habitantes. 4.714 puntos de atención, de los cuales 3.844 son sucursales y 870 son PAB. 102 mil colaboradores. 1,08 MM de participaciones en capacitación con 3,4 MM de horas en 2011. U$ 76,5 MM fue el presupuesto para capacitación en 2011. En América Latina Presente en 4 países (Argentina, Chile, Paraguay, Uruguay). 273 sucursales y PAB. Oficinas de representación en Perú y Colombia dedicadas a la operación de Itaú BBA centrada en inversores institucionales. México con foco en tarjetas de crédito. 5,8 mil colaboradores. * Datos al 29/jun/2012 (fuente: Bloomberg)

2. El proceso de preparación de las acciones de desarrollo es cíclico, continuo y dinámico... 1. Diagnóstico: estudio de la necesidad de acciones de desarrollo a partir: de los gaps de conocimiento y de habilidades + de las evaluaciones de efectividad de las acciones de desarrollo + estrategia de negocio 2. Diseño: elaboración de las acciones de desarrollo a partir del diagnóstico 4. Evaluación: Verificación de los resultados obtenidos con la capacitación 3. Implementación: ejecución y conducción de la acción de desarrollo Metodología que utiliza los indicadores de negocio/resultado del área cliente para entender gaps y para evaluar Fuente: adaptado de Chiavenato, I, Gestión de Personas

Indicadores de Proceso Indicadores de Calidad Actualmente, utilizamos dos grupos de indicadores en la Escuela Itaú Unibanco de Negocios... Indicadores de Proceso Indicadores de Calidad No Financiero Nº participaciones, nº de capacitados y horas de capacitación en total Por área, por tipo de cargo, por habilidad desarrollada No Financiero Evaluación de Reacción, Aprendizaje y Aplicabilidad Reacción respecto al 100% de los programas Aprendizaje y aplicabilidad por indicación Financiero Costo/Inversión Por participación/ por participante/ por horas de capacitación Financiero Retorno Económico – ROI Relación de costos-beneficios generados exclusivamente por las acciones de desarrollo en indicadores de resultado del área cliente (ej.: ventas)

3. ¿Por qué es importante medir los resultados de la capacitación? Para medir la satisfacción del participante y del cliente con relación a la capacitación desarrollada. Para asegurarnos de invertir en lo que es esencial para la organización. Para medir el impacto de las acciones de capacitación en los resultados de los negocios y/o en el cambio de comportamiento, de acuerdo con nuestra cultura y valores. Para medir el retorno económico de la inversión (ROI).

4. Cuáles son los beneficios del uso de la medición de los resultados de la formación para las organizaciones y los RRHH Comenzamos a actuar de forma más estratégica ante los desafíos de negocios. Tenemos la oportunidad de que se nos deje de considerar un área de gastos para transformarnos en un área que puede generar “ingresos” indirectamente. Posibilidad de tomar decisiones con base en metodologías de educación o continuidad de proyectos a partir de datos tangibles. Redireccionamiento de los recursos que vayan a invertirse.

1º Reacción y Satisfacción 5. Los cuatro niveles de medida de capacitación – Modelo de Kirpatrick Naturaleza Cuestión Instrumentos Cobertura 4º Resultado 3º Comportamiento 2º Aprendizaje 1º Reacción y Satisfacción ¿Están pagando? ¿Cuál es el retorno de la capacitación sobre la inversión? Análisis costo beneficio 10% ¿Están haciendo uso de ello? ¿Hasta qué punto lo aplican en el trabajo? Medida de desempeño Del 30% al 40% ¿Han aprendido? ¿Cuánto han aprendido? Tests, exámenes y simulacros Del 40% al 70% ¿Les ha gustado? ¿Cuánto les ha gustado el curso? Formularios 100% Fuente: Kirkpatrick, 1978

6. Metodología utilizada en nivel 3 - APLICABILIDAD Nuestros primeros estudios de aplicabilidad se llevaron a cabo en 2011. Objetivo: evaluar la aplicabilidad de los conocimientos adquiridos en la capacitación desde el punto de vista del colaborador y del gestor con objeto de medir su efectividad en el día a día. Publico objetivo: colaborador que participó en la capacitación, gestor del colaborador que fue capacitado y, en casos de gestión de personas, también equipo del colaborador.

6. Metodologías utilizadas en nivel 3 - APLICABILIDAD Cantidad de evaluadores: un 15% de la población capacitada, como mínimo, para asegurar la muestra estadística, y un 30% como máximo. Esa elección puede ser aleatoria, pero tenemos que garantizar que un mismo participante de la capacitación y un mismo gestor no se sometan a una nueva evaluación de cualquier otra capacitación durante 3 meses por lo menos. Plazo de aplicación de la evaluación: 3 meses, como mínimo, y 6 meses, como máximo, a partir del momento en que termine la capacitación.

6. Modelo de estudio en nivel 3 - APLICABILIDAD Encuesta de Aplicabilidad Necesidad 1. Motivo por el que participé en la capacitación: ( ) Necesidad de este nuevo conocimiento en mi rutina de trabajo ( ) Necesidad de perfeccionamiento ( ) Indicación del gestor ( ) Acción prioritaria en mi plan de desarrollo individual ( ) No lo sé 2. El contenido de la capacitación es relevante para la actividad que ejerzo. Sí No Impacto del programa 3. Después de la capacitación, apliqué el conocimiento adquirido en mi día a día. En caso negativo, el colaborador responderá a la próxima cuestión: ¿Por qué motivos aún no has utilizado este conocimiento en tu rutina de trabajo? ( ) El área de actuación no necesita este conocimiento ( ) Ya no ejerzo la misma función ( ) Falta de oportunidad para ponerlo en práctica ( ) Falta de condiciones adecuadas ( ) La capacitación no fomentó el aprendizaje necesario para que lo aplicase en mi trabajo ( ) Otro (especificar) 4. La calidad de mi trabajo mejoró después de participar en esta capacitación. 5. Estos nuevos conocimientos contribuyeron a mi desarrollo. Apoyo de mi gestor/ ambiente 6. Recibo apoyo de mi gestor para aplicar estos nuevos conocimientos. 7. La dinámica de mi día a día posibilita la aplicación de los conocimientos adquiridos en la capacitación. Materiales y recursos. 8. Tengo acceso a los recursos necesarios para implementar los conocimientos adquiridos en la capacitación. Escala - utilizada para las cuestiones de 4 a 8 Totalmente en desacuerdo Parcialmente en desacuerdo Ni de acuerdo / ni en desacuerdo Parcialmente de acuerdo Totalmente de acuerdo 2011 11 proyectos 2012 57 proyectos

6. Metodologías utilizadas en nivel 4 - ROI ¿Por qué analizar la capacitación a partir del ROI? ¿El colaborador aumentó efectivamente sus resultados (ej.: sus ventas) exclusivamente por lo que aprendió en la capacitación? ¿Los resultados logrados justifican los costos directos y otros derivados de la capacitación? Estas preguntas son importantes porque, muchas veces, aunque la capacitación traiga consigo resultados –el aumento en ventas (impacto positivo)–, no es suficiente para compensar lo que costó su implementación.

6. Metodologías utilizadas en nivel 4 - ROI Análisis de Impacto Planificación Análisis de Datos Retorno Económico Definición del programa que se va a medir Definición de los indicadores por evaluar Análisis de resultados no relaciona-dos con el Retorno Económico Cálculo del retorno sobre la inversión en capacitación Análisis cualitativo de las informa- ciones Definición de metodología de ROI Plan de acción y mejoras de ser necesario Fuentes de los indicadores Grupo de Trabajo ACRF Indicadores Analista Escuela Estudio Negocio 3 meses 3 meses 2 meses 1 mes

6. Metodologías utilizadas en nivel 4 - ROI Medimos ROI desde 2003. Hasta 2010 ya han sido medidos 7 proyectos. En 2011 retomamos el proyecto de forma centralizada. En 2012 estamos con 3 proyectos en marcha.

6. Metodologías utilizadas en nivel 4 - ROI Premisa de análisis econométrico de impacto: Comprensión de la estrategia del negocio y de las variables que lo afectan. Comprensión de la estructura de base de datos del negocio. Comprensión del flujo y de la capacitación en sí. Premisa para la realización del trabajo: Elección de los responsables que participarán en el grupo de trabajo. Elección de una capacitación y un área específica para someterla a evaluación. Compromiso asumido de presentar los resultados y adoptar las acciones que corresponda independientemente de los valores a favor o en contra referentes a la capacitación. Decisión sobre la forma de comunicación del trabajo.

6. Metodologías utilizadas en nivel 4 - ROI Informaciones Generales de la Evaluación Económica de las Acciones de Capacitación Metodología de análisis: retorno económico de la capacitación a partir de la evaluación de impacto, de las informaciones de ingresos y del costo de la capacitación. Forma/técnica: para calcular el impacto: división por pares de personas capacitadas y no capacitadas, a partir de variables observables, a efectos de garantizar una relación de causa entre capacitación y resultado; para calcular los ingresos cuando el impacto calculado no esté en forma monetaria: es necesario disponer de una forma de convertir ese valor, como, por ejemplo, la atribución de valuation promedio en caso de impacto en unidades de ventas.

6. Metodologías utilizadas en nivel 4 - ROI Informaciones Generales de la Evaluación Económica de las Acciones de Capacitación Informaciones necesarias para crear una base de datos consistente: conocimiento del área de negocios y sus indicadores conocimiento de la capacitación y de las variables que intervienen Paquete econométrico: STATA

7. Estudio de caso - ROI ROI – Retorno Monetario de la Acción de Desarrollo Objetivo: medir el retorno económico de la inversión en capacitación para que sirva de soporte al análisis estratégico. Capacitación evaluado: capacitación presencial Metodología Comercial (32 horas). Población analizada: Operador de Negocio canal comercial Leves.

7. Estudio de caso - ROI Medir el impacto de la capacitación permite cuantificar las relaciones de causa entre la capacitación y la cantidad de ventas. Tal medida nos permitirá afirmar si, de hecho, la capacitación fue responsable de los cambios ocurridos en las ventas. En otras palabras: a falta de tal capacitación, los cambios observados en las ventas no habrían ocurrido.

Promedio general de las variables de resultado y control Premisa: contratos incumplidos desde hace más de 60 días se excluyeron del valor consolidado de las variables de resultado per capita promedio. Datos brutos separados solamente entre capacitados y no capacitados TOTAL No capacitado Capacitado NPV (R$) R$ 177.380 R$ 206.033 Spread (%) 11,63 10,81 Volumen Operado Promedio (R$) R$ 839.448 R$ 1.037.132 Nº de operaciones 51,96 60,52 Ticket Promedio (R$) R$ 16.154 R$ 17.137 Meses de experiencia en media 18,50 28,94 NPV Promedio (R$) Nº Operaciones Promedio Spread Promedio (%) No capacitado Capacitado Hombre 180.308 201.395 53 59 11,76 10,96 Mujer 175.437 208.869 52 61 11,45 10,56 Soltero 172.259 202.887 51 60 11,41 10,65 Casado 183.211 209.291 11,86 10,97 Hasta Enseñanza Secundaria Completa 169.518 187.770 58 11,07 Hasta Enseñanza Superior Completa 175.121 207.184 11,47 10,76 Posgrado 192.882 223.272 57 69 12,15 10,51 * Se rechazaron los valores muy altos y muy ajos, el 1% de las puntas de la distribución.

Observación: datos brutos separados solamente entre capacitados y no capacitados Promedio NPV por categoría de meses de experiencia Promedio NPV mensual [Gráfico a la izquierda:] Ene / Feb / Mar / Abr / May / Jun / Jul / Ago / Sep / Oct / Nov / Dic Mes / Sin Capacitación Presencial / Con Capacitación Presencial [Gráfico a la derecha:] Meses de experiencia / Sin Capacitación Presencial / Con Capacitación Presencial Existe diferencia en la productividad entre capacitados X no capacitados cuando el control se efectúa tan solo en función del mes, no obstante no podemos considerar que esta diferencia se debe a la capacitación porque no tuvimos en cuenta las demás variables, principalmente el tiempo de experiencia en el cargo. Cuando presentamos el resultado promedio con relación al tiempo de experiencia, esta diferencia entre capacitados y no capacitados no es perceptible. Por eso, tenemos que utilizar otras metodologías que aíslen el efecto de la capacitación. Comportamiento similar entre grupos

Metodología – Matching (Pareo) Se calcula la diferencia entre el promedio del valor neto operado de los CAPACITADOS y del promedio de los NO CAPACITADOS. Solamente se incluyen en el grupo no capacitado aquellos con las mismas características observables del grupo de los capacitados. Grupo capacitados Capacitados IMPACTO No capacitados Grupo no capacitados SIMILARES A LOS CAPACITADOS NO COMPARABLES Ponderación de los similares a partir de las variables observables Experiencia en el cargo (meses) Región Geográfica y Superintendencia Comercial Edad, género, estado civil, escolaridad Nº total de e-learnings realizados Mes de referencia

Impacto de la capacitación presencial - Total Los e-learnings se ofrecieron a lo largo de 2007. Efecto de la capacitación general Efecto de la capacitación presencial Impacto de la capacitación ¿Estadísticamente significativo al 5%? Nº Operaciones 2,9 Sí - No NPV Promedio (R$) R$ 12.572 R$ 9.475 % NPV Promedio 9,6% 8,14% Spread Promedio El efecto de la capacitación general tiene en cuenta cualquier forma de capacitación. El efecto de la capacitación presencial mide exclusivamente el efecto de la capacitación presencial, es decir, se descuenta el efecto de la capacitación vía e-learning. * Metodología de pareo Kernel y error estándar calculado a partir del bootstrap con corrección de tendencia. ** Impacto estadísticamente significativo al 5% asegura que el resultado presentado es distinto de cero. Cuando no es estadísticamente significativo, no podemos afirmar que la capacitación surtió efecto.

Impacto de la capacitación presencial para submuestras Objetivo del análisis: medir el impacto de la capacitación en las variables de resultado para los diferentes niveles de experiencia después de la capacitación. Los niveles de experiencia se separaron en tres categorías: Capacitados con 18 meses de experiencia, como máximo, en el cargo; Capacitados con de18 a 36 meses de experiencia, como máximo, en el cargo; y Capacitados con más de 36 meses en el cargo. Resumen de los impactos en cada una de las tres categorías ¿El efecto de la capacitación es diferente de cero? Para capacitados con 0-18 meses de experiencia 18-36 meses de experiencia Para capacitados con más de 36 meses de experiencia Nº Operaciones NPV Promedio (R$) % NPV Promedio Spread Promedio Sí - Sí -

Impacto de la capacitación presencial (aumento adicional) en las submuestras Operadores capacitados con 18-36 meses de experiencia Operadores capacitados con más de 36 meses de experiencia Impacto de la capacitación ¿Estadísticamente significativo al 5%? Nº Operaciones 10,07 Sí -10,38 NPV(R$) R$ 34.327 - No % NPV Promedio 33,15% * Metodología de pareo Kernel y error estándar calculado a partir del bootstrap con corrección de tendencia. ** Impacto estadísticamente significativo al 5% asegura que el resultado presentado es diferente de cero. Cuando no es estadísticamente significativo, no podemos afirmar que la capacitación causó impacto.

Impacto mes a mes de la capacitación presencial Desviación estándar de la estimación 16 meses es lo que se calcula que dure el impacto de la capacitación Estimación por mes después de la capacitación con alto error estándar Tendencia de la productividad adicional después de la capacitación

Retorno Económico per capita – Submuestra Muestra capacitada con menos de 18 meses de experiencia Muestra capacitada con 18-36 meses de experiencia Muestra capacitada con más de 36 meses de experiencia Meses de retorno - 16 meses Impacto mensual de la capacitación – en NPV R$ 34.327 Tasa CDI, descontado el IPCA 0,34% a.m Mes promedio de la capacitación 10º 27º 68º Flujo de Caja VP Ingresos totales (A) VP Costos de la capacitación* (B) VPN – Valor Presente Neto (C) = (A) + (B) (R$ 32.761) R$ 479.748 (R$ 30.645) R$ 447.108 (R$ 26.321) Total de capacitados 341 ( 59%) 102 ( 17%) 136 ( 24%) TIR a.m 101% a.m. Nota: resultado referente al impacto del NPV positivo y estadísticamente significativo. * El prorrateo del costo administrativo no se tuvo en cuenta.

Retorno económico total de los capacitados en 2007 Submuestra – Ingresos conseguidos por la población capacitada con18-36 meses VPN - Ingresos (102) (A) R$ 48.934.296 VPN Costo - Nº de capacitados 0-18 (342) (B) (R$ 11.171.501) VPN Costo - Nº de capacitados 18-36 (102)(C) (R$ 3.125.823) VPN Costo - Nº de capacitados >36 (132) (D) (R$ 3.579.699) VPN – Valor Presente Neto (E) = (A)+(B)+(C)+(D) R$ 31.065.809 Plazo de recuperación de la inversión 1 mes Nota: resultado referente al impacto positivo y estadísticamente significativo.

7. Estudio de caso - ROI Resultados La capacitación causó impacto en NPV (ingresos) en el caso de los capacitados que tienen de 18 a 36 meses de experiencia en el cargo. Tal resultado indica que esta capacitación tiene carácter de perfeccionamiento y no de desarrollo inicial. Conclusión Mantener la metodología comercial para la población con de 18 a 36 meses de experiencia en el cargo. Desarrollo de un programa de formación para la población con de 0 a 18 meses de experiencia en el cargo.

Principales cuidados que debemos tener para medir correctamente los resultados de la capacitación... Alineamiento con el área de negocio al inicio del proyecto. Contar con un equipo especializado para diseñar el indicador, buscar aliados que tengan conocimiento. Dificultad de aislar algunos indicadores específicos de la capacitación recibida. Tiempo – no desistir del proyecto en función del plazo necesario para su desarrollo. Falta de comunicación clara. Tengan la seguridad de que medir la capacitación nos acerca a la meta de ser un RRHH Estratégico....

Muchas gracias Rafael Turchiai Gabriel Escuela Itaú Unibanco de Negocios rafael.gabriel@itau-unibanco.com.br