Luis F. Díaz Vilela Universidad de La Laguna La Evaluación del Desempeño en la Comunidad Autónoma de Canarias: Comienzo de una andadura Luis F. Díaz Vilela Universidad de La Laguna I Jornadas Canarias de Evaluación del Desempeño en la Función Pública (Enero 2011)

El primer contacto Algunos inconvenientes previstos: RPT insuficiente Falta de concreción en las funciones: «Las propias del puesto» Ausencia de inventarios de tareas Expectativas de resistencia a la intervención Por desconfianza en la trascendencia del proyecto Por desconfianza sobre las consecuencias Falta de «cultura de cambio» y de «cultura de evaluación» Necesidad de un análisis de puestos para elaborar un inventario de tareas válido y fiable Información, transparencia, perseverancia, rigor y paciencia Más perseverancia y paciencia, mucha paciencia!

Formalización del proyecto DISEÑO DE UN SISTEMA DE EVALUACIÓN DEL DESEMPEÑO PARA LOS EMPLEADOS PÚBLICOS DE LAS ADMINISTRACIONES PÚBLICAS CANARIAS Convenio entre el Gobierno de Canarias y las dos universidades públicas de la Comunidad Autónoma (Enero 2009). Departamento de Psicología Cognitiva, Social y Organizacional de la ULL (4 profesores y 3 técnicos). Departamento de Economía Aplicada de la ULPGC (2 profesores y 3 técnicos).

Estructura del proyecto 5 fases: Presentación y publicidad de los contenidos y objetivos en todo el ámbito de aplicación. Análisis de puestos necesario para el desarrollo de la evaluación del desempeño. Dos técnicas complementarias: Estructuradas (cuestionarios) Semi-estructuradas (entrevistas) Elaboración de un cuestionario de evaluación del desempeño. Implementación de este cuestionario en la (actual) Viceconsejería de Turismo. Análisis de los resultados obtenidos con dos objetivos y orientaciones principales: Ofrecer una medida de desempeño, individualizada para cada ocupante de los puestos de la unidad. Detectar posibles modificaciones necesarias en el cuestionario o el procedimiento utilizado para facilitar la evaluación en las subsiguientes unidades a evaluar.

Presentación y Publicidad Acto público en el que participaron el Consejero de Presidencia, Justicia y Seguridad del Gobierno de Canarias y los rectores de ambas Universidades, en enero de 2009. Reunión informativa con representantes sindicales del Gobierno de Canarias (Junta de Personal). Reunión informativa con el Secretario General Técnico: Contenidos del proyecto Planificar las acciones de información al personal y la recogida de datos. Participación en dos actos de la (antes) Consejería de Turismo: Presentación del proyecto a jefes de servicio. Seguimiento de la primera fase con jefes de servicio.

A.P.: Técnicas estructuradas PAQ (PAQ Services, Inc.; Dpto. de Psicología Cognitiva, Social y Organizacional) Instrumento cuantitativo de análisis de puestos. Cumplimentado por el analista. 194 preguntas relacionadas con conductas del trabajador. 6 dominios: Entrada de información. Procesos mentales. Acciones. Relaciones con otros. Contexto físico y social del puesto. Otras características del puesto (ej.: ritmo y estructura). 13 dimensiones secundarias: Tomar decisiones, Operar máquinas, Actividades de oficina, Actividades técnicas, Actividades de servicios, … O*NET (Red de Información Ocupacional D.T. EEUU) Adaptación al contexto cultural. Cumplimentado por el empleado. Cinco cuestionarios: Conocimientos Habilidades Contexto de trabajo Estilos de trabajo Actividades Utilizados para crear familias de puestos o grupos profesionales, mediante análisis de conglomerados contrastados con opiniones cualificadas

Grupos profesionales 1 ADMINISTRATIVOS Administrativo Auxiliar Auxiliar Administrativo Jefe de Negociado Telefonista 2 APAREJADORES 3 TITULADOS Instructor Periodista Sociólogo Titulado Medio Titulado Superior Habilitado 4 SUBALTERNOS Conductor Conductor Subalterno Ordenanza Subalterno Subalterno Conductor Subalterno Ordenanza 5 INSPECTORES Inspector de Turismo Subinspector de Turismo 6 SECRETARIAS 7 OPERADORES DE SISTEMAS 8 JEFES SECCIÓN Y DE SERVICIO

A.P.: Técnica semi-estructurada Entrevistas y reuniones de grupos: Obtener los contenidos más relevantes a incluir en el cuestionario de ED. Entrevistas de Análisis de Puestos (AP) Previamente se pidió a cada empleado que cumplimentara un formulario de: Identificación Localización Funciones Tareas Objetivo: Inventario de tareas por grupos profesionales

Tareas del grupo Administrativos (103) Recibir documentación y/o información. Acordar con superior jerárquico la concesión de ayudas al personal. : Contactar presencial y/o telefónicamente con otros Organismos Públicos y/o empresas. Controlar el gasto asociado a partidas presupuestarias. Escanear, fotocopiar, plotear y/o imprimir documentación. Inventariar material de oficina. Revisar justificaciones de pagos y/o subvenciones. Inventariar mobiliario de oficina. Controlar y hacer seguimiento de mobiliario de oficina. Buscar información relacionada con diversas materias. Plotear planos. Escanear, fotocopiar, plotear y/o imprimir documentación Inventariar material de oficina Inventariar mobiliario de oficina Plotear planos

Tareas de la unidad 4368 tareas en total asociadas a 951 funciones. Número excesivamente elevado y un alto número de repeticiones. Desarrollo y aplicación del Inventario de Tareas. Primera criba de tareas reagrupando y eliminando repeticiones: menos de 1200 tareas.

Inventario de tareas Un cuestionario para cada grupo profesional con las tareas propias: Frecuencia de realización de cada tarea que se realiza. Importancia de cada tarea si se realiza. Complejidad de cada tarea si se realiza. COMPLEJIDAD 1 = Muy fácil. 2 = Fácil. 3 = Difícil. 4 = Muy difícil. 5 = Extremadamente difícil. 1 2 3 4 5 IMPORTANCIA 1 = Poco importante. 2 = Algo importante. 3 = Importante. 4 = Muy importante. 5 = Extremadamente imp. 1 2 3 4 5

EL COMITÉ DE EVALUACIÓN

Comité eDCan_Turismo: Componentes Al menos los siguientes componentes: 1 representante de Función Pública. 5 jefes de servicios y técnicos de la (Vice)Consejería. Elegidos por tamaño, diversidad geográfica y diversidad de puestos en los servicios. 1 representante sindical 4 investigadores (dos por cada Universidad) 2 técnicos Reuniones en ambas capitales conectadas por videoconferencia

Comité eDCan_Turismo: Funciones Ultimar el Inventario de tareas y el desarrollo de los cuestionarios Desempeño individual: Cuestionario de desempeño en la tarea. Detectar tareas muy poco relevantes para cada grupo profesional. Detectar tareas relevantes no incluidas en cada grupo profesional Cuestionario de desempeño contextual: Conductas de ciudadanía organizacional. Detectar posibles mejoras en el lenguaje utilizado. Conductas contraproductivas. Detectar problemas de sesgo en las futuras respuestas. Otras medidas: Formación, absentismo, etc. Desempeño grupal: Cuestionario de cumplimiento de objetivos del servicio Diseñar el procedimiento de evaluación del desempeño Sistema de 270º. Ocupante Supervisor Compañero/s Sistema compositivo para la puntuación de desempeño individual Decidir si se ponderan algunas tareas en función de su frecuencia, importancia y/o complejidad. Ponderación de los desempeños individuales. Sistema múltiple para el Desempeño: Individual Grupal. Decidir quién va a ser informado de qué, una vez hecha la evaluación del desempeño.

Resultados del comité sobre desempeño en la tarea 157 tareas y macro-tareas relevantes en total, para las 149 posiciones analizadas. Cada tarea asociada con uno o varios grupos profesionales Cada tarea genera una pregunta de desempeño Cada tarea tiene una frecuencia, importancia y complejidad asociadas a cada posición, puesto, grupo profesional, o unidad. Cada grupo profesional tiene un cuestionario con sus tareas propias Resultados del Comité eDCan_Turismo

Extracto del inventario de tareas/preguntas PREGUNTAS DE EVALUACIÓN GRUPOS QUE LAS REALIZAN N N TOT % GR % TOT Abrir y cerrar dependencias (incluye puertas, alarmas, etc.). Abre y cierra dependencias (incluye puertas, alarmas, etc.) metódicamente. Subalternos 4 33,33 2,68 Actualizar contenidos en página web y/o bases de datos. Actualiza contenidos en página web y/o bases de datos correcta y puntualmente. Administrat. 9 7,55 6,04 ##### Jefes secc./Serv. 5   14,29 Actualizar expedientes con nuevos documentos. Actualiza expedientes con nuevos documentos regular y adecuadamente. 37 96 69,81 64,43 Titulados 22 84,62 Inspectores 8 80,00 29 82,86 Típica Frecuencia media Típica Importancia media Típica Complejidad media -1,2 -1,89 -2,01 Resultados del Comité eDCan_Turismo

Cuestionario eDCan_Tar Grupo profesional de administrativos (60 preguntas): Actualiza expedientes con nuevos documentos regular y adecuadamente.   1 2 3 4 5 6 7 8 9 10 Casi nunca Sólo algunas veces Lo normal Más de lo esperable Siempre No se aplica Actualiza contenidos en página web y/o bases de datos correcta y puntualmente. Almacena material adecuadamente. Resultados del Comité eDCan_Turismo

Aplicación de eDCan_Tar Autoevaluación. Evaluación del supervisor (Jefe de Servicio / Jefe de Sección). Selección según número y cercanía. Evaluación de un compañero. Selección consensuada con el supervisor. Aplicación 180º para Jefe de Servicio: Evaluación por todos los miembros de su servicio con cuestionario especial. Resultados del Comité eDCan_Turismo

Resultados del comité sobre desempeño contextual Adaptación previa del cuestionario de Coleman y Borman (1999): Traducción previa del equipo técnico. Discusión en el Comité sobre la redacción de cada pregunta manteniendo el sentido original. Elaboración del cuestionario definitivo. 27 preguntas. Decisión de aplicarlo en 270º. Resultados del Comité eDCan_Turismo

Cuestionario eDCan_OCB 1. Manifestar un entusiasmo constante al realizar su trabajo.   No le caracteriza en absoluto Es lo que le caracteriza 1 2 3 4 5 6 2. Mostrar un esfuerzo superior al normal en su trabajo. 3. Mostrar  disposición para llevar a cabo tareas que no forman parte de su puesto de trabajo. 4. Ayudar a otros compañeros en la Consejería. 5. Cooperar con otros compañeros de la Consejería. 6. Seguir las normas y procedimientos de la Administración. indique la puntuación que usted cree que describe mejor su forma de comportarse en el trabajo

Propiedades de eDCan_OCB 130 cuestionarios contestados. Puntuación media de 4,7. Fiabilidad: α = ,96. 4 factores: Solución final estable de un único factor. eDCan Coleman y Borman (1999) Compromiso Seguir reglas y procedimientos Compañerismo Ayudar y cooperar con otros Esfuerzo Persistir con entusiasmo y esfuerzo Servicio Apoyar y defender la Organización Ayuda personal *** Resultados del Comité eDCan_Turismo

Resultados del Comité sobre conductas contraproductivas Se desestimó su medida: Momento inapropiado. Problemas metodológicos asociados a su naturaleza. Altísimo sesgo natural a la izquierda. Falta de expectativas de sinceridad: sesgo artificial. Posible competencia de la Inspección. Resultados del Comité eDCan_Turismo

Resultados del Comité sobre desempeño grupal Elaboración de la cadena de valor. Explicación y acuerdo con jefes de servicio. Desarrollo de objetivos a partir de la cadena de valor. Desarrollo y aplicación a Jefes de Servicio del cuestionario de establecimiento de objetivos (eDCan_CEO) a un año vista (Resultados en proceso de análisis). Desarrollo del cuestionario eDCan_ECO a aplicar tras el período de un año. Resultados del Comité eDCan_Turismo

Cuestionario eDCan_CEO Resultados del Comité eDCan_Turismo

Cuestionario eDCan_ECO Resultados del Comité eDCan_Turismo

Recordemos: Funciones del Comité Decidir quién va a ser informado de qué, una vez hecha la evaluación del desempeño. Se decidió informar individual y confidencialmente a cada persona vía eMail de sus resultados de autoevaluación: Resultados propios. Promedio de su servicio. Promedio de su grupo profesional. Promedio de la Unidad. Falta por decidir cómo informar sobre la evaluación de terceros: Probablemente se informará sobre la media de ambos. Ultimar la criba de tareas y el desarrollo de los cuestionarios Desempeño individual: Cuestionario de desempeño en la tarea. Detectar tareas muy poco relevantes para cada grupo profesional. Detectar tareas relevantes no incluidas en cada grupo profesional Desempeño contextual: Conductas de ciudadanía organizacional. Detectar posibles mejoras en el lenguaje utilizado. Conductas contraproductivas. Detectar problemas de sesgo en las futuras respuestas. Otras medidas: Formación, absentismo, etc. Desempeño grupal: Cuestionario de cumplimiento de objetivos del servicio Diseñar el procedimiento de evaluación del desempeño Sistema de 270º. Ocupante Supervisor Compañero/s Sistema compositivo para la puntuación de desempeño individual Decidir si se ponderan algunas tareas en función de su frecuencia, importancia y/o complejidad. Ponderación de los desempeños individuales. Sistema múltiple para el Desempeño: Individual Grupal. Decidir quién va a ser informado de qué, una vez hecha la evaluación del desempeño.

Resultados del Comité eDCan_Turismo Resumiendo Cuestionarios: eDCan_OCB: Desempeño contextual - Igual para todos -. eDCan_Tar: Desempeño en la tarea - Específico para el grupo profesional -. eDCan_CEO: Establecimiento de objetivos - Igual para todos -. eDCan_ECO: Evaluación de cumplimiento de objetivos – Específico para el servicio -. Para no jefes de servicio: Autoevaluación desempeño en tarea y contextual. Evaluación por el Jefe de Servicio o Sección en desempeño en tarea y contextual. Evaluación por el Compañero en desempeño en tarea y contextual. Para jefes de servicio: Autoevaluación en desempeño en tarea y contextual. Evaluación por parte de los empleados del servicio en desempeño en tarea y contextual. Establecimiento y evaluación del desempeño grupal (CEO y ECO). Resultados del Comité eDCan_Turismo

Algunos resultados

Validez percibida y sinceridad manifestada INV.TAR. E.D. DIF. % S/IT  95 60   : 23 39 16 169,6 27 48 21 177,8 42 15 155,6 18 28 10 37 46 9 124,3 31 148,4 29 43 14 148,3 35 8 129,6 33 19 235,7 30 47 17 156,7 22 40 181,8 27,29 39,86 12,57 146,06 VALIDEZ MEDIA PERCIBIDA 6,56 SINCERIDAD eDCan_Tar 9,18 SINCERIDAD eDCan_OCB 9,11 VALIDEZ MEDIA PERCIBIDA 6,56 SINCERIDAD eDCan_Tar 9,18 SINCERIDAD eDCan_OCB 9,11

Desempeño Contextual Solo autoevaluación por el momento. Puntuación ponderada según peso factorial (0-10): Media para 135 casos : 7,29 Media para 113 casos sin problemas de tendencia de respuesta: 6,90 Controles a posteriori: Puntuación superior a media + 1 D.T. Tendencia de respuesta sesgada a la derecha más de lo normal (media de sesgo + 1 D.T.). Se excluyen temporalmente 22 casos: «REVISAR».

Desempeño en la tarea N variado según el tipo de informantes. Autoevaluación: 135 autoevaluaciones cumplimentadas en 17 de 18 servicios (a falta de uno con un empleado). Media sin controlar: 7,16 Media controlada: 6,83 Evaluación por el supervisor: 66 evaluaciones realizadas en 5 de 18 servicios. Media sin controlar: 7,82 Media controlada: 7,30 Evaluación por un compañero: 20 evaluaciones en 9 de 18 servicios. Media sin controlar: 7,28 Media controlada: 6,99

Controles de datos  

Decisión de evaluación OCB AUTO SUPERV COMPA DESEMPEÑO : REVISAR 7,452 6,813 7,117 6,762 7,000 No eval. 5,900 8,452 9,118 6,073 6,144 6,673 N/A 7,839 7,362 8,650 6,704 6,655 5,349 5,500 7,575 7,717 9,697 8,615 4,206 6,313 5,478 4,833 5,051 NUM. CASOS 9 MEDIA 6,580 D.T. 0,798 MIN 5,051 MAX 7,362 PESOS NOR PESO S/4 SUPERV PESO S/3 OCB 1 25,00% 0,5 16,67% AUTO 0,25 6,25% SUP 1,75 43,75%   PAR 2 66,67% 4 3 Evaluación directa si no hay problemas en datos de ningún evaluador: eDCan_OCB: 113 personas (84%) eDCan_Tar Autoevaluación: 106 personas (78%) eDCan_Tar Supervisor: 49 personas (36%) eDCan_Tar Compañero: 26 personas (19%) Entrevista de revisión cuando aparecen problemas en alguno de los cuestionarios. No hay puntuación de desempeño hasta no tener justificadas las puntuaciones. Actualmente hay 9 personas con todas sus puntuaciones.

conclusiones

Algunas conclusiones Su diseño es altamente costoso y laborioso, pero su aplicación es muy simple. La calidad y utilidad de la información que ofrece la ED compensan con creces su coste. Se puede hacer, se puede hacer bien, y se puede mejorar: El procedimiento: Es necesario mejorar los sistemas de información antes, durante y después de la implantación del protocolo. Es conveniente mejorar los anclajes de las preguntas de ED. Es conveniente tender a un sistema informatizado que individualice la evaluación para cada empleado. Las actitudes y valores: Es necesario implementar en nuestras mentes el valor de la ED: cambio cultural. Es necesario que creamos en el buen fin de los resultados.

La ED no debe ser una amenaza, ni siquiera un reto. La ED debe ser una oportunidad y un medio para mejorar. MUCHAS GRACIAS