La evaluación de la calidad en bibliotecas: una apuesta por el servicio público. Etapas e indicadores. Javier Gimeno Perelló Córdoba, 17 y 18 de noviembre.

La evaluación de la calidad en bibliotecas: una apuesta por el servicio público. Etapas e indicadores. Javier Gimeno Perelló Córdoba, 17 y 18 de noviembre de 2009

I. Introducción. Los indicadores de calidad
II. Etapas de la evaluación: Autoevaluación y Evaluación Externa. La Acreditación. Principales metodologías de evaluación de la calidad en bibliotecas Práctico 1: Evaluación de un proceso bibliotecario. Diseño y aplicación de indicadores de calidad Práctico 2: Evaluación de un servicio bibliotecario. Diseño y aplicación de indicadores de calidad

Introducción ¿Por qué de la evaluación bibliotecaria?
Principales conceptos Principales metodologías de evaluación de la calidad aplicadas a bibliotecas.

Calidad. Interrogantes
¿Por qué evaluamos la calidad? ¿Para qué evaluamos? ¿Para qué la medimos? ¿Es la evaluación de la calidad un fin en sí mismo?

¿Es la evaluación de la calidad un fin en sí mismo?
SÍ. Dos objetivos: Evaluar el método de evaluación: comprobar que la metodología utilizada es adecuada. Evaluar las herramientas de medición o rendimiento: los indicadores. Es una moda. Hay que “estar a la moda”

¿Es la evaluación de la calidad un fin en sí mismo?
NO. Los objetivos de la evaluación son: el conocimiento en profundidad de nuestro servicio y de todos sus procesos y actividades la implicación de los usuarios y de todo el personal en el proceso de evaluación y en el propio servicio la mejora continua del servicio el logro de altas cotas de calidad la plena satisfacción del usuario, etc.

Evaluación para garantizar
derecho a una educación pública de calidad derecho al acceso al conocimiento y a la cultura derecho a recibir y acceder a la información

Manifiesto UNESCO/IFLA sobre la Biblioteca Pública
“fuerza viva para la educación, la cultura y la información y agente esencial para el fomento de la paz y del bienestar espiritual a través del pensamiento de hombres y mujeres”

Declaración Universal de los Derechos del Hombre
Derecho a la enseñanza Derecho a la educación Derecho a la libertad de palabra Derecho a la libertad de pensamiento Derecho de investigar Derecho a recibir informaciones y opiniones Derecho a difundirlas Respeto a los derechos humanos y a las libertades fundamentales Mantenimiento de la paz

Calidad bibliotecaria (1/9)
Aunque comenzó siendo un principio aplicado a la producción industrial, pronto se empleó en otros sectores, hasta llegar a la administración pública y a los servicios que ésta presta a la sociedad. A mediados de los años sesenta aparecen las primeras manifestaciones de evaluación de calidad en bibliotecas.

García Reche señala que la biblioteca ha sido receptiva, pudiéndola calificar incluso de muy dinámica, ya que pronto se percibe una preocupación por incorporar ese principio que le llevará hacia una nueva orientación de su gestión, e incluso a ampliar su visión como servicio público.

En el ámbito de la biblioteca universitaria se ha dejado sentir de manera especial, sobre todo en Estados Unidos, donde se dan los primeros pasos de evaluación de estas bibliotecas

La biblioteca del siglo XX adopta, en la década de los 60, el concepto de calidad del servicio, en el marco de la organización de la administración pública.

Hasta tiempos muy recientes, la calidad bibliotecaria era entendida fundamentalmente como calidad de los procesos técnicos y, en alguna medida, de los servicios.

Posteriormente, esta concepción ha ido evolucionando hacia la calidad en la satisfacción del usuario, que es la filosofía predominante desde finales del siglo XX y comienzos de éste.

Trabajar con calidad en la biblioteca significa: averiguar y entender las necesidades y expectativas de nuestros usuarios disponer de mecanismos e instrumentos desarrollados de evaluación actuar según los resultados interrelacionar correctamente con los ciudadanos.

Significa, en definitiva, disponer de : una organización unos procesos un sistema correctamente estructurados…

enfocados - a la satisfacción del usuario …

- a la modernización de los procesos internos a partir de sus sugerencias, reclamaciones, nuevas necesidades y expectativas, opiniones...etc.

Calidad según ISO 11620 Conjunto de todas las características de un producto o servicio que repercuten en la capacidad de la biblioteca para satisfacer necesidades declaradas o implícitas. (ISO 11620:1998: Information and documentation: library performance indicators. Genève: Internacional Standard Organization, cop. 1998)

Calidad según EFQM (1/3) EFQM aplica el concepto de calidad a la educación superior, definiéndola como: El grado en el que un conjunto de rasgos diferenciadores inherentes a la educación superior cumplen con una necesidad o expectativa establecida.

Calidad según EFQM (2/3) Es la propiedad de una institución o programa que cumple los estándares previamente establecidos por una agencia de acreditación.

Calidad según EFQM (3/3) Para medirse adecuadamente suele implicar la evaluación de la docencia, el aprendizaje, la gestión y los resultados obtenidos. (Modelo EFQM de excelencia. Versión Adaptación a la Administración Pública (Consulta: 03/02/08)

Calidad según UNE Conjunto de todas las características de un producto o servicio que repercuten en la capacidad de la biblioteca para satisfacer necesidades declaradas o implícitas. (Información y documentación. Indicadores de rendimiento bibliotecario (primera parte). ISO UNE En: Revista española de Documentación Científica, vol. 22, 2, (1999), p. 223)

¿Para qué evaluamos? (1/9)
Volvemos al principio. ¿Para qué evaluamos la calidad de un servicio bibliotecario? Fundamentalmente, para lograr la satisfacción del usuario mediante el logro de mejoras en el desempeño de servicios como:

Atención al público Información bibliográfica Orientación en la biblioteca (señalización, etc.) Formación de usuarios, cursos de alfabetización informacional (ALFIN)

Condición de las instalaciones: iluminación, ventilación, climatización, equipos, espacios, etc. Lectura en sala Préstamo domiciliario Acceso on line, página web, opac, etc. Biblioteca digital y su accesibilidad

En el caso de las bibliotecas públicas, además de los anteriores objetivos, también se persiguen aspectos como: Acercamiento de la biblioteca a amplios colectivos de usuarios Grado de integración de la biblioteca en su comunidad (pueblo, barrio, colectividad, etc.)

Capacidad de la biblioteca de satisfacer necesidades de todo tipo de usuarios: tercera edad, niños, jóvenes, desempleados, inmigrantes, mujeres, discapacitados, etc. Acogimiento de diversidades culturales, lingüísticas, etc.

Para qué evaluamos? (6/9) Apoyo bibliotecario a las políticas sociales y de mejora de las condiciones de vida: igualdad, bienestar social, superación de las discriminaciones, superación de la pobreza, justicia social, etc.

Las bibliotecas universitarias, por su parte, prestan más atención en sus planes de calidad a cuestiones determinantes como: Grado de integración de la biblioteca con la docencia universitaria Grado de integración con la investigación Nivel de compromiso de la biblioteca con la institución universitaria

Nivel de adecuación de la colección a los planes de estudio de las titulaciones Existencia de repositorio abierto y cantidad y calidad del material accesible Facilidad para edición electrónica de trabajos de investigación y publicaciones Integración de la biblioteca en el Aula o Campus Virtual

Para qué evaluamos? (9/9) Apoyo bibliotecario a las políticas sociales y de mejora de las condiciones de vida: igualdad, bienestar social, superación de las discriminaciones, superación de la pobreza, justicia social, etc.

¿Para qué evaluamos? (Stubbs) (1/5)
Según Stubbs, una biblioteca tiene variadas razones para evaluar el desarrollo de su actividad o desempeño:

Por razones políticas, incluyendo compromisos vinculados con las políticas nacionales de información de un país

Por responsabilidad ante quienes apoyan política y financieramente el funcionamiento y desarrollo de la biblioteca

Para mostrar los resultados de los logros y mejoras obtenidas a los usuarios y a la comunidad en general

Como ayuda en la toma de decisiones Como herramienta de gestión

Los Indicadores de Calidad, de Desempeño o de Rendimiento

Medición de la calidad “todas aquellas actividades operacionales que vamos a utilizar para recibir información de nuestro servicio, tanto cuantitativa (datos estadísiticos, indicadores de inputs, operacionales, etc.), como cualitativa (indicadores de resultados, de satisfacción de usuarios, de eficacia, etc.)…

Medición de la calidad … Información que nos va a permitir conocer la aptitud o capacidades de nuestra biblioteca, bien para satisfacer las necesidades de nuestros usuarios, o bien para establecer las medidas oportunas o propuestas de mejora para alcanzar la plena satisfacción de esas necesidades”.

Indicador según ISO 11620 “Valor numérico o expresión simbólica o verbal proveniente de los datos usados para caracterizar el rendimiento de una biblioteca. Se denomina también indicador de calidad, de rendimiento o de desempeño”.

Rendimiento bibliotecario según ISO 11620
“Eficacia en la provisión de servicios” “Habilidad para la distribución y uso de los recursos en la entrega de los servicios”

Clasificación de los indicadores según su tipología

McClure: indicadores como herramientas de gestión
indicadores de inputs: de recursos esenciales para proveer un servicio indicadores de procesos o actividades: cómo es utilizado un recurso indicadores de outputs: de los servicios resultantes del uso de esos recursos indicadores de resultados o de impacto: efecto de esas salidas sobre otras variables o factores

Stubbs (1/3) “Los indicadores no son en sí mismos una garantía de calidad” “El hecho de aplicarlos no nos asegura que se estén haciendo bien las cosas” …

Stubbs (2/3) “Los indicadores no son un fin es sí mismo: son herramientas complementarias de gestión que permiten desarrollar un proceso de evaluación...

Stubbs (3/3) … deben estar vinculados con el sistema de gestión, teniendo en cuenta sus metas y objetivos”

Pujol Indicadores operacionales
Relacionan recursos / servicios o trabajo realizado Ej. Libros catalogados / persona Indicadores de eficacia Relacionan servicios o trabajo / utilización Ej. Consultas Referencia / total consultas

Pujol Indicadores de coste/eficacia Relacionan costes / utilización
Ej. Coste / préstamo Indicadores de impacto Relacionan utilización / uso potencial Ej. Documentos utilizados / población asistida

Aplicación de los indicadores a la toma de decisiones según su tipología

Objetivos según ISO 11620 (1/4)
Funcionar como instrumentos para valorar la calidad y eficacia de los servicios entregados por una biblioteca y otras actividades que tienen relación con una biblioteca Valorar la eficacia de los recursos

Facilitar el control en los procesos de administración Servir como base para la referencia y para el diálogo entre los funcionarios de la biblioteca, las entidades financieras y la comunidad de usuarios.

Objetivo secundario: Servir en el análisis comparativo del rendimiento de las bibliotecas y los servicios de información con misiones y objetivos equivalentes.

Los indicadores de rendimiento deberán situarse junto a la planificación y a la evaluación. Los procedimientos de medición y evaluación deberán efectuarse regularmente. Los resultados deberán publicarse con el fin de informar del proceso de toma de decisiones y demostrar cómo la biblioteca está cumpliendo su misión.

Diferencias entre estadísticas e indicadores (1/4)
La introducción de procesos de evaluación de la calidad ha traído consigo la incorporación de los indicadores como instrumento de medición, diferentes a las estadísticas.

Diferencias entre estadísticas e indicadores (2/4)
La cuantificación por sí sola mediante estadísticas sólo mide el desarrollo de actividades, servicios, procesos, etc., pero no brinda información sobre la calidad y el desempeño.

Diferencias entre estadísticas e indicadores. IFLA (3/4)
Las estadísticas no aportan datos sobre quiénes no usan la biblioteca, ni por la parte de la colección que no se utiliza o por los volúmenes perdidos en las estanterías Las estadísticas se recogen en las áreas donde es fácil tener datos exactos. El desempeño se interesa por datos adicionales que son más difíciles de obtener.

Diferencias entre estadísticas e indicadores. IFLA (4/4)
La medición del desempeño compara datos y los combina entre sí. La medición del desempeño añade datos subjetivos a los objetivos especialmente en la opinión de los usuarios. La medición del desempeño compara los datos con las metas de la biblioteca.

Ejemplos (Sutter) (1/4) Dato estadístico: Número de llamadas telefónicas recibidas Indicador de calidad: Número de llamadas telefónicas recibidas y no contestadas

Ejemplos (Sutter) (2/4) Dato estadístico: Número de referencias bibliográficas nuevas incorporadas a la base de datos Indicador de calidad: Número de referencias bibliográficas nuevas incorporadas a la base de datos que han sido objeto de correcciones

Ejemplos (Sutter) (3/4) Dato estadístico: Número de búsquedas bibliográficas efectuadas mensualmente Indicador de calidad: Número de búsquedas documentales realizadas en el mes, con un retraso superior a diez días entre la solicitud y la entrega de resultados

Ejemplos (Sutter) (4/4) Dato estadístico: Número de ejemplares de revistas puestas en circulación Indicador de calidad: Número de revistas mensuales que han llegado al lector final al cabo de las dos semanas de la recepción del ejemplar

Indicadores ISO 11620 Marco descriptivo (1/4)
Nombre. Cada indicador deberá tener un nombre único y descriptivo. Objetivo. Cada indicador debe tener un objetivo explícito, indicado en términos de servicio (s), actividad (s) o uso (s) de recursos a evaluar.

Enfoque. Indica los tipos de bibliotecas a los cuales el indicador puede aplicarse. Señala si el indicador es adecuado para la comparación entre bibliotecas y si hay algunas limitaciones que tengan relación con la comparabilidad. Incluye otras limitaciones en la aplicación del indicador.

El enfoque deberá incluir también calificaciones, ejemplos y situaciones para su aplicación. Por ejemplo, el enfoque debe señalar si el indicador es sólo adecuado para ciertos procesos relacionados con la colección, como, por ejemplo, para la colección de referencia o para el préstamo, o para ambos casos; o si el indicador puede aplicarse a otros servicios o actividades de la biblioteca. O si es útil para mostrar diferencias en algún grupo de la población a la que se sirve.

4. Definición del indicador. Cada indicador debe ser definido únicamente en relación a los datos que se recogen y/o la relación que exista entre los datos. Debe incluir también definiciones de términos con un uso especial en la aplicación del indicador, las cuales no se especifican en la Norma Internacional ISO

Indicadores ISO 11620. Ejemplos (1/11)
Aplicación Percepción del usuario Indicadores Satisfacción del usuario

Aplicación Servicios públicos Indicadores Porcentaje alcanzado de población Costo por usuario Visitas a la biblioteca por usuario Costo por visita a la biblioteca

Aplicación Documentos suministrados Indicadores Disponibilidad de títulos Disponibilidad de los títulos solicitados Porcentaje de títulos requeridos en la colección Disponibilidad prolongada de los títulos solicitados Uso de documentos en biblioteca por usuario

Aplicación Documentos recuperados Indicadores Promedio de tiempo de devolución de los documentos desde puestos de lectura Promedio de tiempo de devolución de los documentos desde áreas de acceso abierto

Aplicación Documentos prestados Indicadores Renovación de la colección Prestamos por usuario Costo por préstamo Préstamo por funcionario

Aplicación Documentos que se entregan desde fuentes externas Indicadores Rapidez del préstamo interbibliotecario

Aplicación Encuesta y servicios de referencias Indicadores Porcentaje de respuestas correctas

Aplicación Búsqueda de información Indicadores Porcentaje del éxito de la búsqueda de catalogos por título Porcentaje del éxito de la búsqueda de catalogos por materia

Aplicación Servicios Indicadores Disponibilidad de los servicios Porcentaje del uso de los servicios Porcentaje de ocupación de los lugares de la biblioteca Disponibilidad de sistemas automáticos

Aplicación servicios técnicos documentos adquiridos Indicadores tiempo medio de adquisición del documento

Aplicación documentos en proceso de catalogación Indicadores costo por título catalogado

Indicadores IFLA. Ejemplos (1/8)
Indicadores específicos para bibliotecas universitarias Inciden en indicadores sobre los usuarios Incluyen tanto indicadores para mediciones generales como mediciones para actividades específicas.

1 Satisfacción del usuario - Satisfacción del usuario con los servicios ofrecidos para uso remoto 2 Servicios públicos - Penetración de mercado - Horas de apertura en relación a la demanda

3. Uso general - Listas bibliográficas de expertos - Uso de la colección - Uso de la colección por materias - Documentos no utilizados - Rapidez en el suministro de documentos

4 Suministro de documentos - Rapidez en el préstamo interbibliotecario - Tasa de éxito en búsqueda de ejemplar conocido - Tasa de éxito en búsqueda por materias - Tasa de respuestas correctas - Disponibilidad - Usos remotos 'per capita' - Duración del proceso de adquisiciones - Duración del proceso técnico

5 Préstamo - Préstamos en relación con la colección - Préstamos 'per capita' - Documentos en préstamo 'per capita' - Coste por préstamo - Préstamos por empleado

6. Préstamo Interbibliotecario - Rapidez en el préstamo interbibliotecario 7. Búsqueda de información (catálogo) por el usuario - Tasa de éxito en búsqueda de ejemplar conocido - Tasa de éxito en búsqueda por materias

8. Servicio de referencia o de información - Tasa de respuestas correctas 9. Equipamientos e instalaciones - Disponibilidad 10. Uso remoto - Usos remotos 'per capita'

11. Servicios técnicos 11.1. Adquisición - Duración del proceso de adquisiciones 11.2. Proceso técnico - Duración del proceso técnico

Indicadores REBIUN. Ejemplos (1/10)
La Red de Bibliotecas Universitarias Españolas (REBIUN) publica anualmente un Informe estadístico de las bibliotecas universitarias y científicas españolas. Los datos que incluye se refieren a colecciones, usuarios, servicios, recursos humanos, presupuestos y relaciones (ratios) entre estos datos:

• Metros cuadrados construidos por usuario: “Superficie (en metros cuadrados)” dividido por “Total de usuarios potenciales”. • Estudiantes por puesto de lectura: “Estudiantes (de los tres ciclos)” dividido por “Puestos de lectura”. • Estudiantes por ordenador: “Estudiantes (de los tres ciclos)” dividido por “PC y terminales de uso público”

• Porcentaje de ordenadores sobre el total de puestos de lectura: Divide el nº de “PCs y terminales de uso público” por el total de puestos de lectura • Incremento de monografías por usuario: “Monografías ingresadas en 2006 (total)” dividido por “Total de usuarios potenciales”

• Revistas vivas en papel por investigador: “Publicaciones periódicas en curso de recepción (total)” dividido por “Profesores (todos)” más “Estudiantes de 3er ciclo”. En adelante, se utilizará para este colectivo el término “Investigadores”. • Revistas (incluyendo electrónicas y no vivas) por investigador: “Publicaciones periódicas en curso de recepción, colecciones muertas y publicaciones periódicas electrónicas” dividido por “Investigadores”. • Monografías electrónicas por usuario: “Total de títulos de monografías electrónicas” dividido por “Total de usuarios potenciales”. • Revistas electrónicas por investigador: Total de títulos de Publicaciones periódicas electrónicas” dividido por “Investigadores”.

• Visitas por usuario: “Entradas a las bibliotecas” dividido por “Total de usuarios potenciales”. • Préstamos por usuario: “Préstamos domiciliarios” dividido por “Total de usuarios potenciales”. • Visitas a la Web por usuario: “Visitas a la Web de la biblioteca” dividido por “Total de usuarios potenciales”. Los datos de uso de los recursos electrónicos no se pueden considerar todavía totalmente normalizados, por lo que deben ser manejados con precaución.

• Consultas al catálogo por usuario: “Consultas al catálogo” dividido por “Total de usuarios potenciales”. Los datos de uso de los recursos electrónicos no se pueden considerar todavía totalmente normalizados, por lo que deben ser manejados con precaución. • Consultas a bases de datos por investigador: “Consultas a bases de datos” dividido por “Investigadores”. Los datos de uso de los recursos electrónicos no se pueden considerar todavía totalmente normalizados, por lo que deben ser manejados con precaución.

• Artículos electrónicos por investigador: “Número de artículos descargados ” dividido por “Investigadores”. Los datos de uso de los recursos electrónicos no se pueden considerar todavía totalmente normalizados, por lo que deben ser manejados con precaución.. • Préstamo Interbibliotecario.Total de solicitudes recibidas: Nº total de solicitudes recibidas como biblioteca suministradora • Préstamo Interbibliotecario.Total de documentos solicitados: Nº total de documentos solicitados como biblioteca peticionaria.

• Usuarios por personal de biblioteca: “Total de usuarios potenciales” dividido por “Personal (de las tres categorías)”. • Técnicos en relación al total: “Personal (A, B, LG1 y LG2)” dividido por “Personal (de las tres categorías)”. El orden en que se presenta este indicador no prejuzga “mejor” o “peor”; sólo se pretende dar una idea de tendencias. • Becarios en relación al total: “Personal (Estudiantes becarios) dividido por “Personal (de las tres categorías)”. El orden en que se presenta este indicador no prejuzga “mejor” o “peor”; sólo se pretende dar una idea de tendencias.

• Gasto en adquisiciones por usuario: “Inversiones en fondos bibliográficos (los cuatro tipos)” dividido por “Total de usuarios potenciales”. • Gasto en revistas por investigador: “Inversiones en fondos bibliográficos (suscripciones a revistas)” dividido por Investigadores”. • Gasto en monografías sobre el total de gasto en adquisiciones: “Inversiones en fondos bibliográficos (monografías)” dividido por “Inversiones en fondos bibliográficos (los cuatro tipos)”. El orden en que se presenta este indicador no prejuzga “mejor” o “peor”; sólo se pretende dar una idea de tendencias.

• Gasto en recursos electrónicos sobre el total de gasto en adquisiciones: “Gasto en información electrónica” dividido por la suma de las consultas a monografías y revistas electrónicas, más bases de datos y otros recursos electrónicos. • Gasto de personal por usuario: Personal total (de las tres categoría, técnicos, auxiliar y becario) dividido por usuario potencial • Gasto total servicio de bibliotecas por usuario: Gasto en total en adquisiciones mas gasto total de personal dividido por usuario potencial.

Indicadores EFQM (1/13) EFQM distingue dos clases de indicadores:
indicadores cuantitativos: datos objetivos (numéricos, estadísticos) ratios y porcentajes

Indicadores EFQM (2/13) EFQM y los divide en dos grandes capítulos en el ámbito de las universidades: Indicadores de la institución Indicadores de la biblioteca

Indicadores EFQM (3/13) Indicadores de la biblioteca

Indicadores EFQM (4/13) Usuarios: Estudiantes: 1º y 2º ciclo 3er ciclo
Títulos propios Profesores: Dedicación completa Dedicación parcial Personal no docente: Total usuarios potenciales Usuarios externos registrados

Indicadores EFQM (5/13) Horarios: Días de apertura anual
Horas de apertura semanal

Indicadores EFQM (6/13) Equipamientos: Estanterías (metros lineales)
Libre acceso Depósitos PCs y terminales de la plantilla PCs y terminales de uso público Lectores y reproductores diversos Puntos de servicio Superficie (m2) Puestos de lectura

Indicadores EFQM (7/13) Ratios: M2 construidos por usuario
Estudiantes 1er , 2º y 3er Ciclo / Puestos de lectura

Indicadores EFQM (8/13) Colecciones:
Monografías Ingresadas anualmente: Por Compra Por Donativo Por canje Total

Indicadores EFQM (9/13) Ratios:
Incremento de monografías en papel / usuarios potenciales

Indicadores EFQM (10/13) Bases de datos accesibles
Desde la red de la Universidad Sólo desde bibliotecas Registros bibliográficos informatizados: Volúmenes Títulos Documentos catalogados

Indicadores EFQM (11/13) Recursos electrónicos Monografías
Publicaciones periódicas Bases de datos Otros

Indicadores EFQM (12/13) Servicios: Entradas a las Bibliotecas
Préstamos domiciliarios Consultas a bases de datos Ratios: Préstamos / usuarios potenciales

Indicadores EFQM (13/13) Visitas a la web de la biblioteca
Consultas al catálogo Consulta de revistas electrónicas: Número de búsquedas Número de artículos Formación de usuarios: Número de cursos Número de asistentes

ANECA Cuadro general de indicadores (1/13)
1. Indicadores genéricos 2. Indicadores del personal de los servicios bibliotecarios 3. Indicadores de las Instalaciones 4. Indicadores de la colección 5. Indicadores económicos de los servicios bibliotecarios 6. Indicadores de la actividad de la biblioteca 7. Indicadores de costes sobre los servicios ofertados

ANECA 1. Indicadores genéricos (2/13)
- Total de profesores asistentes a cursos de formación - Total de respuestas de información del personal - Total de horas de formación impartidas - Coste del personal de los servicios bibliotecarios - Total de préstamos en sala - Gasto total de adquisición de monografías - Gasto total de adquisición de revistas - Gasto total de adquisición de bases de datos e inf. Electrónica - Inversiones totales universidad - Presupuesto total universidad - Presupuesto total de los servicios bibliotecarios - Coste operativo total (1) (1) Coste operativo de los servicios bibliotecarios= [(Coste Total de los servicios bibliotecarios) – (Coste de personal + Coste de Adquisiciones)] CO = [(CT) – (CP + CA)]

Personal Bibliotecario de Planta
ANECA 2. Indicadores del personal de los servicios bibliotecarios (3/13) Personal Bibliotecario Personal Bibliotecario de Planta Personal directivo Bibliotecarios Técnicos no directivos por categorías Otro personal bibliotecario por categorías Personal Bibliotecario No de Planta (personal contratado, etc.) Personal Bibliotecario No de Planta Técnico por categorías Personal Bibliotecario No de Planta No Técnico por categorías

Indicadores ANECA (4/13) Otro personal
Personal No Bibliotecario Personal No Bibliotecario de Planta Personal No Bibliotecario de Planta directivo o técnico por categorías (por ej. informáticos, etc.) Personal No Bibliotecario de Planta No técnico por categorías Personal No Bibliotecario No de Planta Becarios Otro personal Evolución del nº de personal en los últimos cinco años

ANECA 3. Indicadores de las instalaciones (5/13)
Nº de Centros Nº de Servicios Técnicos m2 por usuario Puntos de lectura por usuario Puntos de lectura / Puntos de lectura informatizada Porcentaje m2 por depósito Nº de horas de apertura anual Evolución del Nº de Centros en los últimos cinco años Evolución del Nº de Servicios Técnicos en los últimos cinco años Evolución de m2 por usuario en los últimos cinco años Evolución de Puntos de lectura por usuario en los últimos cinco años Evolución de Puntos de lectura x Puntos de lectura informatizada en los últimos cinco años

ANECA. 4. Indicadores de la colección (6/13)
4.1. Monografías - Número total ejemplares de monografías por biblioteca - Porcentaje de monografías informatizadas por biblioteca 4.2. Publicaciones periódicas - Suscripciones a publicaciones periódicas por biblioteca - Nº total de suscripciones a publicaciones periódicas - Nº total de colecciones de publicaciones periódicas por biblioteca (vivas y muertas) - Nº total de colecciones de publicaciones periódicas (vivas y muertas) - Nº total de colecciones de publicaciones periódicas electrónicas por biblioteca - Nº total de colecciones de publicaciones periódicas electrónicas

Indicadores ANECA (7/13) 4.3. Bases de datos
Nº total de suscripciones a bases de datos Nº total de bases de datos propias Nº total de bases de datos 4.4. Otros documentos - Nº total de otros documentos impresos por biblioteca. Detalle de los documentos (mapas, fotografías, películas, etc.) - Nº total de otros documentos no impresos (multimedia, microformas, electrónicos, etc.) por biblioteca Detalle de los documentos (mapas, fotografías, películas, etc.)

Indicadores ANECA (8/13) 4.5. Nuevas adquisiciones
- Nuevas adquisiciones de monografías en el último año - Nuevas adquisiciones de publicaciones periódicas en el último año - Nuevas adquisiciones de bases de datos en el último año - Nuevas adquisiciones de otros documentos en el último año - Evolución del nº de adquisiciones por documento en los últimos cinco años

ANECA 5. Indicadores económicos de los servicios bibliotecarios (9/13)
5.1. Inversiones - Total de inversiones de la biblioteca respecto del presupuesto de la Universidad - % de inversiones de la biblioteca respecto del presupuesto de la Universidad Inversiones en Personal - Total de inversiones en personal respecto del presupuesto de los servicios bibliotecarios Inversiones en Adquisición de documentos - Total de inversiones en Adquisiciones respecto del presupuesto de los servicios bibliotecarios

Indicadores ANECA (10/13) 5.2. Gastos
- Gastos en monografías por biblioteca en el último año - Gastos en publicaciones periódicas por biblioteca en el último año (impresas y electrónicas) - Gastos en bases de datos por biblioteca en el último año - Total de gastos en adquisiciones 5.3. Tecnologías de la Información - Total de inversiones en Tecnologías de la Información respecto del presupuesto de los servicios bibliotecarios

Indicadores ANECA (11/13) 5.4. Formación
- Total de inversiones en Formación respecto del presupuesto de los servicios bibliotecarios 5.5. Funcionamiento - Total de inversiones para funcionamiento respecto del presupuesto de los servicios bibliotecarios - Total ingresos propios de la Biblioteca - TOTAL de los servicios bibliotecarios - Gasto total por usuario - Gasto de adquisiciones por usuario - Evolución Gasto total por usuario últimos cinco años - Evolución Gasto de adquisiciones por usuario últimos cinco años

ANECA 6. Indicadores de la actividad de la biblioteca (12/13)
Apertura Visitas Consultas bases de datos Préstamos alumnos Préstamos profesores Consultas bases de datos/profesor Consultas bases de datos/alumno Formación alumnos Formación profesores Respuestas de información

ANECA 7. Indicadores de Coste sobre los servicios ofertados (13/13)
Documentos procesados Préstamos Respuestas de Información Préstamo en sala Formación Usuarios potenciales Horas de apertura Vistas Adquisiciones / Préstamos

Otros indicadores. Indicadores extraídos de las encuestas de satisfacción de usuarios
Grado de satisfacción del servicio global de biblioteca Evolución del grado de satisfacción respecto del servicio de biblioteca Grado de satisfacción respecto del personal de la biblioteca Cordialidad Amabilidad Profesionalidad

Otros indicadores. Indicadores extraídos de las encuestas de satisfacción de usuarios
Capacidad de gestión y resolución de problemas del personal de préstamo Grado de satisfacción respecto de las instalaciones y equipos Oferta Recursos de información Actualización Nuevas adquisiciones Grado de satisfacción respecto del servicio de préstamo Plazos Duración de los préstamos

Otros indicadores. Indicadores extraídos de las encuestas de satisfacción de usuarios (pregunta abierta) accesos e instalaciones para personas con discapacidad (*) otros indicadores relacionados con el acceso y uso de la biblioteca para usuarios discapacitados (*) número de licencias de uso por base de datos (*) número de licencias de uso por revista electrónica a texto completo (*) acceso libre a documentos a texto completo en relación al acceso restringido (*) reserva de préstamo (*) préstamo on line reserva de préstamo on line (*) devolución de préstamos por correo postal (*) aviso de caducidad de los préstamos (*) (*) Estos indicadores no están contemplados en ningún método de evaluación analizado

MUCHAS GRACIAS Javier Gimeno jgimeno@buc.ucm.es jvrgimeno@gmail.com
“Las bibliotecas son ‘conservatorios del sentido’ donde se condensa y se ordena el pensamiento del mundo que nos rodea, el de otras culturas, el de otras lenguas e identidades, y también, el de las regiones interiores que nos conforman” (Michèle Petit Antropóloga)

II. Etapas de la evaluación: Autoevaluación y Evaluación Externa
II. Etapas de la evaluación: Autoevaluación y Evaluación Externa. La Acreditación. Principales metodologías de evaluación de bibliotecas

La decisión de evaluar (1/4)
Compromiso institucional Decisión de la metodología de evaluación a utilizar Cronograma

Elaboración y recopilación de toda la información necesaria (datos estadísticos, datos cualitativos, resultados de encuestas…) Establecimiento de indicadores de rendimiento Elaboración de la Guía de Evaluación

Determinación de los actores implicados en el Plan de Evaluación Constitución del Comité de Autoevaluación Interna (CAI) Constitución de la Oficina Técnica de Evaluación (OTE)

Conformación de los Grupos de Trabajo (GT) Plan de Comunicación

Soporte técnico y administrativo del Plan de Evaluación
Autoridades (universidad, municipalidad…) Dirección de la Biblioteca Comité de Autoevaluación Interna (CAI) Grupos de trabajo Oficina Técnica del Plan de Evaluación (OTE) Coordinación técnica

El proceso de la evaluación (1/3)
1ª Fase: Evaluación Interna Criterios de evaluación por el CAI (Grupos de Trabajo) Análisis de los puntos fuertes y débiles Propuestas de Mejora Informe de Autoevaluación (IA) con las Propuestas de Mejora Presentación del IA a la Agencia Evaluadora. La Agencia nombra el Comité de Evaluación Externa (CEE)

2ª Fase: Evaluación Externa Visita del CEE a la biblioteca Evaluación del IA por el CEE Enmiendas del CEE a las Propuestas de Mejora Informe de Evaluación Externa (IEE) Plan de Mejoras Informe Final de Evaluación a cargo del CAI

Acreditación Presentación del Informe Final y Plan de Mejoras al organismo competente Certificado de Calidad (validez: 3 a 5 años) Transcurrido el período de certificación: ejecución del Plan de Mejoras

Comité de Autoevaluación Interna (CAI) (1/2)
Es el órgano de representación e intervención de la comunidad universitaria en el proceso de evaluación de la biblioteca.

Comité de Autoevaluación Interna (CAI) (2/2)
Presidido por la máxima autoridad de la institución (alcalde, rector…) Miembros (vocales): Director de la biblioteca (secretario del Comité) Miembros de la dirección de la biblioteca (subdirector, etc.) Representantes del personal de la biblioteca Representantes de los usuarios

Funciones del CAI (1/4) Representa a la institución en el proceso de evaluación de la Biblioteca Dirige y coordina el Plan de evaluación Establece la metodología de trabajo

Funciones del CAI (2/4) Crea y coordina los grupos de trabajo
Supervisa el borrador deI Informe de Autoevaluación y el borrador del Plan de Mejoras

Funciones del CAI (3/4) Somete el borrador a consulta del órgano directivo de la institución y de la biblioteca Elabora el Informe definitivo de Autoevaluación y el Plan de Mejoras Lo presenta a la Agencia Evaluadora (inicio de la 2ª fase: evaluación externa)

Funciones del CAI (4/4) Recibe al Comité de Evaluación Externa (CEE) en su visita que realiza a la Biblioteca Estudia el Informe del CEE y lo somete a consulta del órgano directivo de la institución y de la biblioteca Elabora el Informe Final y el Plan de Mejoras

Oficina Técnica de Evaluación (OTE) (1/3)
La OTE está constituida por: El coordinador técnico del Plan de Evaluación El personal técnico de apoyo al Plan: bibliotecarios, informáticos, estadísticos…

OTE (2/3) Entre sus funciones destacan:
Realizar un seguimiento constante de la marcha del Plan de evaluación Elaborar el calendario y el cronograma del Plan Crear, mantener y actualizar la página web del proceso de evaluación

OTE (3/3) Suministrar toda la información e infraestructura básica al CAI, a los grupos de trabajo y al CEE (estudios, informes, estadísticas, etc.) Coordinar las jornadas, sesiones informativas, reuniones de los grupos, etc.

Grupos de Trabajo (1/4) El CAI designa, dirige y coordina los Grupos de Trabajo, cuya misión será realizar los estudios y análisis referidos a los criterios establecidos por la Agencia evaluadora y adaptados por el CAI al Plan de evaluación, los cuales constituyen las pautas metodológicas de trabajo.

Grupos de Trabajo (2/4) Los Grupos de Trabajo están formados por:
bibliotecarios representantes de los usuarios de la biblioteca, designados por el CAI.

Grupos de Trabajo (3/4) Cada Grupo de Trabajo tiene un coordinador, cuyo cometido es: dirigir las tareas del grupo preparar la documentación útil al trabajo a realizar establecer la metodología adecuada convocar las reuniones del grupo dirigir los debates redactar los distintos borradores de discusión coordinar la elaboración del informe final correspondiente a los contenidos estudiados por el Grupo de Trabajo.

Grupos de Trabajo (4/4) Todos los Grupos de Trabajo están asistidos por la Oficina Técnica del Plan de Evaluación Cada Grupo de Trabajo se ocupa de uno o dos criterios de la metodología adoptada para el Plan de Evaluación

Funciones del CEE (1/3) Valorar el contenido del Informe interno remitido por el CAI, así como el mismo proceso de autoevaluación. Actuar como instrumento de mejora de los servicios de biblioteca, para lo cual deberá facilitar, aclarar y dinamizar el proceso de análisis, reflexión y diálogo de los servicio bibliotecarios. Orientar su trabajo hacia la consecución de mejoras viables con las cuales se sienta comprometido el conjunto del servicio de biblioteca.

Funciones del CEE (2/3) Evaluar el Autoinforme del CAI y el Plan de Mejoras Visitar la Biblioteca para: entrevistarse con usuarios, gestores y bibliotecarios Conocer el estado de las instalaciones, servicios y procesos Evaluar el Informe Final de la Biblioteca

Funciones del CEE (3/3) El CEE emite su Informe: Informe de Evaluación Externa (IEE) Si es positivo, la Biblioteca puede presentarse a la convocatoria de Certificación de Calidad

Acreditación y Certificación de Calidad (1/7)
Ambos términos, acreditación y certificación, responden a un mismo proceso que consiste en demostrar y asegurar la calidad de un servicio, un producto, una institución, una actividad, el desempeño profesional, etc.

La Acreditación es el proceso por el cual el servicio obtiene la idoneidad como servicio de calidad y le compromete a llevar a cabo el Plan de Mejoras.

El Certificado de Calidad es el documento que acredita la calidad del servicio. Tiene un período temporal de validez determinado por el organismo oficial de acreditación y certificación correspondiente (3 a 5 años). El documento que acredita la certificación de calidad de una institución, un servicio, etc., suele ser una etiqueta de calidad o quality label (en terminología EFQM)

Para EFQM, acreditación es el proceso que garantiza la calidad de una institución o un programa educativo, proceso que es llevado a cabo por una agencia externa a la entidad evaluada.

La acreditación implica la evaluación previa respecto de estándares y criterios de calidad establecidos previamente por una agencia u organismo acreditador.

El procedimiento de la acreditación incluye: una autoevaluación de la propia institución una evaluación por un equipo de expertos externos En todos los casos se trata de una validación temporal, por una serie de años.

La certificación es para EFQM el resultado de un proceso por el que se verifica y documenta el cumplimiento de requisitos de calidad previamente establecidos. Puede referirse a procesos o a personas. Ambos procedimientos reconocen la calidad de los programas, de los servicios o de la institución evaluada.

Principales metodologías de evaluación aplicadas a bibliotecas
ISO EFQM ANECA LIBQUAL CUADRO DE MANDO INTEGRAL

EFQM (1/2) Diseñado por la European Foundation for Quality Management (EFQM), entidad creada en 1988 por catorce importantes empresas europeas especializadas en calidad.

EFQM (2/2) EFQM pone el acento en la autoevaluación, basada en:
análisis detallado del funcionamiento del sistema de gestión las normas de certificación los procesos de mejora continua

EFQM Características generales (1/2)
Inspirado en la filosofía japonesa de “calidad total” y “excelencia” aplicada a la empresa, cuya finalidad es la “calidad del producto” Tiene como base un fuerte liderazgo con una política y una estrategia para gestionar los recursos humanos, materiales y organizaciones.

EFQM Características generales (2/2)
Tiene como finalidad la mejora de los mecanismos de producción (procesos). Ello va a revertir en una mejora de los resultados de la satisfacción en los clientes, en el personal y en la sociedad Proporciona unos resultados clave de rendimiento de la organización, que aprende de sí misma y mejora continuamente hacia la excelencia.

EFQM Criterios (1/3) Establece nueve capítulos o aspectos a evaluar divididos en dos apartados: Agentes facilitadores (criterios 1-5): van a permitir la obtención de unos determinados resultados Resultados (criterios 6-9): miden los logros alcanzados

EFQM Criterios (2/3) Agentes facilitadores (AF)
1. Liderazgo 2. Política y estrategia 3. Personas. Gestión de los recursos humanos 4. Alianzas y recursos 5. Procesos

EFQM Criterios (3/3) Resultados (R)
6. Resultados en sus clientes 7. Resultados en las personas 8. Resultados en la sociedad 9. Resultados claves

ANECA Método diseñado expresamente para bibliotecas universitarias (diseñado por el Consorcio de Bibliotecas de Cataluña) Evalúa el servicio bibliotecario en su totalidad Considera la biblioteca como servicio público

ANECA Criterios (1/9) 1. ELEMENTOS BASADOS EN DATOS
1.1. Recursos: financieros, bibliográficos, espacio físico, etc. 1.2. Resultados: circulación, préstamo interbibliotecario, formación de usuarios, uso de recursos electrónicos, etc. 1.3. Grado de satisfacción de los usuarios. 2. ELEMENTOS RELACIONADOS CON LOS PROCESOS. 2.1. Grado de integración de la biblioteca en la institución. 2.2. Nivel de relación de la biblioteca y sus usuarios: biblioteca/docencia; biblioteca/investigación. 2.3. Gestión, organización y procesos. 2.4. Política de personal: capacitación, formación promoción, etc. 3. ELEMENTOS RELACIONADOS CON LA MEJORA DERIVADA DEL PROCESO DE EVALUACIÓN. 3.1. Criterios referidos a los planes de mejora y su desarrollo. 3.2. Criterios referidos a la participación activa de la biblioteca en proyectos de innovación y cooperación.

ANECA Criterios (2/9) 1. ELEMENTOS BASADOS EN DATOS.
1.1. Recursos: financieros, bibliográficos, espacio físico, etc. Espacio físico, instalaciones, equipamientos Recursos bibliográficos Recursos financieros Puntos fuertes Puntos débiles Propuestas de mejora

ANECA Criterios (3/9) 1.2. Resultados: circulación, préstamo interbibliotecario, formación de usuarios, uso de recursos electrónicos, etc. Eficacia en la prestación de servicios Estándares Objetivos Actividad Eficiencia en la prestación de servicios Prestación de servicios Distribución del gasto en adquisiciones-suscripciones Resumen Puntos fuertes Puntos débiles Propuestas de mejora

ANECA Criterios (4/9) 1.3. Grado de satisfacción de los usuarios.
Existencia de mecanismos y estrategias de evaluación continuada de la calidad. Nivel de uso de los servicios Grado de satisfacción Satisfacción general con la prestación del servicio de los servicios de biblioteca. Satisfacción con los fondos bibliográficos. Satisfacción con los diferentes servicios ofertados. Satisfacción con la información sobre los servicios de biblioteca. Satisfacción con las actividades de formación desarrollados. Satisfacción con las instalaciones y equipamientos. Puntos fuertes Puntos Débiles Propuestas de Mejora

ANECA Criterios (5/9) 2. ELEMENTOS RELACIONADOS CON LOS PROCESOS.
2.1. Grado de integración de la biblioteca en la institución. Puntos fuertes Puntos Débiles Propuestas de Mejora

ANECA Criterios (6/9) 2.2. Nivel de relación de la biblioteca y sus usuarios: biblioteca/docencia; biblioteca/investigación. Biblioteca / usuarios. Biblioteca / Docencia. Biblioteca / Investigación. Puntos fuertes Puntos Débiles Propuestas de Mejora

ANECA Criterios (7/9) 2.3. Gestión, organización y procesos.
Gestión y Organización. Procesos. Oferta de servicios a distancia. Puntos fuertes Puntos Débiles Propuestas de Mejora

ANECA Criterios (8/9) 2.4. Política de personal: capacitación, formación promoción, etc. Tipología, dotación y distribución del personal Políticas de acceso y promoción Formación Implicación, satisfacción y motivación del personal Puntos fuertes Puntos Débiles Propuestas de Mejora

ANECA Criterios (9/9) 3. ELEMENTOS RELACIONADOS CON LA MEJORA DERIVADA DEL PROCESO DE EVALUACIÓN. 3.1. Criterios referidos a los planes de mejora y su desarrollo. 3.2. Criterios referidos a la participación activa de la biblioteca en proyectos de innovación y cooperación. Puntos fuertes Puntos Débiles Propuestas de Mejora Plan de Mejoras

LibQual (1/3) En el año la Universidad A&M de Texas y ARL (Association of Research Libraries) desarrollaron LibQual, herramienta de evaluación de la calidad para bibliotecas basado en ServQual.

LibQual (2/3) LibQual es un estándar para medir el grado de satisfacción de los usuarios con los servicios que ofrecen las bibliotecas, así como identificar carencias y lagunas en la prestación de los servicios, siempre basándose en las percepciones subjetivas de los usuarios.

LibQual (3/3) LibQual establece tres dimensiones de calidad a evaluar:
a. La biblioteca como local (espacio funcional, señalización y ambiente de estudio) b. El control de la información (rapidez, comodidad, facilidad de navegación, equipamientos modernos) c. Apariencia del servicio (empatía, responsabilidad, seguridad, confiabilidad).

Encuesta LibQual (1/7) La herramienta fundamental de LibQual para medir la satisfacción de los usuarios es la encuesta.

Encuesta LibQual (2/7) La encuesta está basada en 22 preguntas, en cada una de las cuales hay que contestar a tres cuestiones: Nivel de servicio mínimo exigible. Nivel de servicio deseado. Nivel observado (percepción del servicio)

Encuesta LibQual (3/7) La encuesta está dividida en cuatro grandes apartados:

Encuesta LibQual (4/7) I. El valor del servicio. Se compone, a su vez, de tres elementos: Empatía, responsabilidad y seguridad Fiabilidad Dimensión humana de la calidad del servicio

Encuesta LibQual (5/7) II. Acceso la información. 4 elementos:
Cobertura del alcance, temporalidad, conveniencia en el acceso Adecuación de las colecciones Comprensibilidad, calidad y profundidad de los recursos de información Información solicitada proporcionada en formato, espacio y tiempo escogido

Encuesta LibQual (6/7) III. Control del personal. 3 elementos:
Cobertura de navegación, conveniencia y servicios de apoyo Control del personal de la información y de Internet en particular Interactuación de los usuarios con la biblioteca tecnológica

Encuesta LibQual (7/7) IV. Biblioteca como espacio. 3 elementos:
Cobertura de las necesidades de espacio, valor simbólico de la biblioteca y refugio para el estudio y el trabajo Reunión de los requerimientos comunitarios en un espacio para el estudio y la colaboración (tangibilidad) Proporcionar las facilidades físicas adecuadas

CMI (1/2) Herramienta de gestión basada en indicadores de evaluación de rendimiento a largo plazo: Indicadores e inductores de resultados Indicadores financieros y no financieros Indicadores cuantitativos y cualitativos

CMI (2/2)

”Perder es [también] cuestión de método”
MUCHAS GRACIAS Javier Gimeno ”Perder es [también] cuestión de método” (Santiago Gamboa. Novelista colombiano)

Práctico 1: Evaluación de un proceso bibliotecario
Práctico 1: Evaluación de un proceso bibliotecario. Diseño y aplicación de indicadores de calidad

Práctico 2: Evaluación de un servicio bibliotecario
Práctico 2: Evaluación de un servicio bibliotecario. Diseño y aplicación de indicadores de calidad

La evaluación de la calidad en bibliotecas: una apuesta por el servicio público. Etapas e indicadores. Javier Gimeno Perelló Córdoba, 17 y 18 de noviembre.

Presentaciones similares

Presentación del tema: "La evaluación de la calidad en bibliotecas: una apuesta por el servicio público. Etapas e indicadores. Javier Gimeno Perelló Córdoba, 17 y 18 de noviembre."— Transcripción de la presentación:

Presentaciones similares

Sobre el proyecto

Feedback

Iniciar la sesión

Autorizarse a través de una red social:

La evaluación de la calidad en bibliotecas: una apuesta por el servicio público. Etapas e indicadores. Javier Gimeno Perelló Córdoba, 17 y 18 de noviembre.

Presentaciones similares

Presentación del tema: "La evaluación de la calidad en bibliotecas: una apuesta por el servicio público. Etapas e indicadores. Javier Gimeno Perelló Córdoba, 17 y 18 de noviembre."— Transcripción de la presentación:

Presentaciones similares

Sobre el proyecto

Feedback