UNIVERSITAT DE VALÈNCIA Servei de Formació Permanent ¿Desea conocer cuáles son los autores y los artículos más citados?. ¿Desea saber cuáles son las revistas científicas de más impacto? PLA DE FORMACIÓ PER AL PROFESSORAT DE LA UNIVERSITAT DE VALÈNCIA 2009 Servei de Formació Permanent

Situación de la evaluación de la actividad investigadora Los investigadores españoles están sujetos a evaluación de su actividad científica La evaluación se realiza mediante evaluación por pares y el uso de técnicas bibliométricas (sobre todo el análisis de citas) El análisis se realiza con determinadas bases de datos-fuente, por ejemplo Web of Science (ISI)

Algunos problemas del análisis para la evaluación de las publicaciones Sesgo de algunas de las fuentes: sesgo de revistas fuente, sesgo idiomático, sesgo geográfico y sesgo temático Problemas de análisis en Ciencias Sociales y Humanidades Infravaloración de la producción en las bases de datos-fuente Pocos indicadores disponibles Dificultad para realizar análisis de citas Autoría/afiliación no normalizada Infravaloración por fallos de identificación en las bases de datos

Algunas soluciones para el análisis Evaluación cuantitativa con otras revistas-fuente In-RECS e In-RECJ: Revistas españolas de Ciencias Sociales y Jurídicas IHCD: Factor de Impacto Potencial de las Revistas Médicas Españolas Nuevos modelos de evaluación (añadir criterios formales y cualitativos a la valoración cuantitativa) Criterios Latindex de calidad DICE-CINDOC: Calidad editorial de las revistas de Humanidades y Ciencias Sociales Utilizar otras fuentes de datos Scopus SCImago Journal & Country Ranks Google Académico

Organismos de evaluación de la actividad científica en España Comisión Nacional Evaluadora de la Actividad Investigadora (CNEAI): criterios de evaluación http://ciencia.micinn.fecyt.es/ciencia/jsp/plantilla.jsp?area=cneai&id=551 ANECA: Principios para la aplicación de los criterios de evaluación http://www.aneca.es/active/active_prof_acred.asp Para la selección de las herramientas de evaluación me he basado en los criterios que aplican estas dos instituciones: la CNEAI y la ANECA

Comisión Nacional Evaluadora de la Actividad Investigadora (CNEAI) “En los distintos ámbitos del saber, científico, técnico y social existen índices que ordenan, por grado de difusión, las publicaciones de reconocido prestigio. La CNEAI entiende que aparecer en uno de tales índices es suficiente garantía para que lo publicado en esa revista tenga asegurada su calidad.” Criterios específicos de evaluación por campos científicos (BOE 282, 22 nov.2008)

ANECA: Principios para la aplicación de los criterios de evaluación Valora la calidad y difusión de resultados de la actividad investigadora. “Indicios de calidad” de las publicaciones: citas recibidas, indexación en una base de datos, índice de impacto, etc. para: Publicaciones científicas en revistas Libros y capítulos de libros Ponencias y comunicaciones a congresos

Ejemplos de criterios de evaluación por áreas de conocimiento CNEAI y ANECA

Campo 7. Ciencias Sociales, Políticas, del Comportamiento y de la Educación (igual para Ciencias Económicas y Empresariales) “Los artículos en revistas de reconocida valía, aceptándose como tales las recogidas en los listados por ámbitos científicos en el “Suject Category Listing” del “Journal Citation Reports”. “Podrán considerarse también los artículos publicados en revistas listadas en otras bases de datos nacionales o internacionales (por ejemplo ERIH, INRECS, LATINDEX, SCOPUS, DICE-CINDOC, etc.) …”

CNEAI Campo 10. Historia y Expresión Artística “La inclusión de las revistas en bases de datos internacionales se considerará como una referencia de calidad (por ejemplo Francis, International Bibliography of the Social Sciences (IBSS), Arts and Humanities Citation Index y Social Science Citation Index, Bibliography of the History of Art, Historical Abstracts, International Medieval Bibliography, Index Islamicus, RILMS Abstract of Music Literature, etc).” “Podrán considerarse también los artículos publicados en revistas listadas en otras bases de datos nacionales o internacionales (por ejemplo ERIH, INRECS, LATINDEX, SCOPUS, DICE-CINDOC, etc.)”

CNEAI Campo 11. Filosofía, Filología y Lingüística “La inclusión de las revistas en bases de datos internacionales como el Arts and Humanities Citation Index, Social Science Citation Index, Index Islamicus o su clasificación alta en los listados del European Reference Index for the Humanities (ERIH) de la ESF se considerará como una referencia de calidad. Podrán considerarse también artículos publicados en revistas listadas en otras bases de datos internacionales (por ejemplo INRECS, LATINDEX, SCOPUS, DICE_CINDOC, etc)…”

ANECA Ciencias Sociales “Se valoran preferentemente las publicaciones científicas en revistas de prestigio incluidas en listados tales como Science Citation Index, Social Sciences Citation Index, Econlit, catálogo de Latindex u otros listados generalmente admitidos en este campo. En algunos ámbitos de este campo, la Comisión de Acreditación también utiliza como referencia de calidad, para las publicaciones españolas, la base de datos DICE: Difusión y Calidad Editorial de las Revistas Españolas de Humanidades y Ciencias Sociales y Jurídicas.”

Indicadores para la evaluación de las publicaciones Indicios de calidad de las publicaciones científicas

Índice o factor de impacto de una revista El índice o factor de impacto de una revista es la media de veces que en un año determinado son citados los artículos publicados por esta revista en los dos años anteriores. Se calcula dividiendo el número de citas recibidas por los artículos publicados en los dos años anteriores, entre el número total de artículos publicados en esos dos años.

Cálculo y obtención del índice de impacto FÓRMULA: Citas recibidas en 2007 por los artículos publicados en 2005-2006 Factor impacto 2007= Número de artículos publicados en 2005-2006 Disponible en: Journal Citation Reports (JCR) del ISI (Dos ediciones : Science y Social Sciences) IN-RECS e IN-RECJ: Índice de impacto de Revistas Españolas de Ciencias Sociales y Jurídicas

Índice h de un autor Fue propuesto por Jorge Hirsch de la Universidad de California a mediados del 2005 para detectar los investigadores más destacados en un área. Se calcula ordenando los documentos de un investigador en orden descendente según el número de citas recibidas, se numeran y se identifica el punto en el que el número de orden coincide con el de citas recibidas por documento. Ejemplo: Un investigador tiene un índice h de 29, si 29 de sus 185 artículos tienen al menos 29 citas cada uno, y los otros 154 artículos (185-29) tienen menos de 29 citas cada uno. Disponible en : Web of Science del ISI SCOPUS

Cuartil Si un listado de revistas ordenadas de mayor a menor factor de impacto se dividiera en cuatro partes iguales, cada una de las partes sería un cuartil. Las revistas con el factor de impacto más alto están en el primer cuartil, los cuartiles medios serán el segundo y tercero, y el cuartil más bajo será el cuarto. Disponible en IN-RECS e IN-RECJ

Lugar que ocupa una revista en su categoría En los listados de revistas ordenadas por el índice de impacto es el lugar que ocupa el título dentro de su área de conocimiento. Disponible en: “Subject Category Listing” del Journal Citation Reports (JCR) IN-RECS e IN-RECJ

Herramientas de evaluación de publicaciones internacionales

. European Reference Index for the Humanities (ERIH) de la European Science Foundation Su objeto es identificar y comparar la investigación en Humanidades y Ciencias Sociales a nivel europeo. Produce listados de revistas analizadas por un Comité de expertos para 15 disciplinas de Humanidades y Ciencias Sociales. Clasifica las revistas en 3 categorías (A, B y C) no por criterios de calidad sino según su difusión y audiencia. Aparecer en los listado ERIH ya es un indicio de calidad www.esf.org/erih

Ejemplo de la ERIH Initial List: History (2007) Entrar en la página de ERIH y mostrar el cuadro de las Inital List

Web of Knowledge (WOK) http://www.accesowok.fecyt.es/login

Web of Knowledge (WOK) La Web of Knowledge es una plataforma que integra fuentes y herramientas para acceder, analizar y gestionar información: bases de datos bibliográficas y herramientas de evaluación. Tres utilidades para la evaluación: Búsqueda de autor: las revistas indexadas en la Web of Science se consideran de calidad Búsqueda de autores y artículos citados: recuperar citas recibidas Búsqueda del índice de impacto y del lugar ocupado por las revistas

WOK. Bases de datos que contiene

Web of Science Búsqueda por autor

Selección de Web of Science

Web of Science: Delimitadores Seleccionar la edición de WOS

Web of Science: pantalla de búsqueda Índices Campos de búsqueda Localizador de autores Operadores Delimitadores

Web of Science: consejos para buscar por autor En los apellidos compuestos buscar también la forma fusionada. De la Iglesia j* or delaiglesia j* Autores que firman con dos apellidos buscarlos: Con los dos apellidos. Los dos apellidos unidos por guión. Buscar por el segundo apellido. Truncar con * el primer apellido. Truncar con * después de la primera inicial.

Web of Science: búsqueda por autor

Web of Science: Localizar un autor con el Author Finder

WoS: Análisis de los resultados e índice h

WoS: trabajo con los registros completos Ver las citas recibidas Ver el texto completo Ver artículos con citas compartidas Ver las referencias citadas Ver las tablas de contenido y el factor de impacto de la revista

Búsqueda de autores y trabajos citados Web of Science Búsqueda de autores y trabajos citados

WoS: Cited reference search Posibilidades de búsqueda: Autor citado: si es posible, el autor principal ya que las variaciones de las citas sólo van asociadas al autor principal. Trabajo citado: buscar el título abreviado de la revista o libro donde se ha publicado el trabajo (consultar el índice de abreviaturas) Año citado Año de publicación como aparece en la cita * No se puede buscar por título de artículo

Web of Science: Cited reference search

Resultado de la búsqueda por referencia citada

Resultado de la búsqueda por referencia citada Variantes de las citas

Resultado de la búsqueda por referencia citada Seleccionar las variantes de la cita Ver títulos completos Ver la referencia completa en WoS Variantes de la cita (equivocadas)

Journal Citation Reports Búsqueda del factor de impacto y otros indicadores de las revistas

Journal Citation Reports (JCR) Base datos que ofrece información sobre la importancia relativa de las revistas en su categoría temática: Factor de impacto Lugar que ocupa la revista en su categoría Factor de inmediatez Factor de obsolescencia Cobertura: 1998 a 2007 Contiene 2 series: Ciencias Ciencias Sociales

Búsqueda del factor de impacto de una revista: acceso al JCR Seleccionar recursos adicionales Seleccionar Journal Citation Reports

Contenido del JCR

JCR: Búsqueda del factor de impacto de una revista Búsqueda de revistas por área temática, editor o país Búsqueda por título de una revista Título completo Título abreviado Palabras del título Por ISSN de la revista

JCR: Búsqueda por área temática, editor o país

JCR: Búsqueda por área temática Ver revistas del área ordenadas por:

JCR: Búsqueda por editor Ver revistas del editor ordenadas por:

JCR: Búsqueda por país de edición Ver revistas del país ordenadas por:

JCR: Revistas ordenadas por factor de impacto

JCR: Información de la revista

SCOPUS http://www.scopus.com

Contiene referencias bibliográficas de 16 Contiene referencias bibliográficas de 16.300 revistas (peer-review) procedentes de 4.000 editoriales, 700 actas de congresos internacionales, 1.200 revistas open acces, 386 millones de páginas científicas, 22 millones de patentes y las bases de datos MEDLINE y EMBASE. Incluye también el buscador científico de Internet SCIRUS. Proporciona referencias bibliográficas completas, más de 29 millones de resúmenes y permite buscar por referencias citadas desde el año 1996 en adelante. No recoge revistas de Humanidades

Búsqueda de autor (Autor Search) Normalización de autores e instituciones Posibilidad de corregir y unificar datos de autoría Datos de citas e índice h del autor: Citation tracker Ver artículos : Show documents Ver citas recibidas: Cited by Curriculum de autores: Details

Detalles sobre el autor Seleccionar las diferentes formas Búsqueda de autores Detalles sobre el autor Seleccionar las diferentes formas

Citas recibidas

Citation tracker

Búsqueda de revistas Búsqueda por revistas Búsqueda por áreas

Journal Analyzer

SCImago Journal & Country Rank http://www.scimagojr.com/

SCImago Journal & Country Rank Desarrollada por el grupo de investigación SCImago. Fuente de datos: Scopus Incluye más de 15.000 revistas desde 1996 Scimago Journal Rank (SJR): elaborado a partir del algoritmo Pagerank, que representa la visibilidad de las revistas contenidas en Scopus desde 1999 hasta 2007

SCImago Journal &Country Rank

Revistas españolas de Psicología

Google Académico http://scholar.google.es

¿Qué se puede encontrar?: Subproducto de Google especializado en buscar material bibliográfico de carácter científico-académico. Cubre: Libros Artículos de revistas científicas Comunicaciones y ponencias a congresos Informes científico-técnicos Tesis y tesinas Trabajos de repositorios y preprints Páginas web institucionales ¿Qué se puede encontrar?: Todas las versiones de un documento que encuentre Referencias bibliográficas Enlaces a los textos completos Artículos relacionados :Se basa en citas que otros trabajos académicos efectúan de los artículos. Citas recibidas

Versiones diferentes del documento Texto completo Citas Versiones diferentes del documento

Herramientas de evaluación de publicaciones españolas

Latindex: Sistema nacional de información en línea para revistas científicas de América Latina, Caribe, España y Portugal http://www.latindex.unam.mx/

Proporciona información de revistas científicas de Latinoamérica, el Caribe, España y Portugal seleccionadas y clasificadas según criterios de calidad establecidos por el grupo de especialistas del Sistema Latindex. Su objetivo es difundir y elevar la calidad, impacto y visibilidad de las revistas científicas de estas zonas. Establece unos estándares de calidad para la edición de las revistas científicas. Cubre todas las materias: Ciencias, Ciencias Sociales y Humanidades. España está representada por el CINDOC (CSIC) Criterios de evaluación: http://www.latindex.unam.mx/latindex/Documentos/documentos.html

Productos que contiene: Directorio: Desde 1997 proporciona los datos normalizados de revistas científicas: especialización temática, organismo editor, responsables editoriales, dirección, procedimientos de distribución, bases de datos que cubren la revista, etc. Contiene más de 16,000 revistas. Catálogo: Selección de revistas clasificadas según 33 criterios de calidad para revistas impresas y 36 para electrónicas. Es un subconjunto de las revistas del Directorio, con información adicional sobre los criterios de calidad cumplidos. Contiene 3.823 revistas. Enlace a revistas electrónicas: Ofrece acceso a los textos completos de artículos publicados en las revistas listadas. El acceso puede ser gratuito o restringido.

Criterios Latindex para revistas impresas

Criterios Latindex para revistas electrónicas

Ejemplo de criterios cumplidos por una publicación

IN-RECS e IN-RECJ: índice de impacto de revistas españolas de Ciencias Sociales y Jurídicas http://ec3.ugr.es/in-recs/ http://ec3.ugr.es/in-recj/

IN-RECS e IN-RECJ: índice de impacto de revistas españolas de Ciencias Sociales y Jurídicas Elaborado por el Grupo E3 de la Universidad de Granada. Es un índice bibliométrico que ofrece información a partir del recuento de citas para determinar el impacto de las revistas españolas de Ciencias Sociales, autores e instituciones. Se basa en la indización sistemática de las referencias bibliográficas citadas en los artículos publicados en 146 revistas españolas. Calcula el impacto de 748 revistas de 1996 a 2007. Proceso de elaboración.

Utilidad de In-RECS e In-RECJ Saber cual es el impacto de una revista, su evolución y su posición respecto al resto de las revistas de la especialidad a través de distintos indicadores, especialmente el índice de impacto. Conocer cuales son las publicaciones que citan a una revista y cuales son las citadas por ella, con lo que se hace posible trazar afinidades y relaciones científicas. Saber cuales son los artículos más citados de una especialidad, y cuales son los autores, artículos y revistas que les citan y que son citados por ellos mismos. Conocer el impacto de los autores que publican en las revistas españolas, estableciendo la procedencia de las citas que reciben. Saber cuales son las instituciones más citadas en cada especialidad, y cuales son los autores, artículos y revistas que les citan y que son citados por ellas mismos.

IN-RECS formas de recuperar la información (Búsquedas) Búsquedas transversales en IN-Recs e IN-Recj por: Autor Institución Revista Cita bibliográfica Existen índices de autores, instituciones y revistas que solucionan los problemas de identificación

IN-RECS: búsqueda por autor

In-RECS: formas de recuperar la información (Listados) Listados de: Revistas ordenadas por índice de impacto en los diferentes años, posicionadas por cuartiles, citas nacionales e internacionales, trabajos publicados y alfabético. Artículos más citados ordenados por 11 criterios (los 100 artículos más citados) Autores más citados ordenados por 11 criterios. Instituciones más citadas ordenadas por 11 criterios.

In-RECS: listado de revistas de ECONOMÍA ordenadas por Índice de impacto 2007

Difusión y Calidad Editorial de las Revistas Españolas de Humanidades y Ciencias Sociales y Jurídicas http://dice.cindoc.csic.es/index.php

DICE Formas de búsqueda Búsquedas de revistas por 10 campos: Criterios de calidad: Presencia en bases de datos Evaluadores externos Periodicidad Apertura editorial Apertura de los autores Presencia en Catálogo Latindex Obtención de listados: alfabético de revistas bases de datos: descripción de la base y criterios para la inclusión de una revista Complementa los índices de citas de RESH (actualizado hasta 2004)

DICE: opciones de búsqueda

DICE: informe individualizado por revista

http://bd.ub.es/miar/ Matriu d’informació per a l’Avaluació de Revistes http://bd.ub.es/miar/

MIAR Base de datos de revistas españolas y extranjeras de Ciencias Sociales y Humanidades Información para identificar la revista y su inclusión en bases de datos internacionales Establece el ICDS (Índice Compuesto de Difusión Secundaria) basándose en la presencia de la revista en las bases de datos, en los índices del ISI, catálogo Latindex y datos de pervivencia. Incluye 27.686 títulos de 16 ámbitos.

MIAR

MIAR

MIAR

Sugerencias para presentar las publicaciones en las agencias de evaluación Citas recibidas: WoS, Scopus, Google Académico, In-RECS, In-RECJ Índice de impacto en JCR y su posición en el área Índice de impacto de In-RECS o In-RECJ y su posición en el área. Cuartil de la revista en In-RECS o In-RECJ SJR y posición de la revista en SCImago Journal & Country Rank

Otros indicios de calidad Indicadores de calidad de DICE Criterios Latindex cumplidos Incluida en el Catálogo Latindex Índice de difusión secundaria (ICDS) de MIAR Inclusión de la revista en bases de datos bibliográficas Descargas de los artículos de repositorios, hemerotecas digitales, etc.

Ejemplo Cuadernos de Economía y Dirección de la Empresa (año 2007) Índice de impacto: 0.171 Posición que ocupa la revista: 19, 1er. cuartil Área: Economía Base de datos de indexación In-Recs Otros indicios: Bases de datos que la incluyen: ISOC ; RED ALyC ; SSCI Área temática ISOC: Economía Área de conocimiento: Organización de Empresas Clasificación UNESCO: Organización y Dirección de empresas Criterios Latindex cumplidos: 32              Evaluadores externos: Sí Cumplimiento periodicidad: Sí Apertura exterior del consejo de redacción: Sí Apertura exterior de los autores: Sí Fecha de actualización: 20/05/2009 Incluida en el Catálogo Latindex

Gracias por vuestra atención blanca.salom@uv.es