UNIVERSITAT DE VALÈNCIA Servei de Formació Permanent

Presentación del tema: "UNIVERSITAT DE VALÈNCIA Servei de Formació Permanent"— Transcripción de la presentación:

1 UNIVERSITAT DE VALÈNCIA Servei de Formació Permanent
¿Desea conocer cuáles son los autores y los artículos más citados?. ¿Desea saber cuáles son las revistas científicas de más impacto? PLA DE FORMACIÓ PER AL PROFESSORAT DE LA UNIVERSITAT DE VALÈNCIA 2009 Servei de Formació Permanent

2 Situación de la evaluación de la actividad investigadora
Los investigadores españoles están sujetos a evaluación de su actividad científica La evaluación se realiza mediante evaluación por pares y el uso de técnicas bibliométricas (sobre todo el análisis de citas) El análisis se realiza con determinadas bases de datos-fuente, por ejemplo Web of Science (ISI)

3 Algunos problemas del análisis para la evaluación de las publicaciones
Sesgo de algunas de las fuentes: sesgo de revistas fuente, sesgo idiomático, sesgo geográfico y sesgo temático Problemas de análisis en Ciencias Sociales y Humanidades Infravaloración de la producción en las bases de datos-fuente Pocos indicadores disponibles Dificultad para realizar análisis de citas Autoría/afiliación no normalizada Infravaloración por fallos de identificación en las bases de datos

4 Algunas soluciones para el análisis
Evaluación cuantitativa con otras revistas-fuente In-RECS e In-RECJ: Revistas españolas de Ciencias Sociales y Jurídicas IHCD: Factor de Impacto Potencial de las Revistas Médicas Españolas Nuevos modelos de evaluación (añadir criterios formales y cualitativos a la valoración cuantitativa) Criterios Latindex de calidad DICE-CINDOC: Calidad editorial de las revistas de Humanidades y Ciencias Sociales Utilizar otras fuentes de datos Scopus SCImago Journal & Country Ranks Google Académico

5 Organismos de evaluación de la actividad científica en España
Comisión Nacional Evaluadora de la Actividad Investigadora (CNEAI): criterios de evaluación ANECA: Principios para la aplicación de los criterios de evaluación Para la selección de las herramientas de evaluación me he basado en los criterios que aplican estas dos instituciones: la CNEAI y la ANECA

6 Comisión Nacional Evaluadora de la Actividad Investigadora (CNEAI)
“En los distintos ámbitos del saber, científico, técnico y social existen índices que ordenan, por grado de difusión, las publicaciones de reconocido prestigio. La CNEAI entiende que aparecer en uno de tales índices es suficiente garantía para que lo publicado en esa revista tenga asegurada su calidad.” Criterios específicos de evaluación por campos científicos (BOE 282, 22 nov.2008)

7 ANECA: Principios para la aplicación de los criterios de evaluación
Valora la calidad y difusión de resultados de la actividad investigadora. “Indicios de calidad” de las publicaciones: citas recibidas, indexación en una base de datos, índice de impacto, etc. para: Publicaciones científicas en revistas Libros y capítulos de libros Ponencias y comunicaciones a congresos

8 Ejemplos de criterios de evaluación por áreas de conocimiento
CNEAI y ANECA

9 Campo 7. Ciencias Sociales, Políticas, del Comportamiento y de la Educación (igual para Ciencias Económicas y Empresariales) “Los artículos en revistas de reconocida valía, aceptándose como tales las recogidas en los listados por ámbitos científicos en el “Suject Category Listing” del “Journal Citation Reports”. “Podrán considerarse también los artículos publicados en revistas listadas en otras bases de datos nacionales o internacionales (por ejemplo ERIH, INRECS, LATINDEX, SCOPUS, DICE-CINDOC, etc.) …”

10 CNEAI Campo 10. Historia y Expresión Artística
“La inclusión de las revistas en bases de datos internacionales se considerará como una referencia de calidad (por ejemplo Francis, International Bibliography of the Social Sciences (IBSS), Arts and Humanities Citation Index y Social Science Citation Index, Bibliography of the History of Art, Historical Abstracts, International Medieval Bibliography, Index Islamicus, RILMS Abstract of Music Literature, etc).” “Podrán considerarse también los artículos publicados en revistas listadas en otras bases de datos nacionales o internacionales (por ejemplo ERIH, INRECS, LATINDEX, SCOPUS, DICE-CINDOC, etc.)”

11 CNEAI Campo 11. Filosofía, Filología y Lingüística
“La inclusión de las revistas en bases de datos internacionales como el Arts and Humanities Citation Index, Social Science Citation Index, Index Islamicus o su clasificación alta en los listados del European Reference Index for the Humanities (ERIH) de la ESF se considerará como una referencia de calidad. Podrán considerarse también artículos publicados en revistas listadas en otras bases de datos internacionales (por ejemplo INRECS, LATINDEX, SCOPUS, DICE_CINDOC, etc)…”

12 ANECA Ciencias Sociales
“Se valoran preferentemente las publicaciones científicas en revistas de prestigio incluidas en listados tales como Science Citation Index, Social Sciences Citation Index, Econlit, catálogo de Latindex u otros listados generalmente admitidos en este campo. En algunos ámbitos de este campo, la Comisión de Acreditación también utiliza como referencia de calidad, para las publicaciones españolas, la base de datos DICE: Difusión y Calidad Editorial de las Revistas Españolas de Humanidades y Ciencias Sociales y Jurídicas.”

13 Indicadores para la evaluación de las publicaciones
Indicios de calidad de las publicaciones científicas

14 Índice o factor de impacto de una revista
El índice o factor de impacto de una revista es la media de veces que en un año determinado son citados los artículos publicados por esta revista en los dos años anteriores. Se calcula dividiendo el número de citas recibidas por los artículos publicados en los dos años anteriores, entre el número total de artículos publicados en esos dos años.

15 Cálculo y obtención del índice de impacto
FÓRMULA: Citas recibidas en 2007 por los artículos publicados en Factor impacto 2007= Número de artículos publicados en Disponible en: Journal Citation Reports (JCR) del ISI (Dos ediciones : Science y Social Sciences) IN-RECS e IN-RECJ: Índice de impacto de Revistas Españolas de Ciencias Sociales y Jurídicas

16 Índice h de un autor Fue propuesto por Jorge Hirsch de la Universidad de California a mediados del 2005 para detectar los investigadores más destacados en un área. Se calcula ordenando los documentos de un investigador en orden descendente según el número de citas recibidas, se numeran y se identifica el punto en el que el número de orden coincide con el de citas recibidas por documento. Ejemplo: Un investigador tiene un índice h de 29, si 29 de sus 185 artículos tienen al menos 29 citas cada uno, y los otros 154 artículos (185-29) tienen menos de 29 citas cada uno. Disponible en : Web of Science del ISI SCOPUS

17 Cuartil Si un listado de revistas ordenadas de mayor a menor factor de impacto se dividiera en cuatro partes iguales, cada una de las partes sería un cuartil. Las revistas con el factor de impacto más alto están en el primer cuartil, los cuartiles medios serán el segundo y tercero, y el cuartil más bajo será el cuarto. Disponible en IN-RECS e IN-RECJ

18 Lugar que ocupa una revista en su categoría
En los listados de revistas ordenadas por el índice de impacto es el lugar que ocupa el título dentro de su área de conocimiento. Disponible en: “Subject Category Listing” del Journal Citation Reports (JCR) IN-RECS e IN-RECJ

19 Herramientas de evaluación de publicaciones internacionales

20 . European Reference Index for the Humanities (ERIH) de la European Science Foundation Su objeto es identificar y comparar la investigación en Humanidades y Ciencias Sociales a nivel europeo. Produce listados de revistas analizadas por un Comité de expertos para 15 disciplinas de Humanidades y Ciencias Sociales. Clasifica las revistas en 3 categorías (A, B y C) no por criterios de calidad sino según su difusión y audiencia. Aparecer en los listado ERIH ya es un indicio de calidad

21 Ejemplo de la ERIH Initial List: History (2007)
Entrar en la página de ERIH y mostrar el cuadro de las Inital List

22 Web of Knowledge (WOK)

23 Web of Knowledge (WOK) La Web of Knowledge es una plataforma que integra fuentes y herramientas para acceder, analizar y gestionar información: bases de datos bibliográficas y herramientas de evaluación. Tres utilidades para la evaluación: Búsqueda de autor: las revistas indexadas en la Web of Science se consideran de calidad Búsqueda de autores y artículos citados: recuperar citas recibidas Búsqueda del índice de impacto y del lugar ocupado por las revistas

24 WOK. Bases de datos que contiene

25 Web of Science Búsqueda por autor

26 Selección de Web of Science

27 Web of Science: Delimitadores
Seleccionar la edición de WOS

28 Web of Science: pantalla de búsqueda
Índices Campos de búsqueda Localizador de autores Operadores Delimitadores

29 Web of Science: consejos para buscar por autor
En los apellidos compuestos buscar también la forma fusionada. De la Iglesia j* or delaiglesia j* Autores que firman con dos apellidos buscarlos: Con los dos apellidos. Los dos apellidos unidos por guión. Buscar por el segundo apellido. Truncar con * el primer apellido. Truncar con * después de la primera inicial.

30 Web of Science: búsqueda por autor

31 Web of Science: Localizar un autor con el Author Finder

32 WoS: Análisis de los resultados e índice h

33 WoS: trabajo con los registros completos
Ver las citas recibidas Ver el texto completo Ver artículos con citas compartidas Ver las referencias citadas Ver las tablas de contenido y el factor de impacto de la revista

34 Búsqueda de autores y trabajos citados
Web of Science Búsqueda de autores y trabajos citados

35 WoS: Cited reference search
Posibilidades de búsqueda: Autor citado: si es posible, el autor principal ya que las variaciones de las citas sólo van asociadas al autor principal. Trabajo citado: buscar el título abreviado de la revista o libro donde se ha publicado el trabajo (consultar el índice de abreviaturas) Año citado Año de publicación como aparece en la cita * No se puede buscar por título de artículo

36 Web of Science: Cited reference search

37 Resultado de la búsqueda por referencia citada

38 Resultado de la búsqueda por referencia citada
Variantes de las citas

39 Resultado de la búsqueda por referencia citada
Seleccionar las variantes de la cita Ver títulos completos Ver la referencia completa en WoS Variantes de la cita (equivocadas)

40 Journal Citation Reports
Búsqueda del factor de impacto y otros indicadores de las revistas

41 Journal Citation Reports (JCR)
Base datos que ofrece información sobre la importancia relativa de las revistas en su categoría temática: Factor de impacto Lugar que ocupa la revista en su categoría Factor de inmediatez Factor de obsolescencia Cobertura: 1998 a 2007 Contiene 2 series: Ciencias Ciencias Sociales

42 Búsqueda del factor de impacto de una revista: acceso al JCR
Seleccionar recursos adicionales Seleccionar Journal Citation Reports

43 Contenido del JCR

44 JCR: Búsqueda del factor de impacto de una revista
Búsqueda de revistas por área temática, editor o país Búsqueda por título de una revista Título completo Título abreviado Palabras del título Por ISSN de la revista

45 JCR: Búsqueda por área temática, editor o país

46 JCR: Búsqueda por área temática
Ver revistas del área ordenadas por:

47 JCR: Búsqueda por editor
Ver revistas del editor ordenadas por:

48 JCR: Búsqueda por país de edición
Ver revistas del país ordenadas por:

49 JCR: Revistas ordenadas por factor de impacto

50 JCR: Información de la revista

51 SCOPUS

52 Contiene referencias bibliográficas de 16
Contiene referencias bibliográficas de revistas (peer-review) procedentes de editoriales, 700 actas de congresos internacionales, revistas open acces, 386 millones de páginas científicas, 22 millones de patentes y las bases de datos MEDLINE y EMBASE. Incluye también el buscador científico de Internet SCIRUS. Proporciona referencias bibliográficas completas, más de 29 millones de resúmenes y permite buscar por referencias citadas desde el año 1996 en adelante. No recoge revistas de Humanidades

53 Búsqueda de autor (Autor Search)
Normalización de autores e instituciones Posibilidad de corregir y unificar datos de autoría Datos de citas e índice h del autor: Citation tracker Ver artículos : Show documents Ver citas recibidas: Cited by Curriculum de autores: Details

54 Detalles sobre el autor Seleccionar las diferentes formas
Búsqueda de autores Detalles sobre el autor Seleccionar las diferentes formas

55 Citas recibidas

56 Citation tracker

57 Búsqueda de revistas Búsqueda por revistas Búsqueda por áreas

58 Journal Analyzer

59 SCImago Journal & Country Rank

60 SCImago Journal & Country Rank
Desarrollada por el grupo de investigación SCImago. Fuente de datos: Scopus Incluye más de revistas desde 1996 Scimago Journal Rank (SJR): elaborado a partir del algoritmo Pagerank, que representa la visibilidad de las revistas contenidas en Scopus desde 1999 hasta 2007

61 SCImago Journal &Country Rank

62 Revistas españolas de Psicología

63 Google Académico

64 ¿Qué se puede encontrar?:
Subproducto de Google especializado en buscar material bibliográfico de carácter científico-académico. Cubre: Libros Artículos de revistas científicas Comunicaciones y ponencias a congresos Informes científico-técnicos Tesis y tesinas Trabajos de repositorios y preprints Páginas web institucionales ¿Qué se puede encontrar?: Todas las versiones de un documento que encuentre Referencias bibliográficas Enlaces a los textos completos Artículos relacionados :Se basa en citas que otros trabajos académicos efectúan de los artículos. Citas recibidas

65 Versiones diferentes del documento
Texto completo Citas Versiones diferentes del documento

66 Herramientas de evaluación de publicaciones españolas

67 Latindex: Sistema nacional de información en línea para revistas científicas de América Latina, Caribe, España y Portugal

68 Proporciona información de revistas científicas de Latinoamérica, el Caribe, España y Portugal seleccionadas y clasificadas según criterios de calidad establecidos por el grupo de especialistas del Sistema Latindex. Su objetivo es difundir y elevar la calidad, impacto y visibilidad de las revistas científicas de estas zonas. Establece unos estándares de calidad para la edición de las revistas científicas. Cubre todas las materias: Ciencias, Ciencias Sociales y Humanidades. España está representada por el CINDOC (CSIC) Criterios de evaluación:

69 Productos que contiene:
Directorio: Desde 1997 proporciona los datos normalizados de revistas científicas: especialización temática, organismo editor, responsables editoriales, dirección, procedimientos de distribución, bases de datos que cubren la revista, etc. Contiene más de 16,000 revistas. Catálogo: Selección de revistas clasificadas según 33 criterios de calidad para revistas impresas y 36 para electrónicas. Es un subconjunto de las revistas del Directorio, con información adicional sobre los criterios de calidad cumplidos. Contiene revistas. Enlace a revistas electrónicas: Ofrece acceso a los textos completos de artículos publicados en las revistas listadas. El acceso puede ser gratuito o restringido.

70 Criterios Latindex para revistas impresas

71 Criterios Latindex para revistas electrónicas

72 Ejemplo de criterios cumplidos por una publicación

73 IN-RECS e IN-RECJ: índice de impacto de revistas españolas de Ciencias Sociales y Jurídicas

74 IN-RECS e IN-RECJ: índice de impacto de revistas españolas de Ciencias Sociales y Jurídicas
Elaborado por el Grupo E3 de la Universidad de Granada. Es un índice bibliométrico que ofrece información a partir del recuento de citas para determinar el impacto de las revistas españolas de Ciencias Sociales, autores e instituciones. Se basa en la indización sistemática de las referencias bibliográficas citadas en los artículos publicados en 146 revistas españolas. Calcula el impacto de 748 revistas de 1996 a 2007. Proceso de elaboración.

75 Utilidad de In-RECS e In-RECJ
Saber cual es el impacto de una revista, su evolución y su posición respecto al resto de las revistas de la especialidad a través de distintos indicadores, especialmente el índice de impacto. Conocer cuales son las publicaciones que citan a una revista y cuales son las citadas por ella, con lo que se hace posible trazar afinidades y relaciones científicas. Saber cuales son los artículos más citados de una especialidad, y cuales son los autores, artículos y revistas que les citan y que son citados por ellos mismos. Conocer el impacto de los autores que publican en las revistas españolas, estableciendo la procedencia de las citas que reciben. Saber cuales son las instituciones más citadas en cada especialidad, y cuales son los autores, artículos y revistas que les citan y que son citados por ellas mismos.

76 IN-RECS formas de recuperar la información (Búsquedas)
Búsquedas transversales en IN-Recs e IN-Recj por: Autor Institución Revista Cita bibliográfica Existen índices de autores, instituciones y revistas que solucionan los problemas de identificación

77 IN-RECS: búsqueda por autor

78 In-RECS: formas de recuperar la información (Listados)
Listados de: Revistas ordenadas por índice de impacto en los diferentes años, posicionadas por cuartiles, citas nacionales e internacionales, trabajos publicados y alfabético. Artículos más citados ordenados por 11 criterios (los 100 artículos más citados) Autores más citados ordenados por 11 criterios. Instituciones más citadas ordenadas por 11 criterios.

79 In-RECS: listado de revistas de ECONOMÍA ordenadas por Índice de impacto 2007

80 Difusión y Calidad Editorial de las Revistas Españolas de Humanidades y Ciencias Sociales y Jurídicas

81 DICE Formas de búsqueda
Búsquedas de revistas por 10 campos: Criterios de calidad: Presencia en bases de datos Evaluadores externos Periodicidad Apertura editorial Apertura de los autores Presencia en Catálogo Latindex Obtención de listados: alfabético de revistas bases de datos: descripción de la base y criterios para la inclusión de una revista Complementa los índices de citas de RESH (actualizado hasta 2004)

82 DICE: opciones de búsqueda

83 DICE: informe individualizado por revista

84 http://bd.ub.es/miar/ Matriu d’informació per a l’Avaluació de
Revistes

85 MIAR Base de datos de revistas españolas y extranjeras de Ciencias Sociales y Humanidades Información para identificar la revista y su inclusión en bases de datos internacionales Establece el ICDS (Índice Compuesto de Difusión Secundaria) basándose en la presencia de la revista en las bases de datos, en los índices del ISI, catálogo Latindex y datos de pervivencia. Incluye títulos de 16 ámbitos.

86 MIAR

87 MIAR

88 MIAR

89 Sugerencias para presentar las publicaciones en las agencias de evaluación
Citas recibidas: WoS, Scopus, Google Académico, In-RECS, In-RECJ Índice de impacto en JCR y su posición en el área Índice de impacto de In-RECS o In-RECJ y su posición en el área. Cuartil de la revista en In-RECS o In-RECJ SJR y posición de la revista en SCImago Journal & Country Rank

90 Otros indicios de calidad
Indicadores de calidad de DICE Criterios Latindex cumplidos Incluida en el Catálogo Latindex Índice de difusión secundaria (ICDS) de MIAR Inclusión de la revista en bases de datos bibliográficas Descargas de los artículos de repositorios, hemerotecas digitales, etc.

91 Ejemplo Cuadernos de Economía y Dirección de la Empresa (año 2007)
Índice de impacto: 0.171 Posición que ocupa la revista: 19, 1er. cuartil Área: Economía Base de datos de indexación In-Recs Otros indicios: Bases de datos que la incluyen: ISOC ; RED ALyC ; SSCI Área temática ISOC: Economía Área de conocimiento: Organización de Empresas Clasificación UNESCO: Organización y Dirección de empresas Criterios Latindex cumplidos: 32              Evaluadores externos: Sí Cumplimiento periodicidad: Sí Apertura exterior del consejo de redacción: Sí Apertura exterior de los autores: Sí Fecha de actualización: 20/05/2009 Incluida en el Catálogo Latindex

92 Gracias por vuestra atención