Uso y abuso del Factor de Impacto Félix de Moya Anegón Grupo SCIMAGO Universidad de Granada ____________ COLCIENCIAS, Bogotá, Diciembre 2005

Factores que influyen en el FI El campo científico y dentro de cada uno el nivel de generalización La antigüedad del trabajo La relevancia social del trabajo a través de sus autores y/o revista El tipo de documento La ventana de citación La cobertura de la fuente (WOS-ISI)

Revistas arbitradas en el mundo SCOPUS (±14200) ISI-WOS (±8000) (*) Fuente UlrichsWeb

Representación del FI

Influencias y sesgos en el cálculo del FI El periodo de observación afecta al resultado La tasa media de citación evoluciona de manera distinta según la revista (fuente: 1980)

Impacto de los diferentes tipos de documentos

FI por tipos de documentos

Influencia de los campos científicos Tasa media de citación por campos científicos (fuente: 1996, ventana de citación: 1996-1998) Ingenierías 1.12 Matemáticas 1.46 Química analítica 3.00 Física de estado sólido 3.06 Neurociencias 4.54 Las medidas basadas en citación son – sin nomalización – inapropiadas para el análisis comparado de campos científicos.

La única forma posible de compensar las diferencias temáticas es una correcta normalización y la apliacción exacta del mismo período fuente y ventana de citación a todos los documentos objeto de análisis.

Obstáculo: La asignación de categoría no es única por revista Los indicadores de citación pueden calcularse usando una referencia estandar basada en las revistas de las materias en las que los trabajos objeto de estudio han sido publicados: Obstáculo: La asignación de categoría no es única por revista Relative Citation Rate (RCR): Cites per paper (CPP) / Journal Citation Score (JCS) Normalised Mean Citation Rate (NMCR): (CPP) Cites per paper / (FCS) Field Citation Score Factor de Impacto Tipificado: Distancia a la media del FI en la categoría / la desviación estandar de la distribución de impactos de la categoría temática

Sobre el papel del FI El FI de Garfield/ISI se ha convertido en factor crítico de la investigación en bibliometría/ciencia de la información El FI se usa frecuentemente en diferentes ámbitos y ha adquirido un sólida posición en el mercado de la información científica Es fácil de calcular y fácil de interpretar, aunque es frecuente que se haga un uso inapropiado del indicador En origen, sólo representa la media de citas por trabajo en una revista y para un período concreto Se puede considerar que por encima de cualquier otra cosa mide la visibilidad internacional de los resultados de investigación publicados Sin embargo, es posible su aplicación con las debidas cautelas para analizar dominios científicos

Problemas con el uso del FI La popularidad del FI radica en su comprensibilidad, aparente reproductibilidad y estabilidad Esta misma popularidad está en el origen de muchos de sus usos. El FI se usa con frecuencia para sustituir la ausencia de información de citación Aunque se supone que mide el impacto de las revistas, está afectado por factores que nada se relacionan con la relevancia científica de las mismas Aunque es una media, el tamaño de las revistas le afecta

Problemas con el uso del FI (cont.) La falta de ponderación de las citas recibidas por una revista es una limitación reiterada por muchos especialistas Existe un cierto sesgo en favor de las revistas con artículos mas extensos Como la obsolescencia de las ciencias es variable la ventana de citación de dos años favorece a unas y perjudica a otras No es adecuada la delimitación de documento citable Incorrecta identificación de los documentos citados (no normalizados)

Visibilidad versus FI Publicar en una revista con mucho FI asegura visibilidad pero no alta citación necesariamente En muchos campos científicos es más importante llegar a la audiencia adecuada que tener mucha El FI no puede medir todos los aspectos que deben ser tenidos en cuenta en los procesos de evaluación de la investigación tanto ex-ante como ex-post

El mito del reconocimiento tardío Un argumento reiterado sobre las limitaciones de los indicadores basados en citación es que trabajos importantes nunca recibieron citas en principio sino muchos después de su aparición. Citas que se realizan una vez cerrada la ventana de citación usada para calcular el FI Existe evidencia suficiente de que un trabajo que no ha sido citado cinco años después de ser publicado, veinte después tampoco lo es. Incluso en áreas con tasas de obsolescencia muy altas Sólo 1,3 trabajos de cada 10.000 fueron olvidados al comienzo y reconocidos más tarde

Mal uso y abuso de los indicadores bibliométricos La política científica induce cambios en las pautas de comunicación científica, especialmente los sistemas de incentivos El uso inadecuado de los indicadores bibliométricos puede generar efectos perversos en el desarrollo de un sistema CyT El uso de referencias pertenecientes a otros dominios científicos o simplemente inadecuadas provoca actitudes defensivas en los investigadores o deserciones La coautoría, la autocitación, las listas categorizadas de revistas, la no ponderación de las citas…, en definitiva, la falta de control sobre el proceso de generación de indicadores

Sistema de Incentivos/ Proceso de reinterpretación del concepto de citación y de sus consecuencias citación interpretación Bibliometría/ Ciencia de la Información Indicador del uso de la información No citado: Información no usada Muy citado: Buena aceptación Autocitado: Parte de la comunicación científica repercusión (posibles cambios en las actitudes de los citantes) reinterpretación Evaluación de la Investigación/ Política científica Sistema de Incentivos/ Medidas de calidad No citado: Baja calidad Muy citado: Alta calidad Autocitado: Manipulación del impacto Tomado de: W. Glänzel and K. Debackere

Evaluar siempre mejor Disponer de indicadores, estudiar sus sesgos y minimizar sus efectos negativos debe ser una constante Favorecer la competencia por la visibilidad y la reconocimiento a través del sometimiento a la revisión por pares es mejor que su contrario para el sistema de generación de conocimiento Sin embargo, publicar en revistas con alto FI hace invisibles estos resultados de investigación a quienes no tienen acceso. La visibilidad se alcanza entre quienes pueden pagar la información

El ciclo del impacto investigador El acceso abierto a los resultados de investigación maximiza el acceso a la investigación maximiza (y acelera) el impacto (por tanto también la productividad y el progreso investigador y su reconocimiento) The first slide introduces the research-impact cycle. Research is done, written up, peer-reviewed, published, read by other researchers, used and cited in their further research, which is in turn written up, peer-reviewed, published, read, used, etc. That is the research-impact cycle, In order to be read, used and cited (i.e., in order to have any impact at all) research has to be accessed. What ever reduces access, reduces impact. Reduced impact means reduced research productivity, progress, and rewards (to the researcher and their university). Whatever enhances access, enhances research productivity, progress and rewards to the researcher and their university) Tomado de: Tim Brody y Stevan Harnad

New impact cycles: New research builds on existing research Impact cycle begins: Research is done Researchers write pre-refereeing “Pre-Print” Submitted to Journal 12-18 Months Pre-Print reviewed by Peer Experts – “Peer-Review” Pre-Print revised by article’s Authors Refereed “Post-Print” Accepted, Certified, Published by Journal This is the Limited Access and Limited Research Impact Cycle as it was in the paper era, and still is todaym in the online era: Within a 12-18 month cycle, the research is written up as the pre-refereeing preprint. The preprint is submitted to a refereed journal for peer review. The preprint is revised in accordance with the referees’ feedback. The final, accepted draft, the postprint is published. If the would-be user’s university has toll-access, they access it. Some of these accesses lthen ead to use and citation in a new research cycle Researchers can access the Post-Print if their university has a subscription to the Journal New impact cycles: New research builds on existing research

New impact cycles: New research builds on existing research Post-Print is self-archived in University’s Eprint Archive Impact cycle begins: Research is done Researchers write pre-refereeing “Pre-Print” Pre-Print is self-archived in University’s Eprint Archive Submitted to Journal 12-18 Months Pre-Print reviewed by Peer Experts – “Peer-Review” New impact cycles: Self-archived research impact is greater (and faster) because access is maximized (and accelerated) Pre-Print revised by article’s Authors Refereed “Post-Print” Accepted, Certified, Published by Journal To maximise research access, supplement the existing system: Do as before, but also: Self-archive the preprint in your university’s Eprint Archive, so every would-be user can access it. Self-archive the postprint in your university’s Eprint Archive, so every would-be user can access it. Research access is maximized and so research impact is maximized. Researchers can access the Post-Print if their university has a subscription to the Journal New impact cycles: New research builds on existing research

Current Journal Tally: 93% of journals have already given their official green light to self archiving FULL-GREEN = Postprint 69% PALE-GREEN = Preprint 24% GRAY = neither yet 7% Publishers to date: 126 Journals processed so far: 8630 http://romeo.eprints.org/stats.php