Tendencias internacionales en la evaluación de la ciencia y la tecnología. Bibliometría y Altmetría Jornada de intercambio y debate sobre la medición de la producción científico-tecnológica: políticas, experiencias y desafíos. Instituto de Investigaciones en Humanidades y Ciencias Sociales (UNLP-CONICET), Facultad de Humanidades y Ciencias de la Educación, Universidad Nacional de la Plata, 3 de diciembre de 2013 Zaida Chinchilla-Rodríguez SCImago Research Group – IPP - CSIC

Situación actual de la investigación Conference themes and Plenary Sessions: Topic 1 Scientometrics Indicators: - Criticism and new developments - Their disciplinary relevance: Science and Technology, Social Sciences and Humanities Topic 2 Old and new of data sources for scientometric studies: coverage, accuracy and reliability Topic 3 Citation and co-citation analysis Topic 4 Science Policy and Research Evaluation: Quantitative and qualitative approaches Topic 5 Measuring Innovation and Emergence incl. Patent Analysis Topic 6 Collaboration studies Topic 7 Webometrics Topic 8 Visualisation and Science Mapping: tools, methods and applications Topic 9 Management and measurement of bibliometric data within scientific organizations Topic 10 Open Access and Scientometrics Topic 11 Scientometrics in the History of Science Topic 12 Sociological and philosophical issues and applications Social Network Analysis Introduction to ORCID The wondrous world of bibliometric indicators: Citation Indicators Usage Indicators Altmetrics

Research Trends Table Compound Big Datasets and their objects of study. Source: Henk F. Moed The use of Big Datasets in bibliometric research. Research Trends, 30, september 2012

Desarrollo de Sistemas de Información Científica e Indicadores - SCImago

Total output Liderazgo y excelencia científica (país o institución) Participated output Output as main contributor Excellence output Exclusive output Author/s only from one domain Authors from different domains Excellence Output as main contributor

Principales Indicadores Latinoamérica

SCImago Institutions Rankings

Literatura científica citada en patentes

Matching Scopus-Patstat

Producción argentina citada en patentes

Patentes en las que ha sido citada

Producción científica UNLP citada en patentes

SIC Patentes (output tecnológico ) Patentometría) Web 2.0 (motivaciones muy hetereogéneas) Webometría Usometría Altmetría Publicaciones (output científico) Bibliometría Distintas fuentes - Distintos criterios

Métricas alternativas Altmetrics

Críticas al modelo tradicional de evaluación y financiación científica – Descontento generalizado de investigadores, editores y gestores de investigación científica sobre el modelo actual (San Francisco Declaration of Research Assessment) → Factor de impacto de las revistas, no de los artículos → Único indicador de referencia en agencias de promoción y financiación de la investigación →Re-diseñar estrategias y criterios de evaluación de la actividad científicaSan Francisco Declaration of Research Assessment – Múltiples fuentes de recogida de datos y plataformas abiertas y gratuitas Auge del acceso abierto – Criterio para la financiación de la investigación (Leyes nacionales, Comisión Europea, Welcome Trust, NIH, Russell Group …) – Cumplir mandato institucional – Difusión, divulgación, democratización de la actividad científica, visibilidad… Mayor repercusión y visibilidad de la actividad científica – Nuevos canales de comunicación científica → se consolida el concepto de impacto social de la actividad investigadora? → tercera misión de las universidades? → nuevos criterios de evaluación → pro-actividad de investigadores e instituciones

Redes sociales – Facebook y Twitter Redes sociales académicas – Academia.edu – ResearchGate – Mendeley – SlideShare Perfiles bibliográficos – Google Citations – MS Academic Search Nuevas plataformas y herramientas Altmetrics.com

Nuevos indicadores Medidas generadas a partir de las interacciones de los usuarios con materiales generados por los propios investigadores – Presencia en redes académicas – Número de veces que un trabajo se marca como favorito (bookmarking) – Número de veces que ha sido añadido a una colección bibliográfica – Menciones en blogs y medios de comunicación – Número de retwits… Fortalezas: – Aporta una dimensión distinta a la bibliometría convencional – Impacto social de la investigación científica – Proporcionan datos a nivel artículo (documento) – Proporcionan datos en tiempo real de la repercusión de la investigación – Especie de revisión por pares colectiva posterior a la publicación Debilidades: – Son muy recientes – Problemas de normalización para la recuperación de la información – Disponibilidad de datos

Facebook

Twitter

Russell Group Universities

Academia.edu

 ¿Qué es Mendeley?  Creando tu biblioteca  Administrando tus documentos & referencias  Insertando citas & generando bibliografías  Compartiendo referencias usando grupos Agenda

Academia.edu

Perfil de institución

Perfil de autor en ResearchGate

¿Qué es Mendeley? Mendeley e un programa académico gratuito (Win, Mac & Linux) para gestionar, compartir, anotar y citar tu bibliografía científica…...y una red social académica para gestionar tu bibliografía online, descubrir tendencias y estadísticas y conocer a otros investigadores con intereses communes

Perfil de autor en Mendeley

ReaderMeter

SlideShare

Perfiles bibliográficos Dos nuevas herramientas en la evaluación de la investigación (bases de datos de citas) Diferentes perfiles y funcionalidades – Google Scholar Citations: Perfil creado por el usuario, GS lo actualiza automáticamante. Permite añadir manual o automáticamente registros, su exportación en distintos formatos y unificar registros duplicados – MS Academic Search: permite editar el perfil, incorporarlo en una web externa y tienes más funcionalidades que Google Scholar Citations Google Scholar scholar.google.com MS Academic Search academic.research.microsoft.com Size+100 million~40 million Sources(Un)reliableReliable CurrentYesNo Quality controlAt the sourceBy end user

Google Scholar Citations

Ranking de perfiles UNLP

Perfil de autor

Posición de la institución por temáticas

Exploración de red de coautores

PROS Participación en redes sociales y académicas Incremento de visibilidad Posibilidad de interactuar con otros grupos Acceso abierto de los documentos Cumplimiento de mandato institucional CONTRAS Evanescencia de los datos y las fuentes Posibilidad de incurrir en ilegalidad por los derechos de autor Aumenta el trabajo del investigador

Normalización y recuperación de datos Identificadores ORCID

Aumentar la visibilidad Incorporación repositorio institucional Incorporación páginas personales Incorporación al CV

Comprobar en Digital.CSIC y enlazar

Incorporación en páginas personales (I)

Incorporación en páginas personales (II)

Impact Story

Firma correo electrónico – enlazar sitios web – modelo altmetrics en CV

Consejos básicos Enlazar nuestras páginas personales con el mayor número posible de sitios (redes sociales, perfiles bibliograficos, web institucionales: IPP, CSIC…) Cualquier enlace es mejor que ninguno Subir todo el contenido posible (mayor probabilidad de ser visibles) respetando los permisos de autoarchivo Etiquetar los grupos e intereses de investigación Poner perfiles o un identificador estandarizado en la firma del correo electrónico

Conclusiones finales… Los nuevos indicadores aún no se utilizan en la evaluación pero se recomienda su incorporación paulatina en los currícula Resolver problemas de normalización a nivel individual e institucional La nueva generación de sistemas de información científica (CRIS) y las métricas basadas en el uso y consumo de la información, pueden aportar nuevos criterios y soluciones en la evaluación científicaCRIS Los nuevos escenarios y plataformas brindan la oportunidad de que el investigador pueda incrementar la visibilidad más allá de la publicación en revistas, ya que puede compartir en muchas otras fuentes de interés Cualquier indicador que complemente los que ya existen (bibliométricos, de transferencia tecnológica, etc.) son bienvenidos y hay que explorar sus utilidades y sus limitaciones

Gracias !!! UNLP, 3 de diciembre de 2013