La medición de la ciencia Anna María Prat CONICYT - Chile

La Comunicación Científica La culminación de un proceso De investigación, De discusión De financiamiento De evaluación por pares El inicio de un proceso De premios y sanciones De búsqueda de visibilidad De permanencia

Producto de las actividades de investigación El objetivo básico de la actividad de investigación es la creación de nuevo conocimiento o de nuevos productos y servicios. El "producto" (output) de la actividad, adquiere diferentes formas y varía según cada disciplina: Artículos en revistas científicas, libros, presentaciones a congresos, y todo tipo de publicaciones en general. Patentes y otros productos relacionados con la posibilidad de aplicación y transferencia del conocimiento Según la disciplina, diseños, desarrollo de software, material multimedia, y otros. El producto de la actividad es, generalmente, cuantificable.

Resultados de las actividades de investigación Existen, además, lo que se denomina "resultados" o "efectos" (outcomes) de la investigación: Producción de graduados de alta calidad Innovaciones tecnológicas Ampliación de la capacidad de servicios de consultoría, servicios de investigación a contrata Relaciones internacionales con potencialidad de intercambio, acceso a resultados, participación en redes, etc. Es difícilmente cuantificable.

Bibliometría, Cientometría Según la definición de 1969 de: Pritchard “bibliometría es la aplicación de métodos matemáticos y estadísticos a libros y otros medios de comunicación". Nalimov & Mulchenko Cientometría es “la aplicación de esos métodos cuantitativos que se refieren al análisis de la ciencia vista como un proceso de información.

Bibliometría, Cientometría Small "Análisis estadístico de datos bibliográficos, principalmente en literatura científica y técnica. Mide el monto de la actividad científica en una área específica en revistas, país, tópico o área de interés.” Una definición más amplia y reciente de Glänzel & Schoepflin (1994) incluye: “todos los aspectos cuantitativos y modelos de la comunicación, almacenamiento, diseminación y recuperación de la información científica”.

Aplicaciones de la bibliometría y cientometría Historia de la Ciencia, para elucidar el desarrollo de disciplinas científicas, a partir de los resultados obtenidos por los investigadores, Las ciencias sociales, para obtener información acerca de la comunidad científica y su estructura en una sociedad determinada, sus motivaciones, comportamiento, organización, creación de redes, etc.

Aplicaciones de la bibliometría Documentación, para determinar las colecciones núcleo, de una disciplina dada. Cantidad de periódicos que se requieren para cubrir el 50%, el 80% o el 90% de un área científica Política científica, para producir indicadores que sirvan para medir productividad y calidad científica, necesarios para evaluar y orientar los programas nacionales de CTI.

La evaluación de I+D Grados crecientes de complejidad La evaluación a nivel nacional. La evaluación institucional La evaluación por área disciplinaria o de desarrollo La evaluación individual Necesidad de obtener datos comparativos Problemas metodológicos Definición de bases de datos a usar Forma de obtención de los datos Definiciones comunes Agregación de datos. Relación con los demás indicadores de I+D

¿Qué se mide al evaluar en Ciencia? Producción. Número de publicaciones individuales o de un grupo de investigación Productividad. Número de publicaciones según la capacidad de investigación del grupo (generalmente relación con el número de JCE dedicadas a investigación, o cantidad de recursos invertidos) Impacto. Número de veces que un trabajo es citado en las revistas de corriente principal. Impacto NO es siempre equivalente a calidad.

Medición de la investigación Tecnológica Patentes como unidad de medida. Estudios sobre la relación entre patentes e investigación científica básica según estudios de citas bibliográficas, de la patente y su informe Problemas propios de la patente. Demora del proceso. Patentar en el propio país, en el extranjero, en cuantos países. Costos

Fuentes de información Para los estudios bibliométricos se requiere de grandes masas de información y bases de datos. Las bases de datos bibliográficas se generan para recuperar información. Generalmente tienen poca versatilidad para estudios bibliométricos. Este tipo de estudios, se originaron para medir ciencia básica. Hoy debemos ampliar esta cobertura a ciencias sociales, humanidades, tecnología. Todas tienen diferentes formas de comunicación de resultados.

Fuentes de información Tipos de literatura y otros productos a considerar, según cada disciplina. Tradicionalmente se usa en el mundo las bases de datos de Thomson ISI, consideradas como cubriendo la literatura de “corriente principal” La perspectiva, nacional, disciplinaria e institucional. Creación de bases de datos nacionales o especializadas como complemento. Cruce con otros indicadores

Criterios esenciales de las bases de datos para estudios bibliométricos Amplitud de la cobertura Criterios de selección de las revistas incluidas Incorporación de datos relevantes: Identificación de todos los autores Filiación de todos los autores Identificación de todas y cada una de las citas del artículo Asignación de disciplinas a los artículos Cobertura temporal

Criterios que deben cumplir las revistas para un análisis bibliométrico Tener un Comité editorial, evaluada por pares, con normas explicitas de evaluación Porcentaje de artículos rechazados Continuidad a lo largo del tiempo Cumplimiento de la periodicidad Cumplimiento de las normas internacionales de edición de revistas científicas Cubrir un área determinada del conocimiento o ser multidisciplinaria. Definición de “misión” u objetivos, clara.

La corriente principal Hoy se publican, en todo el mundo, más de 200.000 revistas de carácter científico. Unas 30.000 con comité editorial y revisión por pares. Aplicando la Ley de Bradford: 150 revistas dan cuenta de la mitad de lo que se cita y un cuarto de lo que se publica Un núcleo de aproximadamente 2000 revistas cubren el 85% de los artículos publicados y un 95% de los artículos citados

Los índices y la "corriente principal" Se define como "corriente principal" al núcleo de revistas que, siguiendo criterios pre definidos, se incorporan a bases de datos consideradas "patrones" de calidad. Internacionalmente, ISI (Thomson ISI), para la totalidad de las disciplinas científicas. En el área de la salud: Medline

¿Para qué entrar a ISI o Medline? Prestigio. Entrar al club exclusivo de la "corriente principal" Calidad reconocida internacionalmente (aunque se sabe que no todas las publicaciones de calidad están incorporadas) Visibilidad y credibilidad Sistemas de evaluación a nivel nacional e internacional

Contenido de ISI Web of Science Número aproximado, por año, de títulos en las bases de datos de ISI: Science Citation Index Expanded: 5.600 Social Science Citation Index: 1.800 Arts & Humanities Citation Index: 1.200 Número aproximado de la llamada "corriente principal" en todas las áreas: 8.700 Se revisan más de 2000 títulos anualmente para ser incorporados y se revisan los existentes para ser eliminados

Revistas Latinoamericanas en ISI Ciencias Ciencias Sociales Arte & Humanidades Total Argentina 5 1 6 Brasil 17 2 20 Chile 7 3 12 Colombia Costa Rica Cuba Ecuador México 8 15 Uruguay Venezuela

ISI. Criterios de selección de títulos Cumplimiento de la periodicidad Cumplimiento de normas editoriales internacionales que aseguren su recuperación: Título informativo de la revista Títulos, resúmenes y palabras clave de los artículos en inglés además de su idioma original Referencias completas Identificación de los autores y su filiación Procesos de revisión por pares

ISI. Criterios de selección de títulos Alcance del tema y cobertura geográfica de la revista Evaluación de las citas recibidas por la revista, sus autores y los miembros del comité editorial: Número, impacto e inmediatez Relación de autocitas Disponibilidad En observación uno o dos años

Referencia The ISI Database: the journal selection process. http://scientific.thomson.com/knowtrend/essays/selectionofmaterial/journalselection/

Tipo de análisis con bases ISI Número de publicaciones y su relación con países, regiones, disciplinas, etc. Impacto y su relación con la media mundial, nacional, regional, disciplinaria, etc. Trabajos con mayor impacto Cocitaciones. Redes de investigación Areas de especialización de un país o institución. Análisis de disciplinas. Colaboración entre países, instituciones, disciplinas Frentes de investigación. Evolución de un campo durante su crecimiento y decaimiento

Journal Citation Reports (JCR) Originalmente usado para apoyar la selección de revistas a incorporar a las bibliotecas académicas Se usa el concepto de impacto para medir el grado de influencia de la publicación, esto es su impacto medio entre todas las publicaciones del mundo. Usado (malamente) para evaluar los artículos ahí publicados. Es un indicador más. No mide, necesariamente, calidad.

Impacto de los artículos Se mide el impacto de cada artículo, según las veces que es citado y en relación con el número de citas promedio esperadas para la revista en la que ha sido publicado El índice de impacto de las revistas varía año a año. Es también importante el índice de inmediatez y la vida media. (cuan rápido es citado un artículo y por cuanto tiempo) En muchos estudios se separan las autocitas

La corriente principal regional y nacional Creación de la Red SciELO, por parte de BIREME / FAPESP, en 1997. para la edición electrónica de revistas científicas de la región. SciELO-Brasil, se inicia en 1997, actualmente 163 revistas a texto completo, muchas desde 1997 hasta la fecha. Chile se incorpora en 1998. Programa de identificación y evaluación permanente de las revistas nacionales Sistema propio de indicadores para medir producción, impacto, co autorías Base de datos incorporada

La red SciELO hoy PAIS N. DE REVISTAS BRAZIL 163 CHILE 59 ESPAÑA 30 VENEZUELA 22 CUBA 19 ARGENTINA 25 PERU 13 COLOMBIA 12 PORTUGAL 10 COSTA RICA 9 MEXICO 6 URUGUAY TOTAL 374

SciELO-Chile En la actualidad: 60 revistas texto completo (muchas a partir de 1997) Más de 14.000 artículos de los cuales 9.500 se consideran para estudios bibliométricos. 860 nnúmeros Más de 2.000.000 de visitas mensuales Aceptado como herramienta de evaluación para el AFD a las universidades Incluido en los análisis de la calidad de las universidades nacionales

SciELO-Chile Se ha constituido una “corriente principal” nacional. Fuente de indicadores complementarios Se ha desarrollado un módulo de estadísticas parecidas a las de ISI Módulo de co-autorías. Permite descubrir redes de colaboración Descubrir revistas y artículos de mayor impacto (apoyo a política editorial y de subsidios)

SciELO y los indicadores SciELO incluye un módulo de estadísticas para la colección SciELO Chile: De Uso (de las revistas y de cada artículo) De citas (Impacto, vida media) De Coautoría (a nivel nacional, regional e internacional) Módulo de estadísticas para cada revista Indicador de artículos y citas por instituciones y autores Desde el año 2002 considerado, junto a ISI, medida de calidad de revistas chilenas

Una malla de información: los enlaces. Nuevo indicador Están activos: Enlaces entre artículos SciELO, currículos SICTI en Chile y Lattes de Brasil, entre referencias de artículos en SciELO Chile y SciELO Brasil, entre las referencias y bases de datos: PubMed, Medline y Lilacs Están previstos De currículos SICTI y SciELO a Web of Science De publicaciones a textos completos y otras bases de datos secundarias, tales como CABI Acceso desde INIST/CNRS, Francia, DOAJ de Suecia, OCLC, EE.UU, SCOPUS, SCIRRUS y Google Scholar

Otras formas de comunicación tradicional Según las diferentes áreas del conocimiento, no sólo es importante el artículo. Cómo medir otras formas de comunicación tales como monografías, tratados, textos, etc. Criterios para reflejar su importancia en cada disciplina Presentaciones a congresos, con comité de evaluación de las ponencias, publicadas en texto completo Invitaciones a coloquios internacionales Dirección de tesis de doctorado, otras tesis de grado y post grado

Las nuevas formas de comunicación Cómo definir "publicación" hoy Acceso a archivos de preimpresos, bancos de datos especializados en instituciones y sitios especializados Cómo medir y evaluar lo que está en Internet Cómo complementar la información "tradicional" para medir producción, con las posibilidades de las nuevas tecnologías de información Qué tipo de información es válida hoy para medir la eficiencia de las políticas y programas nacionales e institucionales en CTI

Algunas conclusiones Todavía hay muchas interrogantes Los invitamos a buscar juntos algunas de las respuestas, a través de programas regionales como los de la RICYT y otras redes Debemos evaluar nuestra inversión en ciencia y tecnología usando los parámetros internacionales, reconociendo nuestras particularidades. Para esto es indispensable contar con la información local al mismo nivel de excelencia que la del resto del mundo.

¡ Muchas Gracias !