JORNADA ACADÉMICA XXI REUNIÓN TÉCNICA LATINDEX 29 de septiembre de 2015 SALÓN DE ACTOS INSTITUTO DE QUÍMICA FÍSICA ROCASOLANO Campus CSIC, Madrid Francisco.

Presentación del tema: "JORNADA ACADÉMICA XXI REUNIÓN TÉCNICA LATINDEX 29 de septiembre de 2015 SALÓN DE ACTOS INSTITUTO DE QUÍMICA FÍSICA ROCASOLANO Campus CSIC, Madrid Francisco."— Transcripción de la presentación:

1 JORNADA ACADÉMICA XXI REUNIÓN TÉCNICA LATINDEX 29 de septiembre de 2015 SALÓN DE ACTOS INSTITUTO DE QUÍMICA FÍSICA ROCASOLANO Campus CSIC, Madrid Francisco Fernández Izquierdo Dpto. Historia Moderna y Contemporánea Instituto de Historia, CCHS, CSIC francisco.fizquierdo@cchs.csic.es 1 Mesa redonda: Sistemas de evaluación en las revistas científicas

2 Experiencia personal en evaluación de trabajos de investigación para su publicación en revistas y colecciones de monografías científicas: ámbito de las Humanidades y Ciencias Sociales. Base del sistema: arbitraje por pares, anónimo y externo blind peer review, una vez admitido un estudio a la revista o colección de monografías por el consejo de redacción o comité editorial. Referencia sobre prácticas de edición científica: Delgado López-Cozar, E.; Jiménez-Contreras, E., y Ruiz Pérez, R. La edición de revistas científicas: directrices, criterios y modelos de evaluación. Madrid: Fundación Española para la Ciencia y la Tecnología, 2007 Para formar a los nuevos científicos se están realizando experiencias formativas con alumnos en la redacción práctica de artículos que habrán de ser sometidos a un proceso de evaluación. 2

3 Experiencias recientes publicadas sobre formación en evaluación: Pedrazzini, A.; Bautista, A.; Scheuer, N.; Monereo Font, C.: “La revisión por (im)pares como instancia de aprendizaje. Un estudio de casos del proceso editorial de artículos de investigadoras noveles”, Infancia y Aprendizaje: Journal for the Study of Education and Development, Vol. 37, Nº 4, 2014 (Ejemplar dedicado a: La evaluación por pares como oportunidad para el aprendizaje) 876-901 Jurado Barba, R.; García Fernández, G.; Gómez de Heras, R.; Ruiz- Sánchez De León, J.M.; Orio Ortiz, L.: “Una herramienta docente innovadora: revista científica simulada Psicología de las Adicciones UCM”, V Encuentro Internacional de Intercambio de experiencias Innovadoras en la Docencia, Madrid 12 y 13 de noviembre 2014, Madrid: Universidad Complutense, 2014. [25-09-2015] En paralelo se dispone de sistemas de evaluación de las publicaciones, que se transmite a los futuros escritores científicos: Rodríguez Terceño, J.:”Los cuestionarios y tablas analíticas de evaluación de las revistas científicas como guía para la iniciación en la escritura científica del alumno de doctorado”, Estudios sobre el Mensaje Periodístico, Vol. 18, 2012, 781-789. 3

4 4 Sistema de informes regulados desde la Editorial CSIC: método y conceptos preguntados a los evaluadores en los formularios normalizados (versión 2014). El evaluador deber responder sobre:  Una valoración global: aceptación, rechazo o admisión del texto si se modifica oportunamente.  El contenido (calificación en escala mucho/bastante/poco/muy poco, más las argumentaciones y razonamientos oportunos) Aspectos analizados: Interés científico (si es actual, original, etc.) Metodología aplicada (adecuada y rigurosa) Bibliografía manejada (pertinente y actual) Conclusiones (consistentes y relevantes) Conveniencia de suprimir alguna parte (explicitar)

5 5 Sistema de informes regulados desde la Editorial CSIC: método y conceptos preguntados a los evaluadores (continuación)  La forma (calificación en escala mucho/bastante/poco/muy poco, más las argumentaciones y razonamientos oportunos) Aspectos analizados: coherencia, orden y claridad en la exposición estructura adecuada del estudio desarrollo adecuado para los objetivos que se pretenden  Sugerencias a los autores, correcciones para mejora del resultado  Comentarios adicionales dirigidos al autor/autora, que no hayan contemplado en las cuestiones previas y que mejoren la redacción previa, o pongan en evidencia sus puntos débiles.

6 Algunas de las pocas investigaciones especializadas en evaluación de trabajos enviados a revistas científicas (Humanidades y Ciencias Sociales): 6 Tavares de Matos Cardoso, M.M.: “El "peer review" de las revistas científicas en Humanidades y Ciencias Sociales. Políticas y prácticas editoriales declaradas” Revista española de documentación científica, Vol. 34, Nº 2, 2011, págs. 141-164. Muestra tomada de 79 revistas tomadas de Web of Science, en particular las bases de Arts & Humanities Citation Index y el Social Sciences Citation Index. 34 de ellas con una carencia total del información sobre el proceso de evaluación, y en general se precisa mejorar en la visibilidad de estas prácticas.

7 7 Del total de parámetros informativos aplicados en este estudio para conocer las prácticas editoriales de peer review, son los referidos a las declaraciones genéricas sobre los sistemas de evaluación empleados por las revistas los más declarados (32,3 % en Humanidades y 48,6 % en Ciencias Sociales). En cambio, la información referente a los Revisores es muy escasa; prácticamente nula en las dos áreas que estudiamos, en aspectos como «el reconocimiento de la labor de los revisores» y «evaluación de la calidad de revisores», «existencia de revisores metodológicos» y «existencia de revisores de estilo». Algo más de información se suministra en cuanto a los Criterios y formularios de evaluación (19,4 % en el área de Humanidades y 25,0 %, en Ciencias Sociales). Las revistas de Ciencias Sociales presentan una mayor transparencia y atención (36,9 %) en los aspectos que indican los Procedimientos y plazos en las revisiones: «Acuse de recepción y reconocimiento» y «Existen mecanismos en la redacción para informar del estado en que se encuentra el manuscrito», «Notificación a los autores de la decisión defi nitiva» y «Plazos generales del proceso de evaluación de los manuscritos».

8 8 Como conclusión general, se puede decir que las revistas internacionales en su conjunto ofrecen poca información y poco detallada de sus políticas y prácticas editoriales respecto a la peer review, lo que nos lleva a afirmar que un gran número revistas, especialmente las de Humanidades, no siguen las normas internacionales más comunes adoptadas para regular la comunicación científica. Se evidencia que los editores de revistas científicas de Ciencias Sociales (32,5 %) son más transparentes y prolijos en sus declaraciones que los de las revistas de Humanidades (18,5 %), al declarar explícitamente en sus instrucciones a los autores las políticas y prácticas editoriales de evaluación de los manuscritos. En las Humanidades, así como muchas revistas no presentan instrucciones para los autores, tampoco presentan un nivel adecuado de información. Finalmente, se ofrecen recomendaciones para mejorar esta situación:

9 9 1. medidas de aplicación inmediata * Todos los artículos adquiridos por las revistas, sin excepción, sean sujetos a revisión por parte de un miembro del Consejo de Redacción de la revista. Por lo tanto, que exista una revisión editorial anónima de todos los artículos por expertos seleccionados ad hoc y fuera del equipo. * Creación de una base de revisores de la revista con sus áreas de especialización. * Elaborar un formulario para uso interno de la Redacción con todas las «pautas» prescritas por la revista para el envío y recepción de artículos para facilitar la verificación de su cumplimiento. * Elaborar guías con instrucciones precisas a los revisores. * Fijar procedimientos uniformes para satisfacer potenciales quejas de los autores. * Publicar a finales de cada año una lista de los revisores que representaban a la revista, lo que significa el reconocimiento público de su trabajo.

10 10 2. A medio y largo plazo, se recomienda el uso de los revisores metodológicos especializados; aplicación de correctores de estilo que garanticen la corrección gramatical y, en particular, la verificación de la exactitud de los títulos, resúmenes, palabras clave y referencias bibliográficas. Incluso recomienda la capacitación de los evaluadores en sus tareas. Debe haber una sección fi ja en la revista donde anualmente se presenta información sobre los análisis estadísticos de los contenidos científicos de la revista: el número de trabajos recibidos y publicados, tasas de aceptación/rechazo y, finalmente, los tiempos de publicación (recepción/aceptación, aceptación/ publicación). Se debe reducir el tiempo de publicación. 3. Implementar, a medio plazo, y así poder profesionalizar la gestión del proceso editorial de las revistas, Consejo de Redacción y de evaluación eficaz, debiendo sus elementos dedicar más tiempo a las revistas y ser recompensados por eso.

11 Investigaciones especializadas en evaluación 11 Martín-Martín, Alberto; López-Cózar, Emilio; Delgado Ruiz-Pérez, Rafael: “Las revistas universitarias en el marco de los criterios de evaluación de la actividad investigadora en España”. Revista Española de Documentación Científica, 38.2, abr-jun- 2015, págs. 1-13. De 1.997 revistas españolas en las áreas Ciencias Sociales, Jurídicas y Humanidades, la información sobre sus características en repertorios (DICE) declaran aplicar peer review 1.034.

12 Investigaciones especializadas en evaluación 12 Limitando la muestra a Humanidades (315 revistas) 44,1% declaran el anonimato (ciego o doble ciego) 42,5% declaran el número de evaluadores empleados, generalmente 2 39% declaran que la evaluación es externa 18% en el cumplimiento conjunto (externo, anónimo y nº evaluadores) Pero solamente un 4,4 % de las revistas presentan algún indicio de demostración del sistema. En los gráficos se clasifican los resultados de la investigación según las disciplinas.

13 Investigaciones especializadas en evaluación 13 Fuente: Martín-Martín, Alberto; López-Cózar, Emilio; Delgado Ruiz-Pérez, Rafael(2015)

14 Investigaciones especializadas en evaluación 14 Fuente: Martín-Martín, Alberto; López-Cózar, Emilio; Delgado Ruiz-Pérez, Rafael(2015)

15 Conclusiones: Las revistas presentan, aparte de otros problemas, deficiencias en el sistema de peer review, en particular en Humanidades. La edición universitaria, respecto a la que promueven otras instituciones, tiene peores cifras, aunque se están poniendo medidas para corregirlo, en particular por la presión de las agencias de evaluación. Pero respecto a estas revistas universitarias, la situación de que un 31% ni siquiera declara realizar evaluación y que solo el 18% declara aplicar conjuntamente los parámetros imprescindibles de peer review, son insostenibles. Sin embargo, para establecer comparaciones y discriminaciones, necesitamos un análisis similar, bastante laborioso por cierto, y que está por hacer, para el conjunto de las revistas españolas. Con estos elementos sobre la mesa, puede abrirse el debate. 15

16 ¡Muchas gracias por su atención! 16