Propuesta de buenas prácticas en evaluación de artículos (peer review)

Presentación del tema: "Propuesta de buenas prácticas en evaluación de artículos (peer review)"— Transcripción de la presentación:

1 Propuesta de buenas prácticas en evaluación de artículos (peer review)
Lluís Codina (UPF) Jornada sobre Calidad de Revistas en Ciencias Sociales (CRECS 2011) Barcelona, Mayo 2011

2 Estructura Dos proposiciones y sus corolarios
Propuestas a partir de los anteriores Temas abiertos L. Codina - CRECS 2011 Mayo 2011

3 Primera parte Proposiciones L. Codina - CRECS 2011 Mayo 2011

4 Primera proposición La literatura científica tiene géneros y modalidades Corolario general: es posible establecer una lista (aunque sea orientativa) de géneros y modalidades Corolario para las publicaciones 1: las revistas pueden declarar formalmente qué géneros y modalidades admiten Corolario para las publicaciones 2: las revistas pueden declarar formalmente cuáles se someten peer review L. Codina - CRECS 2011 Mayo 2011

5 Ejemplo 1 Por simple triangulación (artículos, proyectos y bibliografía sobre investigación científica) podemos obtener al menos estos géneros: Estados de la cuestión (state of art) Desarrollos experimentales Modelos conceptuales Estudios de caso Desarrollos y propuestas metodológicas L. Codina - CRECS 2011 Mayo 2011

6 Ejemplo 2 Por el mismo procedimiento podemos obtener, al menos, estas clases de investigaciones: Cuantitativas Cualitativas Exploratorias Explicativas L. Codina - CRECS 2011 Mayo 2011

7 Ejemplo 3 Por tipo de artículos admitidos a revisión por las revistas de mayor prestigio en ciencias podemos obtener estas modalidades de dos ejemplos ilustres: Science: Research articles Reports Brevia Reviews Technical comments Nature: Article Letter Reviews and Perspectives Analysis Hypothesis L. Codina - CRECS 2011 Mayo 2011

8 Segunda proposición El género y/o la modalidad del artículo debe formar parte de la evaluación Corolarios para los evaluadores C1 (en negativo) No exigir elementos ajenos al género. Corolario previo: debe conocer los géneros o modalidades. C2 (en positivo): Debe evaluar la presencia/ausencia y su adecuación de los elementos correspondientes al género C3 (en síntesis): Intentar evaluar el artículo «tal como es». No proponer un artículo nuevo o de un género distinto L. Codina - CRECS 2011 Mayo 2011

9 Propuestas logísticas
Segunda parte Propuestas logísticas L. Codina - CRECS 2011 Mayo 2011

10 Revista Elaborar una lista de géneros admitidos y/o preferidos
Redactar una descripción de las características generales deseables de cada género. Indicar: Qué géneros se someten a evaluación tipo peer review (además de la revisión editorial) Qué géneros (sin perjuicio del peer review) pueden ser solicitados directamente por los editores Qué géneros son los más habituales o preferidos por la revista, si es el caso Instrucciones específicas para los autores Instrucciones específicas para los evaluadores En síntesis: promocionar un sistema de evaluación riguroso, transparente, explícito y bien fundamentado Eventualmente: facilitar formularios de evaluación para los referees que fomente una revisión articulada L. Codina - CRECS 2011 Mayo 2011

11 Evaluador Familiarizarse con: Hacer recomendaciones atómicas
Los géneros y modalidades antes de evaluar Las recomendaciones de la revista para evaluar Hacer recomendaciones atómicas Presentar las recomendaciones enumeradas (R1, R2, … Rn) L. Codina - CRECS 2011 Mayo 2011

12 Autor Informar de los cambios, en su caso, siguiendo el mapa de les recomendaciones: Qué se acepta y cómo se ha hecho la adaptación, identificando siempre cada recomendación por su número (R1, R2, … Rn) Qué no se acepta y porqué identificándolas también por su número L. Codina - CRECS 2011 Mayo 2011

13 Evaluador - II Revisar la correspondencia del mapa de recomendaciones/adaptaciones: ¿todas las recomendaciones R1,… Rn han recibido respuesta? Ser consistente: no ignorar sus propias recomendaciones, pero no improvisar nuevos criterios, salvo situación imperiosa L. Codina - CRECS 2011 Mayo 2011

14 Tercera Parte Propuestas éticas L. Codina - CRECS 2011 Mayo 2011

15 Evaluador Declinar si no se es un experto en el tema central del artículo (remember: “peer review”) Advertir a la publicación de cualquier limitación que pudiera tener en la evaluación (p.e. aspectos muy especializados, tratamiento de datos, etc.) No mantener en el mismo nivel de recomendación opiniones y certezas; o distinguir entre la fortaleza de las recomendaciones Mantener el anonimato, si así se ha establecido Informar a la revista si hay conflicto de intereses No apropiarse de ideas de los autores L. Codina - CRECS 2011 Mayo 2011

16 Autor Aceptar la necesidad de un nuevo ciclo de trabajo, si las evaluaciones lo demuestran Pero, no aceptar los cambios en los que no crea si los puede defender de forma científica o racional Ser transparente en todo el proceso No citar sin utilizar No utilizar sin citar L. Codina - CRECS 2011 Mayo 2011

17 Publicación Asegurarse de hacer llegar las instrucciones y guías de revisión a los evaluadores Aplicar de forma rigurosa los principios de la modalidad de peer review a la que se haya adherido la publicación No adoptar un papel pasivo: No aceptar evaluaciones difamatorias o contrarias a la ética científica (p.e. argumentos ad homine, etc.) Atender las reclamaciones fundadas de autores por irregularidades de la evaluación Atender declaraciones de conflicto de intereses por parte de autores y evaluadores y especificar tales posibilidades en las instrucciones Advertir sin ambigüedad a los autores cuando el proceso ha finalizado Respetar el carácter confidencial de todo el proceso si así se ha establecido L. Codina - CRECS 2011 Mayo 2011

18 Algunos temas (todavía) abiertos
Sistema de evaluación: ¿debe ser «doble ciego»? Proceso pre-print: ¿pueden hacerse públicas las observaciones de los evaluadores y las respuestas de los autores? Versión en línea: ¿pueden contemplarse versiones de artículos con edición impresa y en línea diferentes? Innovación: ¿hay espacio para la innovación sin recurrir a la edición en línea? Futuro: ¿tendrán sentido las publicaciones impresas a medio plazo? L. Codina - CRECS 2011 Mayo 2011

19 Fuentes Mayo 2011 COPE www.publicationethics.org/
Current Practice in Peer Review Nature Formatting Guide Nature Peer Review Policy Peer Review and Manuscript Management in Scientific Journals: Guidelines for Good Practice Peer Review at Science Publications Peer Review: a Guide for Researchers Peer review: a report to the Advisory Board for the Research Peer review: the challenges for the humanities and the social sciences Research Information Network Science's Instructions for Reviewers L. Codina - CRECS 2011 Mayo 2011

20 Más información Mapa conceptual y recursos sobre Ciencia 2.0 tinyurl.com/cienciamapa Otros diagramas y mapas conceptuales del autor L. Codina - CRECS 2011 Mayo 2011