Propuesta de buenas prácticas en evaluación de artículos (peer review) Lluís Codina (UPF) Jornada sobre Calidad de Revistas en Ciencias Sociales (CRECS 2011) Barcelona, Mayo 2011

Estructura Dos proposiciones y sus corolarios Propuestas a partir de los anteriores Temas abiertos L. Codina - CRECS 2011 Mayo 2011

Primera parte Proposiciones L. Codina - CRECS 2011 Mayo 2011

Primera proposición La literatura científica tiene géneros y modalidades Corolario general: es posible establecer una lista (aunque sea orientativa) de géneros y modalidades Corolario para las publicaciones 1: las revistas pueden declarar formalmente qué géneros y modalidades admiten Corolario para las publicaciones 2: las revistas pueden declarar formalmente cuáles se someten peer review L. Codina - CRECS 2011 Mayo 2011

Ejemplo 1 Por simple triangulación (artículos, proyectos y bibliografía sobre investigación científica) podemos obtener al menos estos géneros: Estados de la cuestión (state of art) Desarrollos experimentales Modelos conceptuales Estudios de caso Desarrollos y propuestas metodológicas L. Codina - CRECS 2011 Mayo 2011

Ejemplo 2 Por el mismo procedimiento podemos obtener, al menos, estas clases de investigaciones: Cuantitativas Cualitativas Exploratorias Explicativas L. Codina - CRECS 2011 Mayo 2011

Ejemplo 3 Por tipo de artículos admitidos a revisión por las revistas de mayor prestigio en ciencias podemos obtener estas modalidades de dos ejemplos ilustres: Science: Research articles Reports Brevia Reviews Technical comments Nature: Article Letter Reviews and Perspectives Analysis Hypothesis L. Codina - CRECS 2011 Mayo 2011

Segunda proposición El género y/o la modalidad del artículo debe formar parte de la evaluación Corolarios para los evaluadores C1 (en negativo) No exigir elementos ajenos al género. Corolario previo: debe conocer los géneros o modalidades. C2 (en positivo): Debe evaluar la presencia/ausencia y su adecuación de los elementos correspondientes al género C3 (en síntesis): Intentar evaluar el artículo «tal como es». No proponer un artículo nuevo o de un género distinto L. Codina - CRECS 2011 Mayo 2011

Propuestas logísticas Segunda parte Propuestas logísticas L. Codina - CRECS 2011 Mayo 2011

Revista Elaborar una lista de géneros admitidos y/o preferidos Redactar una descripción de las características generales deseables de cada género. Indicar: Qué géneros se someten a evaluación tipo peer review (además de la revisión editorial) Qué géneros (sin perjuicio del peer review) pueden ser solicitados directamente por los editores Qué géneros son los más habituales o preferidos por la revista, si es el caso Instrucciones específicas para los autores Instrucciones específicas para los evaluadores En síntesis: promocionar un sistema de evaluación riguroso, transparente, explícito y bien fundamentado Eventualmente: facilitar formularios de evaluación para los referees que fomente una revisión articulada L. Codina - CRECS 2011 Mayo 2011

Evaluador Familiarizarse con: Hacer recomendaciones atómicas Los géneros y modalidades antes de evaluar Las recomendaciones de la revista para evaluar Hacer recomendaciones atómicas Presentar las recomendaciones enumeradas (R1, R2, … Rn) L. Codina - CRECS 2011 Mayo 2011

Autor Informar de los cambios, en su caso, siguiendo el mapa de les recomendaciones: Qué se acepta y cómo se ha hecho la adaptación, identificando siempre cada recomendación por su número (R1, R2, … Rn) Qué no se acepta y porqué identificándolas también por su número L. Codina - CRECS 2011 Mayo 2011

Evaluador - II Revisar la correspondencia del mapa de recomendaciones/adaptaciones: ¿todas las recomendaciones R1,… Rn han recibido respuesta? Ser consistente: no ignorar sus propias recomendaciones, pero no improvisar nuevos criterios, salvo situación imperiosa L. Codina - CRECS 2011 Mayo 2011

Tercera Parte Propuestas éticas L. Codina - CRECS 2011 Mayo 2011

Evaluador Declinar si no se es un experto en el tema central del artículo (remember: “peer review”) Advertir a la publicación de cualquier limitación que pudiera tener en la evaluación (p.e. aspectos muy especializados, tratamiento de datos, etc.) No mantener en el mismo nivel de recomendación opiniones y certezas; o distinguir entre la fortaleza de las recomendaciones Mantener el anonimato, si así se ha establecido Informar a la revista si hay conflicto de intereses No apropiarse de ideas de los autores L. Codina - CRECS 2011 Mayo 2011

Autor Aceptar la necesidad de un nuevo ciclo de trabajo, si las evaluaciones lo demuestran Pero, no aceptar los cambios en los que no crea si los puede defender de forma científica o racional Ser transparente en todo el proceso No citar sin utilizar No utilizar sin citar L. Codina - CRECS 2011 Mayo 2011

Publicación Asegurarse de hacer llegar las instrucciones y guías de revisión a los evaluadores Aplicar de forma rigurosa los principios de la modalidad de peer review a la que se haya adherido la publicación No adoptar un papel pasivo: No aceptar evaluaciones difamatorias o contrarias a la ética científica (p.e. argumentos ad homine, etc.) Atender las reclamaciones fundadas de autores por irregularidades de la evaluación Atender declaraciones de conflicto de intereses por parte de autores y evaluadores y especificar tales posibilidades en las instrucciones Advertir sin ambigüedad a los autores cuando el proceso ha finalizado Respetar el carácter confidencial de todo el proceso si así se ha establecido L. Codina - CRECS 2011 Mayo 2011

Algunos temas (todavía) abiertos Sistema de evaluación: ¿debe ser «doble ciego»? Proceso pre-print: ¿pueden hacerse públicas las observaciones de los evaluadores y las respuestas de los autores? Versión en línea: ¿pueden contemplarse versiones de artículos con edición impresa y en línea diferentes? Innovación: ¿hay espacio para la innovación sin recurrir a la edición en línea? Futuro: ¿tendrán sentido las publicaciones impresas a medio plazo? L. Codina - CRECS 2011 Mayo 2011

Fuentes Mayo 2011 COPE www.publicationethics.org/ Current Practice in Peer Review www.alpsp.org/ngen_public/article.asp?id=200&did=47&aid=354&st=&oaid=-1 Nature Formatting Guide http://www.nature.com/nature/authors/gta/ Nature Peer Review Policy http://www.nature.com/authors/policies/peer_review.html Peer Review and Manuscript Management in Scientific Journals: Guidelines for Good Practice http://onlinelibrary.wiley.com/book/10.1002/9780470750803 Peer Review at Science Publications http://www.sciencemag.org/site/feature/contribinfo/review.xhtml Peer Review: a Guide for Researchers www.rin.ac.uk/peer-review-guide Peer review: a report to the Advisory Board for the Research www.mrc.ac.uk/Utilities/Documentrecord/index.htm?d=MRC003951 Peer review: the challenges for the humanities and the social sciences www.britac.ac.uk/reports/peer-review/ Research Information Network http://www.rin.ac.uk/ Science's Instructions for Reviewers http://www.sciencemag.org/site/feature/contribinfo/refinstr.xhtml L. Codina - CRECS 2011 Mayo 2011

Más información Mapa conceptual y recursos sobre Ciencia 2.0 tinyurl.com/cienciamapa Otros diagramas y mapas conceptuales del autor www.lluiscodina.com/diagramas.htm L. Codina - CRECS 2011 Mayo 2011