SISTEMAS DE EVALUACION Anna María Prat CONICYT-CHILE

Evaluación en muchos niveles Evaluación de los trabajos a publicar Evaluación de la revista para ser incorporada a índices y bases de datos Evaluación de la revista para ser incorporada a la “corriente principal” Evaluación del autor del trabajo, según el impacto de la revista en la que publicó y el impacto real de su artículo.

Evaluación del artículo a publicar El objetivo de toda revista es comunicar conocimiento nuevo, de calidad, bien estructurado, confiable y repetible bajo las mismas circunstancias. Toda revista de calidad científica debe tener un sistema de evaluación de los artículos que publica. El sistema de evaluación debe ser explícito y conocido por los autores

El objetivo de la evaluación Conocer el juicio de pares acerca de: Validez de la investigación (¿los resultados son creíbles y el diseño y metodología apropiados?) Juzgar el significado (¿es un hallazgo importante?) Originalidad. ¿Los resultados son nuevos?. El artículo se refierer apropiadamente al trabajo hecho por otros?) Dar opiniones acerca de si el trabajo debe ser publicado, mejorado o rechazado (muchas veces para ser publicado en alguna otra parte) Mejorar el artículo antes de su publicación

Comité editorial y/o científico El comité científico de la revista es el que asegura la seriedad y calidad de los artículos a ser publicados. Sus miembros deben representar una amplia gama de especialidades del tema de la revista Ayuda al editor a detectar posibles evaluadores para los diferentes artículos. Realizan una primera revisión

Evaluación por pares Además de la revisión interna por parte del Comité editorial, debe hacerse una revisión externa. Estos pares deben pertenecer a buenas instituciones, diferentes a la del autor, no tener relación directa con él, tener trayectoria en su campo, entrenamiento en cuestiones metodológicas El editor debe conocer o tener antecedentes acerca del evaluador (y por lo tanto ser confiable)

Algunos problemas del proceso Significa cosas diferentes para diferentes revistas. Las políticas editoriales y de evaluación varían de una disciplina a otra Es lento Es costoso Subjetivo Sesgado Abierto al abuso Pobre al momento de detectar errores Casi inútil al momento de detectar fraudes

¿Es confiable el sistema? Se han hecho numerosos estudios que muestran que es todavía el mejor sistema Se encontró hasta un 73% de acuerdo sobre un mismo artículo entre los evaluadores Hay más acuerdo cuando se trata de rechazar que de aprobar En un estudio reciente se dice que se requerirían al menos 6 evaluadores para lograr una aceptación o rechazo estadísticamente significativos

Principales sesgos Se han encontrado los siguientes sesgos: Relacionados con el autor: Prestigio (del autor o de la institución a la que pertenece el autor Género Donde vive (y trabaja) Relacionados con el trabajo: Resultados positivos Idioma del trabajo

Confidencialidad Se ha dicho que sólo existen dos sistemas éticamente justificables de revisión por pares: Los totalmente confidenciales o cerrados en los cuales sólo el editor o su ayudante conocen la identidad del autor y del revisor, O un sistema completamente abierto. Ultimamente se han implementado en portales Web de muchas revistas, espacios para la discusión y evaluación abierta de los artículos a ser publicados, en ellos puede intervenir abiertamente el autor. Se conoce la identidad del revisor.

Recomendaciones generales para un evaluador Ser cortés y constructivo. Recordar que, en general, que el evaluador sugiere, los editores deciden. El objetivo principal de la evaluación es mejorar la publicación. Mantener la confidencialidad. Declarar conflictos de interés. Responder a tiempo. Si no puede, rechace la invitación. Principios éticos. No usar en beneficio propio el conocimiento del trabajo revisado

Diversas pautas para revisores Importancia de la hipótesis o pregunta de la investigación Originalidad Validez de la investigación Aspectos éticos Presentación del artículo Otros aspectos

Importancia de la hipótesis o pregunta de la investigación ¿La investigación se centró en una pregunta nueva o que necesitaba respuesta o es simplemente una repetición de algo ya conocido? La pregunta vale más que la respuesta. Si la pregunta era importante y la respuesta válida, entonces no importa que la respuesta sea negativa. ¿Se trata de algo que la comunidad científica, los responsables de la polìtica, o el público necesitan saber? En el caso de la salud, ¿se trata de evidencia orientada al paciente?

Originalidad de la investigación Idealmente, el evaluador hará una búsqueda en la literatura ¿Ha sido el estudio o el experimento hecho anteriormente? Si la pregunta había sido ya tratada con anterioridad, ¿este trabajo agrega algo importante? (por ejemplo, un estudio más amplio o con un mejor diseño?)

Originalidad de la investigación II Recuerde que algunas cosas “bien conocidas” no están basadas en ninguna evidencia. Si opina que la investigación no es original, por favor envíe referencias de los trabajos previos. No basta con decir “no es original” Si conoce la existencia de otros estudios de importancia no mencionados por el autor, dé las referencias.

Validez de la investigación Identifique las fortalezas y las debilidades de la investigación ¿El diseño es el correcto para responder la hipótesis o la pregunta planteada? ¿Los datos fueron recogidos en forma adecuada, la toma de muestras fue la correcta? ¿Se describen adecuadamente los métodos utilizados? ¿Los análisis son los correctos, deben repetirse? Recuerde que debe ser constructivo

Validez de la investigación Si se presentan datos estadísticos y Ud. no es experto en la materia, dígalo Revise las tablas, si encuentra errores en más de una, es posible que haya más errores ¿Las conclusiones están avaladas por los datos? ¿Los autores llegan a conclusiones más allá de la evidencia presentada?

Aspectos éticos ¿Tiene alguna preocupación ética respecto al trabajo? Muchos trabajos no plantean abiertamente posibles problemas éticos, aún el las áreas en que este tipo de declaración es necesaria. Revise los aspectos éticos, aún si se menciona que el trabajo ha sido visado por un comité de ética.

Presentación del artículo Aunque no es su trabajo, corrija las faltas de ortografía, especialmente en el caso de nombres propios. En los resultados, el balance entre el texto, las tablas y las figuras, es el correcto? (El texto cuenta la historia, las tablas proporcionan los datos, las figuras ilustran la historia). En caso de tener la revista una versión en papel y otra electrónica, tiene alguna sugerencia respecto a qué información debe ir en una u otra versión

Presentación del artículo El resumen ¿dice relación con lo que se dice en el artículo, especialmente en lo que se refiere a la novedad del estudio? ¿Basta para comprender los principales hitos del estudio ? ¿El número y calidad de las referencias es el correcto? En el caso de ciertas revistas, ¿las figuras e ilustraciones son suficientemente claras? ¿Deben rehacerse algunas partes del estudio, mejorar el análisis o entregar mayor evidencia y datos?

Para finalizar Tiene alguna duda acerca de la posibilidad de fraude o conducta científica poco ética? Si así fuera informe privadamente.

¿Qué puede mejorar la calidad de las revisiones? ¿Pago, reconocimiento, crédito? Selección cuidadosa (fuentes de información acerca de calidad de evaluadores) Entrenamiento ¿Mayor visibilidad del trabajo realizado? Como revisión abierta en la Web ¿Interacción entre autor y revisor? (Revisión abierta en tiempo real)

Algunas conclusiones Solo un adecuado sistema de evaluación por pares asegura buena ciencia y la integridad del conocimiento El sistema de evaluación por pares es costoso y lento, pero debe ser parte del trabajo y costos editoriales Solo las publicaciones con sistemas de evaluación rigurosos forman parte de la “literatura de corriente principal”

Algunas conclusiones Debemos implementar sistemas de información de posibles evaluadores en la región y cooperar en éste ámbito En muchas áreas se están creando asociaciones o agrupaciones de editores con el fin de discutir estos temas y compartir información y experiencias. Deberían fomentarse estas actividades. Se sugiere la creación de asociaciones nacionaes para estos fines

!Muchas gracias!