Universidad Nacional de Colombia Instituto de Salud Pública Bogotá, Agosto 2010 ISP Curso introductorio en publicación científica EVALUACIÓN DE ARTICULOS.

Presentación del tema: "Universidad Nacional de Colombia Instituto de Salud Pública Bogotá, Agosto 2010 ISP Curso introductorio en publicación científica EVALUACIÓN DE ARTICULOS."— Transcripción de la presentación:

1

2 Universidad Nacional de Colombia Instituto de Salud Pública Bogotá, Agosto 2010 ISP Curso introductorio en publicación científica EVALUACIÓN DE ARTICULOS Y OTROS GÉNEROS EDITORIALES

3 ¿Qué es una revista arbitrada? AGENDA…

4 ¿Qué es una revista arbitrada? Es aquella que utiliza la evaluación por pares como procedimiento central para decidir sobre la publicación de artículos ¿Porqué las revistas han adoptado el método de evaluación por pares? Hasta ahora es uno de los métodos que les permite cumplir al papel de medios que evalúan, validan, reconocen o rechazan el conocimiento nuevo, resultado de investigación. El otro método es la validación o rechazo de las comunidades científicas, una vez se ha publicado o presentado un conocimiento nuevo

5 Evaluación por pares Es adelantada por evaluadores que usualmente no hacen parte del Comité Editorial de la revista Contribuye a mejorar la precisión, claridad e integralidad de los manuscritos publicados Ayuda a los editores a seleccionar los manuscritos para publicar No garantiza la calidad de los manuscritos y no es confiable para detectar conductas inapropiadas de los científicos. En algunas oportunidades el evaluador recibe una remuneración por su labor, pero en general se espera que su opinión experta sea gratuita, como parte de su profesión.

6 ¿Cuáles géneros o estilos editoriales requieren evaluación por pares? En general, todos aquellos que presentan el conocimiento creado Artículo original de investigación o artículo estándar Comunicación breve Estudios aleatorizados y controlados Ensayos clínicos aleatorizados y controlados Estudios de intervención Métodos diagnósticos Guías Clínicas Economía de la salud o evaluación económica Evaluación educacional Artículos de estudios cualitativos Nota técnica

7 Ocurre lo mismo con los géneros o estilos editoriales que valoran el conocimiento creado Revisión documental o temática Revisión sistemática Metanálisis Es opcional o no se requiere en: Ensayos Reseñas

8 ACTORES EN UNA REVISTA ARBITRADA Son al menos tres: autores, revisores y editores Autores: -Desean que sus artículos sean evaluados y publicados el día de …ayer - Se toman su tiempo para hacer correcciones - Esperan recibir los conceptos de los revisores – favorables o negativos- independientemente de la aprobación o rechazo del manuscrito por parte del Comité Editorial. - Esperan confidencialidad absoluta, hasta la publicación - Les gustaría tener decenas de ejemplares impresos

9 ACTORES EN UNA REVISTA ARBITRADA Revisores: - Evalúan y recomiendan - Se toman su tiempo para hacer su labor - Generalmente no entran en contacto directo con los autores - Procuran hacer explícitos sus conceptos mas no los discuten - No sacan ventaja del acceso privilegiado a material no publicado - Preservan la confidencialidad del material recibido

10 ACTORES EN UNA REVISTA ARBITRADA Editores: - Deciden sobre el material, con o sin evaluación - Desean que evaluadores y autores actúen con prontitud - Se toman su tiempo para hacer su labor - Generalmente entran en contacto directo con los autores - No discuten sus decisiones - No sacan ventaja del acceso privilegiado a material no publicado - Preservan la confidencialidad del material recibido - Desean conocer las características de los revisores y los intereses particulares con respecto al tema o manuscrito evaluado - Esperan que siempre los autores reciban comentarios constructivos que les permitan mejorar su trabajo

11 ¿Qué es una revista arbitrada? AGENDA… Evaluación de artículos originales

12 Criterios generales para todos los artículos ¿De qué trata el artículo? ¿Por qué se realizó el estudio? ¿Qué tipo de estudio se hizo? ¿El artículo es importante? ¿Añade algo al conocimiento existente? ¿El artículo puede ser leído bien y tiene sentido? ¿Presenta un mensaje claro? ¿El diseño es apropiado?

13 Para artículos de investigación Parámetros generales Originalidad Importancia para los lectores Confiabilidad científica (resumen, problema de investigación, diseño del estudio, participantes, métodos, resultados, interpretación y conclusiones, referencias) Específicos Depende del tipo de estudio

14 ASPECTOS QUE FACILITAN LA ACEPTACIÓN DE UN MANUSCRITO El manuscrito se refiere a tema importante El mensaje es original Es relevante para los lectores Nos impresiona el cuidado metodológico Al menos una parte del material es fascinante Está bien presentado La lectura es interesante Se refiere a un tópico específico Se refiere a un área descuidada u olvidada

15 ASPECTOS QUE CONDUCEN AL RECHAZO DE UN MANUSCRITO INTERÉS, ORIGINALIDAD E IMPORTANCIA No corresponde con el área de la revista Insuficiente interés Insuficiente originalidad Fallas científicas serias Ausencia de un mensaje importante para la audiencia respectiva El tópico es interesante pero no cubre el tema con suficiente profundidad Añade poco al conocimiento El mensaje no es útil desde el punto de vista práctico El mensaje es muy complejo para los lectores El mensaje no despierta el interés de los lectores La validez interna es discutible o escasa La validez externa (generalización) es pobre

16 ASPECTOS QUE CONDUCEN AL RECHAZO DE UN MANUSCRITO METODOS La pregunta de investigación no está claramente formulada Los métodos no se describen en forma apropiada El estudio no utilizó los mejores métodos disponibles para responder la pregunta de investigación La tasa de respuestas fue muy baja El grupo control no es adecuado Los instrumentos de investigación son inapropiados La estrategia para obtener la evidencia no es aceptable El estudio no tiene suficiente evidencia Las conclusiones no tienen relación con los datos presentados La población o muestra utilizada es muy pequeña

17 El artículo presenta problemas de fondo en casi todos sus componentes: No hay una ubicación suficiente ni precisa del problema de investigación. No hay un marco teórico que permita comprender por qué es necesario estudiar la calidad de vida, ni por qué se incluyen las variables examinadas por medio de análisis de correlación. No es siquiera claro por qué se requiere estudiar correlaciones. Las herramientas para valorar calidad de vida no son conocidas, no se presentan referencias sobre las mismas ni se indica si han sido previamente validadas en español y en el país. La cita 17 no tiene referencia. No se presenta información mínima sobre los aspectos que miden las herramientas utilizadas, por lo cual no es posible interpretar los resultados ni la discusión. No se presenta una metodología adecuada para un estudio de intervención no controlada, con valoraciones pre y pos. Están ausentes los aspectos metodológicos indispensables para un estudio de este tipo: determinación de la muestra, proceso de muestreo, características y condiciones de la intervención o programa de actividad física, etc. La discusión es muy pobre y no hay contrataste con otros estudios. Concepto definitivo de rechazo

18 PASOS PARA LOGRAR UNA EVALUACIÓN CON CALIDAD ADECUADA 1. Ubicación del artículo: Género o estilo editorial, por medio del análisis de estructura (organización y componentes) 2. Diseño del estudio: el análisis de validez (fondo) Problema de investigación, objetivo, tipo de estudio ¿Dónde?: En el resumen, la introducción y los métodos. Del proyecto o el informe al artículo: de la redacción documental a la redacción comunicativa 3. Análisis de los componentes: análisis de calidad de los procesos y la calidad de la descripción de los mismos (forma y fondo)

19 Ayudas para la identificación del diseño: estudios cuantitativos, cualitativos y mixtos

20

21

22

23

24 ¿Qué es una revista arbitrada? AGENDA… Evaluación de artículos originales Evaluación de componentes

25 EVALUACIÓN DE LOS COMPONENTES DE UN ARTÍCULO, REVISIÓN, ETC TITULO - Sujeto; Tema; Diseño - Ubicación - Complementos

26 Título Propuesto: Línea Base de la Calidad Percibida por Usuarios de Hospitales del Programa de Reestructuración de Redes de Servicios de Colombia Titulo sugerido: Calidad percibida por usuarios de Hospitales en Colombia

27 RESUMEN Debe ser estructurado cuando se requiere Extensión–número de palabras Utilice voces activas y evite nosotros hicimos o nosotros encontramos No utilice números para comenzar frases Los valores p deben ser acompañados por datos de soporte y los denominadores se deben indicar en los porcentajes No utilice citas

28 Estudios cualitativos Objetivo, Diseño, Participantes, Ubicación, Resultados y Conclusiones Percepción sobre Condiciones de Trabajo y Salud de la Población Inmigrante Colombiana en Alicante, España RESUMEN Objetivo Explorar la autopercepción sobre condiciones laborales y salud en inmigrantes colombianos en Alicante, España. Material y método Estudio cualitativo descriptivo mediante 11 entrevistas y 2 grupos de discusión en trabajadores con y sin permiso de trabajo y residencia de más de 6 meses en la provincia de Alicante (España), durante los meses de noviembre de 2006 a enero de 2007. Se realizó análisis narrativo de contenido y se obtuvieron categorías mixtas de acuerdo y disenso. Resultados La inmigración es entendida como un proyecto para mejorar las condiciones socioeconómicas del trabajador inmigrante y su familia. El reconocimiento social y laboral puede evitar la aparición de fenómenos de exclusión y discriminación. Las personas entrevistadas asociaron sus problemas de salud con sus condiciones de vida, manifestando que constituyen limitaciones para la realización de actividades cotidianas. Conclusiones La situación laboral y de salud es considerada desde una perspectiva multidimensional, asociada a condiciones biológicas y socioculturales. Sería necesaria una mayor acción política para mejorar la situación económica, laboral y de salud de la población inmigrante.

29 Estudios para el mejoramiento de la calidad (institucional, administrativas, productos, etc) Problema Diseño Ubicación Medidas claves de mejoramiento Estrategias para el cambio Efectos del cambio Lecciones aprendidas

30 Integración Asistencial de Dos Organizaciones en Cataluña, España RESUMEN Objetivo El objetivo es analizar la experiencia de dos redes integradas de servicios de salud (RISS ) en Catalu ñ a para identificar elementos de mejora. M é todos Estudio de casos, mediante an á lisis de documentos y entrevistas indivi ­ duales semi-estructuradas. Se seleccionaron dos casos – RISS- y para cada caso, documentos e informantes que proporcionaran informaci ó n sobre las dimensiones de an á lisis. Se realiz ó an á lisis de contenido con generaci ó n mixta de categor í as y segmentaci ó n por casos y temas. Trabajo de campo en 2004. Resultados Ambas son organizaciones sanitarias integradas verticalmente hacia atr á s, con producci ó n interna total de servicios e integraci ó n virtual en la propiedad. Mientras la financiaci ó n de BSA es por l í nea de servicio, SSIBE participa en la prueba piloto de financiaci ó n capitativa. Ambas disponen de un gobierno m ú ltiple estrechamente coordinado y han definido estrategias globales orientadas a la coor ­ dinaci ó n y la eficiencia, con diferencias en cuanto a tiempo de desarrollo. Mientras BSA pose í a una estructura divisional, la de SSIBE es funcional por á mbitos trans ­ versales. La coordinaci ó n asistencial se basa en la normalizaci ó n de procesos y de habilidades, con escasos mecanismos de adaptaci ó n mutua y disparidad en el n ú mero de instrumentos implementados. Conclusiones Ambas organizaciones presentan elementos favorables y desfavora ­ bles a la coordinaci ó n asistencial, que requerir í an cambios en los á mbitos interno y externo, que conduzcan hacia la eficiencia y la continuidad asistencial.

31 PALABRAS CLAVE Se requiere utilizar descriptores que se encuentren en bases de datos internacionales o en tesauros reconocidos Bases de datos para artículos de salud

32 INTRODUCCIÓN Una introducción óptima es la que logra una síntesis casi imposible de los siguientes aspectos: - Ubicación de contexto del estudio - Problema de salud al cual se refiere el problema de investigación, si lo hay. - Marco teórico - Actores, cuando es apropiado - Problema general de investigación - Problema específico de investigación, indicando las fuentes de información utilizadas - Propósito u objetivo del estudio - No menos de 5 a 10 citas

33 MÉTODOS En la evaluación de los Métodos se utilizan las mismas guías que se recomiendan para elaborar el manuscrito, según el tipo de estudio y el género editorial - Artículo estándar: Guía ICMJE - Estudios aleatorizados y controlados y Ensayos clínicos aleatorizados y controlados Guía CONSORT ; Diagrama de flujosCONSORTDiagrama - Métodos diagnósticos: Guía STARD - Guías Clínicas: Sistema GRADE - Estudios observacionales en epidemiología. Métodos específicos según tipo estudio Guía STROBE - Economía de la salud o evaluación económica: Guía BJM En un artículo original de investigación, los métodos a presentar dependen del diseño-tipo de estudio En una revisión los métodos a presentar dependen del tipo de revisión

34 MÉTODOS – Indicaciones generales ESTUDIOS CUANTITATIVOS Tipo de estudio Población Universo Muestra Muestreo ¿Dónde y cuándo? Métodos e instrumentos de observación y recolección de información Almacenamiento y procesamiento de información Análisis de la información Confiabilidad de la observación y la información Aspectos éticos

35 METODOS ESTUDIOS CUALITATIVOS Las principales diferencias en los estudios cualitativos se encuentran en la muestra, muestreo, métodos e instrumentos de observación y recolección de información, almacenamiento y procesamiento de información, análisis de la información, confiabilidad de la observación y la información

36 RESULTADOS El revisor debe procurar que los resultados se ubiquen más arriba de los criterios mínimos de aceptación, en términos de: Coherencia: Todo lo que se presente en los resultados, en términos de texto, tablas, figuras, etc., debe corresponder a los métodos utilizados. Así mismo, deben ser suficientes. No aceptar resultados sin los métodos que permitieron obtenerlos, ni métodos que no cuentan con resultados Contenido: De acuerdo con el tema, disciplina y tipo de estudio, los contenidos deben ser precisos y adecuados. Estos criterios se aplican tanto a resultados cuantitativos como cualitativos. Examinar si es apropiada la relación entre texto, tablas, cuadros y figuras (redundancia, repetición, ausencia) Presentación: Aplicación de las normas de las Instrucciones a los Autores. Calidad visual, número y secuencia de tablas, figuras, etc.

37 DISCUSIÓN Las discusiones de buena calidad son siempre estructuradas, con los subtítulos que identifican la estructura, o sin ellos. Se recomienda que la discusión se acerque a la siguiente estructura: Debe ser coherente y limitarse al alcance que le establecen los métodos y los resultados Declaración o presentación de los principales resultados o hallazgos. Fortalezas y debilidades del estudio. Fortalezas y debilidades con respecto a otros estudios, discutiendo las diferencias importantes en los resultados Significación del estudio: implicaciones y aplicaciones posibles para las instituciones, hospitales, políticos, decisores, etc. Preguntas no respondidas e investigación futura

38 REFERENCIAS Verificar que se apliquen las normas de las instrucciones a los autores Soberón GA, Naro J. Equidad y atención de salud en América Latina. Principios y dilemas. Bol Of Sanit Panam 1985; 99(1):1-9. APA (Soberón GA, Naro GA 1985) Soberón GA, Naro GA. «Equidad y atención de salud en América Latina.» Bol. Of. Sanit Panam, 1985: 1-9. Chicago (Soberón GA, Naro GA 1985) Soberón GA, Naro GA. «Equidad y atención de salud en América Latina.» Bol. Of. Sanit Panam, 1985: 1-9. GB7714 (Soberón GA, Naro GA 1985) Soberón GA, Naro GA. «Equidad y atención de salud en América Latina.» Bol. Of. Sanit Panam, 1985: 1-9.

39 GOST – Orden de Título (Soberón GA, Naro GA 1985) Soberón GA, Naro GA. «Equidad y atención de salud en América Latina.» Bol. Of. Sanit Panam, 1985: 1-9. ISO 690 –Primer elemento y fecha (Soberón GA, Naro GA 1985) Soberón GA, Naro GA. «Equidad y atención de salud en América Latina.» Bol. Of. Sanit Panam, 1985: 1-9. ISO 690 – Referencia numérica (1) Soberón GA, Naro GA. «Equidad y atención de salud en América Latina.» Bol. Of. Sanit Panam, 1985: 1-9. MLA (Soberón GA, Naro GA 1985) Soberón GA, Naro GA. «Equidad y atención de salud en América Latina.» Bol. Of. Sanit Panam, 1985: 1-9.

40 ¿Qué es una revista arbitrada? AGENDA… Evaluación de artículos originales Guías y formatos de Evaluación Evaluación de componentes

41 GUIAS DE EVALUACIÓN El evaluador debe conocer los criterios editoriales de la revista (instrucciones a los autores) tanto o más que los autores. La evaluación de un artículo busca que éste sea al tiempo fácil de leer y científicamente preciso. Para ello se requiere que el resumen, los resultados y la discusión tengan en cuenta los siguientes aspectos, buscando que unos y otros sean estructurados: Para ensayos clínicos: Tasas absolutas de los eventos de los grupos experimentales y de control Reducción de los riesgos relativos Número requerido para tratar y su intervalo de confianza del 95 % (Si el ensayo que es una intervención de salud pública, presentar en tasas por 1000 o 100 000)

42 Estudio de cohorte: Tasas absolutas de los eventos en el tiempo, de los grupos expuestos y no expuestos Reducción del riesgo relativo Estudios de casos y controles Odds Ratio para establecer la fuerza de asociación entre la exposición y el resultado o salida. Test diagnósticos Sensibilidad y especificidad Valores predictivos negativos y positivos

43 Lista de chequeo para estudios cualitativos ¿La pregunta de investigación está claramente formulada? Se presentan de manera explícita el marco teórico y los métodos utilizados en cada etapa de la investigación? ¿El contexto está claramente descrito? ¿La estrategia de muestreo está claramente descrita y justificada? ¿La estrategia de muestreo es teóricamente comprensible para asegurar la generalización del análisis conceptual? ¿Cómo se adelantó el trabajo de campo? ¿La información obtenida de fuente primaria (diario de campo, entrevistas, grabaciones, etc) puede ser revisada de manera independiente por otros? ¿Lo mismo puede hacerse con el proceso de transcripción de la información?

44 Lista de chequeo para estudios cualitativos ¿Los métodos de análisis de los datos son presentados de manera clara y se justifican desde el punto de vista teórico? ¿Cómo se obtuvieron los temas y conceptos de los datos? ¿Cuáles métodos se utilizaron para asegurar la confiabilidad de los datos y del análisis? ¿Cuándo es apropiado se utilizó evidencia cuantitativa para valorar las conclusiones cualitativas? ¿La evidencia presentada es satisfactoria para un lector escéptico, en términos de las interpretación de los autores?

45 Lista de chequeo para estudios económicos Diseño del estudio Se presenta la pregunta de investigación Se presenta la importancia económica de la investigación Se presenta y justifica el punto de vista sobre el análisis Se presenta la racionalidad para escoger y comparar programas alternativos o programas Las alternativas que son comparadas se describen claramente Se presenta la forma de evaluación económica La selección de la forma de evaluación económica se justifica en relación con las preguntas formulada

46 Recolección de datos Se presentan las fuentes de los estimados de efectividad Se proporcionan los detalles del diseño y resultados del estudio de efectividad Se proporcionan los detalles de los métodos de síntesis o metanálisis Se presentan claramente las medidas de productos primarios Se presentan los métodos para valorar el estado de salud y otros beneficios Se presentan los detalles de los sujetos de los cuales se obtuvieron las evaluaciones Se presentan de manera separada los cambios en la productividad, cuando aplica. Se presenta de manera separada la cantidad de recursos, en sus unidades de costo. Se presentan los métodos para estimar las cantidades y los costos unitarios Se obtienen los datos de precio y variación de la moneda. Se presentan los datos de conversión monetaria y ajuste de los precios Se proporcionan los detalles de cualquier modelo utilizado y se justifica el mismo.

47 Análisis e interpretación de resultados Se presenta el horizonte de tiempo de los costos y beneficios Se presenta y justifica la tasa de descuento Se explica si no se descuentan los costos y beneficios Detalles de análisis estadístico e intervalos de confianza para los datos estocásticos Se presenta aproximación al análisis de sensibilidad Se presentan los rasgos de variación de las variables Se comparan las alternativas relevantes Se presenta el análisis incremental Los resultados se presentan de manera agregada y desagregada Se presenta la respuesta a la pregunta del estudio Se presentan las conclusiones

48 FORMATOS O FORMULARIOS DE EVALUACION Formatos abiertos Formatos semiestructurados Formato estructurado Las recomendaciones de orientación y ubicación: género editorial y diseño Las recomendaciones puntuales Los formatos semiestructurados y estructurados facilitan la diferenciación de estos dos aspectos, lo cual a su vez incide en el trabajo de corrección de los autores y mejora la calidad del producto. Sin embargo, los evaluadores deben manejar en forma apropiada los formatos abiertos, atendiendo a estos dos tipos de recomendaciones.

49 ¡GRACIAS! caagudeloc@unal.edu.co Esta obra está bajo una licencia Attribution 3.0 Spain de Creative Commons. Para ver una copia de esta licencia, visite http://creativecommons.org/licenses/by/3.0/es/ o envie una carta a Creative Commons, 171 Second Street, Suite 300, San Francisco, California 94105, USA.