Evaluación de la investigación científica La perspectiva de un director de Instituto de Investigación Luis Felipe Arauz Cavallini Director Instituto de Investigaciones Agrícolas

Preguntas fundamentales ¿Para qué se evalúa? ¿A quién se evalúa? ¿Qué aspectos se evalúan? ¿Cómo se evalúa? ¿Quién evalúa?

¿Para qué se evalúa? Control de calidad Rendición de cuentas Optimización en la asignación de recursos

¿A quién se evalúa? Niveles de evaluación Entes que investigan La persona que investiga La unidad de investigación (Centro o Instituto) La institución Los sistemas nacionales y supranacionales Actividades de investigación Investigaciones, proyectos y programas

¿Qué aspectos se evalúan? Evaluación de de la investigación se da en dos dimensiones : Proceso científico Gestión de la investigación

¿Qué se espera del proceso científico? Resultados directos (= producción científica, “output”) Información, reflejada en artículos, informes y otras publicaciones patentes, productos, prototipos, procesos Resultados indirectos (= consecuencias, indicadores, “outcome”) innovaciones tecnológicas número de estudiantes graduados aumento de la capacidad (“expertise”) de los investigadores y su institución contactos con otros investigadores etc.....

¿Qué aspectos se evalúan ¿Qué aspectos se evalúan? Criterios para la evaluación del proceso científico Calidad ¿Cumple con los criterios generalmente aceptados como “método científico”? ¿Se llevan a cabo las etapas con rigor, corrección metodológica, y objetividad en la interpretación de los datos? Pertinencia ¿Contribuye al avance del conocimiento? ¿Contribuye en la solución de un problema? ¿Contribuye al desarrollo tecnológico?

¿Qué se espera de la gestión de la investigación? Uso adecuado de recursos Cumplimiento de objetivos Relación beneficio:costo

Herramientas para la evaluación ¿Cómo se evalúa? Herramientas para la evaluación

Herramientas para la evaluación Evaluación por pares académicos Proyecto nuevo (evaluación a priori) Avance Publicación (evaluación a posteriori) Aspectos técnicos y éticos de la evaluación por pares académicos

El artículo científico como herramienta de evaluación Su estructura sigue el método científico. La evaluación confidencial por pares académicos, si bien tiene sus debilidades, es el método de evaluación más eficaz inventado hasta ahora. Es parte de la cultura científica mundial. Una vez publicado queda expuesto a la crítica de la comunidad científica. Sirve de base para mediciones de impacto

Lo anterior se cumple si la revista es seria, tiene un comité editorial de alto nivel, libre de ataduras y es indexada en los catálogos de mayor relevancia mundial

Preocupaciones Sacrificio en la producción de artículos en aras de la venta de servicios Conceptualización de la publicación científica como un simple instrumento de ascenso para el investigador Proliferación de revistas ligadas a unidades académicas

Herramientas para la evaluación Evaluación por interesados (“stakeholders”) Entes financiadores Beneficiarios Contribuyentes

Análisis de impacto Investigación básica vs. Aplicada Identificación de beneficiarios vs. Aumento de conocimiento Análisis bibliométrico Beneficiarios directos e indirectos Relación beneficio:costo Seguimiento de resultados

Impacto y seguimiento Difícil de medir Los productores obtienen su tecnología de muchas fuentes Excepción: variedades productos Ejemplo: CITA

¿Quién evalúa? ARTÍCULO 51.- Corresponderá específicamente al Vicerrector de Investigación:  a) Supervisar, coordinar y estimular la investigación de la Universidad. ARTÍCULO 123.- La investigación como actividad sustantiva de la Universidad de Costa Rica es coordinada fundamentalmente por la Vicerrectoría de Investigación, la cual cuenta con una estructura de apoyo para realizar su promoción, desarrollo, seguimiento y evaluación ¿Quién evalúa a la Vicerrectoría?

¿Quién evalúa? La V.I. delega en los comités científicos la evaluación del proceso de investigación La gestión de la investigación es evaluada en primera instancia por el centro o instituto y luego la V.I. verifica el cumplimiento en las fechas de entrega de los informes Se pretende castigar el atraso en los informes. Esta pretensión refleja mayor interés en los aspectos administrativos que en la calidad de la investigación.

¿Quién evalúa los centros e institutos? Evaluación interna: Autoevaluación. Evaluación externa: Panel de expertos. Lo ideal: autoevaluación con verificación externa. En la UCR: solo autoevaluación, sin verificación externa. excepto en lo referente al cumplimiento de fechas...

Herramientas adecuadas para distintos niveles de evaluación Competencia del profesorado Análisis de impacto La institución El centro o instituto Panel de expertos Publica-ciones Informe de gestión El investigador Publica-ciones Informe de avance Propuesta El proyecto Revisión por pares Análisis de impacto La investigación individual Énfasis en el proceso científico Énfasis en la gestión

Conclusiones La evaluación de la investigación es necesaria. El método de evaluación depende del nivel que se evalúa y de si el énfasis es en el proceso científico o en la gestión de la investigación. La revisión por pares académicos es un método adecuado para evaluar la calidad de la investigación. La evaluación de impacto depende del objetivo de la investigación. La evaluación de la investigación en la UCR debería contemplar la calidad más que los aspectos administrativos.