ANEP: Cómo preparar las propuestas de proyectos para tener más éxito en las convocatorias del Plan Nacional de I+D Javier Sebastián Coordinador del Área de Ingeniería Eléctrica, Electrónica y Automática (IEL) en la Agencia Nacional de Evaluación y Prospectiva (ANEP)

Motivación de esta presentación Investigadores Evaluadores Dar transparencia al proceso de evaluación

Dirección General de Investigación Decisión sobre financiación Ejemplo de especial importancia: El Plan Nacional de I+D+i Dirección General de Investigación convocatoria Decisión sobre financiación Proyecto Investigadores Expertos del MEC (Ministerio de Educación y Ciencia) ANEP (Agencia Nacional de Evaluación y Prospectiva) Comisión de selección (mixta)

Áreas y Programas del Ministerio Áreas y Programas del Ministerio versus Áreas de ANEP Estructura matricial ¡¡Ojo, esto está cambiando!! Áreas y Programas del Ministerio Áreas de ANEP

Programas del Ministerio Estructura matricial Pogramas MEC versus Áreas ANEP en ingeniería ¡¡Ojo, esto está cambiando!! Programas del Ministerio ENE DPI TEC TSI TI TRA MAT TQ INF ICI IEL IME COM TM Áreas de ANEP

¿Dónde se elige el “Programa del MEC” y dónde se elige el “Área ANEP”? ¡¡Ojo, esto ha cambiado ya!! Programa del MEC Área ANEP

Descripción detallada del proceso de evaluación en el Plan Nacional de I+D+i (1 / 8) Parte a describir

Descripción detallada del proceso de evaluación en el Plan Nacional de I+D+i (2 / 8) Proyecto 1 Progr.: ENE A. ANEP: IEL Proyecto 2 Progr.: DPI A. ANEP: IEL Proyecto 3 Progr.: TEC A. ANEP: COM Proyecto 4 Progr.: TEC A. ANEP: IEL Progr. ENE Progr. DPI Progr. TEC ANEP-IEL ANEP-COM

Experto A del Programa TEC Experto B del Programa TEC Descripción detallada del proceso de evaluación en el Plan Nacional de I+D+i (3 / 8) Evolución de la evaluación “en el programa” del Plan Nacional Cada experto evalúa 15-20 proyectos Cada proyecto es evaluado por 2 expertos Experto A del Programa TEC Proyecto 3 Progr.: TEC A. ANEP: COM Proyecto 4 Progr.: TEC A. ANEP: IEL Experto B del Programa TEC Proyecto m Progr.: TEC Proyecto n Progr.: TEC Gestor del Programa TEC

Experto A del Programa TEC Experto B del Programa TEC Descripción detallada del proceso de evaluación en el Plan Nacional de I+D+i (4 / 8) Evolución de la evaluación “en el programa” del Plan Nacional Eval. A TEC Proyec. 3 Experto A del Programa TEC Eval. A TEC Proyec. 4 Eval. B TEC Proyec. 3 Experto B del Programa TEC Eval. B TEC Proyec. 4 Eval. B TEC Proyec. m Eval. B TEC Proyec. n

Descripción detallada del proceso de evaluación en el Plan Nacional de I+D+i (5 / 8) Evolución de la evaluación en el Área ANEP Cada proyecto es evaluado por 2 expertos Experto V de IEL Experto W de IEL Experto X de IEL Experto Y de IEL Proyecto 4 Progr.: TEC A. ANEP: IEL Adjunto 1 de IEL Adjunto 3 de IEL Adjunto 2 de IEL Coordinador de IEL Proyecto 2 Progr.: DPI A. ANEP: IEL Proyecto s Área.: IEL

Descripción detallada del proceso de evaluación en el Plan Nacional de I+D+i (6 / 8) Evolución de la evaluación en el Área ANEP Eval. V IEL Proyec. 4 Experto V de IEL Adjunto 1 de IEL Eval. IEL Proyec. 4 Eval. W IEL Proyec. 4 Experto W de IEL Eval. IEL Proyec. 2 Eval. W IEL Proyec. 2 Coordinador de IEL Adjunto 2 de IEL Eval. IEL Proyec. s Eval. X IEL Proyec. 2 Experto X de IEL Adjunto 3 de IEL Experto Y de IEL Eval. Y IEL Proyec. s

Calificación final del Proyec. 4 Descripción detallada del proceso de evaluación en el Plan Nacional de I+D+i (7 / 8) Comisión de evaluación del programa TEC Eval. IEL Proyec. 4 Coordinador de IEL Calificación final del Proyec. 4 Eval. A TEC Proyec. 4 Eval. B TEC Proyec. 4 Experto A del Programa TEC Eval. A TEC Proyec. 3 Calificación final del Proyec. 3 Experto B del Programa TEC Eval. B TEC Proyec. 3 Eval. COM Proyec. 3 Coordinador de COM

Experto A del Programa TEC Calificación final del Proyec. 4 Una consideración importante sobre la evaluación de los proyectos del Plan Nacional de I+D+i Un proyecto es evaluado por, al menos, 4 personas. Experto A del Programa TEC Eval. A TEC Proyec. 4 Calificación final del Proyec. 4 Eval. B TEC Proyec. 4 Experto B del Programa TEC Eval. V IEL Proyec. 4 Eval. W IEL Proyec. 4 Eval. IEL Proyec. 4 Experto V de IEL Experto W de IEL En caso de discrepancias entre evaluadores ANEP, el adjunto o el coordinador revisa el proyecto o pide una tercera evaluación.

Volumen de los objetivos Valoración del proyecto Algunas consideraciones sobre la redacción de las memorias de los proyectos (1 / 2) 1- Aclarar los objetivos: El evaluador es una persona ocupada, que no necesita leer argumentos obvios y que quiere comprender rápidamente qué se pretende hacer. 2- Ser realista en los objetivos Volumen de los objetivos Valoración del proyecto

Muy improbable Posible Algunas consideraciones sobre la redacción de las memorias de los proyectos (2 / 2) 3- Ser realista en los objetivos de mejora del CV. 4- Ser realista en el presupuesto: No usar argumentos tales como “pido el doble para que me den la mitad, que es lo que necesito”. 5- Ser realista en la petición de personal de apoyo: No pretender que el proyecto “lo hagan” los becarios y que los investigadores sólo redacten y apoyen la memoria. Muy improbable CV en “n” años CV en “n+3” años Posible CV en “n” años CV en “n+3” años

Ejemplos reales de situaciones comentadas negativamente por los evaluadores (1 / 2) Se pide un técnico de laboratorio y no se justifica qué va a hacer en el proyecto. Todo el mundo necesita personal de apoyo, pero se está evaluando un proyecto, no las necesidades generales del grupo investigador. Un aparato-equipo-instalación X se ha presupuestado en la memoria al doble de su coste real y el evaluador lo detecta. El evaluador tenderá a pensar que también está “inflado” el resto del presupuesto. Un grupo consolidado necesita 18 meses de estudio previo en un tema del que tiene experiencia. El proyecto es muy aplicado, pero no se ha conseguido que haya empresas interesadas. El proyecto es muy aplicado, hay empresas muy interesadas, pero no hacen nada en el proyecto (no aportan material, ni financiación, ni personal, ni seguimiento de las tareas, etc.).

Ejemplos reales de situaciones comentadas negativamente por los evaluadores (2 / 2) Proyecto con interés social pero sin interés científico-técnico. Habrá que elegir correctamente dónde encaja un proyecto así, que no será en la convocatoria estándar de I+D+i. Grupo investigador numeroso, integrado por personas maduras y con escaso CV, que piden 5 becarios. Seguramente se trata de un proyecto desenfocado y que se pretende que sea realizado, casi exclusivamente, por los becarios. Grupo investigador sin publicaciones relevantes ni en congresos ni en revistas “indexadas”, que presenta un plan de difusión de resultados con numerosas publicaciones relevantes. Se juzgará como poco probable. Es mejor ser realista. Grupo investigador con experiencia industrial, buenas realizaciones prácticas pero casi sin currículum científico-técnico. Su evaluación será incierta (dependerá mucho del evaluador). Deben mejorar su currículum científico-técnico.

Ejemplos de otros tipos de evaluación: los contratos del Programa Ramón y Cajal (y Juan de la Cierva) (1 / 3) Evaluaciones “en Comisión” Candidato 1 A. ANEP: IEL Eval. A Candidato 2 Candidato 2 A. ANEP: IEL Eval. A Candidato 1 Eval. A Candidato 3 Candidato 3 A. ANEP: IEL Experto A de IEL Experto B de IEL Experto C de IEL Eval. B Candidato 3 Candidato 4 A. ANEP: IEL Eval. B Candidato 1 Eval. B Candidato 4 Eval. C Candidato 2 Eval. C Candidato 4

Ejemplos de otros tipos de evaluación: los contratos del Programa Ramón y Cajal (y Juan de la Cierva) (2 / 3) Evaluaciones “en Comisión” Eval. A Candidato 3 Eval. A Candidato 2 Eval. A Candidato 1 Eval. B Candidato 4 Eval. B Candidato 3 Eval. C Candidato 4 Candidato 2 Experto A de IEL Experto B de IEL Experto C de IEL Comisión ANEP-IEL Eval. Candidato 1 Eval. Candidato 2 Eval. Candidato 3 Eval. Candidato 4

Se conceden un determinado número de contratos por área ANEP Ejemplos de otros tipos de evaluación: los contratos del Programa Ramón y Cajal (y Juan de la Cierva) (3 / 3) Evaluaciones “en Comisión” Se conceden un determinado número de contratos por área ANEP La lista final prioriza nº Candidato Puntuación ..... ........ 4º Candidato 2 88 puntos 5º Candidato 3 85 puntos 6º Candidato 1 80 puntos 7º Candidato 4 77 puntos Contratos Concedidos Contratos no Concedidos

DGI AECYT ANEP CNEAI ANECA El futuro de la ANEP (Dirección General de Investigación del MEC) AECYT (Agencia Estatal de Ciencia y Tecnología) Agencias de evaluación ANEP (Agencia Nacional de Evaluación y Prospectiva) Competencias de evaluación y de financiación Énfasis en evaluación “ex-post”, no sólo “ex-ante” Mayor dedicación Acorte del ciclo de evaluación Traslado de sede CNEAI (Comisión Nacional Evaluadora de la Actividad Investigadora) ANECA (Agencia Nacional de Evaluación de la Calidad y Acreditación)

Conclusiones 1. Es importante conocer cómo es el proceso de evaluación de los proyectos de I+D+i 2. Es muy formativo participar en él 3. Pese a que el resultado de las evaluaciones no es infalible, es el resultado de la opinión de al menos 4 personas (en el Plan Nacional) 4. El realismo a la hora de realizar una propuesta aumenta la posibilidad de éxito, porque aumenta su credibilidad 5. Se avecinan cambios sustanciales en la estructura del Plan Nacional de I+D+i y en la articulación de todo el sistema de evaluación, con especial énfasis en evaluación “ex-post”, no sólo “ex-ante”

Borrador del Plan Nacional 2008-2011 (1 / 4) (VI Plan Nacional de Investigación Científica, Desarrollo e Innovación Tecnológica) Establece cuatro Áreas: AREA 1: Generación de conocimientos y de capacidades científicas y tecnológicas - Orientada a generar conocimiento - Libertad temática. La prioridad la marca la excelencia AREA 2: Fomento de la cooperación en I+D - Fomenta específicamente la cooperación entre agentes y con el marco internacional y regional - También, cooperación público-privada, no orientados sectorial ni temáticamente

Borrador del Plan Nacional 2008-2011 (2 / 4) (VI Plan Nacional de Investigación Científica, Desarrollo e Innovación Tecnológica) AREA 3: Desarrollo e innovación tecnológica sectorial - Orientada a la competitividad empresarial y a resolver los problemas de sectores específicos: 1. Alimentación, agricultura y pesca 2. Medio Ambiente y Ecoinnovación 3. Energía 4. Seguridad y Defensa 5. Construcción, ordenación del territorio y patrimonio cultural 6. Turismo 7. Aeroespacial 8. Transporte e Infraestructuras 9. Materiales y tecnologías de la producción 10. Sectores industriales 11. Sector Farmacéutico

Borrador del Plan Nacional 2008-2011 (3 / 4) (VI Plan Nacional de Investigación Científica, Desarrollo e Innovación Tecnológica) AREA 4: Acciones estratégicas - Prioriza cinco acciones estratégicas, que constituyen una apuesta por temas de especial repercusión social: 1. Salud 2. Biotecnología 3. Cambio climático y energía 4. Telecomunicaciones y Sociedad de la Información 5. Nanociencia y nanotecnología

Borrador del Plan Nacional 2008-2011 (4 / 4) (VI Plan Nacional de Investigación Científica, Desarrollo e Innovación Tecnológica) Establece 13 Programas en 6 Líneas Instrumentales de Actuación: 1. Formación de recursos humanos 2. Movilidad de recursos humanos 3. Contratación e incorporación de recursos humanos 4. Proyectos de investigación fundamental no orientada 5. Proyectos de investigación aplicada 6. Proyectos de desarrollo experimental 7. Proyectos de innovación 8. Fortalecimiento institucional 9. Infraestructuras científicas y tecnológicas 10. Transferencia de tecnología, valorización y promoción de empresas de base tecnológica 11. Redes 12. Cooperación público-privada 13. Internacionalización de la I+D RRHH Proyectos Utilización del conocimiento