1 Excelencia: criterios de evaluación Experiencia y visión de un Evaluador Dra. Evangelina Atanes Sánchez Universidad Politécnica de Madrid EUIT Industrial.

Presentación del tema: "1 Excelencia: criterios de evaluación Experiencia y visión de un Evaluador Dra. Evangelina Atanes Sánchez Universidad Politécnica de Madrid EUIT Industrial."— Transcripción de la presentación:

1 1 Excelencia: criterios de evaluación Experiencia y visión de un Evaluador Dra. Evangelina Atanes Sánchez Universidad Politécnica de Madrid EUIT Industrial - Departamento de Química Industrial y Polímeros

2 Evangelina Atanes Sánchez. Febrero 2009 2 Índice Fases de un proceso de evaluación Fases de un proceso de evaluación Criterios de evaluación Criterios de evaluación Evaluación criterio a criterio: Evaluación criterio a criterio: notas de interésnotas de interés

3 Evangelina Atanes Sánchez. Febrero 2009 3 Proceso de Evaluación Propuestas. ETAPA 1 Evaluación 1ª Etapa (Remota) Rechazadas (No Go) Aceptadas (Go) Carta informativa al proponente Puntuación (apartado/total) Invitación a 2ª fase o rechazo Propuestas. ETAPA 2 Evaluación 2ª Etapa (Bruselas) “Ranking” de propuestas Decisión: Rechazo Negociación Carta informativa al proponente Puntuación (apartado/total) Negociación o Lista de reserva Decisión: Firma contrato Financiación CARTA COMUNICACIÓN FORMAL DE LA COMISIÓN Mayo Mayo-Junio Sep-Oct

4 Evangelina Atanes Sánchez. Febrero 2009 4 Evaluación de cada propuesta LECTURA INDIVIDUALREUNIÓN DE CONSENSOPANEL “Consensus Meeting” (si es necesario) ENVÍO DE PROPUESTAS FIN DEL PROCESO P.O. + 3 Evaluadores 2 Criterios 3 Evaluadores/propuesta 2 Criterios P.O. + Evaluadores 2 Criterios Selección final 1 Informe de consenso (CR) Notas Comentarios Puntuación final IER: Individual Evaluation Report CR: Consensus Report ESR: Evaluation Summary Report Informe Experto 1 Informe Experto 2 Informe Experto 3 “Ranking” de propuestas 1 Informe final de evaluación (ESR)

5 Evangelina Atanes Sánchez. Febrero 2009 5 Normas http://cordis.europa.eu/fp7/ ftp://ftp.cordis.europa.eu/pub/fp7/doc s/wp/cooperation/nmp/d_wp_200901_ en.pdf  Objetivos: Theme NMP Activity 4.4: Integration of technologies for industrial applications- Joint call on Biorefineries Topic NMP-2009-4.0.1-1: Sustainable Biorefineries Content/Scope Funding Scheme Expected impact  Criterios Evaluación  Otra información Work Programme, Guide for applicantes, …: para el proponente, para el evaluador Work Programme, Guide for applicantes, …: para el proponente, para el evaluador

6 Evangelina Atanes Sánchez. Febrero 2009 6 Criterios de evaluación (WP) 1: Excelencia científica y tecnológica de acuerdo a la convocatoria (Tema & topic) Concepto general y de los objetivos Concepto general y de los objetivos Progreso respecto al estado del arte Progreso respecto al estado del arte Metodología científica y técnica, plan de trabajo Metodología científica y técnica, plan de trabajo 2: Implementación y gestión del proyecto Gestión, procedimientos Gestión, procedimientos Participantes individuales Participantes individuales Consorcio en conjunto (complementariedad) Consorcio en conjunto (complementariedad) Distribución y justificación de los recursos Distribución y justificación de los recursos 3: Impacto potencial del proyecto Contribución a los impactos esperados en el programa de trabajo Contribución a los impactos esperados en el programa de trabajo Diseminación, explotación de los resultados, IPR Diseminación, explotación de los resultados, IPR Fase 1: sólo criterios en negrita Fase 2: todos Qué se hace, cómo Con qué recursos Repercursión

7 Evangelina Atanes Sánchez. Febrero 2009 7 Evaluación: resultado primera fase: ESR* Criterio 1: Excelencia científica y tecnológica Calidad/robustez del concepto general y objetivos Calidad/robustez del concepto general y objetivos Progreso respecto al estado del arte Progreso respecto al estado del arteNota:0-5 Umbral 4 Criterio 3: impacto potencial del proyecto Contribución (a nivel europeo e internacional) a los impactos esperados en el programa de trabajo Contribución (a nivel europeo e internacional) a los impactos esperados en el programa de trabajoNota:0-5 Umbral: 3 Comentario general del proyecto: Puntos débiles, puntos fuertes,...de acuerdo a las puntuaciones (feedback a los proponentes) Puntos débiles, puntos fuertes,...de acuerdo a las puntuaciones (feedback a los proponentes) Nota total: 0-10 Umbral: 8 Propuesta aceptada (GO)/ Rechazada (NO GO) Notas consenso *ESR: Evaluation Summary Report

8 Evangelina Atanes Sánchez. Febrero 2009 8 Evaluación: resultado segunda fase: ESR 1: Excelencia científica y tecnológica Concepto general y objetivos Concepto general y objetivos Progreso respecto al estado del arte Progreso respecto al estado del arte Metodología y plan de trabajo Metodología y plan de trabajo Nota:0-5 Umbral: 4 2: Implementación y gestión del proyecto Gestión y de los procedimientos Gestión y de los procedimientos Participantes individuales Participantes individuales Consorcio en conjunto (complementariedad) Consorcio en conjunto (complementariedad) Distribución y justificación de los recursos Distribución y justificación de los recursos Nota:0-5 Umbral: 3 3: Impacto potencial del proyecto Contribución a los impactos esperados Contribución a los impactos esperados Diseminación y/o explotación de los resultados; IPR Diseminación y/o explotación de los resultados; IPR Nota:0-5 Umbral: 3 Comentarios generales Nota final:0-15 Umbral: 12 Notas consenso Propuesta financiada/lista reserva/ Rechazada

9 Evangelina Atanes Sánchez. Febrero 2009 9 Evaluación: notas generales de interés  Propuesta enfocada a la etapa de evaluación (Work Programme):  Selección del topic (propuesta encajada, evaluadores adecuados)  Objetivos e impactos de cada topic: ¡son los criterios de evaluación!  Número de páginas  Objetivo: facilitar comprensión y evaluación al evaluador  Propuesta en conjunto: sólida, coherente, que convenza  Uso de “Guide for applicants”, criterios y subcriterios de evaluación  Comprobar si se responde a las cuestiones de cada criterio…  Inglés: que se entienda, claro y conciso, “internacional”  Evaluadores: gran importancia a la parte científica y técnica  Facilitar comprensión rápida: no sobrecargar de texto no sobrecargar de texto Esquemas, diagramas de flujo, gráficos, … Esquemas, diagramas de flujo, gráficos, … Resaltar puntos importante (negrita, subrayado,…) Resaltar puntos importante (negrita, subrayado,…)

10 Evangelina Atanes Sánchez. Febrero 2009 10 Evaluación criterio a criterio: notas de interés 1. Scientific and Technical Quality 1.1 Concept & objectives - Primera toma contacto con el proyecto - Definir claramente lo que se pretende - Objetivos: claros, medibles, cuantificables 1.2. Progress beyond state of art Documentar grado de desarrollo actual de la tecnología Documentar grado de desarrollo actual de la tecnología Citas bibliográficas (científicas), otros proyectos, búsqueda patentes (herramientas gratuitas),… Citas bibliográficas (científicas), otros proyectos, búsqueda patentes (herramientas gratuitas),… Logros perfectamente definidos Logros perfectamente definidos 1.3. S&T Methodology and Work Plan Clarificación y ampliación de lo anterior Clarificación y ampliación de lo anterior “Guide for applicants”: tablas, Gantt, Pert, … “Guide for applicants”: tablas, Gantt, Pert, … Plan trabajo (Work Package, Task): secuencia temporal, interrelación, partner encargados,… Plan trabajo (Work Package, Task): secuencia temporal, interrelación, partner encargados,… Explicar claramente que se va a hacer y cómo (métodos y técnicas), sin vaguedades, consistenteExplicar claramente que se va a hacer y cómo (métodos y técnicas), sin vaguedades, consistente Deliverables: cuantificar en lo posible Deliverables: cuantificar en lo posible Hitos (milestones):bien definidos, cuantificables Hitos (milestones):bien definidos, cuantificables Identificación posibles riesgos y alternativas Identificación posibles riesgos y alternativas Recibe más interés del evaluador

11 Evangelina Atanes Sánchez. Febrero 2009 11 2. Implementation 2.1 Management structure and procedures Coordinador, líderes Work Package, mecanismos de contacto, reuniones, toma de decisiones (científicas, de IPR), comités de diseminación,.. Coordinador, líderes Work Package, mecanismos de contacto, reuniones, toma de decisiones (científicas, de IPR), comités de diseminación,.. Estándar. Particularizar en lo posible Estándar. Particularizar en lo posible 2.2. Individual participantes Campo actividad participante, papel en el proyecto Campo actividad participante, papel en el proyecto Experiencia participantes en proyectos Experiencia participantes en proyectos 2.3. Consortium as a whole Cadena: RTD/fabricante/usuario Cadena: RTD/fabricante/usuario Laboratorio al mercado Laboratorio al mercado 2.4. Resources to be commited Personal cualificado, equipo e instalaciones Personal cualificado, equipo e instalaciones Dinero: coherente, realista Dinero: coherente, realista Posibilidad de cambio en la negociaciónPosibilidad de cambio en la negociación Menor interés para el evaluadorMenor interés para el evaluador Evaluación criterio a criterio: notas de interés Más importantes

12 Evangelina Atanes Sánchez. Febrero 2009 12 3. Impact 3.1 Expected impacts listed in the Work Programme Guide for applicants: responder a las cuestiones Guide for applicants: responder a las cuestiones Estudios de mercado: cuantificar en lo posible la repercusión del proyecto Estudios de mercado: cuantificar en lo posible la repercusión del proyecto Usuarios potenciales de la tecnologíaUsuarios potenciales de la tecnología Sectores actividad implicadosSectores actividad implicados Repercusiones económicas, sociales, medioambientales,…Repercusiones económicas, sociales, medioambientales,… Hacer estimaciones, buscar estadísticas e informes sobre el tema,… Hacer estimaciones, buscar estadísticas e informes sobre el tema,… 3.2. Dissemination and/or exploitation of project results, and management of IPR Estándar, adecuadamente documentada Estándar, adecuadamente documentada Importante: explotación, IPR Importante: explotación, IPR Acceso al mercado Acceso al mercado Evaluación criterio a criterio: notas de interés Más importante

13 Evangelina Atanes Sánchez. Febrero 2009 13 Conclusiones Proceso de evaluación justo Proceso de evaluación justo Preparar cuidadosamente la propuesta: Preparar cuidadosamente la propuesta: 1ª fase, 2ª fase1ª fase, 2ª fase Enfocada a la etapa de evaluación: objetivos e impactos del Work Programme, criterios y subcriteriosEnfocada a la etapa de evaluación: objetivos e impactos del Work Programme, criterios y subcriterios Facilitar comprensión y evaluación al evaluadorFacilitar comprensión y evaluación al evaluador Gran atención al ConsorcioGran atención al Consorcio Excelente: Contenido + Forma de comunicarlo Excelente: Contenido + Forma de comunicarlo Propuesta bien preparada será bien defendida por los evaluadores Propuesta bien preparada será bien defendida por los evaluadores

14 Evangelina Atanes Sánchez. Febrero 2009 14 Gracias Dra. Evangelina Atanes Sánchez Universidad Politécnica de Madrid EUIT Industrial - Departamento de Química Industrial y Polímeros