„Dezvoltarea Capacității Administrative a MCI de implementare a unor acțiuni stabilite în Strategia Națională de Cercetare, Dezvoltare Tehnologică și Inovare 2014-2020„ Cod: SIPOCA 27, Programului Operațional Capacitate Administrativă, Axa prioritară 1 Sistem de indicatori de monitorizare si evaluare. Metodologii de evaluare a impactului investiţiei SNCDI 2014-2020 pe domeniile de specializare inteligenta si instrumente de finanţare. Modalităţi de testare (R1.1 și R1.2) Rezultatul R1.1. 1 Proiectarea şi testarea metodologiilor cantitativ/calitative de evaluare a impactului investiției realizate, conform SNCDI, pe cele 4 domenii de specializare inteligentă și pe domeniul sanatate publică și pe instrumente de finanțare Rezultatul 1.1.2. Testarea și validarea metodologiilor de evaluare de impact pe cele 4 domenii de specializare inteligentă

1. Sistem de indicatori de monitorizare și evaluare de impact Scop: caracterizarea obiectivă și sistematică a dezvoltării specializării inteligente în România și a efectelor nete (impactului) intervențiilor aplicate asupra specializării inteligente Provocări: alegerea celor mai potriviți indicatori, a unor indicatori comparabili european și pentru care să existe sau să se poată constitui surse de colectare date

Categorii de indicatori: A. După procesul căruia servesc Indicatori de monitorizare (de realizare - 29/ de rezultat- 24) Indicatori de impact - 19 Indicatori de context - 9 B. După grad de agregare Indicatori macro (7) Indicatori micro (62)

Elemente informaționale cuprinse în catalogul de indicatori: denumire; definiție; mod de calcul (formulă); sursa de colectare a datelor; modalitatea de colectare a datelor; Periodicitatea de colectare; Apartenența la una/două din categoriile indicatori (realizare, rezultat, impact, context) Nivel de agregare; Corespondența cu obiective SNCDI

Exemplificare:  Nr. crt. Denumire indicator Definiţie   Nr. crt. Denumire indicator Definiţie Mod de calcul (formulă) Sursa de date Modalitatea de colectare a datelor Periodicitate de colectare a datelor Indicator de Niveluri de agregare Corespondență cu obiective SNCDI realizare rezultat impact context 1. Productivitatea muncii în întreprinderi Indicator sintetic al eficienței activității economice a unei întreprinderi, care reflectă eficacitatea sau rodnicia muncii cheltuite în procesul de producție Se calculează ca raportul între Cifra de Afaceri și numărul mediu de salariați, raportat anual în cadrul unei întreprinderi Min. Finanțe, ANCSI Anchetă statistică Anual La momentul evaluării de impact (midd-term, ex-post)  Național Regional Instrument de finanțare Domenii de specializare inteligentă/ prioritate publică Pe clase de mărime OG1

A. Domenii de specializare inteligentă (cf SNCDI – III) Metodologii de evaluare a impactului investiţiei SNCDI 2014- 2020 pe domeniile de specializare inteligenta si instrumente de finanţare Domenii de evaluare: A. Domenii de specializare inteligentă (cf SNCDI – III) 1.bioenonomie, 2.tehnologia informației și a comunicațiilor, spațiu și securitate, 3. Energie, mediu și schimbări climatice 4. Eco-nano-tehnologii și materiale avansate) B. domeniul de prioritate publică 1. Sănătate

Instrumente de finanțare cuprinse în evaluarea de impact: PNCDI – III (Programul 2. Creșterea competitivității economiei românești prin cercetare, dezvoltare și inovare - Bridge Grant, Proiecte experimental demonstrative, Transfer la operatorul economic , Cecuri de inovare – Programele 1, 3 și 4) POC (Investiții în departamentele de CD ale întreprinderilor, Clustere de inovare, Investitii in Instituții publice de CD / Universități, Dezvoltarea unor reţele de centre CD, Crearea de sinergii cu acţiunile de CDI ale programului-cadru ORIZONT 2020 al Uniunii Europene şi alte programe CDI internaţionale, Atragerea de personal cu competențe avansate din străinătate pentru consolidarea capacității CD, Întreprinderi inovatoare de tip start-up şi spin-off, Intreprinderi nou- înființate inovatoare) POR (Promovarea transferului tehnologic, Promovarea spiritului antreprenorial, în special prin facilitarea exploatării economice a ideilor noi și prin încurajarea creării de noi întreprinderi, inclusiv prin incubatoare de afaceri, Sprijinirea creării și extinderea capacităților avansate de producție și dezvoltarea serviciilor)

Tipuri de metode de evaluare de impact: 1 Tipuri de metode de evaluare de impact: 1. Pe instrumente de finanțare Metode mixte (combinând metode de evaluare cantitiativă cu cele de tip calitativ) 2. Pe domenii de specializare inteligentă Metode analitice (analiză multicriterială)

Etape în construcția metodologiei de evaluare de impact: Gruparea instrumentelor de finanțare la nivelul domeniilor de specializare inteligentă după nevoia pe care o adresează  Gruparea instrumentelor de finanțare după tipologia beneficiarilor la care se adresează Selecția celor mai importanți indicatori ai instrumentelor de finanțare la nivel de domeniu de specializare inteligentă

Exemplificare: Instrument de finanțare Tipul beneficiarilor Selecție indicatori cheie de impact Obiectiv SNCDI la care răspunde Grad de adecvare la obiectiv Sursa datel or Modalitat e de colectare a datelor Nivel de agregare Proiect Bridge Grant (PNCDI III, Programul 2, Subprogram 2.1)   O universitate acreditată de drept public (Coord.) alături de un agent economic (și opțional de alte organizații de cercetare de drept public sau privat) Productivitatea muncii în întreprinderi Brevete solicitate la nivel naţional şi internaţional (nr.) Produse/Tehnologii/Metode/Servicii noi sau semnificativ îmbunătăţite transferate în mediul economic / utilizatori (nr.) Co-publicaţii public-privat (nr.) OG1 OG3 Complet  Complet Parțial Min. Finanț elor, ANCSI Anchetă statistică Național Regional Domeniu de specializar e inteligentă Instrumen t de finanțare

Identificarea altor instrumente de finanțare relevante pentru domeniul de specializare inteligentă Identificarea conexiunii efectelor PNCDI III la nivelul domeniilor de specializare inteligentă cu alte efecte directe și indirecte generate de alte instrumente de finanțare Analiza rezultatelor intervențiilor (analiza datelor administrative corespunzătoare instrumentelor de finanțare din cadrul programelor PNCDI III, POC și POR, considerate a fi relevante pentru domeniul de specializare inteligentă vizat)

alegerea mixului de metode (cantitative și calitative) necesar realizării evaluării la nivel de instrument de finanțare Beneficiile mixului de metode cantitativ-calitative asigură complementaritatea între diferitele metode și tehnici, între punctele tari și limitele acestora, având ca scop extinderea procesului de înțelegere specific tipului de rezultate produs de fiecare metodă în parte. Mixul de metode răspunde atât nevoii de a adresa prin metodologia propusă toți actorii interesați, dar și asigură un cadru de integrare comparativ cu metodologiile de monitorizare și evaluare ale celorlalte programe și surse de finanțare (POC și POR).

Pași metodologici în aplicarea mixului de metode (cantitative și calitative) Stabilirea întrebărilor de evaluare, Identificarea lanțului cauzal și elaborarea design-ului metodologic în acord cu lanțul cauzal (al teoriei schimbării). Colectarea datelor prin metode și tehnici cantitative și calitative Interpretarea rezultatelor Triangularea rezultatelor și continuarea procesului de dezvoltare a metodologiei de evaluare acolo unde este cazul (unde consensul nu a fost atins) Interpretarea rezultatelor în context

Tipuri de metodologii de tip cantitativ luate în considerare  Evaluarea de impact contrafactual –Prin intermediul construcției a două grupuri de unități similare în caracteristici observabile (firme) unul de tratament care a avut acces la intervenție, unul de control care nu au beneficiat de intervenție și a comparării rezultatelor obținute de acestea prin metoda regresiei discontinue – între 2 grupuri aflate în zona liniei de demarcație în competiția pentru acordarea intervenției metoda propensity score matching (PSM) - între cele 2 grupuri între care se aleg ”vecini” – unități cu caracteristici apropiate metoda diferenței în diferențe (DID) - între cele 2 grupuri și înainte și după intervenție

Tipuri de metodologii de tip cantitativ luate în considerare  Evaluare de impact pe baza analizei de regresie (regresie Hackman în 2 pași) Analiza secundară a datelor (inclusiv a celor administrative) și compararea cu situația lipsei intervenției Analiza cost-beneficiu – raportarea rezultatelor la costuri Analiza cost-eficacitate – raportarea impactului produs la costurile alocate

Instrumente de culegere date în cadrul metodologiilor de tip cantitativ luate în considerare Date statistice de nivel macro (Eurostat, INS, Registrul Comerțului) Anchete sociologice la beneficiarii de intervenții / non-beneficiari de intervenții Anchete sociologice la firme beneficiare de intervenție / non- beneficiare de intervenție

Tipuri de metodologii de tip calitativ luate în considerare Analiza contribuției (analiză conceptuală prin care se identifică un lanț de cauzalitate între rezultatele obținute de entitățile de CD și firme ca urmare a intervenției, completată cu analiza empirică a datelor Teoria schimbării (compararea patternului de schimbare identificat prin analize empirice cu cel anticipat la nivel teoretic și formularea zonelor de suprapunere, precum și analiza cauzelor care au generat alte rezultate decât cele așteptate) Analiza multicriterială utilizată în evaluarea pe domenii de specializare inteligentă

Tipuri instrumente de culegere date în metodologiile de tip calitativ luate în considerare Interviuri individuale cu directori de proiect/responsabili științifici ai partenerilor, respectiv cu reprezentanții organizațiilor care au beneficiat de intervenții Interviuri individuale cu responsabilii cu designul și managementul instrumentelor de finanțare Studii de caz asupra proiectelor (un caz sau cazuri multiple) Focus-grup pentru validare concluzii ale analizelor Work-shop pentru aplicarea analizei multicriteriale în vederea evaluării pe domenii de specializare inteligentă

Etape ale metodologiei de evaluare de impact: Analiză de context național/ regional relevant pentru domeniul de specializare inteligentă Analiza sistemului de guvernanță (de la anunțare competiții – la încheiere contract, inclusiv evaluare) Aplicarea criteriilor de selecție a mixului de metode de analiză de aplicat pentru evaluarea impactului la nivelul instrumentului de finanțare Se vor aplica mixuri de metode (cantitative și calitative) pentru toate instrumentele ce vor avea un număr semnificativ de proiecte finalizate Se pot aplica metode cantitative de tip contrafactual pentru proiecte tip Bridge Grant, Cecuri de inovare (PNCDI – III) și Proiecte pentru întreprinderi inovatoare de tip start-up şi spin-off (POC)

Etape ale metodologiei de evaluare de impact: Culegerea datelor (corespunzător cu metodele alese) Interpetarea datelor și evaluarea de impact la nivelul instrumentului + redactare raport de evaluare Agregarea informațiilor utilizând metode analitice pentru evaluarea de impact la nivelul domeniului de specializare inteligentă Validarea rezultatelor de evaluare în cadrul focus-grup-ului pe domenii de specializare inteligentă.

Evaluarea la nivelul domeniului de specializare inteligentă va urmări să integreze rezultatele obținute în evaluările realizate la nivelul instrumentelor de finanțare (PNCDI III, POC și POR) urmărind: Evaluarea performanței principalelor instrumente ale SNCDI (PNCDI III, POC și POR) în raport cu obiectivele acestora la nivelul domeniului Evaluarea gradului de complementaritate și sinergie dintre principalele instrumente ale SNCDI (PNCDI III, POC și POR) la nivelul domeniului de specializare inteligentă Identificarea unor puncte tari și arii deficitare în atingerea obiectivelor SNCDI la nivelul domeniului de specializare inteligentă

Testarea metodologiilor Scop: testarea mixului de metode (cantitativ și calitativ) la nivelului unui instrument de finanțare Provocare: identificare similitudini între SNCDI – ciclu anterior și SNCDI 2014-2020 Instrumentul de finanțare testat - PNCDI – III : Programul PARTENERIATE Proiecte colaborative de cercetare aplicativă, Programul Resurse umane - Proiecte de cercetare postdoctorală Programul Idei – Proiecte de cercetare exploratorie Programul Tinere echipe

Instrumente de culegere date ce se vor testa: Ancheta sociologică în firme Interviuri individuale cu directori de proiect/responsabili științifici ai partenerilor Interviuri cu responsabili cu design și managementul instrumentelor de finanțare Studii de caz pe proiecte.