Erorile în evaluarea proiectelor de cercetare, după ce competiția din 2020 a generat cele mai multe contestații – analiza prof. Claudiu Herțeliu, ASE București

Competiția de granturi de cercetare științifică Proiecte de Cercetare Exploratorie (PCE 2020) a generat cele mai multe contestații dintre competițiile recente. Prof. dr. Claudiu Herțeliu, prodecanul Facultății de Cibernetică și coordonator de doctorat în cadrul Departamentului de Statistică și Econometrie al Academiei de Studii Economice (ASE), București face o analiză a erorilor în competițiile de cercetare, arată în ce moment al evaluării apar probleme și prezintă o soluție într-un text trimis Edupedu.ro.

Context. Tocmai s-au afișat rezultatele preliminare la recenta competiție de granturi de cercetare științifică Proiecte de Cercetare Exploratorie (PCE 2020). Această competiție a fost organizată la patru ani distanță de la precedenta (PCE 2016).

Finanțarea cercetării științifice în România lasă un gust amar și merită o discuție separată (chiar dacă subiectul este foarte prezent în dezbaterea publică: Ancu et al., 2018; Miclăuș, 2019; Teodorescu, 2020a; David, 2020; Manea, 2020).

Chiar dacă articolul curent doreste sa sublinieze un neajuns al procesului de evaluare din cadrul competiției PCE 2020, UEFISCDI (Unitatea Executivă pentru Finanțarea Învățământului Superior, a Cercetării, Dezvoltării și Inovării) merită apreciată pentru organizarea competițiilor de alocare a fondurilor pe care le gestionează. S-au făcut pași în direcția potrivită: reintroducerea evaluatorilor străini – după cum se poate observa în lista evalutorilor utilizați pentru competițiile TE 2019 și PD 2019; suplimentarea bugetelor anunțate inițial pentru competițiile TE 2019, PD 2019, PED 2019 și PCE 2020; subsecvent, prin suplimentarea bugetelor, s-au asigurat rate de succes decente: 15-25%.

Astfel, în cadrul competiției PCE 2020 noul buget este de 290 milioane de lei, acoperitor pentru aproximativ 242 de proiecte. Ceea ce ar reprezenta aproximativ 23% din cele 1053 aplicații de granturi depuse.

Evaluarea aplicațiilor de granturi de cercetare științifică

Procesul de peer review este un proces imperfect însă rămâne cea mai bună variantă avută la dispoziție pentru evaluarea rezultatelor academice și/ sau a propunerilor de granturi de cercetare. Dacă în cazul evaluării negative (reject) a unui articol echipa care l-a redactat poate să producă modificările sugerate de referenți și să opteze pentru trimiterea către o altă revistă în scurt timp, în cazul aplicațiilor de grant acest lucru nu este la fel de facil. Aceasta pentru că, cel puțin în cazul României, competițiile pentru granturi de cercetare științifică nu se mai organizează ritmic (excepția lipsei de ritmicitate, în mod lăudabil pentru UEFISCDI, o reprezintă competițiile pentru premierea rezultatelor cercetării – PRECISI). O decizie negativă, poate însemna de multe ori că ideea respectivă nu va mai avea nici o șansă să fie finanțată vreodată (urmare a perisabilității tematice).

UEFISCDI a încercat să-și adapteze procedurile concordant cu ce se întâmplă în spațiul competițional pentru granturi științifice la nivel european. Procesul de peer-review în general nu este perfect, iar cel care se referă la evaluarea aplicațiilor de granturi de cercetare va avea scăpări și neajunsuri inerente. Un prim indiciu al acestor imperfecțiuni este ponderea contestațiilor depuse în urma procesului de evaluare. Pentru competițiile recente numărul de contestații a fost următorul:

• PD2019 – 48 (aproape 9% din cele 535 aplicații);
• TE2019 – 100 (puțin peste 11% din cele 898 aplicații),
• PED2019 – 155 (puțin peste 7.2% din cele 2140 aplicații);
• PCE2020 – 144 (aproape 13.7% din cele 1053 aplicații).

Constatăm că proporția cea mai mare a contestațiilor a fost înregistrată pentru competiția PCE2020. În fapt, pentru competiția PCE2020, UEFISCDI a optat pentru o inovație în metodologia de evaluare, înlocuind etapa de evaluare în panel cu aducerea unui referent suplimentar în echipele de evaluare inițiale în care nu s-a putut stabili un consens asupra raportului de evaluare. Se pare că acest procedeu a generat un număr de contestații sensibil mai mare decât în cazul în care exista evaluarea în panel.

Tipologia erorilor în aprecierea/ evaluarea aplicațiilor de granturi de cercetare științifică

În cele ce urmează voi face o analogie cu testarea ipotezelor statistice. Majoritatea persoanelor care activează în mediul academic și utilizează metode cantitative sunt familiare sau măcar au auzit de eroarea de genul întâi și eroarea de genul al doilea în testarea ipotezelor statistice. În contextul evaluării aplicațiilor de grant consider că eroarea de genul al doilea se produce atunci când un grant care merita să fie finanțat a fost respins. Eroarea de genul întâi este acea situație în care un grant care nu merita să fie finanțat primește finanțare. Evident că ambele erori sunt de evitat însă dacă eroarea de genul al doilea provoacă iritare și frustrare mai ales echipei care a produs acea aplicație de grant, eroarea de genul întâi va provoca iritare în rândul tuturor celor care au pierdut și se consideră îndreptățiți să fi fost finanțați. Consider, astfel, că este mult mai importantă evitarea erorii de genul întâi. Să finanțezi un proiect slab va produce, întradevăr, multă iritare și frustrare în rândul celor care erau (sau se considerau mai buni).

Evident că toată această construcție funcționează pentru acele elemente din aplicației care sunt comparabile. În cazul competiției PCE2020 50% din punctaj se obținea pentru CV-ul directorului de proiect. UEFISCDI, în mod transparent, a publicat secțiunile din aplicații (B1 și B2) pentru toți directorii de proiect (UEFISCDI, 2020). Consider totuși, inadmisibil, ca persoane care au un număr redus de citări (mă refer la Web of Sciece – WoS care a fost considerată ca fiind baza de date academică relevantă pentru majoritatea domeniilor academice în comeptiție), lucări și/ sau H-index să obțină (afirmație bazată pe interpolarea a punctajului final) punctaje pentru CV de nivel foarte ridicat.

Am asistat recent (Dragoș, 2020) la o propunere a unei metrici sugerată, în perioada în care Cristian Dragoș era încă membru al Consiliului Național pentru Cercetarea Științifică (CNCS), relativ la acordarea standardizată a scorului pentru CV în competițiile de granturi științifice. Varianta propusă de Cristian Dragoș reprezintă o abordare interesantă și merită să fie dezbătută de comunitatea academică. În prezent, din nefericire, UEFISCDI a renunțat chiar și la evaluarea în panel.

Fără a mai avea o ultimă privire de ansamblu în cadrul procesului de evaluare, apare posibilitatea distorsionării evaluărilor CV-urilor și punctarea la superlativ a unor candidați care au îndeplinit la limită condițiile de eligibilitate – aceasta este eroarea de tipul întâi (un exemplu al unei astfel de situațiie este prezentat în Teodorescu, 2020b)! În același timp se poate constata utilizarea unei exigențe sporite a echipei de evaluatori (trei inițial, probabil/ posibil patru în final) pentru CV-urile unor aplicanți mult mai performanți – această situație reprezentând eroarea de tipul al doilea.

Cum se pot amenda procedurile de evaluare peer-review ale aplicațiilor de grant pentru a preîntâmpina eroarea de genul al doilea?

Consider că propunerea domnului profesor Cristian Dragoș (2020) ar fi abordarea cea mai bună. Însă o altă variantă ar putea fi revenirea la etapa de evaluare în panel cu o modificare față de desfășurarea din trecut. Pe baza informațiilor furnizate de UEFISCDI relativ la numărul de aplicații potențial a fi finanțate (pe baza bugetelor fiecărei competiții), în etapa de evaluare în panel să se studieze și decidă, în mod uniform/ armonizat, distinct pentru toate domeniile științifice, punctajele acordate pe baza de CV al directorului de proiect pentru toate aplicațiile cu potențial de finanțare (indiferent dacă acolo a fost consens în etapa inițială de evaluare sau nu). S-ar evita, prin acest procedeu, erorile de genul întâi care sunt extrem de dureroase pentru întreaga comunitate academică! Implicit, acest procedeu, ar însemna și o atenție mai mare în utilizarea banului public (și așa mult insuficient pentru cercetarea științifică).

Referințe

Ancu, L., Miclăuș, M. și Micu, O. (2018) Spirala obscură prin care circulă o treime din bugetul public al Ministerului Cercetării și Inovării http://mic-mic-anc.ro/2018/02/14/spirala-obscura-prin-care-circula-o-treime-din-bugetul-public-al-ministerului-cercetarii-si-inovarii/

David, D. (2020) Despre miturile față de învățământul superior românesc https://danieldavidubb.wordpress.com/2020/11/21/despre-miturile-fata-de-invatamantul-superior-romanesc/

Dragoș, C. Hierarchy of entities through nonlinearscaling and bibliometric specificities of academic categories, CEBSS, UBB, FSEGA, 26 Noiembrie 2020 https://econ.ubbcluj.ro/eveniment.php?id=888

Manea, V. C. (2020) Asociația Ad Astra lansează PACTUL NAȚIONAL PENTRU CERCETARE https://ad-astra.ro/2020/11/16/asociatia-ad-astra-lanseaza-pactul-national-pentru-cercetare/

Miclăuș, M. (2019) Cât, cum și cui alocăm resursele sistemului național de cercetare? Prezent vs. perspective https://mic-mic-anc.ro/tag/buget-cercetare/

Teodorescu, C. M. (2020a) Competiția de proiecte de cercetare Idei 2020, impresii la cald https://www.contributors.ro/competi%c8%9bia-de-proiecte-de-cercetare-idei-2020-impresii-la-cald/

Teodorescu, C. M. (2020b) Ce se întâmplă după ce deschizi gura împotriva UEFISCDI / CNCS, https://www.contributors.ro/ce-se-intampla-dupa-ce-deschizi-gura-impotriva-uefiscdi-cncs/

UEFISCEI (2020) Secțiunile publice ale aplicațiilor de granturi de cercetare științifică PCE2020, https://uefiscdi-direct.ro/sectiunipublicepce2020

Despre autor

Claudiu Herțeliu deține un doctorat obținut în cadrul Academiei de Studii Economice (ASE) din București în anul 2007. Și-a început cariera didactică în 2002 ca preparator universitar ocupând în prezent o poziție de profesor universitar coordonator de doctorat în cadrul Departamentului de Statistică și Econometrie al aceleiași universități. Din 2019 este profesor universitar (part time) și în cadrul School of Business, London South Bank University.

A lucrat în zona metodelor cantitative în cadrul Ministerului Educației și Cercetării (2001-2008) și Institutului Național de Statistică (2008-2011). A avut responsabilități manageriale la Activitatea de Diseminare a Informațiilor Statistice (INS), ocupă funcția de prodecan al Facultății de Cibernetică, Statistică și Informatică Economică (2012-prezent) și este membru al Senatului ASE (2012-prezent). Este membru în comitetul de conducere al European Master in Official Statistics (EMOS) (din 2017), în European Statistical Advisory Committee (ESAC) (din 2016) precum și în Comisia de Științe Economice și Administrarea Afacerilor a Consiliului Naţional de Atestare a Titlurilor, Diplomelor și Certificatelor Universitare (CNATDCU) (din 2016). Domeniile principale de interes în activitatea de cercetare sunt: statistică și econometrie; metode cantitative în religie; statistica educației, metrici aplicate în sănătate, scientometrie. Dintre publicațiile relevante și recente putem aminti:

Herțeliu, C., Jianu, I., Jianu, I., Bobb, V.C., Dhesi, G., Ceptureanu, S.I., Ceptureanu, E.G. și Ausloos, M. Money’s importance from the religious perspective, Annals of Operations Research, 2019,  DOI 10.1007/s10479-019-03488-5,

Graetz, N., Woyczynski, L., Wilson, K.F. et al. ([…] Ausloos, M. […] Andrei, C. L. […] Herteliu, C. […] Pana, A. […], Hay, S.I.) Mapping disparities in education across low- and middle-income countries, Nature, Vol. 577, Issue 7789, 2020, pp. 235-238

Herțeliu, C., Ileanu, B.V., Ausloos, M. and Rotundo, G. Effect of religious rules on time of conception in Romania from 1905 to 2001, Human Reproduction, vol. 30, no. 9, September 2015, pp. 2202-2214

Foto: © Photographerlondon | Dreamstime.com

Dreamstime.com sprijină educaţia din România şi, în contextul pandemiei Covid-19, oferă gratuit imagini stock prin care Edupedu.ro îşi poate ilustra articolele cât mai relevant posibil.