Cinci cercetători specializați în metodologie, economie a educației și științele educației pun sub semnul întrebării rigoarea și utilitatea celor două rapoarte privind literația digitală și științifică finanțate și lansate de UNICEF, făcute de BRIO și promovate de Ministerul Educației și Cercetării drept „diagnostic de sistem”. Lipsa detaliilor despre eșantionare și itemi, utilizarea aproape exclusivă a statisticilor descriptive, praguri stabilite arbitrar și apariția unei fraze specifice modelelor AI într-un document oficial sunt, potrivit experților consultați de Edupedu.ro, probleme serioase care afectează credibilitatea științifică a studiilor și ridică semne de întrebare asupra folosirii lor pentru fundamentarea politicilor publice.
- Reamintim că două rapoarte au fost publicate de UNICEF România pe 4 februarie 2025: „Raportul național privind nivelul de literație digitală al elevilor din România” și „Raportul național privind nivelul de literație științifică a elevilor din România”. Acestea au fost realizate de compania BRIO și au avut sprijinul instituțional al Ministerului Educației și Cercetării. Erau descrise într-un comunicat MEC drept „diagnostic de sistem” esențial pentru fundamentarea politicilor educaționale. Cu toate acestea, Institutul de Științe ale Educației – instituție publică de cercetare și menționată în preambulul acestor documente ca parte din sprijinul metodologic – a transmis la solicitarea Edupedu.ro că nu poate formula un punct de vedere științific asupra metodologiei studiilor, întrucât informațiile și datele complete necesare unei astfel de evaluări nu sunt incluse în rapoartele publicate.
După publicarea celor două raporte pe care Ministerul Educației și Cercetării le-a catalogat inițial despre „diagnostic esențial pentru sistem” cu potențial de fundamentare a politicilor educaționale, Edupedu.ro a solicitat opinia a cinci experți independenți, specializați domeniile metodologiei cercetării, economiei educației, științelor educației și analizei datelor.
Este vorba despre:
- Claudiu Tufiș, conferențiar universitar la Facultatea de Științe Politice a Universității din București, specialist în metodologia cercetării sociale și analiza datelor;
- Ciprian Domnișoru, Assistant Professor of Economics and Data Science la Aalto School of Business – Helsinki GSE, cu cercetări în economia educației și mobilitate socială;
- Dacian Dolean, cercetător și expert în științele educației, afiliat Universității Babeș-Bolyai din Cluj-Napoca;
- Andrei Munteanu, profesor asistent la Université du Québec à Montréal (UQAM), economist specializat în politici publice și analiză cantitativă;
- și Dani Sandu, sociolog, cercetător postdoctoral la University of Fribourg, specializat în metode experimentale și analiză cantitativă în științele sociale.
Opiniile lor vizează în principal problema reprezentativității eșantionului, utilizarea statisticilor descriptive ca bază pentru „diagnostic de sistem”, lipsa de transparență privind itemii și pragurile de competență, precum și implicațiile etice ale utilizării unor formulări specifice modelelor de inteligență artificială în documente prezentate drept fundament pentru politici publice.
Reprezentativitatea și eșantionarea
Claudiu Tufiș, conferențiar la Facultatea de Științe Politice a Universității din București, specializat în metodologia cercetării sociale și analiza datelor, afirmă că informațiile oferite în rapoarte sunt insuficiente pentru a evalua corect reprezentativitatea. „Cu informațiile puse la dispoziție de autori nu pot să spun mare lucru despre eșantionare. Singurele informații disponibile sunt numărul de elevi care au răspuns, numărul de instituții extrase și numărul de instituții/clase care au participat. Raportul ar fi trebuit să includă mult mai multe informații despre eșantionul extras, despre eșantionul rezultat în urma aplicării instrumentelor și ar fi trebuit să includă și o comparație cu distribuția elevilor/instituțiilor de învățământ în populație. Fără aceste date autorii ne cer să îi credem pe cuvânt că eșantionul este bun, și niciodată nu este o idee bună să crezi fără să verifici.”
La o verificare rapidă cu datele INS, Claudiu Tufiș arată că apar discrepanțe regionale și diferențe între cele două rapoarte privind numărul de instituții incluse pe județe. „Nu mi-aș mai fi pus această întrebare dacă rapoartele ar fi inclus informații despre cele două eșantioane.” De asemenea, el semnalează lipsa detaliilor privind selecția claselor și analiza non-răspunsului: „Nu se explică deloc cum anume a fost făcută selecția școlilor și nici cum s-a făcut selecția claselor în interiorul școlilor. Ne vom întreba mereu dacă nu cumva școlile au ales clasele mai bune, pentru a ieși mai bine la testare?”
Andrei Munteanu, profesor asistent la Université du Québec à Montréal (UQAM), specializat în analiză cantitativă și politici publice, nu contestă designul clusterizat în sine, dar atrage atenția asupra limitelor sale: „Eu nu am probleme cu designul clusterizat la nivel de clasă, există metode statistice foarte bine puse la punct pentru a ‘recupera’ reprezentativitatea la nivel național și a trage concluzii despre elevi, în general.” Problema, spune el, este că „nu este foarte clar dacă statisticile descriptive prezentate țin cont de acest ‘clustering’.”
Mai mult, Munteanu subliniază că lipsesc informații despre școlile care au refuzat participarea și despre elevii absenți. „Nu știm mai nimic despre aproape o treime din copii, și aceia cei mai vulnerabili.” El arată că studiul este eventual reprezentativ pentru „copiii care sunt 1) înscriși la școală, 2) înscriși la o școală care ar accepta să participe, 3) care nu sunt absenți în ziua testării. Nu este reprezentativ pentru copiii români, în general.”
Cercetătorul Dacian Dolean, psiholog educațional și expert în alfabetizare afiliat Universității Babeș-Bolyai, explică faptul că relevanța reprezentativității depinde de scopul studiului: „Dacă te întrebi care este performanța elevilor din România și vrei să ai o imagine corectă a lor, atunci trebuie să testezi toți elevii sau să ai un eșantion reprezentativ la nivel național.” În schimb, pentru studii orientate spre identificarea factorilor explicativi, reprezentativitatea națională nu este esențială. Problema apare atunci când nu este clar ce își propune exact studiul și cum sunt utilizate rezultatele.
Ciprian Domnișoru susține la rândul său că „astfel de studii finantate de organizatii internationale au uneori probleme de calitate pentru ca nu se face peer review suficient, nu sunt filtre. Chiar si atunci cand exista peer review, calitatea rapoartelor din multe tari in curs de dezvoltare este slaba, si sunt acceptate analize de calitate modesta, pe principiul „e mai bine decat nimic”, mai ales cand ceea ce conteaza sunt comparatiile internationale, unde tara respectiva e o observatie printre multe altele”.
Statistici descriptive versus fundamentare de politici publice
O temă comună a opiniilor este utilizarea aproape exclusivă a statisticilor descriptive în rapoarte prezentate drept „diagnostic de sistem”.
Dacian Dolean explică diferența dintre statistici descriptive și inferențiale: „Statisticile descriptive fac o raportare minimală, îți dau o imagine de ansamblu asupra performanței generale. Ele nu îți spun de ce elevii nu au luat BAC-ul și ce se poate face ca să se îmbunătățească situația.” În schimb, statisticile inferențiale permit identificarea predictorilor și fundamentarea intervențiilor. „În general, dacă ești expert în științele educației eviți să ieși public și să faci comentarii legate de politici educaționale bazându-te doar pe statistici descriptive,” spune Dolean.
Andrei Munteanu spune la rândul său „Nu este nicio problemă în a avea un raport pur descriptiv drept diagnostic de sistem. Câtă vreme avem un raport de calitate, cu o metodologie corect implementată, un astfel de raport poate fi foarte util. (…) Cu niște rezultate pur descriptive și agregate, nu îmi e foarte clar ce putem face.” Totuși, el subliniază că utilitatea depinde de transparența instrumentelor și de calitatea implementării.
Transparența metodologică, itemii și pragurile
Toți experții remarcă lipsa de informații privind itemii, blueprint-urile testelor, validitatea și fidelitatea instrumentelor și definirea pragurilor de competență.
Claudiu Tufiș afirmă: „Pot înțelege de ce o companie privată nu vrea să dezvăluie instrumentele folosite. Dar acesta este și unul din dezavantajele pe care le ai când soliciți ca astfel de diagnoze de sistem să fie realizate de companii private. De la un punct nu mai ai acces la metodologie și trebuie să crezi pe cuvânt compania respectivă. Aceasta intră în contradicție cu cerința ca toate etapele cercetării să fie transparente și să poată fi replicate.”
El consideră că în raport „categoriile menționate (risc/tranziție/funcționalitate) sunt insuficient descrise” și că valoarea analitică a pragurilor este redusă, mai ales dacă acestea au fost stabilite arbitrar și comunicate prin scoruri centilă, fără claritate privind scorurile brute.
Dacian Dolean precizează că în niciunul dintre cele două rapoarte „nu există informații esențiale care să ajute un profesor, un director, un inspector sau un ministru să ia o decizie corectă. Nimeni nu știe cum arată niște itemi care indică o funcționalitate limitată vs. o funcționalitate bună, în ce măsură sunt asociați acești itemi cu programa școlară.” El afirmă că, în acest context, „îmi este greu să văd utilitatea acestor rapoarte.”
Dani Sandu, cercetător postdoctoral la University of Fribourg, specializat în metode cantitative, atrage atenția și asupra lipsei discuției privind eroarea statistică: „Nu există cercetare cantitativă fără eroare. Faptul că raportul a fost scris integral fără a se discuta măcar de eroare arată o lipsă majoră de profesionalism.” El consideră că marja de eroare comunicată ulterior de UNICEF la solicitarea Edupedu.ro este „cel mai probabil calculată greșit, pentru că nu reflectă nivelul de eșantionare al colectării de date (școala), ci un nivel de analiză al elevului.”
Utilizarea AI și integritatea demersului
În raportul de literație științifică a apărut inițial formularea „Dacă dorești, pot integra aceste interpretări într-o secțiune sintetică pentru raport”, ulterior eliminată, după ce Edupedu.ro a scris despre subiect. Nu a existat nicio precizare pe site-ul UNICEF sau în dreptul rapoartelor despre eventuale modificări în rapoarte.
Dani Sandu consideră că „fraze precum aceasta sunt un semnal de alarmă masiv pentru fraudă intelectuală făcută cu copy/paste din feed-ul LLM-ului.” El precizează că utilizarea LLM-urilor ca instrument de sprijin nu este problematică în sine, dar „copy/paste al unui output de LLM arată faptul că cercetătorul a exportat complet rolul său științific, ceea ce corespunde fraudei intelectuale.”
Dacian Dolean afirmă că astfel de indicii „mi se par grave nu doar că decredibilizează profesionalismul și seriozitatea autorilor dar și a instituțiilor publice.” El subliniază că, în lipsa transparenței, „suspiciunile anulează valoarea oricărei concluzii.”
„Legat de faptele pe care le-ati semnalat care sugerează că autorii ar fi folosit AI și copy-paste în redactarea rapoartelor mi se par grave nu doar că decredibilizează profesionalismul și seriozitatea autorilor dar și a instituțiile publice din România, în contextul în care încrederea instituțională este atât de slăbită. În plus, faptul că aceste rapoarte care se doresc a fi ghiduri pentru politici educaționale relevante pentru alfabetizarea funcțională din România nu au autori specializați în științele educației, în politici educaționale și nici în alfabetizare funcțională. Deci lipsa expertizei pe domeniu nu face altceva decât să perpetue această neîncredere. Această problemă este gravă din păcate, mai ales în contextul dezvăluirilor din presă care arată problema plagiatelor din România și care îi fac pe mulți români să creadă că institiuțiile statului și mediul academic din România sunt pline de impostori. Pur și simplu afectează negativ imaginea celor care au rezultate științifice relevante în acest domeniu. În plus, faptul că aceste erori s-au corectat ulterior fără asumarea publică, transparentă a greșelilor este și mai suspicios și te face să te întrebi dacă există ceva corect în aceste rapoarte. În lipsa unui demers transparent și a publicării transparente a datelor, publicul trebuie să aibă încredere totală că acele date au fost analizate corect. Însă atunci când apar suspiciuni referitoare la integritatea demersului, aceste suspiciuni anulează valoarea oricărei concluzii”, scrie Dacian Dolean în analiza sa.
Ciprian Domnișoru, profesor la Aalto School of Business – Helsinki GSE, specializat în economia educației, consideră că „este clar din fragmentul cu chatGPT că autorii raportului nu au depus mare efort.” El adaugă că, în astfel de contexte, „se merge înainte cu conferințe de presă, broșuri lucioase, prezentări drept ‘diagnostic de sistem’.” Totuși, el arată că datele colectate ar putea avea utilitate dacă ar fi puse la dispoziție cercetătorilor: „Pot indica problema la nivel de școală, pot fi corelate cu notele elevilor, anumiți itemi pot reflecta probleme de curricula.”
Acesta scrie că „pe termen lung, în ciuda calității „chatgpt” a raportului, persoane interesate ar putea folosi acest efort. Sper ca demersul dumneavoastră să clarifice dacă datele respective sunt disponibile și să clarifice și problemele de eșantionare sau de itemi de care alte persoane interesate s-ar putea lovi pe viitor. Autorii studiului ar fi cei mai în măsură să clarifice aceste aspecte – mai ales că pot să vă răspundă folosind chatgpt.”
Politici publice și utilizarea rapoartelor
Întrebați dacă astfel de rapoarte pot sta singure la baza unor politici publice, experții sunt rezervați.
Dani Sandu afirmă că folosirea lor pentru decizii pe termen mediu sau lung este „extrem de problematică”, deoarece „validează o cercetare ce nu respectă norme și așteptări etice și științifice moderne.”
Andrei Munteanu spune că „nu singure, dar pot fi utile”, însă subliniază nevoia de acces la microdate și de colaborare între stat și cercetători. „Într-o țară dezvoltată, riscurile pot exista, deși acolo, cei implicați în politici publice care ar citi un astfel de raport – sau consilierii lor – ar fi capabili să își dea seama care sunt limitele raportului și ar avea probaibl la îndemână și alte surse de date. Într-o țară, unde, ipotetic vorbind, sunt tot felul de rubedenii, amatori bine intenționați dar depășiți de situație, impostori și plagiatori la butoane – Dumnezeu cu mila! Însă ne consolăm că măcar în țări ipotetice de acest gen, „evidence-based public policy” este oricum numai un buzzword care sună frumos”, precizează Munteanu.
Claudiu Tufiș notează că, în România, „de cele mai multe ori deciziile se iau fără nici un suport empiric. Din acest punct de vedere, este un pas înainte că se gândesc să folosească aceste rapoarte.” Dar, adaugă el, „rapoartele au mici probleme care ar trebui clarificate și rezolvate înainte de a fi folosite ca bază pentru politici educaționale.”
Dacian Dolean susține că „în științele educației raportarea rezultatelor unui studiu cantitativ se poate face folosind statistici descriptive sau statistici inferențiale. Statisticile descriptive fac o raportare minimala, de baza, îți dau o imagine de ansamblu asupra performanței generale ale participanților la studiu. E ceea ce învață studenții în primul an de statistica. De exemplu, observăm că 50% dintre elevii din clasa a XIIA nu si-au luat BAC-ul sau ca media notelor la BAC pe o anumită școala e de 7,84. Statisticile descriptive au o relevanță foarte mică pentru implementarea de politici educaționale deoarece ele nu îți ofera suficiente informații pentru a formula ipoteze solide sau pentru a face generalizari. Ele nu îți spun de ce elevii nu au luat BACul și ce se poate face ca să se îmbunătățească situația. În general, dacă ești expert în științele educației eviti să ieși public și să faci comentarii legate de politici educaționale bazându-te doar pe statistici descriptive”.
Mihai Maci
R.P.
Vasile Brasovanu
Redacția
Mircea Bertea