Pilotarea programelor educaționale explicată pas cu pas (sau ce ar fi bine să înțeleagă dl Szekely că înseamnă pilotare educațională) – cercetătorul Dacian Dolean

Am citit interviul acordat Edupedu.ro de dl Szekely în care a discutat despre pilotarea care începe în școlile din România în această toamnă. Din acest interviu înțeleg că la nivelul ministerului există încă multe neclarități legate de rolul pilotărilor în școli și de modul în care trebuie să se implementeze acestea. Mai jos am să descriu câțiva pași simpli, dar necesari oricărei pilotări care se dorește relevante pentru politicile educaționale adoptate în România.

Pasul 1. Conceptualizarea clară a unei viziuni (ex. dorim ca majoritatea populației din România să poată înțelege măcar un text scris la un nivel de clasa a 8-a), identificarea unor nevoi de dezvoltare (ex. alfabetizarea elevilor din clasele primare și gimnaziale trebuie îmbunătățită) și a unor obiective (ex. scăderea ratei de analfabetism funcțional de la 45% la sub 10% în următorii 10 ani, măsurată prin testul PISA). Responsabilitatea acestui pas îi revine Ministerului Educației (ca entitate de management a educației din Romania), nu școlilor care vin cu propuneri de pilotare (așa cum se întâmplă acum).

Ca să fie mai ușor de înțeles, am să fac o analogie: Un profesor competent știe să urmeze o programă școlară (care stabilește viziunea), știe să își evalueaze elevii la începutul anului școlar (pentru identificarea nevoilor de dezvoltare) și știe să își stabilească niște obiective fezabile pentru a răspunde nevoilor de dezvoltare ale elevilor, corelate cu programa școlară. Acest profesor dovedește calități manageriale bune, deoarece știe de unde pornesc elevii și unde trebuie să ajungă.

În schimb, un profesor slab pregătit se duce în fața elevilor și îi întreabă: “Voi ce vreți să învățați astăzi?”. În cazul acesta, puțini elevi vor ridica mâna să spună ce vor să învețe, pentru că nu e treaba lor. Nu ei sunt managerii clasei. Nu ei stabilesc agenda zilei. În consecință, nu e normal să ne mirăm că sunt puțini elevi care participă la oră, așa cum nu e normal să ne exprimăm dezamăgirea că sunt atât de puține școli care și-au exprimat dorința să participe la pilotare. Pilotarea nu trebuie să înceapă întrebând școlile: ”Voi cam ce ați vrea să pilotați inovativ anul acesta?”, ci e nevoie de un plan riguros de pilotare, bazat pe dovezi științifice.

Pasul 2. Crearea și pilotarea instrumentelor de evaluare cantitativă cu care monitorizăm progresul elevilor

Rolul evaluării programului pilot este crucial pentru a stabili eficiența sa. Se pare că acest aspect este subestimat de dl Szekely, care a declarat că pilotările vor avea: a) o evaluare predominant calitativă, b) că evaluarea cantitativă va fi făcută de către profesorii de la clasă, prin note, c) și că evaluările cantitative sunt longitudinale și sunt dificil de implementat deoarece durează prea mult timp. Aceste declarații sugerează numeroase probleme de înțelegere a științelor din spatele oricărui demers educațional.

În primul rând, dacă vrem să stabilim o relație de cauzalitate (pilotarea a generat un efect), evaluarea trebuie să fie cantitativă, nu calitativă. Nu poți pretinde că ai pilotat un program și că ai măsurat impactul pe baza interviurilor cu profesorii. Impactul sugerează o relație de cauzalitate, care nu se poate stabili prin interviuri.

În al doilea rând, evaluarea cantitativă a unui program trebuie făcută de evaluatori externi, în niciun caz de profesorii de la clasă. În mod normal, profesorii nici nu ar trebui să aibă acces la aceste teste.

În al treilea rând, dl Szekely nu și-a pus problema lipsei instrumentelor de evaluare standardizate. Hai să mai fac o analogie, să înțelegem problema mai bine. În majoritatea țărilor civilizate se folosesc instrumente de măsură standardizate care pot evalua cu precizie lungimea (ex. liniarul), greutatea (ex. cântarul de bucătărie) sau temperatura (ex. termometrul). În schimb, în unele țări mai puțin avansate, lungimea se măsoară cu pasul sau cu palma. Dacă instrumentele nu sunt standardizate, e neclar ce înseamnă 10 pași (pentru că pasul meu poate fi diferit de pasul vecinului). Spre deosebire de multe alte țări civilizate, în România încă suntem departe de a măsura standardizat performanța școlară a elevilor. Nota 7 la o școală de top nu este întotdeauna echivalentă cu nota 7 la o școală modestă.

În al patrulea rând, instrumentele de evaluare trebuie pilotate înainte de a fi folosite, pentru a se vedea în ce măsură sunt valide (măsoară ce își propun să măsoare) și fidele (de exemplu, dacă aplicăm o formă paralelă a aceluiași test, vom obține rezultate similare?). În ciuda declarațiilor d-lui Szekely, am dubii că există mulți profesori care sunt pregătiți să dezvolte instrumente educaționale cu un grad mare de validitate (ex. câți știu diferența dintre validitatea de conținut și validitatea de construct?), sunt pregătiți să evalueze și să raporteze coeficienții de validitate și fidelitate, și să aibă la dispoziție softuri de analiză statistică pentru validarea acestora. Oricum nu e treaba profesorului să facă asta, ci a celor responsabili cu implementarea pilotărilor.

În final, dl Szekely, se pare că el confundă studiile longitudinale cu studiile experimentale. Hai să lămuresc diferența: Studiul longitudinal presupune urmărirea elevilor pe parcursul unei perioade mai lungi de timp, fără a interveni asupra lor (cu excepția testării lor la diferite intervale de timp). Studiul experimental (cum este cazul pilotărilor de bună calitate), se referă la împărțirea elevilor în două grupe și implementarea unui program de intervenție asupra uneia dintre acestea (grupa experimentală) în timp ce cealaltă grupă (de control) nu beneficiază de nicio intervenție. Studiul experimental (care arată impactul unui program) nu trebuie să fie de lungă durată (ani de zile), așa cum a declarat dl Szekely. De exemplu, studiul prin care am măsurat efectul temei pentru acasă a durat 6 săptămâni și rar există studii experimentale care să dureze mai mult de un an de zile.

Pasul 3. Eșantionarea școlilor

Acest pas este crucial și are un rol fundamental în demersul întreprins. Nu pilotăm de dragul de a pilota, ci pilotăm pentru a generaliza potențialele rezultate pozitive obținute și pentru a le aplica la alte școli similare din punct de vedere al compoziției demografice. Dacă nu facem asta, atunci de ce mai pilotăm? Din declarațiile d-lui Szekely reiese că generalizarea rezultatelor nu este un aspect important în pilotarea care are loc în România. Această idee este complet greșită.   

Având în vedere rolul esențial al generalizării rezultatelor, este foarte important ca selecția școlilor să fie stratificată și reprezentativă, pentru a ne asigura că includem în eșantion școli reprezentative pentru întreaga populație școlară din România. De aceea este esențial ca selectarea școlilor să fie făcută pe criterii de reprezentativitate (nu în funcție de inițiativele lor).

Pasul 4. Selectarea și/sau crearea programelor pilot

În acest pas, se identifică potențiale metode, strategii, conținuturi educaționale sau diferite abordări despre care se presupune că ar genera efectul pozitiv dorit. Peste tot în lumea civilizată se aleg strategii care sunt “evidence-based”, adică strategii a căror eficiență a fost dovedită științific. Pentru asta ai nevoie de specialiști care să citească literatura de specialitate și care ar trebui să colaboreze cu cadrele didactice pentru a veni cu un proiect clar conturat. Nu e normal să te aștepți ca școlile să vină cu programe pe care le numesc inovative, dar care ulterior se dovedesc că au avut efecte negative asupra elevilor. Nu tot ce e inovativ e benefic. Elevii nu trebuie să fie cobaii nimănui, și pentru a ne asigura că avem respect față de elevi, trebuie să avem dovezi științifice că schimbările propuse au potențialul de a produce efecte pozitive.

În științele educației, înainte de a face studii pilot (programe de intervenție), se fac analize corelaționale. Aceste analize îți permit să identifici factorii care au probabilitatea cea mai mare să producă efectul dorit (așa cum am făcut în studiile pe care le-am publicat în trecut), iar când organizezi un program de intervenție (sau pilotare) știi sigur că este benefic elevilor. De multe ori, dacă ți-ai făcut bine ”tema pentru acasă”, întrebarea pe care ți-o pui nu va fi dacă va avea efect programul, ci cât de mare va fi efectul. De aceea România are nevoie de specialiști în științele educației.  

Pasul 5. Identificarea și izolarea variabilelor confundate

Performanța școlară a elevilor depinde de foarte mulți factori (inclusiv genetici și de mediu), însă se pare că aceste aspecte sunt subestimate atunci când s-a discutat de impactul programului pilot asupra unei școli cum ar fi Colegiul ”Lazăr”. Nu ai cum să măsori efectul pilotării dacă nu culegi date referitoare la numărul de ore pe care elevii le petrec luând meditații în afara școlii (în cazul unei școli de top) sau numărul absențelor (în cazul unor școli defavorizate), și să le controlezi statistic. Înțelegerea acestor aspecte este crucială interpretării rezultatelor.

Sper că pilotările care vor avea loc în anii următori vor lua în considerare aceste aspecte.    

________

Despre autor

Dacian Dolean este psiholog educațional, specializat în dezvoltarea limbajului și a alfabetizării timpurii. Are o experiență de peste 20 de ani ca profesor de învățământ primar, gimnazial, liceal și universitar în România și în SUA. Activitatea sa din ultimii ani s-a axat pe cercetare în domeniul alfabetizării și pe activități de formare a profesorilor din învățământul primar din SUA.

În prezent, este afiliat Universității Babeș-Bolyai ca director al unui proiect de cercetare care urmărește dezvoltarea alfabetizării copiilor din România, finanțat de EEA Grants. De asemenea, este membru în comitetul editorial al publicației Journal of Literacy Research.