Elevii români care au participat la testele de literație digitală oferite gratuit de platforma de testare standardizata Brio tind să stea mai bine, în cazul competențelor digitale, în domenii precum siguranța sau căutarea, filtrarea și administrarea datelor în medii digitale și mai puțin bine când vine vorba despre comunicarea pe net, crearea de conținut și rezolvarea de probleme. Raportul făcut la 7 luni de la lansarea instrumentului de testare, pe baza răspunsurilor unor elevi care au dorit să participe la testări specializate, a fost făcut public săptămâna aceasta. Deși nu este reprezentativ pentru populația de elevi a țării, cu atât mai puțin pentru întreaga populație, raportul a fost prezentat într-un eveniment numit “Starea națiunii: Nivelul literației digitale în România”. Documentul include cifre reprezentative pentru participanții la testare, dar și câteva date care pot fi utile în diverse analize, anume datele care sugerează unele tendințe cu privire la competențele digitale ale elevilor.
Raportul menționează clar, textual, lipsa de reprezentativitate pentru copiii și adolescenții din România. Cu toate acestea, documentul a fost prezentat, într-un eveniment organizat miercuri, drept unul relevant pentru a arăta “nivelul literației digitale în România”, pe grupa de vârstă 6-18 ani.
- Date-cheie din raport sunt folosite pentru a susține, contrar limitărilor declarate în textul documentului, că este vorba despre reprezentativitate la nivel național și despre valori valabile la nivel de țară. Printre acestea, “scorul mediu al literației digitale” sau procentul care ar indica “rezervorul de talente pe care îl vor avea angajatorii din România”.
“Raportul privind nivelul de literație digitală a elevilor din România” este întemeiat pe o bază de date formată din 3.000 de aplicări valide ale testului de literație digitală, efectuate gratuit de către elevi din clasele I-XII, pe platforma Brio. Documentul precizează că “nu este un eșantion probabilistic și nu clamează reprezentativitate – este extras din rândul elevilor care au fost evaluați, din dorința proprie sau din dorința părinților sau profesorilor, cu testul de literație digitală”. Un „eșantion de conveniență”. Cu toate acestea, documentu a fost lansat în cadrul unui eveniment numit “Starea Națiunii: Nivelul Literației Digitale în România”, în prezența a doi miniștri (al Culturii, Sorin Cîmpeanu, respectiv al Cercetării, Inovării și Digitalizării, Sebastian Burduja) și al altor invitați, parteneri ai Brio sau din mediul politic și academic.
Amintim că Brio a fost selectată de către ministrul Educației, în urmă cu două săptămâni, fără procedură de licitație sau criterii transparente, ca partener, pentru pilotarea testării standardizate care începe pe 30 mai. Testele ar fi puse gratuit la diszpoziție, împreună cu platforma, pentru aceste evaluări.
- În cadrul acelui eveniment, în care a fost făcut anunțul ministrului despre plasarea testării la compania privată care vinde teste școlare pe bază de abonament, a fost prezentat un alt raport Brio – Raportul național de literație. Deși în conferință s-a vorbit despre procentul de analfabetism funcțional la nivelul elevilor din România și despre date defalcate pe clase, regiuni și sexe, într-un interviu pentru Edupedu.ro autorul raportului, profesorul universitar Dragoș Iliescu, managing partner și chief science al firmei Brio, a declarat: „Cu datele acestea nu ai ce politică publică să faci”, iar despre eșantion a spus abia după eveniment că a fost unul de conveniență, „nu zicem nicăieri că este reprezentativ”.
Revenind la „Raportul privind nivelul literației digitale a elevilor din România”, datele care prezintă tendințe, dintre cele incluse în raport, pot fi relevante, în condițiile în care datele colectate s-au bazat pe teste completate proactiv de către câteva mii de elevi, iar realizatorii precizează că “s-au făcut toate eforturile pentru ca structura eșantionului să reflecte în mod echilibrat cel puțin la nivel univariat și bivariat structura pe vârstă, sex și regiune geografică a populației de școlari din România.”
Care sunt tendințele indicate de raport
Documentul compară scorurile medii înregistrate de participanți la cele cinci arii de competență digitală, stabilite prin Cadrul de Competențe Digitale aplicat la nivelul UE (DigComp).
Astfel, se remarcă scoruri reduse în cazul a trei arii de competență și scoruri mai ridicate la două dintre acestea. Fiecare dintre acestea prezintă rezultate diferite pentru diversele componente ale competențelor.
Rezultate peste scorul mediu se înregistrează în cazul Literației Informaționale și a datelor, care se referă la căutarea, evaluarea și folosirea datelor, respectiv în cazul competențelor referitoare la Siguranță. Elevii români prezintă, în medie scoruri mai slabe în cazul competențelor de Comunicare și Colaborare, Creare de conținut Digital (cele mai reduse scoruri), respectiv Rezolvarea de probleme.
În cazul Literației Informaționale și a datelor, elevii au scoruri bune când vine vorba despre navigare, căutare și filtrare de date și conținuturi, precum și la evaluarea acestora. Când este vorba despre administrarea acestor date, (Gestionarea datelor, a informațiilor și a conținutului digital), competențele lor sunt mai reduse.
În cazul celei de-a doua competențe unde elevii stau “pe plus”, siguranța, rezultatele sunt peste scorul mediu în cazul a trei componente (protecția aparatelor digitale, a datelor personale, a sănătății și stării de bine) și sub scorul mediu la capitolul Protecția mediului.
Rezultatele la celelalte trei competențe sunt, de obicei, trase în jos de o parte dintre componentele lor. Astfel:
- În cazul comunicării și colaborării, elevii români au rezultate peste scorul mediu când vine vorba despre interacțiuni digitale, despre distribuirea de conținut și mai ales despre netichetă. Dar rezultatele sunt mult sub scorul mediu când vine vorba despre implicare civică prin tehnologii digitale și despre gestiunea identității digitale, rezultate sub medie fiind raportate și în cazul colaborării cu ajutorul tehnologiilor.
Situația e mult mai dezechilibrată în cazul creării de conținut digital. Aici, elevii au scoruri peste medie la capitolul privind Dezvoltarea de conținut digital, dar sub medie la toate celelalte componente: Integrarea și reelaborarea, programarea și – cel mai slab scor – drepturile de autor și licențe.
În privința competenței referitoare la Rezolvarea de probleme, elevii români au rezultate peste scorul mediu când vine vorba să rezolve probleme tehnice, înregistrează scor mediu în cazul Identificării nevoilor și soluțiilor tehnologice, dar au rezultate mai slabe la capitolele privind Utilizarea creativă a tehnologiei digitale și Identificarea propriilor limite de competență.
Mai puțin relevantă din punct de vedere al reprezentativității, dar sugestivă ca tendință, este ponderea elevilor considerați nefuncționali la fiecare dintre aceste competențe.
Cele trei trepte de dezvoltare folosite de Brio pentru această evaluare sunt: nefuncțional (scoruri cuprinse între 0-50), minim funcțional (scoruri cuprinse între 50-75), respectiv funcțional (scoruri între 75-100). Folosind aceste referințe, elevii din eșantion înregistrează un nivel nefuncțional în proporție de:
- 18% – pentru întreaga evaluare de literație digitală
- 15% – pentru Literația informațională și a datelor
- 24% – pentru Comunicare și colaborare
- 21% – pentru Crearea de conținut digital
- 22% – pentru Siguranță
- 18% – pentru Rezolvarea de probleme
La nivelul eșantionului folosit, coroborând aceste date cu cele privind punctele slabe și tari pentru fiecare competență, reiese că acele componente referitoare la colaborare, implicare civică sau gestionarea identității digitale ridică cele mai mari probleme dintre toate componentele acestor competențe, aproape un sfert din totalul elevilor participanți având scoruri sub pragul la care sunt declarați minim funcționali.
De notat, însă, că cele mai multe dintre capitolele “slabe” – de la implicare civică identificarea propriilor limite de competență – vizează competențe care se dezvoltă pe parcurs. Or, acest raport se bazează pe date coroborate de la elevi de toate vârstele, chit că remarcă o curbă ascendentă clară a literației digitale, pe măsură ce elevii înaintează în vârstă, de la un minim înregistrat la vârsta de 6 ani la un maxim în cazul tinerilor de 18 ani.
Semne de întrebare în privința unor rezultate-cheie
În pofida acestei îmbunătățiri de parcurs, raportul stabilește un scor mediu total, de 65,93 de puncte, ce “reflectă un nivel mediu minim funcțional al competențelor digitale”. Raportul susține că acest scor este valabil “pentru populația școlară evaluată”, dar extrapolează – fără bază de reprezentativitate – la întraga populație de elevi din România:
- “Putem spune, așadar, că în medie elevii claselor I-XII cu vârsta cuprinsă între 6 și 18 ani din România utilizează tehnologia suficient de bine încât să o facă pe cont propriu, fără să fie ghidați, în cazul unor sarcini bine definite (adică atunci când știu exact care trebuie să fie rezultatul, cum ar fi trimiterea unui e-mail sau aflarea unei informații specifice). Acest scor plasează în medie elevii din România la aproximativ 16 puncte peste nivelul nefuncțional al literației digitale (cuprins între 0-50) și la 10 puncte sub nivelul deplin funcțional al literației digitale (cuprins între 75-100).”
Tot în pofida lipsei de reprezentativitate și a faptului că datele indică o îmbunătățire constantă a competențelor digitale, de la școala primară până în liceu, același raport susține că ponderea elevilor funcționali din punct de vedere digital (scoruri de 75-100) ar fi relevantă pentru piața muncii: “Procentul elevilor din intervalul de vârstă 6-18 ani încadrați la un nivel înalt funcțional al literației digitale este doar de 25%, acesta fiind (la acest moment) rezervorul de talente pe care îl vor avea angajatorii din România în vederea generării performanței și productivității digitale.”
Documentul nu precizează cum au fost stabilite competențele și cadrul de evaluare pentru fiecare categorie de vârstă, de la 6 ani (când mulți copii abia învață să scrie și să citească) la ultimul an de liceu. Nu este limpede care sunt diferențierile pe criterii de vârstă, dacă există, în cadrul fiecărui ciclu – școala primară, gimnaziu, liceu.
Raportul integral (informații despre eșantion, metodologie și comentariile autorului, mai jos):
Despre eșantion și metodologie, potrivit raportului:
- Instrumentul de măsurare a literației digitale în rândul elevilor din România a fost dezvoltat în parteneriat cu UiPath Foundation.
- Testele Brio de literație digitală sunt teste digitale standardizate.
- Evaluarea competențelor digitale în cadrul testelor Brio este realizată cu trei tipuri diferite de itemi: itemi de auto-evaluare a competenței; itemi de cunoștințe; itemi legați de frecvența de manifestare a unui comportament.
- Raportul de față se bazează pe o bază de date totală compusă din 3.000 de aplicări valide ale testului de literație digitală de către elevii claselor I-XII, rezultatele acestuia fiind prezentate pe trei straturi: (1) în funcție de vârstă, (2) în funcție de sex și (3) în funcție de 8 regiuni de dezvoltare:
- Elevii participanți au fost evaluați din dorința proprie sau din dorința părinților sau profesorilor. Unii au completat versiunea scurtă, alții versiunea extinsă, ce analizează tot calupul de competențe din cele 5 categorii-cadru, timpul de rezolvare fiind cuprins între 30 minute și 4h și 12 minute, alocat automat în funcție de nivelul clasei, Dee numărul și tipul unităților de evaluare selectate.
O comparație cu rapoartele Google
Profesorul universitar Dragoș Iliescu, managing partner Brio și co-autor al raportului privind Literația digitală, a spus, la conferința de lansare de miercuri, că datele “sunt incomplete, sunt imperfecte, cum sunt de altfel toate datele, dar ele ne ajută să ne construim o imagine”. El a accentuat că sunt puse la dispoziție gratuit. Și, referindu-se la problema reprezentativității, el a făcut o comparație cu “raportul SEO” publicat anual de Google: “Nimeni nu zice: da e reprezentativ ce ne dă Google?”
Dragoș Iliescu, la conferința de lansare a raportului:
- “Datele sunt incomplete, sunt imperfecte, cum sunt de altfel toate datele, dar ele ne ajută să ne construim o imagine. cu fiecare piesă de puzzle pe care cineva o pune pe masă, construiește o imagine mai bună, mai vibrantă a problemei focale.(…) Sunt date naturale, care apar în utilizarea normală, naturală a serviciului pe care îl pui la dispoziție publicului în mod gratuit. Dacă ai zeci de mii de astfel de aplicări pe an, cum să nu ieși cu un raport o dată pe an și să spui: asta ne arată cifrele, așa cum sunt ele. Asta se întâmplă în foarte multe companii din zona digitală, care sunt fundamental data-driven. O dată pe an Google iese cu raportul SEO, în care spune ce termeni au apărut, unde s-au dus, care este eficiența lor și așa mai departe. Nimeni nu zice: dar e reprezentativ ce ne dă Google? Nici nu-și pune cineva problema: dar cine sunt oamenii din spate, dar sunt distribuiți pe regiuni geografice, cum trebuie, pe vârste? Sunt date naturale care apar și pe care compania respectivă le poate ține la piept – și ele sunt valoroase, pentru că poți să joci în piață mai bine, având datele respective – dar își vede o misiune și din a pune aceste date pe masă pentru a servi ecosistemului din care și ei fac parte. Deci din punctul acesta de vedere, orice date sunt bune. Și din punctul acesta de vedere da, noi ne vedem o misiune în pune astfel de date pe masă – din punctul acesta de vedere așteptați-vă să vedeți o dată pe an un astfel de raport”.”
Evenimentul de lansare a raportului, integral:
Foto: © Rawpixelimages | Dreamstime.com / Dreamstime.com sprijină educaţia din România şi, în contextul pandemiei Covid-19, oferă gratuit imagini stock prin care Edupedu.ro îşi poate ilustra articolele cât mai relevant posibil.