INTERVIU Ce metode de copiat au încercat finaliștii la Olimpiada digitală de matematică și cum au fost prinși, cu un instrument de proctoring bazat pe Inteligență Artificială. Gabi Bartic, Brio: Ar trebui început lucrul la un cadru care să reglementeze acest gen de competiție online

Prima olimpiadă digitală de matematică din România, Brio Challenge, a avut 320 de elevi finaliști din clasele II-XII, dintre care aproximativ 8-10% au fost descalificați în urma unor suspiciuni de fraudă. Cum au încercat să copieze olimpicii și cum au fost identificate tentativele nativilor digitali de a-i păcăli pe organizatori? Cu „mai multe browsere, multiple programe care rulau în paralel, multiple sesiuni logate în dashboard-ul contului unde urmăreau în timp real impactul fiecărui răspuns asupra scorului”, a explicat pentru Edupedu.ro în cadrul unui interviu directorul de operațiuni și al Diviziei Consumer Brio, Gabi Bartic.

• Următoarea ediție a olimpiadei de matematică Brio Challenge se va desfășura în luna aprilie 2021; în semestrul 1 și semestrul 2 al anului școlar viitor se va organiza „setul 2” al Brio Challenge

Tehnologia folosită de companie pentru supervizarea digitală (proctoring) a Olimpiadei de matematică Brio s-a bazat pe detecție asistată de Inteligență Artificială, care a monitorizat activitatea elevilor.

„Concluzia noastră e că ar trebui măcar început lucrul la construcția unui cadru care să reglementeze inclusiv acest gen de competiție online: un cadru etic acceptat de toți organizatorii de competiții online și un set de sancțiuni pentru deraierea din acest cadru. S-au vehiculat multe idei, poate e cazul să ne așezăm la o masă și să le și scriem”, a declarat Gabi Bartic, COO și Director al Diviziei Consumer Brio, specialist în marketing, advertising și comunicare digitală, manager cu o experiență de peste două decenii în multiple industrii. Bartic face parte din echipa Brio din 2019.

Rep: Care au fost metodele de proctoring folosite la Brio Challenge (cum v-ați asigurat că ei nu copiază)?

Gabi Bartic: Pentru Brio Challenge am folosit ObservED, un instrument de proctoring multimodal dezvoltat de Tremend și bazat pe detecție asistată de Artificial Intelligence care monitorizează activitatea concurenților și certifică validitatea scorului obținut. Ca să ies din formulări tehnice, am urmărit ca, în etapa finală, participanții să nu folosească alte tab-uri deschise în browser, alte browsere, alte programe care să se afișeze peste fereastra de browser în care se desfășura testul, să aibă camera web pornită astfel încât să putem analiza atât comportamentul copilului cât și faptul că e sigur în cameră, că nu discută cu altcineva etc. Și nu în ultimul rând, că nu folosesc alte device-uri în plus față de cel pe care dau testul (telefon, calculator de birou, tabletă, căști etc). Am verificat de asemenea că nu au existat mai multe sesiuni logate în același cont simultan.

Rep: Ați avut testeri în procesul de organizare și de aplicare a filtrelor anti-copiat?

Gabi Bartic: Am testat soluția atât intern, cât și împreună cu partenerii noștri de la Tremend. Am avut, de asemenea, cu 3 zile înainte de concursul efectiv, un interval în care toți concurenții au fost invitați să parcurgă un test simplu, pentru a vedea că toate componentele soluției noastre sunt funcționale. Acela a fost de fapt și momentul în care s-au „calibrat” cele mai multe modalități de a fenta sistemul. De extrem de mare ajutor ne-au fost și participanții înșiși care ne-au sugerat multiple modalități în care – credeau ei – sistemul poate fi păcălit. E evident, nu ne-am gândit la toate, niciun sistem nu e infailibil, însă noi spunem că am prevenit multe dintre aceste modalități de a ocoli regulile simple ale competiției care, dacă mă întrebați, pot fi sumarizate într-o propoziție simplă: să intri în concurs bazându-te EXCLUSIV pe știința proprie de matematică.

Rep: Câți elevi ați identificat că au copiat sau au încercat să copieze și cât înseamnă ei, procentual, din total?

Gabi Bartic: Am avut aproximativ 8-10% dintre sesiunile de concurs din faza finală descalificate. Nu pot afirma despre toate aceste sesiuni ca au fost fraudate, nu avem date suficiente și oricât ne-am strădui, nu le putem aduna. Am descalificat, de pildă, câțiva concurenți pentru că au purtat căști. Cel mai probabil că lor li s-a părut un exces din partea noastră. Noi nu avem însă date pentru a afirma fără nici cel mai mic dubiu că în căști copilul avea muzică sau nimic. Și am decis că, neputând afirma acest lucru, mai bine nu admitem acele scoruri în clasament. Ce vreau să transmit aici este următorul lucru: Brio și-a propus să schimbe felul în care se face evaluarea elevilor la școală, pe baze corecte și imparțiale. Așadar, oricând vom avea o suspiciune asupra modului în care s-a obținut un scor, îl vom exclude. Nu putem să ne asumăm și să fim arbitri imparțiali, dar și să „închidem ochii” în fața unor comportamente aparent benigne dar care pot oricând fi și altfel.

Rep: Care au fost metodele prin care au încercat să fraudeze finaliștii primei olimpiade digitale de matematică?

Gabi Bartic: Metodele sunt toate la care ne-am putut gândi noi: mai multe browsere, multiple programe care rulau în paralel, multiple sesiuni logate în dashboard-ul contului unde urmăreau în timp real impactul fiecărui răspuns asupra scorului. Au existat și metode defel rafinate, cum ar fi părăsirea scaunului din fața computerului, mai multe persoane în cameră, una sau două persoane care au schimbat locurile în fața camerei etc. N-aș petrece prea mult timp listându-le, pentru niciun organizator de competiție nu e o bucurie să descalifice concurenți. Ce m-aș strădui însă e să avertizăm asupra următoarelor aspecte: din ce în ce mai multe competiții vor fi organizate în fața computerului, fie că vorbim de pandemie sau nu. Aceea este direcția în care mergem. Așa cum în sala de clasă sau pe stradă sau oriunde nu e ok să încerci să ocolești regulile (ca să mă exprim lax), la fel e și în fața ecranului. Ne trăim viețile din ce în ce mai mult în fața ecranelor, facem în diverse ferestre din computer lucruri la care nici nu ne gândeam înainte, legile – scrise sau nescrise – sunt în egală măsură valabile în interacțiunile față-către-față cum sunt și în interacțiunile de pe internet. Firește, la fel sunt și revelațiile

Rep: La ce nivel de școlarizare (ce clase) ați înregistrat cele mai multe tentative de fraudă?

Gabi Bartic: Nu pot da o statistică, nerespectarea regulilor a fost egal distribuită pe clase, metodele au diferit – e de la sine înțeles că la clasele mici au fost mai mulți adulți care s-au „oferit” să participe la concurs în locul sau alături de copil, la fel cum de la sine înțeles că metodele mai „tehnice” au predominat la clasele la care gradul de cunoaștere a mediului digital și a lacunelor lui e mai mare.

Rep: Care erau așteptările dvs, ca organizator al Olimpiadei, cu privire la numărul elevilor care vor copia și la metodele de fraudare folosite de ei?

Gabi Bartic: Aceasta e o întrebare foarte grea. Baza de selecție pentru prima etapă a fost extrem de mare – însă am avut copii foarte buni înscriși. Și care s-au calificat în etapele superioare ale competiției. Când vezi scoruri atât de bune, mai exact când ai în față niște mii de copii care sunt în top 10% din țară în ceea ce privește cunoștințele la Matematică, te aștepți ca o anume conduită morală sau o anume dorință de rigoare și/sau corectitudine să vină cumva „la pachet”. Revelația (tristă) a fost că nu mereu se întâmplă acest lucru. Pe scurt nu, nu ne așteptam decât la excepții pe acest palier. Nu pot nici să spun că e un fenomen „de masă”. NU e, dar e îngrijorător având în vedere din ce zonă „rarefiată” de valoare vine el.

Rep: Ce ați făcut, după ce ați văzut dovezile de fraudă? Cum au reacționat părinții copiilor descalificați?

Gabi Bartic: Este foarte greu să încadrez reacțiile într-un pattern. În mod firesc, unii părinți nu au știut. Alții au fost uimiți, alții le-au luptat – mai mult sau mai puțin acerb – luptele copiilor. Nu aș condamna niciun comportament, uman înțeleg pe toți părinții care sunt alături de copiii lor până în pânzele albe și încă un pas. Mi-e foarte greu să empatizez cu cei care fie au ajutat la (m-aș feri să spun fraudă) comportamentul ne-etic al copilului, fie, puși în fața evidentelor probleme – au dat vina pe reguli și pe organizatori.

Rep: Președintele Societății de Științe Matematice din România, Radu Gologan, a avertizat în urmă cu o săptămână că furtul se realizează, paradoxal, chiar cu ajutorul părinților. Ați sesizat același comportament, de încurajare a copierii de către familie, la Brio Challenge?

Gabi Bartic: Din nefericire, da. Cazuri puține, dar da. E o limită până la care identificarea părintelui cu copilul e drăguță și de la care ea devine fie patologică, fie ne-etică. „Avem concurs la mate” nu ar trebui să vină nicicum în continuarea firească al lui „ne-a ieșit primul dințișor”. Dacă ultima exprimare e haioasă și posibil tolerabilă, prima poate fi chiar ne-legală.

Rep: Care estimați că este cauza acestui comportament care încurajează minciuna și furtul în familie?

Gabi Bartic: Sunt multe teorii aici și nu aș intra în supra-psihologizarea comportamentului, nefiind teritoriul meu. Cred că presiunea extrem de mare pusă pe note și rezultate „cu orice preț” e o problemă a societății noastre în general. De ce am avea vreun respect pentru diplome sau rezultate obținute pe bune, când ele valorează la fel – fie că sunt obținute serios, cu ani de studiu investiți sau cu 4 taxe plătite într-un an într-un sistem paralel? Știți cum spun unii părinți: „mai ai x ani și scapi de școală”. Ce părinte nu și-ar ajuta copilul „să scape”? Exagerez, firește, dar câtă vreme școala nu e un scop, ci un mijloc pentru a „bifa” câteva cerințe de tipul „diplomă”, „olimpiadă” etc, comportamentul amintit este scuzabil. Și perfect explicabil.

Rep: Aveți în vedere modificări în strategia Brio Challenge, în comunicarea sau organizarea viitoarei Olimpiade?

Gabi Bartic: Nu prea credem că am făcut ceva fundamental greșit. Așadar, Brio Challenge va avea a doua ediție începând din luna aprilie și următoarea în semestrul 1 al anului viitor și apoi una în semestrul 2 șamd – în aproximativ aceiași parametri și cu aceleași cerințe – tehnice și etice – de la participanți. Ca să rezum, Brio Challenge va fi o competiție pentru copiii care știu mate și nu prea vor să fenteze reguli. Pe restul îi vom descalifica noi

Rep: Privind în ansamblu întregul efort de organizare a primei olimpiade digitale de matematică din România, lansată la 1 an de la închiderea istorică a tuturor școlilor din țară din cauza pandemiei, care este concluzia cea mai importantă pe care o trageți și semnalul de alarmă (dacă există) care se poate transforma în acțiuni pe care nu le anticipaserăți?

Gabi Bartic: Concluzia noastră e că ar trebui măcar început lucrul la construcția unui cadru care să reglementeze inclusiv acest gen de competiție online: un cadru etic acceptat de toți organizatorii de competiții online și un set de sancțiuni pentru deraierea din acest cadru. S-au vehiculat multe idei, poate e cazul să ne așezăm la o masă și să le și scriem. Cu acest „output” să rămânem. Că ar fi bine ca, și în mediul online, să funcționeze aceleași reguli ca și offline. Și să facem totul ca acest lucru să se și întâmple.

Informații de background

Amintim că Radu Gologan, președintele Societății de Științe Matematice din România și organizatorul Olimpiadei de Matematică a Gazetei, avertiza în urmă cu o săptămână că aproximativ 5% din elevii de la Olimpiada online au copiat, unii ajutați de părinți.

Tot în urmă cu o săptămână, rectorul Universității din București anunța o decizie istorică pentru peisajul universitar din România: 45 de studenți au fost exmatriculați de la Facultatea de Drept, pentru fraudarea mai multor examene susținute online, în contextul pandemiei COVID-19.

Finala primei Olimpiade Digitale de Matematică Brio Challenge a avut loc pe 21 februarie și a adunat 320 de elevi care s-au calificat în această ultimă etapă, din cei 6.700 de participanți din primele faze. La olimpiada digitală de matematică au concurat elevi din clasele II până în clasa a XII-a, gratuit. Vezi aici toate detaliile despre Brio Challenge.

25 de elevi au obținut scorul maxim de 100 de puncte, la olimpiada Brio Challenge.

Olimpiada de matematică Brio Challenge este organizată cu sprijinul Asociației Dedeman și este susținută de Societatea de Științe Matematice.

Brio Challenge este singura olimpiadă de matematică susținută online, creată pe modelul internațional de testare Item Response Theory (Teoria Răspunsului la Itemi — folosit pentru celebrele SAT, GMAT, GRE etc.).

Brio^® este o platformă ed-tech de măsurare a performanței educaționale avizată de Ministerul Educației și Cercetării, iar testele sunt în totalitate bazate pe programa școlară românească și sunt realizate exclusiv de profesori români. Brio^® pune la dispoziția elevilor din clasele I-XII teste standardizate de limba română și matematică, dar și teste de inteligență, de stiluri de învățare, de aptitudini vocaționale

Vezi aici pagina de Facebook Brio Challenge

Intră pe site-ul dedicat Olimpiadei naționale digitale de Matematică Brio Challenge

• Articolul este susținut de Brio, în cadrul proiectului DigitalTeach

Citește și:

Lucia Baicu, olimpica de clasa a II-a care a terminat în 5 minute subiectele la Olimpiada digitală de Matematică: Timpul limitat m-a făcut să mă gândesc mai repede. Îmi place matematica de când eram la grădiniță / Cum arată programul zilnic al unei olimpice de aproape 9 ani

Olimpiada digitală de matematică Brio Challenge. Filip Dolejan, finalist la clasa a VIII-a: Finala se va organiza în fața calculatorului, cu o cameră video spre foaie și una spre noi, să se vadă că nu copiem

Prima olimpiadă digitală de matematică, Brio Challenge, are finala duminică. „Contează gândirea de moment și rapiditatea”, spune Cezar Tulceanu, elev de clasa a X-a, finalist

Prima olimpiadă digitală de matematică va fi organizată de platforma de testare standardizată Brio. Care sunt etapele olimpiadei Brio Challenge

Elevii din clasele I-VIII au la dispoziție o platformă digitală pe care își pot testa gratuit nivelul de literație. Primele teste naționale pentru testarea nivelului de alfabetizare funcțională

Dragoș Iliescu, psiholog și fondator Brio – companie românească de testare a performanței elevilor: Părinții trăiesc într-un vid de informații. Degeaba iei educația propriului copil în mâinile tale, dacă tu nu știi unde se află. Eu cred că rezolvăm o problemă critică a sistemului