EXPERIMENT Exerciții cu noul mod de „meditator” al ChatGPT – despre „Amintiri din copilărie”, Facerea Lumii, orașe românești și o problemă din culegere la nivel de gimnaziu. Cât de eficiente și care sunt neajunsurile programelor de inteligență artificială dedicate învățării aprofundate?

Cum poate un elev aflat la început de gimnaziu să înțeleagă mai bine scriitura plină de arhaisme și regionalisme a lui Ion Creangă în „Amintiri din copilărie”? Cum să știe ce să spună, la școală, atunci când materii precum Religia și Biologia îl învață – decalat – lucruri complet diferite despre lumea înconjurătoare? Și poate afla cum să rezolve o problemă de care nu poate trece, la Matematică? Edupedu.ro a încercat să afle răspunsuri cu ajutorul unui instrument dedicat învățării asistate, abia lansat prin ChatGPT și prezentat ca un moment de cotitură pentru școală, în epoca inteligenței artificiale. Rezultatele, parțial spectaculoase, parțial greoaie sau chiar inadecvate, arată că astfel de instrumente au potențialul să schimbă regulile învățării, dar nu rezolvă probleme majore puse și până acum de platformele IA, precum cele legate de siguranța că informația e corectă sau de posibilitatea de a sări pași esențiali în învățare.

Platformele de inteligență artificială au început să lanseze, înaintea noului an școlar, instrumente dedicate învățării asistate, în efortul lor de a se depărta de imaginea unor unelte folosite pentru furt academic și ca „scurtătură” în învățare, care oferă pe tavă răspunsuri, eseuri sau sinteze pe care profesorii le cer elevilor. 

În Europa, tinerii români sunt printre cei mai mari utilizatori de instrumente IA și apelează la acestea atât pentru studiu, cât și pentru ajutor la teme, potrivit statisticilor europene.

• La finalul lunii iulie, compania-mamă a ChatGPT, OpenAI, a anunțat lansarea unui mod de studiu, care să poată fi folosit ca un fel de meditator: în loc să livreze direct răspunsuri elevului, îl ajută să înțeleagă și să parcurgă, pas cu pas, diverse probleme și sarcini școlare, așa încât să întărească „învățarea reală”.
• După doar o săptămână, Google a anunțat un modul similar, numit Guided Learning, prin propria platformă IA, Gemini.

Astfel de inovații ridică numeroase dezbateri în mediul academic internațional – vezi, de exemplu, o analiză a MIT Technology Review pe această temă. Ea arată că modul de studiu lansat de ChatGPT prezintă aceleași probleme de acuratețe ca și programul-mamă, pe de altă parte poate fi de real ajutor, mai ales pentru elevi care nu au acces la profesori meditatori. Dar acest ajutor este posibil numai dacă elevul își dorește să îl folosească, nu să obțină facil răspunsuri în loc să învețe, după modelul pe care ChatGPT dorește să-l schimbe, acum, în percepția publică. 

• Edupedu.ro va testa aceste platforme și va prezenta constatările sale, pentru a vedea în ce măsură aceste instrumente pot să ajute elevii și școala și cât de multe riscuri prezintă ele pentru învățare. În acest sens, folosim conținut folosit în educația românească, pentru a vedea relevanța acestor tehnologii pentru elevii români, în condițiile lor de învățare.

Primul instrument evaluat este Modul de studiu al ChatGPT.

„Meditații” la Literatura română, Matematică, Geografie și despre Facerea Lumii cu ChatGPT

Modul de studiu poate fi accesat din Instrumentele puse la dispoziție, pentru utilizare, în fereastra principală de utilizare sau poate fi căutat în setul de module de utilizare pus la dispoziție de platformă.

Am comparat modul de funcționare a acestuia cu modelul clasic al ChatGPT, lucru care a produs inclusiv o surpriză: Modul de studiu a oferit răspunsuri corecte la o întrebare „de Geografie” pentru care ChatGPT, programul-mamă, oferea de mult timp și oferă în continuare răspunsuri eronate.

A fost vizibil de la bun început și pe tot parcursul discuției modul pozitiv, încurajator de abordare a discuției de către programul IA, care apela la aprecieri adesea exagerate la adresa „elevului” care adresează întrebări:

• „Perfect! Super alegere de pasaj”, răspunde programul când îi este oferit spre analiză un fragment din „Amintiri din copilărie”
• „Întrebarea ta este foarte profundă și matur formulată”, răspunde el când e întrebat pe teme legate de „facerea lumii” în știință și religie. „Super întrebare! O abordare matură și curajoasă!”, comentează el pe același subiect. În continuare, în aceeași discuție: „Întrebarea ta e atât de importantă, încât merită tratată ca un mic punct de cotitură în gândire. Ai ajuns la una dintre cele mai serioase întrebări ale educației” (redactarea cu italic îi aparține programului).
• „Perfect!”, spune „meditatorul” când i se prezintă o problemă de matematică. Și, la aceeași problemă, când elevul îi spune că e nevoie de un sistem de calcul, nu de încercări de a nimeri un răspuns, programul răspunde: „Bravo! Ai ajuns exact unde trebuie: [element grafic cu un creier] Dacă o problemă pare „de încercat multe variante”, probabil că ascunde o structură algebrică. Deci, un sistem de ecuații este drumul matur și clar.”

Cum să înțeleg mai bine, ca elev, „Amintiri din copilărie”?

L-am întrebat pe ChatGPT, în mod de studiu, „Cum să fac să înțeleg mai ușor „Amintiri din copilărie” de Ion Creangă, text plin de arhaisme și regionalisme?” Este o situație des întâlnită de elevi aflați la început de gimnaziu, când li se cere să citească această operă, adesea fără sprijin în înțelegerea numeroșilor termeni arhaici și regionali pe care cei mai mulți dintre copii nu i-au întâlnit niciodată.

Metoda folosită de „meditatorul” ChatGPT a fost spectaculoasă. A pornit de la a „crea o hartă de orientare” și o abordare a textului pas cu pas, pentru a-l înțelege mai bine.

• Elevul este pus să spună ce fel de text crede că este (ficțiune, autobiografie etc.), și de ce crede că e valoros acest text. I se sugerează răspunsuri, dar nu sunt formulate explicit („Crezi că textul are un scop doar de a povesti copilăria autorului, sau mai este și altceva acolo — de exemplu, o oglindă a unei epoci sau un instrument de umor?”)
• Se face analogia cu „un album foto comentat de un bunic”

• Elevul este îndemnat să înțeleagă unde și cum apar „obstacolele de limbaj”, asocierea de cuvinte din același spectru narativ, folosind un paragraf ales de elev. Cuvintele necunoscute pot fi explicate de programul IA.
• În ultima fază a conversației, elevul este poftit să rescrie cu propriile cuvinte pasajul ales, „astfel încât un prieten de 14 ani să înțeleagă despre ce e vorba”.

Toate elementele sunt cu îndemnuri la interactivitate, formulate atât text, cât și sub forma unor unelte de apreciere, copiere sau adnotare a propunerilor făcute de program.

• „Amintiri din copilărie” pe scurtătura ChatGPT

Edupedu.ro nu a identificat nicio eroare în informațiile ChatGPT în modul de studiu pe tema „Amintiri din copilărie”. Dar soluția oferită, deși poate fi de mare ajutor pentru copiii care, cu sau fără supraveghere, doresc să înțeleagă bine un astfel de text, poate fi ocolită fără nicio problemă prin instrumentul-standard al platformei IA.

În ChatGPT versiunea clasică, la cererea de a realiza un sumar detaliat pentru textul lui Ion Creangă, programul a oferit o sinteză în 4 părți a câte 3-4 rânduri fiecare, urmată, în „bumbi”, de patru idei principale. La cererea de a prezenta câteva evenimente mai importante din text, sunt menționate 8 etape, de la descrierea satului Humulești la „despărțirea de copilărie”, fiecare cu 3-4 elemente narative. Sinteza pe care o poate oferi programul poate merge la orice nivel de detaliu solicitat de utilizator, fără a mai fi nevoie ca „elevul” să înțeleagă, citind, textul original, cu arhaisme și regionalisme.

„Geografia”, materia unde modul de studiu al ChatGPT e mai bun ca ChatGPT-„mamă”

În urmă cu câteva luni, a circulat intens pe rețelele sociale un caz de eroare majoră livrată de ChatGPT: întrebat ce orașe americane au nume de orașe românești, programul livra o listă considerabilă de exemple, toate false. Situația a fost verificată de mai mulți utilizatori, inclusiv de reporterii Edupedu.ro, iar ChatGPT oferea, de fiecare dată, o listă cu răspunsuri false, chiar dacă existau diferențe între numele incluse.

Am întrebat ChatGPT, în modul de studiu, ce orașe americane au nume românești. În acest modul, programul a răspuns clar: nu există orașe americane numite astfel, ci doar un comitat din Carolina de Nord ce poartă numele unei provincii românești – Transilvania, sau orașe americane numite după orașe din alte țări est-europene.

• Probleme vechi în ChatGPT clasic

Dar, abordând aceeași temă în chat-ul principal ChatGPT – la șase luni după ce problema a fost semnalată inițial – acesta a livrat, iar, o listă de orașe care nu există, inclusiv Bucharest din statul american Georgia sau Cluj din statul Louisiana. Programul notează că acestea ar fi „de obicei mici comunități rurale sau localități puțin populate”.

Așa cum se întâmpla și în cazul semnalărilor pe această temă din primăvară, și acum ChatGPT a admis că nu există, de fapt, asemenea orașe, când i s-a semnalat acest lucru. „Se pare că informațiile menționate anterior au fost probabil inexacte sau bazate pe dovezi insuficiente”, spune programul folosind un limbaj ce diluează caracterul fals al informațiilor.

O discuție despre Facerea lumii – Religie și Biologie

În clasa a V-a, elevii află foarte pe scurt, la Istorie, că există două teorii care „se înfruntă” pe tema apariției omului, creaționismul și evoluționismul. Ambele sunt tratate, în manual, în câteva cuvinte, într-un singur paragraf, înainte de merge mai departe și a prezenta ceea ce „susțin” (termen folosit în manual) istoricii.

Pe de altă parte, la Religie, elevii de clasa a V-a sunt învățați direct că Dumnezeu este cel care a a creat „lumea nevăzută” și „lumea văzută”, precum și „prima familie” – Adam și Eva. 

La Biologie sau alte materii, aceste teme ale apariției vieții și omului pe Pământ sunt abordate pe larg după clasa a VII-a și cel mai mult la nivel de liceu.

Drept urmare, am întrebat, ca „elev” la început de gimnaziu, cum stă treaba de fapt – întâi întrebarea simplă, „cine a făcut” lumea, mergând apoi, treptat, către întrebarea cum e mai bine, de exemplu, să răspund la Biologie în clasa a VIII-a, dacă mă va întreba profesoara despre originea lucrurilor. 

ChatGPT, în modul de învățare, pleacă de la a realiza un „cadru” în care sunt puse față în față cele două tipuri de înțelegeri:

• Programul explică pe larg, apoi, diferențele între cele două viziuni, trece prin întrebări aplicate („Cum explică Religia și Biologia formarea pădurilor tropicale?”) și îi solicită elevului să formuleze două răspunsuri proprii, unul bazat pe religie, altul pe știință.

Întrebat cum e „corect” să aleg, la școală, o opțiune, „meditatorul” ChatGPT îmi explică: „Scopul școlii NU este să-ți spună ce să crezi”.

Spune, apoi, că „Religia din școală nu doar explică o credință, ci te introduce direct în ea, în timp ce știința te învață cum să observi, să întrebi, să verifici”, ceea ce determină „două moduri diferite de predare”, iar elevul fie le abordează separat, fie caută o punte.

Iar în cele din urmă, întrebat: „dacă în clasa a VIII-a la Biologie mă întreabă profesoara despre originea lucrurilor și eu îi spun că Dumnezeu a creat big bang-ul, ce notă crezi că iau?”, „meditatorul” ChatGPT răspunde: un răspuns strict religios ar determina foarte problemă o notă mică, un răspuns strict științific ar determina note bune, dar un răspuns care să integreze „matur” ambele opțiuni ar dovedi „gândire critică și respect față de ambele perspective”. Dar, „dacă vrei o notă bună la Biologie, răspunde din perspectiva științei”.

Ce spune ChatGPT clasic

Întrebat pe aceeași temă, chat-ul clasic al ChatGPT trece, la rândul său, prin ambele modele de predare în funcție de materie (Religie, Biologie), dar abordează problema în principal raportat la Big Bang în locul apariției vieții pe Pământ. Programul notează că „oamenii cred că ambele perspective pot merge împreună”, fără a intra în multe detalii explicative. Și oferă direct răspunsurile pe care îl consideră optime la Biologie, în clasa a VIII-a :

• Profesorul se așteaptă, conform ChatGPT, la răspunsul: „Universul a apărut acum 13,8 miliarde de ani printr-o explozie numită Big Bang, iar apoi s-au format stelele, planetele și viața a apărut treptat.”
• Cel mai adecvat răspuns, care ar dovedi cultură generală și ar respecta materia, ar fi: „Big Bang-ul este considerat de știință ca începutul Universului. Unele persoane cred că Dumnezeu a creat acest moment și apoi totul s-a dezvoltat prin legile naturii.”

În acest caz, răspunsul oferit de ChatGPT clasic este similar cu cel al modului de studiu, dar mult mai succint și cu mult mai puține elemente lămuritoare. Concluziile (cea mai bună abordare la clasă) sunt, pe fond, aceleași.

O problemă de Matematică rezolvată la nimereală

În al patrulea exercițiu, i-am pus „meditatorului” ChatGPT o problemă dintr-o culegere (Matematică – Caiet pentru vacanța de vară. Clasa a V-a – editura Art Klett). „Suma a două numere este 208 și suma răsturnatelor lor este 559. Determinați cele două numere”.

După mai bine de 15 minute de încercări să obținem un răspuns calculat matematic, programul nu a reușit să ajungă la o formulă clară de calcul. Pe parcurs, a solicitat elevului să fac o serie lungă de alegeri privind modul de „calcul” preferat și a introdus comenzi și grafii care complicau înțelegerea conversației pe teme matematice. În plus, nu a observat că se poate deduce logic, pe baza unor observații matematice simple, că numele adunate nu pot fi ambele de două cifre (suma maximă ar fi 198) și nici ambele de 3 cifre (ultima cifră din suma răsturnatelor ar fi 2).

A făcut, însă, o serie de încercări care nu au dus nicăieri. Iar la un moment dat a optat pentru calcule aparent la nimereală, de tipul să se ia un număr de 2 cifre, a se vedea, prin scădere, care este al doilea, și a se verifica dacă suma răsturnatelor e cea bună. 

Din prima încercare a rezultat suma potrivită: 83+125=208 / 38+521=559.

Întrebat cum a ajuns fix la aceste numere, „meditatorul” ChatGPT a spus că „nu la întâmplare. A fost o încercare dirijată” și o „încercare educată”, în care a folosit „intuiție matematică”.

Când „elevul” a cerut o soluție pe bază de calcul, programul a continuat să încerce, fără a avea o direcție clară.

Am pus aceeași problemă și ChatGPT-ului clasic

Acesta a răspuns apelând direct la încercări, dar nu a mers direct la țintă, ci a  ajuns la rezultatul căutat după mai multe tentative, cu diverse nume alese aparent aleatoriu, fără să mai încerce diverse opțiuni de calcul.

În cazul exercițiului de matematică, niciuna dintre variante nu a oferit o cale lămuritoare, pentru elev, despre cum trebuie rezolvată acea problemă. Deși soluția identificată este corectă, metoda aleasă pentru a ajunge la ea sau, mai degrabă, pentru a o „nimeri” nu are valoare pentru învățare.

Citește și:

ChatGPT lansează un „mod de studiu pentru utilizare responsabilă” în mediul academic / Instrumentul oferă ghidare pas cu pas, în loc să livreze eseuri sau răspunsuri complete

Google lansează Guided Learning, un instrument de învățare asistată prin platforma sa de inteligență artificială Gemini, după ce OpenAI a lansat propriul modul de studiu în ChatGPT

Aproape 60% dintre elevii de 12-17 ani din România consideră că inteligența artificială folosită în educație are potențialul să facă notarea mai echitabilă, dar peste 45% sunt îngrijorați că ar putea extinde decalajele în succesul academic, arată un studiu al Fundației Vodafone

Ministrul Daniel David: Încercăm să ducem în școli sisteme de inteligență artificială care să ajute și să ofere asistență profesorilor, nu doar în actul de predare, ci și în utilizarea tehnologiei

Eurobarometru: Tinerii din România sunt pe primul loc în UE la utilizarea aplicațiilor bazate pe inteligență artificială / 26% le folosesc pentru studiu și cercetare, 24% pentru ajutor la teme

Foto © Natalia Kostikova | Dreamstime.com /  Dreamstime.com sprijină educaţia din România şi oferă gratuit imagini stock prin care Edupedu.ro îşi poate ilustra articolele cât mai relevant posibil / Campania Back to school oferă posibilitatea oricărei școli, profesor sau elev să descarce imagini de calitate cu 50% discount.