In Brasile, dal 2019, si è sviluppato un intenso dibattito sull’uso dell’intelligenza artificiale, culminato nel 2023 nella presentazione di una proposta di legge, approvata al Senato, ma attualmente ancora oggetto di discussione e di emendamenti (qui lo stato dell’arte del provvedimento). Tale dibattito ha riguardato anche le politiche educative, in particolare le tecnologie per facilitare l’apprendimento e i sistemi di Automated Writing Evaluation (AWE), che utilizzano l’IA per valutare automaticamente i testi degli studenti e fornire feedback rapidi, alleggerendo il lavoro di correzione dei docenti.
Al centro della riflessione sull’impiego dei sistemi di AWE vi è la capacità di questi strumenti, “ciechi al significato”, di riprodurre alcune attività tipiche della valutazione umana, come l’analisi sintattica e la restituzione di commenti personalizzati. Pur non potendo sostituire integralmente gli insegnanti negli aspetti più complessi della relazione educativa, l’AWE solleva interrogativi rilevanti sul piano delle politiche e delle pratiche scolastiche: in che misura l’utilizzo di questi nuovi strumenti incide sull’organizzazione della didattica, sull’efficienza dei processi di apprendimento e sulla performance degli studenti?
Il deficit di competenze degli studenti delle scuole pubbliche
Nei sistemi scolastici come quello brasiliano, esiste una forte differenza in termini di rendimento scolastico tra gli studenti delle scuole pubbliche e quelli che frequentano le scuole private. Il divario è maggiore nelle competenze legate alla scrittura di testi complessi, che sono necessarie per superare gli esami di accesso all’università (ENEM – Esame Nazionale di Istruzione di Scuola Secondaria). Il punteggio ottenuto in questo esame costituisce il principale criterio di classificazione e selezione dei candidati. Poiché gli studenti meno abbienti hanno un rischio maggiore di mostrare lacune nella scrittura, questo meccanismo di selezione rischia di riprodurre le disuguaglianze sociali nell’accesso all’università.
Per migliorare le competenze di scrittura, è necessario fornire, in modo assiduo e continuativo, commenti dettagliati sui testi scritti dagli studenti, ma questa operazione richiede un’enorme quantità di tempo e di lavoro da parte del corpo docente. Nelle scuole pubbliche, i docenti sono spesso sovraccarichi di lavoro, il che rende questo tipo di correzione un obiettivo assai difficile da sostenere.
L’esperimento su larga scala
Nel 2019 è stato condotto uno studio randomizzato su scala nazionale per testare il funzionamento di questo nuovo sistema ideato per migliorare le competenze di scrittura degli studenti delle scuole pubbliche, con particolare riferimento ai saggi argomentativi, richiesti per l’esame ENEM.
Il sistema consiste nell’utilizzo di due tecnologie di valutazione che si differenziano per l’uso di intelligenza artificiale e intelligenza umana, con implicazioni sulla qualità e sui costi. La prima tecnologia (“enhanced AWE”) fornisce valutazioni istantanee e feedback su aspetti linguistici, con valutazioni finali condotte da persone che svolgono funzioni di tutor, dopo circa tre giorni. La seconda (“pure AWE”) utilizza solo AI per valutare i testi e fornire un feedback immediato.
La sperimentazione ha messo a confronto le stime degli effetti di entrambe le tecnologie di apprendimento e delle pratiche didattiche ordinarie sui punteggi nei saggi per l’ENEM. Lo studio randomizzato è stato condotto su 178 scuole pubbliche e ha coinvolto circa 19.000 studenti che frequentano l’ultimo anno delle superiori.
Le scuole candidate sono state prima suddivise in strati (collocazione geografica delle scuole tra aree rurali e urbane, media dei punteggi nel saggio ENEM nel 2017, partecipazione ad un pilota del 2018) e poi attribuite tramite sorteggio, a tre gruppi omogenei, due “trattati” (uno assegnato all’AWE pura, uno all’AWE potenziata) e uno di controllo (con pratiche didattiche ordinarie). La stima degli effetti è avvenuta confrontando gli outcome di fine anno degli studenti e degli insegnanti delle rispettive scuole.
Risultati dell’esperimento randomizzato
L’introduzione dei sistemi di intelligenza artificiale (IA) nella didattica per gli studenti dell’ultimo anno delle superiori ha mostrato un impatto positivo sia sul rendimento scolastico, sia sulla gestione del tempo da parte dei docenti.
Miglioramento dei voti all’esame. Sia l’AWE pura che l’AWE potenziata hanno generato aumenti significativi nella votazione del saggio argomentativo per l’esame finale (ENEM). Il miglioramento ha riguardato tutte le competenze analizzate, comprese quelle cognitive di livello superiore. In entrambi i casi, l’effetto medio equivale a un miglioramento di circa un decimo di deviazione standard nel punteggio complessivo del saggio.
Equivalenza tra le due tecnologie. Non sono emerse differenze sostanziali nei voti ottenuti utilizzando le due tecnologie. Ciò suggerisce che l’apporto delle persone non ha fornito un valore incrementale decisivo agli esiti dell’esame, sebbene la qualità delle correzioni della versione potenziata sia stata valutata superiore dagli studenti.
Riduzione del divario tra studenti di scuole pubbliche e di scuole private. L’uso della piattaforma ha ridotto di circa il 9% del divario nei punteggi del saggio tra studenti delle scuole pubbliche e delle scuole private. Tale stima è ottenuta confrontando l’effetto medio dell’AWE con l’ampiezza del gap nel punteggio osservato, a livello nazionale, tra i due gruppi di studenti.
Limiti dell’intervento rispetto agli studenti con rendimenti più bassi. Nessuno dei due sistemi (così come l’azione ordinaria dei docenti) è riuscito a fornire un sostegno efficace agli studenti dell’ultimo anno che partivano da un livello di rendimento molto basso nella scrittura. Un unico intervento, anche se mirato, del resto, non è sufficiente a recuperare lacune sedimentate da anni.
Maggiore esercitazione. La piattaforma ha stimolato i ragazzi a esercitarsi di più in vista dell’esame: gli studenti hanno redatto il 30% di saggi in più (tra 1,4 e 1,6 saggi aggiuntivi) rispetto a quanto fatto dai loro coetanei nei gruppi di controllo.
Cambiamento nel carico di lavoro dei docenti. Con l’AWE potenziata gli insegnanti hanno beneficiato di una riduzione del lavoro da svolgere a casa e di più tempo in aula per coprire i programmi didattici, delegando le correzioni ai valutatori umani della piattaforma. Con l’AWE pura l’impatto sul carico di lavoro è stato trascurabile, poiché i docenti tendevano a farsi carico di parte delle valutazioni, senza tuttavia superare le proprie ore di lavoro abituali.
Mancanza di effetti su altre materie e su prosecuzione degli studi. Le altre discipline non hanno goduto dei benefici ottenuti sulla scrittura del saggio finale. Inoltre, l’intervento non ha mostrato effetti sulla propensione degli studenti a proseguire verso l’istruzione universitaria.
Conclusioni
La sperimentazione condotta in Brasile rappresenta una delle prime valutazioni credibili di sistemi AWE di grande scala nelle scuole superiori. Visti i risultati equivalenti tra i due modelli, è stato attivato un programma pubblico su larga scala basato sull’IA pura, che rappresenta una soluzione più economica, in grado di supportare circa 30.000 studenti delle superiori all’anno.
Nonostante i risultati positivi della sperimentazione, l’adozione dell’intelligenza artificiale nella scuola continua a sollevare un vivace dibattito, sia sul piano didattico sia su quello politico-strategico.
Permangono perplessità sulla reale capacità dei modelli di intelligenza artificiale di sostituire la ricchezza e la profondità del riscontro fornito da una persona. Le rilevazioni condotte sugli studenti mostrano come i ragazzi apprezzino maggiormente i commenti dettagliati forniti dalle persone coinvolte nell’IA potenziata. Questo maggior gradimento però non si è tradotto in una superiore efficacia didattica o in voti migliori all’esame. Come mai?
Una prima spiegazione può essere legata all’immediatezza del riscontro. La restituzione istantanea della correzione – garantita appieno solo dall’AWE pura – si rivela un elemento chiave per stimolare l’apprendimento e la motivazione degli studenti.
La seconda spiegazione può riguardare la riallocazione del tempo del docente. Automatizzare la correzione ha permesso agli insegnanti di liberare tempo prezioso, da riutilizzare per attività di pedagogia personalizzata e supporto diretto agli studenti.
Resta dunque molto da esplorare e sperimentare, soprattutto alla luce del fatto che i sistemi di intelligenza artificiale sono in costante e rapidissima evoluzione e alcune criticità o limiti messi in evidenza dagli esperimenti possono essere superati nelle versioni successive degli stessi sistemi.
A cura di Daniela A.R. Carosi e Cinzia Di Fenza (Comunità di pratica sull’Evidence Based Policy Making – Valutazione delle politiche pubbliche, Scuola Nazionale dell’Amministrazione)
Riferimenti bibliografici
Ferman, B., Lima, L., & Riva, F. (2021). Artificial Intelligence, Teacher Tasks and Individualized Pedagogy. SocArXiv QW249, Center for Open Science.
Una sintesi dello studio è stata pubblicata su IPSEE (Inventario dei Problemi, delle Soluzioni e dell’Evidenza sugli Effetti), scaricabile gratuitamente al seguente indirizzo:
