A settembre oltre 6 milioni di bambine e bambini, ragazzi e ragazze, sono tornati sui banchi di scuola. Quello che si è appena aperto è un anno scolastico carico di aspettative e di promesse.
Sopra ogni cosa, dopo due anni di pandemia, ci si augura che questo sia finalmente un anno scolastico “normale” e che si superino le difficoltà indotte dalla didattica a distanza. A dire il vero, ci aspettiamo qualcosa in più: che la scuola post-pandemica progredisca (finalmente) sul piano dell’integrazione delle tecnologie digitali nella didattica.
Le proposte politiche sull’istruzione (senza il sostegno dell’evidenza)
L’anno scolastico è partito in corrispondenza di una scadenza elettorale importante per il Paese. In vista di questo appuntamento elettorale, tutti i partiti e le coalizioni hanno avanzato proposte su come migliorare l’efficienza, l’equità e l’efficacia delle istituzioni scolastiche. I programmi sulla scuola dei vari partiti sono stati analizzati nel dettaglio. Non è chiaro come tutte le promesse fatte possano essere sostenute economicamente, ma, prima ancora, non è chiaro se le varie proposte siano basate su qualche forte evidenza rispetto alla loro efficacia.
Naturalmente tutti sono convinti che le misure da loro proposte produrranno benefici in termini di funzionamento del sistema scolastico e di sviluppo di competenze degli studenti. Ma quali prove abbiamo che le innovazioni proposte funzionino davvero? Cosa ci fa pensare che investire proprio in quelle innovazioni sarà utile per migliorare la scuola?
È una costante in Italia non porre adeguata attenzione a queste domande e, parallelamente, non dare valore alle risposte empiriche già prodotte in altri contesti, dove la tradizione valutativa sperimentale è consolidata. Si finisce così per fare promesse oggi e investimenti domani un po’ alla cieca, senza poter davvero contare sul fatto che porteranno benefici reali.
Gli esperimenti condotti in Italia
Eppure anche in Italia – e proprio nel campo dell’istruzione – si è iniziato a sperimentare in modo rigoroso interventi considerati innovativi. In una recente rassegna degli studi sperimentali condotti nell’ambito dell’istruzione in Italia si sono contati 26 studi condotti e completati tra il 2009 e il 2020. Si tratta nella maggior parte dei casi di interventi rivolti agli studenti, in misura minore agli insegnanti e, in alcuni casi, di interventi rivolti anche ai genitori. Molto spesso si tratta di studi pilota condotti su una o più realtà locali, più rari sono quelli condotti a livello nazionale.
Gli interventi valutati hanno varia natura: i più ricorrenti sono quelli informativi e di aggiornamento professionale. Ad esempio, in questi studi ci si chiede se investire sulla formazione degli insegnanti alla gestione delle relazioni a scuola, generi maggiori apprendimenti. Oppure se fornire alle famiglie e agli studenti in condizione di svantaggio supporto informativo ed economico modifichi le loro scelte di investimento di istruzione. O ancora se usare i social media nella didattica faccia bene (o male) agli studenti.
Il primo limite: manca una vera committenza
Insomma, sperimentazioni randomizzate controllate nell’ambito della scuola italiana si fanno e i numeri non sono poi così bassi. Soprattutto se si prendono a riferimento altri ambiti di policy. Spesso, però, questi studi non nascono da una genuina domanda di evidenza da parte di chi progetta o realizza innovazioni scolastiche, i policy makers, quanto piuttosto dall’impegno di studiosi e accademici che hanno ottenuto finanziamenti di ricerca per i loro studi. Manca una domanda di produzione di evidenza da chi, prima di ogni altro, dovrebbe essere interessato ad avere risposte chiare e fondate sull’efficacia degli interventi promossi. Di conseguenza, non stupisce poi tanto che si usi così poco l’evidenza prodotta e già disponibile, sia nello scrivere programmi elettorali per la scuola, sia nel dar vita a nuove politiche educative. Si tratta di conoscenza non richiesta e di cui a volte si ignora addirittura l’esistenza.
Il secondo limite: pochi rispettano appieno standard di qualità
Al contempo, come emerge dalla rassegna condotta, studi auto-finanziati e auto-prodotti dalla sola comunità accademica rischiano non solo di essere poco usati a fini decisionali, ma anche di non rispettare appieno standard qualitativi decisivi per la loro credibilità. Alcune criticità “metodologiche” vengono a galla quando si “valutano” gli studi condotti, usando la check list di CONSORT (Consolidated Standards of Reporting Trials), un’iniziativa volta a migliorare proprio il reporting dei risultati degli studi randomizzati in ambito clinico. Recentemente è stata adattata anche agli studi sperimentali di interventi in ambito sociale e psicologico (Consort-SPI).
Il punto più critico rilevato è che gli studi condotti in Italia in campo educativo mostrano ancora poca attenzione alla fase di preregistrazione. Come già evidenziato in un precedente post di Studi Randomizzati, la preregistrazione è un’azione di imprescindibile trasparenza e costituisce un’importante argine alle possibili manipolazioni. Purtroppo solo 5 dei 26 studi sperimentali censiti sono stati preregistrati. Un’implicazione rilevante è che l’outcome principale – ovvero ciò che si vuol modificare grazie all’intervento – non è sempre identificato in modo chiaro e univoco ex ante, prima dell’avvio dell’esperimento; questo può far nascere la tentazione di cercare e mettere in evidenza ex post solo i risultati ritenuti più pubblicabili.
Un compito per il prossimo governo
E’ pertanto necessario favorire lo sviluppo di studi valutativi sperimentali commissionati da amministrazioni pubbliche ed enti del terzo settore interessati a capire se determinate politiche funzionano o meno. Questo dovrebbe rendere i risultati della ricerca valutativa più direttamente utilizzabili nei processi decisionali, aiutare il rispetto di standard di qualità, come la preregistrazione, ed evitare che gli studi sperimentali rimangano confinati all’interno della ricerca accademica. La nascita del Fondo per la Repubblica Digitale può essere un passo in questa direzione, ma ancora più importanti saranno gli orientamenti su questo fronte del futuro governo. Ci sarà un maggiore interesse ad apprendere lezioni di policy, a partire dalla produzione di una rigorosa evidenza empirica?
Studi randomizzati 