Al fine di identificare l’effetto di un intervento pubblico è più utile basarsi su dati sperimentali (ottenuti grazie alla conduzione di uno studio randomizzato), oppure su dati osservazionali (raccolti normalmente per scopi amministrativi o statistici, fuori da un setting sperimentale)? Un recente articolo di Athey, Chetty e Imbens sostiene che, per riuscire ad identificare effetti di lungo periodo, una strategia efficace consiste nel combinare entrambe le tipologie di dati.
Un problema negli studi randomizzati
Si supponga che si abbia l’obiettivo di identificare gli effetti della dimensione della classe scolastica frequentata nel quinto anno della scuola primaria. In che modo far parte di una classe più o meno grande incide sull’apprendimento di studenti e studentesse? Su quali variabili è utile verificare l’esistenza di effetti?
Le competenze di base acquisite in quell’anno (ad esempio in italiano, matematica e inglese) possono essere considerate variabili risultato di breve periodo, sulle quali la dimensione della classe potrebbe produrre un effetto; mentre la probabilità di conseguire la laurea entro i 25 anni rappresenta una variabile risultato di lungo periodo.
Un modo per valutare gli effetti di un intervento di questo tipo è condurre un esperimento randomizzato1. Il vantaggio principale di un disegno sperimentale è che, se le classi assegnate al trattamento (es. con dimensione ridotta) e quelle assegnate al controllo (con dimensione normale) sono selezionate in modo casuale, i due gruppi risultano in media equivalenti nelle caratteristiche osservabili e non osservabili. Di conseguenza, se al termine dell’esperimento il gruppo di trattamento mostra outcome in media diversi rispetto al gruppo di controllo, tale differenza — osservata ceteris paribus — può essere attribuita alla sola caratteristica che distingue i due gruppi: la diversa dimensione della classe.
Un limite del disegno sperimentale è che, in genere, le variabili di risultato sono osservabili solo nel breve periodo. Ciò rende difficile rilevare gli effetti di lungo periodo, che si manifestano oltre la durata dell’esperimento. In teoria, il problema potrebbe essere superato disponendo di informazioni sull’intero percorso di istruzione, dalla scuola dell’obbligo alla laurea; tuttavia, i vincoli della normativa sulla privacy rendono questa soluzione difficilmente praticabile.
E se si usassero dati osservazionali?
Un modo per superare il limite del breve periodo è utilizzare dati osservazionali provenienti da indagini o archivi amministrativi. Questa strategia introduce però altri problemi: gli studenti che frequentano classi più piccole potrebbero differire sistematicamente da quelli in classi più numerose. Ad esempio, le classi ridotte potrebbero essere concentrate in scuole che dispongono di maggiori risorse; allo stesso modo, le famiglie con redditi più alti potrebbero scegliere scuole meno affollate, e tutte queste caratteristiche possono influenzare anche gli esiti di lungo periodo. In un esperimento, queste differenze vengono eliminate dall’assegnazione casuale ai gruppi (trattati e controlli); con dati osservazionali, invece, mancando la condizione ceteris paribus, non è possibile distinguere quanto le differenze nei risultati siano dovute alla dimensione della classe o ad altre caratteristiche sistematicamente diverse tra gruppi.
Nonostante i grandi progressi fatti nello sviluppo di tecniche non sperimentali utili a rendere trattati e controlli comparabili rispetto alle loro caratteristiche osservabili pre-intervento2, in linea di principio questi metodi non possono garantire la comparabilità rispetto a ciò che non si osserva. Come valutare, allora, gli effetti nel lungo periodo senza rinunciare alla potenza dell’esperimento nel garantire il confronto a parità di condizioni?
Le condizioni minime per applicare la procedura
La proposta di Athey, Chetty e Imbens (di seguito anche “ACI”), semplificata all’essenziale, richiede che siano soddisfatte le seguenti condizioni.
1. L’intervento che si intende valutare deve consentire sia la raccolta di dati osservazionali che di dati sperimentali. Nel caso degli effetti della dimensione della classe, questa condizione non crea particolari difficoltà: è possibile immaginare di poter utilizzare dati derivati da indagini o da archivi amministrativi ed è — almeno in linea di principio — attuabile un esperimento.
2. Deve essere realizzato lo studio randomizzato, che permette di rilevare gli outcome di breve periodo. Ad esempio, il trattamento — la dimensione della classe, che per brevità chiameremo “normale” oppure “ridotta” — può essere assegnato in modo casuale nelle scuole partecipanti allo studio e si osservano una o più variabili risultato al termine dell’anno scolastico (breve periodo).
3. Devono essere accessibili dati osservazionali che distinguono sulla base del trattamento – es. dimensione della classe “normale” oppure “ridotta” — e che contengono misurazioni dello stesso outcome di breve periodo rilevato anche nell’esperimento. Tali dati possono essere di tipo censuario oppure basate su un campione rappresentativo della popolazione.
Fin qui, le variabili rilevate “in natura” (osservazionali) coincidono con quelle osservate nel contesto sperimentale, con la differenza cruciale che, nel caso osservazionale, la dimensione della classe non è manipolata sperimentalmente. Inoltre, i dati osservazionali forniscono anche informazioni sul percorso formativo degli studenti dopo il quinto anno della scuola primaria, fino all’eventuale laurea: si tratta della variabile risultato di “lungo periodo” che mancherebbe nei dati sperimentali.
4. E’ utile — se non necessario — che entrambe le fonti di dati (sperimentali e osservazionali), rilevino variabili di contesto utili a verificare se le classi “sperimentali” siano o meno rappresentative della relativa popolazione. Qualora non lo fossero, tali variabili consentono di correggere l’eventuale distorsione mediante opportune tecniche statistiche.
L’identificazione dell’effetto
Con questi dati a disposizione, per identificare l’effetto della dimensione della classe nel quinto anno della scuola primaria sul risultato di lungo periodo — ossia la probabilità di laurearsi entro i 25 anni — si procede nel modo seguente.
a) I dati osservazionali consentono, tramite modelli statistici, la stima dei parametri che regolano la relazione tra il risultato di lungo periodo e quello di breve. Cioè, questi dati consentono di stabilire quale è la probabilità di laurearsi entro i 25 anni (lungo periodo) alla luce delle competenze in capo al 5° anno della scuola primaria (breve periodo).
b) Utilizzando la relazione stabilita al punto precedente, è possibile attribuire ai soggetti coinvolti nell’esperimento l’esito di lungo periodo (la probabilità di laurearsi entro i 25 anni) in funzione del loro risultato – osservabile! – di breve periodo (le competenze misurate al quinto anno della scuola primaria).
c) A questo punto si sfrutta la potenza dell’esperimento: la differenza tra “trattati” e “controlli” nell’esito di lungo periodo (probabilità di laurearsi entro 25 anni) rivela l’effetto di lungo periodo della dimensione della classe, perché “trattati” e “controlli” sono, per costruzione, equivalenti rispetto alle caratteristiche pre-intervento.
Il problema principale dei dati osservazionali è la possibile presenza di differenze sistematiche tra gli studenti che hanno frequentato classi di diversa dimensione. Questo punto emerge bene nel quadro proposto da ACI: basta confrontare la stima sperimentale dell’effetto alla fine del quinto anno con la corrispondente stima ottenuta dai dati osservazionali. Se i due valori differiscono — come è probabile — la ragione è proprio la violazione della condizione ceteris paribus nei dati osservazionali, a condizione che le scuole dell’esperimento siano rappresentative della popolazione. In sintesi, ACI mostrano che, una volta tenuto conto del risultato di breve periodo, è possibile ristabilire la condizione necessaria per stimare correttamente gli effetti di lungo periodo.
In conclusione
La proposta apre interessanti prospettive per valutare gli effetti di interventi che soddisfino le condizioni descritte sopra: un esperimento — anche di dimensioni ridotte — che permetta di misurare in modo rigoroso gli effetti su variabili risultato di breve periodo, combinato con dati osservazionali che consentano di osservare sia le stesse variabili di breve periodo, sia le variabili di lungo periodo. La condizione aggiuntiva, secondo cui i soggetti coinvolti nell’esperimento non siano identificabili nei dati osservazionali, rappresenta una garanzia più che sufficiente per tutelare la riservatezza.
Immagine di copertina generata con Freepik AI (Freepik/Pikaso).
1 Un esperimento di questo tipo è stato condotto nello Stato del Tennessee nel 1985 con il programma STAR (Student Teacher Achievement Ratio). Ne avevamo parlato in un precedente post del nostro blog.
2 Esistono studi che tentano di identificare gli effetti della dimensione della classe scolastica sull’apprendimento senza condurre esperimenti randomizzati, ma sfruttando “discontinuità naturali“. Uno di questi studi è stato condotto in Svezia.
Riferimenti bibliografici
Susan Athey & Raj Chetty & Guido Imbens, 2020. “Using Experiments to Correct for Selection in Observational Studies,” Papers 2006.09676, arXiv.org, revised May 2025.
Studi randomizzati 
Articolo interessante che invita ad approfondire il lavoro degli autori di riferimento (ACI, 2020). Ho solo la difficoltà a centrare il senso dell’ultimo frase dell’articolo: “La condizione aggiuntiva, secondo cui i soggetti coinvolti nell’esperimento non siano identificabili nei dati osservazionali, rappresenta una garanzia più che sufficiente per tutelare la riservatezza.”
Tutelare la riservatezza è un principio sacrosanto e la normativa sulla privacy, pur complessa, sembrerebbe chiara su cosa è concesso o no in ambito di ricerca. Mi corregga se sbaglio la domanda, ma: se un’indagine valutativa presente nel Piano statistico nazionale -SISTAN utilizzasse gli archivi amministrativi (o un mix di informazioni rilevate e informazioni amministrative) per seguire nel tempo, previo consenso, gli stessi soggetti coinvolti nell’esperimento, non si coglierebbero con più facilità eventuali effetti di lungo periodo?
L’ambito SISTAN (le regole e l’organizzazione su cui si fonda la definizione periodica del Piano statistico nazionale) garantisce livelli di responsabilità nell’utilizzo dei dati individuali e, mi sembra di poter dire, una sufficiente apertura ai diversi soggetti coinvolti nelle attività di ricerca. L’unico vincolo formale è che l’organismo pubblico o privato per partecipare (ai Circoli di qualità gestiti da ISTAT, che pianificano gli aggiornamenti del Piano) deve avere nella sua struttura organizzativa un Ufficio di statistica al quale assegnare le responsabilità della corretta gestione e utilizzo dei dati). Questo rende un po’ più complessa la partecipazione delle Università che, comunque, partecipano in vari ambiti, attraverso il Ministero competente.
In conclusione, non è sempre facile, non è il migliore dei modi possibili, ma con un po’ di iniziativa (che a lei, so per certo, non manca) si potrebbe intraprendere una strada più diretta e solida rispetto alla proposta ACI.
"Mi piace""Mi piace"
Se capisco il senso del commento, uno studio sperimentale che trovi ospitalità nell’ambito del PIano Statistico nazionale potrebbe avere accesso ai dati disponibili nell’ambito del SISTAN, consentendo di seguire nel tempo i soggetti coinvolti nello studio stesso. Il problema che vedo consiste nel fatto che in molti casi l’inclusione dell’esperimento nel Piano Statistico nazionale costituirebbe un ulteriore aggravio organizzativo con conseguente allungamento dei tempi. Tempi che per lo svolgimento di un esperimento sono già notevolmente lunghi. Mi sembra una strada difficilmente percorribile.
Per cui, se per esigenze di tutela della riservatezza fosse necessario garantire ai soggetti coinvolti nell’esperimento che le informazioni rilevate sul loro conto nell’ambito dell’esperimento non verrebbero collegate ad informazioni individuali tratte da altre fonti, la proposta di ACI fornisce una buona soluzione.
Essendo inteso che se fattibile, il collegamento delle informazioni individuali disponibili nelle due fonti è sicuramente preferibile.
"Mi piace""Mi piace"