Gli studi randomizzati (Randomized Controlled Trials – RCTs) sono ormai uno strumento piuttosto diffuso nella ricerca economica e sociale, come pure in molte aree di business, con una vera esplosione negli ultimi due decenni, culminata con l’assegnazione del Nobel per l’economia, nell’autunno del 2019, a Banerjee, Duflo e Kremer.

Questa crescita è evidente un po’ ovunque nel mondo. Interessa invece ancora poco il nostro Paese, dove l’uso degli studi randomizzati incontra diverse perplessità e resistenze, sostenute spesso da critiche e convinzioni che a noi non sembrano del tutto fondate.

Ci sembra utile che il nostro blog affronti direttamente queste critiche. Un dibattito aperto può essere la forma più adeguata a chiarirne i presupposti e discutere sulla loro appropriatezza.

Prima di andare oltre, è opportuno precisare due punti, onde evitare fraintendimenti. (1) Le critiche agli studi randomizzati non sono una novità e non costituiscono una peculiarità solo italiana. Sono presenti nella letteratura valutativa internazionale da molto tempo. Con una certa approssimazione possiamo dire che accompagnano – con sfumature differenti – l’annosa querelle accademica tra quantitativi e qualitativi, dalla quale vorremmo tenerci lontani. (2) Ogni approccio analitico nasce per rispondere ad alcune specifiche domande e incontra naturali limiti di applicazione. Gli studi randomizzati non fanno eccezione a questa banale regola.

Al fine di presentare in modo ordinato le critiche più ricorrenti, le esamineremo una alla volta, prendendo spunto da un articolo, pubblicato dalla Arnold Foundation e già segnalato in un post precedente. Il titolo del rapporto è “Why Government Needs More Randomized Controlled Trials: Refuting the Myths.”

Iniziamo dunque dal primo mito che aleggia intorno agli RCT.

Mito 1: Gli studi randomizzati sono troppo lenti!
Alcuni accusano gli studi randomizzati di essere troppo lenti. Il cuore della critica è che occorre aspettare molto tempo prima di avere i risultati dell’esperimento.

Ecco come rispondono Stuart Buck and Josh McGee, gli autori di “Why Government Needs More Randomized Controlled Trials: Refuting the Myths”.

“… l’idea che un RCT sia “lento” è particolarmente strana. La vera ragione per cui gli RCT a volte sembrano “lenti” è perché il risultato che i valutatori hanno scelto di misurare, come può essere ad esempio il conseguimento del diploma di scuola superiore, viene raggiunto nell’arco di diversi anni. Ma quando il risultato d’interesse richiede molto tempo per essere raggiunto, lo stesso problema della lunga attesa si proporrà per qualsiasi valutazione prospettica, che si tratti di un RCT o meno.

Se esiste un intervento [come un’innovazione nella didattica introdotta nella prima classe delle scuole superiori] che mira ad aumentare i tassi di conseguimento dei diplomi, decidere di non condurre un RCT non farà certo trascorrere i cinque anni più rapidamente. Ciò che otterremo invece dalla decisione di non condurre uno studio randomizzato è giungere alla fine dei cinque anni senza avere conoscenze maggiori di quelle che avevamo all’inizio sull’efficacia dell’intervento.”

In sostanza non conducendo lo studio randomizzato avremo semplicemente perso tempo prezioso, piuttosto che guadagnarlo. Successivamente ci ritroveremo infatti a decidere su quale sia lo strumento più efficace per migliorare le capacità d’apprendimento degli studenti e per aumentare i tassi di conseguimento del diploma, senza disporre di tutta l’evidenza che servirebbe.

Su questo fronte non ci sono grandi scorciatoie: o si attende il tempo necessario affinché gli effetti d’interesse possano realizzarsi (e nel frattempo ci si attrezza dal punto di vista analitico per verificarne l’esistenza), o si corre il forte rischio di restare nell’ignoranza. Questa regola vale sempre, anche quando si decide di non ricorrere agli studi randomizzati.

Valutare i risultati a breve termine
D’altra parte “gli RCT non si limitano a misurare solo i risultati a lungo termine. Se ci sono risultati intermedi, a breve termine, a cui teniamo in sé e per sé, o che siamo molto sicuri siano correlati ai risultati a lungo termine che vorremmo ottenere, un RCT può essere utilizzato per misurare rigorosamente gli effetti di una politica su tali risultati intermedi.”

Ad esempio, quando si tratta di valutare gli effetti di una campagna informativa sulla conoscenza che le persone hanno di una certa questione, uno studio randomizzato può essere condotto in tempi estremamente brevi, nel giro di qualche settimana o, al limite, di qualche mese. Non occorre far passare molto tempo per capire se un messaggio è stato compreso, se viene ricordato e in che misura ha cambiato la consapevolezza delle persone rispetto al tema al centro della campagna. In questo caso l’efficacia della comunicazione può essere oggetto di un esperimento che viene condotto molto rapidamente.

Uno studio realizzato in Lombardia nel 2014 ha consentito di valutare gli effetti di una campagna postale, rivolta a 100.000 famiglie, sulla conoscenza dei sintomi dell’ictus in circa tre mesi. Un periodo di tempo piuttosto breve. Naturalmente per verificare in che misura tale campagna avesse cambiato i comportamenti delle persone (e i loro tempi di reazione), quando un loro familiare veniva davvero colpito da un ictus, è stato necessario attendere almeno un anno. Questo perché si è dovuto attendere che la patologia si manifestasse in un numero sufficientemente ampio di persone.

Ma gli esperimenti a breve termine non si applicano solo alle campagne di comunicazione. Funzionano in molte altre occasioni; anche quando si vuol valutare gli effetti di un intervento sulle competenze degli allievi, per restare sul tema dell’istruzione. Ad esempio, un esperimento condotto in Italia nel 2011 – il progetto SAM (Scacchi e Apprendimento della Matematica) ha permesso di identificare gli effetti dell’insegnamento degli scacchi sulle competenze logico matematiche degli studenti della scuola primaria, prima che l’anno scolastico, durante il quale si erano tenuti i corsi di scacchi, terminasse.

Guardare a “lungo termine” non è una perdita di tempo
“Questo non vuol dire che i risultati intermedi siano sempre una guida affidabile per decidere se una politica funziona o meno. Ne è un esempio l’esperimento condotto per valutare gli effetti del programma Moving to Opportunity for Fair Housing in cinque grandi città degli Stati Uniti.

Il programma, realizzato negli anni Novanta, offriva buoni alloggio che le famiglie a basso reddito potevano utilizzare per spostarsi in quartieri più ricchi. Inizialmente, guardando ai risultati a breve termine, questo programma è stato vissuto come una delusione, perché i risultati scolastici dei figli delle famiglie che avevano fruito del buono non mostravano miglioramenti significativi.”

Più di 10 anni più tardi, uno studio sugli effetti a lungo termine del programma, basato sull’analisi dei redditi dei ragazzi e delle ragazze che avevano meno di 13 anni all’epoca del trasferimento delle famiglie, ha mostrato in che misura il programma sia riuscito a fare la differenza. Intorno ai 25 anni di età i figli delle famiglie beneficiarie del programma avevano in media un reddito superiore del 31% rispetto al gruppo di controllo. Il trasferimento delle famiglie ha prodotto un cambiamento sostanziale nelle prospettive di carriera e di guadagno delle persone più giovani. Tutta un’altra storia invece per coloro che all’epoca del trasferimento erano già in età adolescenziale avanzata (sopra i 13 anni): per loro lo spostamento non ha recato alcun beneficio. Anzi la loro situazione sembra essere persino peggiore dei loro pari presenti nel gruppo di controllo. Questi esiti sono ben descritti in un articolo del New York Times.

Grazie all’esperimento i ricercatori sono dunque riusciti a misurare l’effetto di Moving to Opportunity sui risultati sia a breve che a lungo termine. L’utilizzo di un altro metodo di valutazione non avrebbe ridotto il tempo necessario per misurare questi risultati. Avrebbe semplicemente ridotto la nostra capacità di capire se il programma aveva funzionato o meno.

In conclusione
Gli studi randomizzati non richiedono necessariamente più tempo rispetto ad altri metodi. Dipende tutto dalla sfida cognitiva che si decide di affrontare e dalla necessità di guardare al breve o al lungo periodo.

In ogni caso scegliere di non condurre un esperimento perché si ha l’urgenza di avere risposte immediate non è mai una decisione lungimirante. Di solito è soltanto un’occasione persa.

L’appuntamento è al prossimo mito da sfatare…

Renato Bertasi, Alberto Martini, Marco Sisti e Paola Versino

(L’immagine di questo post è tratto https://www.shutterstock.com)