Secondo alcuni critici gli studi randomizzati sono una scatola nera. Tutto ciò che possono dirci è se – e in quale misura – un certo intervento abbia prodotto gli effetti sperati. Non possono però spiegare perché quell’intervento abbia, o meno, funzionato. In questo post, seguendo l’impostazione del rapporto redatto da Stuart Buck and Josh McGee, Why Government Needs More Randomized Controlled Trials: Refuting the Myths, approfondiremo il senso di questa critica.

Capire perché un intervento funziona o meno
All’inizio del loro scritto Stuart Buck e Josh McGee riportano una frase di Maria May, program manager del BRAC’s Social Innovation Lab, un’organizzazione che ha sede a Dhaka (Bangladesh). La frase è contenuta in un articolo pubblicato nel 2012 su Stanford Social Innovation Review dal titolo RCTs: Not All That Glitters Is Gold.

“I Randomized Controlled Trials (RCTs) raccontano solo se qualcosa funziona, o se non funziona, ed eventualmente quanto bene questo qualcosa funzioni. Le ragioni del funzionamento, o del mancato funzionamento, può essere solo oggetto di interpretazione da parte dei ricercatori. Per i professionisti – politici, manager ed operatori – questa è però un’informazione fondamentale per decidere se adottare una nuova pratica, o una nuova politica”.

Ma è vero che negli esperimenti randomizzati con gruppo di controllo si trascura di approfondire i meccanismi che consentono ad una politica di funzionare?

Esplicitare i meccanismi causali
In realtà ogni studio randomizzato comporta la necessità, già nella prima fase di disegno, di esplicitare i nessi causali grazie ai quali si dovrebbe produrre il cambiamento desiderato. In altre parole, si adotta e si sottopone a sperimentazione una certa politica perché si nutre l’aspettativa che dietro ad una determinata azione – incentivo, informazione, servizio, divieto o “spinta gentile” che sia – seguiranno alcuni fatti (eventi e comportamenti) in grado di cambiare le cose nella direzione sperata. Le ipotesi sul verificarsi di tali fatti – e sulle loro motivazioni – compongono il modello causale della politica. Ci si riferisce abitualmente a tale modello logico con l’espressione “teoria del cambiamento”.

Ogni politica pubblica – non solo quelle sottoposte ad uno studio randomizzato – dovrebbe partire dalla costruzione di una coerente e ben meditata teoria del cambiamento. Nel caso di una normale politica questo passaggio però non sempre avviene. Negli studi randomizzati invece non se ne può fare a meno. Essi hanno come punto di partenza imprescindibile lo sforzo di individuare chiaramente i meccanismi causali che dovrebbero attivarsi in seguito all’adozione di un determinato intervento e che dovrebbero portare alla produzione degli effetti sperati.

Perché allora alcuni critici descrivono lo studio randomizzato come una “scatola nera”? Cosa si vuol mettere in evidenza con questa critica?

Verificare come e perché le cose funzionano
La critica nasce dalla consapevolezza che assai difficilmente le cose vanno come era nelle previsioni. Non è detto che i meccanismi causali delineati nella teoria del cambiamento funzionino esattamente nel modo ipotizzato.

Ciò appare del tutto evidente quando lo studio randomizzato mostra che l’intervento non ha prodotto gli effetti sperati, oppure che ha dato vita ad effetti indesiderati. In questo caso è lo stesso risultato dello studio a mettere in discussione il funzionamento del modello. Per quale motivo non sono stati raggiunti i risultati attesi? Cosa è andato storto? Quale anello della catena causale si è rotto e perché? I comportamenti di quali attori non si sono adeguati alle aspettative? Senza un approfondimento empirico di qualche tipo, queste domande sono condannate a restare senza risposta.

Ma anche nel caso in cui la politica si sia rivelata efficace, è utile approfondire il funzionamento del modello causale assunto a base dell’intervento. Siamo sicuri che gli effetti si siano prodotti in virtù dei meccanismi causali ipotizzati? Esiste qualche diverso fattore che può spiegare il manifestarsi degli effetti? Perché la politica produce effetti più accentuati su alcuni gruppi o in alcune aree?

Queste sono le domande tese ad aprire ed esplorare la scatola nera della politica. Per tentare di rispondere a questo tipo di domande occorre avviare specifici fronti d’indagine, che vanno oltre il confronto tra medie che sta alla base di un esperimento randomizzato con gruppo di controllo.

Attenzione però: in questo tentativo di esplorazione, partire da una teoria del cambiamento ben definita – come avviene negli studi randomizzati – e avere a disposizione una solida evidenza sull’efficacia (o sull’inefficacia) della politica – come, di nuovo, avviene negli studi randomizzati – significa essere già a metà dell’opera. Non esiste dunque alcuna contraddizione tra la conduzione di uno studio randomizzato e l’apertura della scatola nera. Tutt’altro: si tratta di una naturale integrazione da assecondare e favorire, come spiega un post dal titolo “Strengthening randomized evaluations through incorporating qualitative research” pubblicato recentemente sul sito web di J-PAL.

In estrema sintesi: in un contesto sperimentale le possibilità di esplorazione e di apprendimento sul contenuto della scatola nera non sono minori rispetto ad un contesto non sperimentale. Anzi sono spesso maggiori, per la quantità e la qualità dei dati a disposizione.

Nel caso di un esperimento è sempre possibile raccogliere dati riferiti a variabili intermedie, che si collocano all’interno della catena causale ipotizzata, al fine di testare empiricamente le ipotesi sul funzionamento dei meccanismi. Ad esempio, nella sperimentazione di politiche innovative di formazione è possibile raccogliere informazioni più approfondite sulle competenze (tecniche, trasversali, soft) dei partecipanti ai corsi, da impiegare in modelli statistici più complessi (mediation analysis). In generale, nella valutazione delle politiche, il vero limite ad “aprire la scatola nera” è dato dalla difficoltà, e a volte dall’impossibilità, di raccogliere i dati che servirebbero. Invece nell’ambito specifico degli studi randomizzati la raccolta di informazioni è di solito agevolata!

L’effetto medio nasconde le differenze
(e il funzionamento dei meccanismi causali sottostanti)
La critica della “scatola nera” è centrata sull’idea che l’identificazione dell’effetto medio – l’esito principale di uno studio randomizzato – finisca per nascondere le molteplici differenze riscontrabili tra i soggetti sottoposti alla politica e tra i vari contesti nei quali quella politica può trovare applicazione. Di conseguenza non permette di conoscere appieno il funzionamento dei meccanismi causali.

Si tratta, ancora una volta, di una forzatura, basata su uno stereotipo piuttosto datato. In realtà nulla vieta – e anzi accade sempre più spesso – che gli esperimenti siano progettati, non solo per misurare l’effetto medio complessivo, ma anche per testare quale meccanismo causale è il maggior responsabile del cambiamento osservato. Ad esempio, uno studio randomizzato con disegno fattoriale crea diversi “bracci di trattamento”. Ciascun gruppo sottoposto alla sperimentazione riceve una differente combinazione di interventi, che mirano a raggiungere lo stesso fine. In questo tipo di esperimenti esiste un gruppo di controllo e diversi gruppi sperimentali sottoposti a varianti di trattamento: un gruppo riceve il trattamento A, un altro il trattamento B, un altro ancora il trattamento A+B. Ognuna delle varianti somministrate si basa sull’attivazione di un certo meccanismo. Osservando quale tra queste combinazioni risulta più o meno efficace, è possibile farsi un’idea di quale sia il meccanismo che incide maggiormente nella produzione dell’effetto desiderato.

In conclusione
1. Non è vero che gli esperimenti trascurano di studiare i meccanismi causali che dovrebbero determinare il cambiamento desiderato. Al contrario il primo passo nel disegno di uno studio randomizzato è proprio la definizione della teoria del cambiamento che soggiace al programma.

2. In un contesto sperimentale l’esplorazione della scatola nera è più semplice che in altri casi. La raccolta di dati su più dimensioni – sulle variabili obiettivo dell’intervento, ma anche sulle altre variabili intermedie che potrebbero essere responsabili degli effetti – risulta più agevole.  In questo contesto l’uso di metodi qualitativi si integra perfettamente con l’analisi quantitativa tesa a identificare l’effetto della politica. Non esiste uno studio randomizzato ben concepito, che non si preoccupi di capire come e perché le cose funzionino.

3. Ogni esperimento può essere costruito per testare le ipotesi relative all’innesco di diversi meccanismi causali. Ciò accade, ad esempio, nel disegno fattoriale, che viene impiegato con sempre maggior frequenza per verificare l’efficacia di trattamenti complementari.

Chiudiamo con una breve nota a margine, leggermente provocatoria. Come fanno notare Ludwig, Kling e Mullainathan nel loro articolo “Mechanism Experiments and Policy Evaluations”, sebbene sia senza dubbio importante avere informazioni relative al funzionamento dei meccanismi causali, la storia della medicina è piena di esempi di trattamenti sanitari che sono stati ampiamente utilizzati in quanto molto efficaci, anche se al tempo della loro adozione si ignoravano le ragioni di tale efficacia. Risolvevano il problema e quello era sufficiente per utilizzarli. Anche nelle politiche sociali si può, quando non è possibile fare altrimenti, usare lo stesso pragmatismo. Insomma, “…avere l’evidenza che un intervento funziona, anche se non si capisce esattamente il perché, è certamente meglio che non avere alcuna evidenza e dunque non poter includere quell’intervento nel portfolio delle nostre opzioni di policy”.

Renato Bertasi, Alberto Martini, Samuele Poy, Marco Sisti e Paola Versino

Per leggere i primi post sugli altri miti:
1. la lentezza degli studi randomizzati
2. il costo eccessivo degli studi randomizzati
3. la questione etica
4. il problema dei microcontesti