Alcuni critici mettono in guardia contro l’uso degli studi randomizzati (RCT) per valutare gli effetti delle politiche pubbliche, in quanto questo tipo di studi potrebbe essere oggetto di manipolazione da parte di chi li ha promossi e di chi li gestisce. Altri critici ci ricordano che questi studi possono essere distorti in modo non intenzionale. Il testo di Stuart Buck and Josh McGee, Why Government Needs More Randomized Controlled Trials: Refuting the Myths, che ha ispirato questa serie di post sui miti che circolano sulla sperimentazione controllata, contiene un breve capitolo dedicato a queste critiche. Di seguito proponiamo una sintesi dei passaggi essenziali.

Il rischio di manipolazioni e distorsioni
William Easterly, economista statunitense specializzato in teoria dello sviluppo economico e docente alla New York University, afferma in un suo articolo che gli RCT possono essere “manipolati per ottenere i risultati giusti”, in quanto “si può continuare a cercare tra le molte variabili risultato disponibili e tra le molte sezioni del campione”, fin quando non si raggiungono gli esiti desiderati.

Angus Deaton, premio Nobel per l’economia nel 2015, guarda invece al tema delle distorsioni non intenzionali e sottolinea che esistono “problemi pratici che minano qualsiasi pretesa superiorità statistica o epistemica” degli studi randomizzati, come gli errori derivanti da attrition (problema che si verifica quando i soggetti inclusi nel campione escono progressivamente dall’esperimento – una sorta di “logoramento” del campione) o che discendono da eventuali dati mancanti (problema che si manifesta, ad esempio, quando una parte rilevante dei soggetti che fanno parte del campione decide di non fornire le informazioni richieste).

Entrambe le affermazioni sono vere. Il semplice fatto che una valutazione abbia l’etichetta di “studio randomizzato” non significa che i suoi risultati siano perfetti. Esistono molte opportunità per i ricercatori di influenzare, consapevolmente o meno, i risultati di un esperimento, trattando ad esempio i dati con un eccesso di flessibilità. Così come ci sono molte cose che possono andare storte nella conduzione di un esperimento e che spesso non sono sotto il diretto controllo dei ricercatori.

E’ giusto essere pienamente consapevoli dei limiti degli studi randomizzati. Nel caso della sperimentazione clinica esiste un’ampia letteratura che affronta il tema degli errori, dei vincoli, delle manipolazioni e dei conflitti d’interesse che possono compromettere la validità degli studi randomizzati. Un bel testo divulgativo in italiano sull’argomento è “Rischiare di guarire”, scritto nel 2005 da Marco Bobbio e Stefano Cagliano. Alcune delle riflessioni contenute nel libro possono essere certamente utilizzate per guardare con spirito critico anche ai risultati delle valutazioni sperimentali condotte sulle politiche pubbliche.

Tali critiche devono però essere lette nella giusta prospettiva. Sul tema delle manipolazioni, ad esempio, ci sono due questioni che è bene ricordare.

Il rischio della manipolazione è ancor più presente in altri tipi di ricerca
In primo luogo, altri tipi di ricerca sono molto più suscettibili di manipolazione. Un RCT si basa sul semplice confronto dei valori medi osservati su due gruppi di soggetti (gruppo sperimentale e gruppo di controllo) rispetto ad una determinata variabile risultato. Un’operazione tutto sommato facile da capire e da controllare, almeno nei suoi presupposti logici e nei passaggi applicativi, anche da persone non particolarmente esperte. Gli studi osservazionali – spesso realizzati mediante l’uso di complicati modelli econometrici – e le indagini qualitative lasciano oggettivamente molto più spazio al rischio di manipolazioni. Peraltro manipolazioni molto più difficili da individuare e portare alla luce.

Come sottolineano nel loro testo Marco Bobbio e Stefano Cagliano con riferimento agli esperimenti randomizzati condotti in campo clinico, nonostante l’esistenza di una serie di limiti, anche legati alla manipolazione, “…non possiamo fare a meno dei trial. In breve, se non li sperimentassimo prima in modo controllato, sarebbe il medico a sperimentare i farmaci più tardi, in modo incontrollato.. sinora non abbiamo trovato niente meglio dei trial per provare farmaci nuovi o per controllare che quelli già in uso mantengano le promesse nel tempo.”

L’uso dei registri per prevenire il rischio di manipolazione
In secondo luogo, nella sperimentazione controllata è possibile prevenire la maggior parte dei rischi di manipolazione, inducendo i ricercatori a (1) predisporre piani di lavoro, che illustrino gli elementi fondamentali dello studio randomizzato che si accingono a realizzare e (2) registrare tali piani, prima dell’avvio dell’esperimento, su piattaforme siti web pubblici, consultabili da chiunque. In effetti, nella maggior parte dei casi, per disincentivare manipolazioni successive, sarebbe sufficiente avere una dichiarazione pubblica di una pagina, sottoscritta dal gruppo di ricerca, che descriva gli esiti primari e secondari dello studio randomizzato, il calcolo della dimensione del campione, le fonti di dati, le regole adottate per escludere valori anomali e il modello statistico che si prevede di impiegare.

Ormai la registrazione preventiva degli esperimenti in un registro pubblico è prassi comune. Il nostro blog ha già affrontato questo argomento in un post redatto da Sarah Zaccagni. Uno dei registri più noti, almeno tra gli economisti, è I’American Economic Association (AEA) Randomized Controlled Trial Registry. Questo registro accetta solo studi controllati randomizzati, senza alcun vincolo in merito all’argomento o al luogo in cui sono condotti. Vi sono altri registri che accettano anche altri tipi di valutazioni non sperimentali.

Attrition, dati mancanti e altre possibili distorsioni
Resta da affrontare il tema delle distorsioni non intenzionali, come l’attrition, i dati mancanti e i problemi derivanti dai cosiddetti cross-over (soggetti che sono stati assegnati al gruppo di controllo, ma che riescono comunque ad essere inclusi nel programma oggetto di valutazione o, viceversa, che sono stati assegnati al gruppo sperimentale, ma che finiscono per non ricevere alcun trattamento).

In tutti questi casi lo studio randomizzato continua probabilmente ad essere la migliore strategia di valutazione degli effetti di un programma, se confrontata alle possibile alternative. Nelle parole di Guido Imbens, premio Nobel per l’economia nel 2021: “È vero che le violazioni dei protocolli di assegnazione ai gruppi (N.d.R.: che danno vita al fenomeno del cross-over), l’eventualità di dati mancanti e altri problemi pratici possono creare molte complicazioni nelle analisi dei risultati prodotti da esperimenti randomizzati. Non ci sono tuttavia prove che rinunciare alla selezione randomizzata dei partecipanti a favore di uno studio osservazionale consenta di superare queste difficoltà.“

Valutare gli effetti dell’intention-to-treat
“Inoltre, l’idea che qualsiasi complicazione si possa produrre nel corso di un esperimento, come la violazione del protocollo di assegnazione, porti necessariamente ad analisi che perdono ogni credibilità è semplicemente sbagliata”. A sostegno di questa affermazione vale la pena ricordare che, nel caso delle politiche pubbliche, i ricercatori sono spesso interessati a conoscere, non solo (e non tanto) l’effetto del trattamento vero e proprio, ma l’effetto dell’intenzione di sottoporre a trattamento una determinata popolazione. Si parla in questo caso di “intention-to-treat analysis”. Semplificando un po’, diciamo che in questo tipo di analisi il confronto avviene tra coloro che sono stati assegnati al gruppo sperimentale e coloro che ne sono stati esclusi, senza preoccuparsi troppo dell’esistenza di casi di “cross-over”. Ciò che interessa è avere l’effetto complessivo della politica adottata perché si suppone che le violazioni del protocollo di assegnazione osservate durante l’esperimento si manifesterebbero anche in condizioni di normalità, con l’adozione a regime dell’intervento. Questo non significa che non si tenti di quantificare il fenomeno di mancata applicazione del protocollo di assegnazione – tutt’altro, si tratta di un fenomeno da tenere sempre sotto controllo – ma soltanto che, anche in presenza di tale fenomeno, il confronto tra gli assegnati al gruppo di trattamento e gli esclusi da tale trattamento offre informazioni molto rilevanti.

Un esempio può chiarire questo punto. Ipotizziamo di voler valutare l’efficacia di una campagna informativa realizzata attraverso l’invio di una lettera per posta. Questo strumento viene spesso utilizzato per offrire informazioni ai cittadini su questioni di carattere sanitario, come nel caso delle campagne tese a fornire indicazioni alle famiglie sui sintomi dell’ictus e sul modo migliore di affrontarlo. Per valutare l’efficacia della campagna postale ad alcune famiglie selezionate mediante randomizzazione viene inviata la lettera, ad altre famiglie non viene inviata alcuna informazione. Naturalmente solo una parte delle famiglie presenti nel campione riceverà e leggerà davvero la lettera: è probabile che alcune lettere non saranno consegnate per disguidi postali e che una parte delle famiglie, pur ricevendo la lettera, deciderà di non leggerla e di gettarla immediatamente nel cestino di raccolta della carta. Non tutto il gruppo sperimentale sarà dunque davvero esposto al trattamento (lettera postale). E’ anche possibile che qualche soggetto del gruppo di controllo legga casualmente la lettera, magari perchè si reca a casa di qualche suo conoscente che l’ha ricevuta. In questi casi si può parlare di contaminazione. Si tratta di fenomeni indesiderati ai fini della valutazione e che si cercherà di contenere, ma che sarà molto difficile eliminare del tutto.

I ricercatori – e naturalmente i decisori – sono comunque interessati a comprendere se, e in che misura, la campagna postale si sia rivelata efficace, pur nella consapevolezza che non tutte le famiglie sono state davvero esposte al trattamento e che una parte delle famiglie escluse è stata in realtà esposta. Ciò che interessa è valutare appunto gli effetti dell’intenzione a trattare (intention-to-treat), piuttosto che gli effetti del trattamento, perchè è assai probabile che anche nella vita reale si manifesteranno i problemi di consegna, di non curanza e di contaminazione che si sono verificati nel corso dell’esperimento. (Se poi si intende misurare anche l’incidenza di tali problemi, si può naturalmente investire risorse per indagare questo tema e in molti casi è opportuno farlo, ma questa è un’altra storia).

In conclusione
1. E’ certamente vero che gli esperimenti randomizzati possono essere oggetto di manipolazioni intenzionali o di distorsioni non intenzionali. Come tutti gli altri studi, del resto.
2. Per prevenire le manipolazioni è utile indurre i ricercatori a registrare il loro piano di lavoro su piattaforme pubbliche prima che l’esperimento abbia inizio. Questa è una pratica ormai comune per gli studi randomizzati e (in parte) per valutazioni controfattuali di tipo non sperimentale. Non ci risulta che esistano piattaforme pubbliche per la registrazione di altri tipi di valutazioni.
3. Evitare le distorsioni non intenzionali è più difficile (e ribadiamo che lo è per qualunque tipo di studio), ma non è vero che tutte le complicazioni che possono emergere nel corso di un esperimento fanno perdere ogni credibilità allo studio randomizzato. Spesso ciò che interessa è valutare l’intenzione di sottoporre una popolazione a trattamento; in questi casi il confronto tra il gruppo sperimentale e il gruppo di controllo resta valido, anche se una parte del gruppo sperimentale non ha ricevuto alcun trattamento.

Renato Bertasi, Alberto Martini, Samuele Poy, Marco Sisti e Paola Versino

Per leggere i post sugli altri miti:
1. la lentezza degli studi randomizzati
2. il costo eccessivo degli studi randomizzati
3. la questione etica
4. il problema dei microcontesti
5. la scatola nera
6. la complessità dei programmi