Gli studi randomizzati (RCTs) sono talvolta criticati perchè tendono a concentrarsi su quesiti molto circoscritti, trascurando di fatto i “grandi temi”.

In effetti, gli esperimenti con gruppo di controllo assumono come punto di partenza della loro indagine questioni concrete, volte a verificare l’esistenza di un nesso causale tra una determinata azione e il cambiamento che si osserva su un particolare fenomeno. Potremmo portare molti esempi di questo tipo di questioni. Offrire un premio in denaro può indurre le persone a svolgere una regolare attività fisica? L’invio di una lettera può spingere le famiglie a ridurre i loro consumi energetici? Un servizio di assistenza domiciliare offerto ai pazienti dimessi riduce il rischio di riospedalizzazione nelle persone più anziane?

A qualcuno tali questioni appaiono di piccolo calibro e di poca importanza. L’accusa, piuttosto esplicita, è che gli esperimenti si occupano di dettagli, legati al funzionamento di singoli strumenti di policy. Chi si occupa di esperimenti finisce per perdere di vista l’insieme più ampio e più articolato dei veri problemi che gravano sulle nostre società. Ma si tratta di un’accusa davvero fondata?

Per rispondere a questa domanda utilizzeremo come traccia – per l’ultima volta – il testo di Stuart Buck and Josh McGee, Why Government Needs More Randomized Controlled Trials: Refuting the Myths, che dedica un paragrafo proprio a questo punto.

Thinking Big vs. Thinking Small
William Easterly, economista statunitense, afferma che gli esperimenti randomizzati si limitano a rispondere a “piccole domande”; non possono invece essere impiegati per trovare risposta a domande che riguardano argomenti importanti, come “gli effetti positivi sul sistema economico che derivano dall’avere buone istituzioni o dal realizzare buone politiche macroeconomiche”.

In base a questa impostazione, chi studia le politiche pubbliche ha di fronte a sé la scelta tra “pensare in grande” e “pensare in piccolo”, per riprendere il titolo di un volume curato dallo stesso Easterly e da Jessica Cohen nel 2009: “What Works in Development? Thinking Big and Thinking Small“.

Naturalmente, sempre in base a questa impostazione, chi si occupa di esperimenti ha scelto di “pensare in piccolo”.

I presupposti per condurre un esperimento randomizzato
É certamente vero che gli esperimenti randomizzati sono difficilmente utilizzabili quando si tratta di valutare politiche statali che si rivolgono all’intera popolazione, come può essere nel caso dell’introduzione del salario minimo1, o quando si tratta di comprendere le ricadute di interventi di macroeconomia, come l’aumento delle spesa militare fino a raggiungere il 2% del PIL. Giusto per citare due temi d’attualità.

Per realizzare uno studio randomizzato è necessario poter escludere, mediante sorteggio, una parte dei possibili destinatari della politica al fine di costruire un gruppo di controllo con caratteristiche in media simili al gruppo dei soggetti sottoposti all’intervento. Se per qualche motivo non è possibile effettuare questa selezione – ad esempio, perché tutta la popolazione residente sul territorio è esposta alla politica – non sarà possibile condurre l’esperimento.

Occorre però aggiungere almeno tre considerazioni all’affermazione un po’ sbrigativa che gli esperimenti si limitano a rispondere a “piccole domande”.

La difficoltà (di tutti) nel produrre solida evidenza per rispondere alle “grandi domande”
Le grandi domande, alle quali si riferisce Easterly, restano spesso senza grandi risposte, anche quando si utilizzano altri metodi di valutazione, più adatti ad analizzare le relazioni esistenti tra macro aggregati economici e sociali.

Questo tema è ben raccontato da Esther Duflo in una Ted Conference, che si è tenuta nel febbraio del 2010 a Long Beach in California. L’intervento si apre con una tipica “grande domanda”: gli aiuti finanziari dati ai Paesi più poveri servono a ridurre la povertà?

A questa domanda alcuni rispondono – dati alla mano – in modo positivo: è possibile debellare la povertà, aumentando la spesa dei Paesi più ricchi in aiuti finanziari destinati ai Paesi più poveri. Investendo di più si riuscirà ad ottenere il risultato desiderato. O comunque ad andarci vicino. Altri – dati alla mano – sostengono invece che gli aiuti finanziari servono a poco e che anzi sono controproducenti, in quanto fanno crescere la corruzione interna e la dipendenza dei Paesi più poveri da quelli più ricchi.

Difficile dire chi abbia ragione. Come sottolinea Duflo nel suo intervento, abbiamo fin qui prodotto poca evidenza empirica per rispondere una volta per tutte a questa grande domanda (o a quesiti simili). I metodi di ricerca utilizzati per trovarvi risposta non hanno dato certezze, lasciando molto spazio all’interpretazione soggettiva.

D’altra parte, finché si resta a livello aggregato e si parla generalmente di quantità di “aiuti”, misurati ed espressi nel denaro speso, è difficile riuscire a dare una risposta sensata. Ciò che fa la differenza è la composizione di tale spesa. Il punto essenziale è capire quali aiuti sono davvero efficaci, perchè lo sono, per quali persone, in quali contesti e a quali condizioni. Su questo fronte gli esperimenti possono essere di grande aiuto2.

Scomporre la “big issue” per offrire indicazioni più mirate e concrete
Gli studi randomizzati sono un mezzo prezioso per determinare gli effetti delle politiche pubbliche. Il fatto che affrontino domande molto circoscritte, non li rende meno utili o meno rilevanti nel processo decisionale. Anzi, scomporre la “big issue” in tante “small issues” non solo consente di trovare risposte più solide dal punto di vista empirico, ma permette anche di andare più direttamente alla sostanza delle cose e di offrire ai decisori indicazioni più concrete su cosa convenga fare per risolvere un determinato problema.

Per riprendere il caso citato sopra, le piccole questioni che si pongono gli “sperimentalisti” non ci diranno molto su quanto sia opportuno spendere, a livello generale, in aiuti per lo sviluppo e la cooperazione internazionale, ma potranno aiutarci a decidere come articolare quella spesa ed indirizzarla verso le soluzioni più efficaci nel risolvere problemi anche molto gravi. Ci dicono, ad esempio, quali sono gli interventi che permettono di aumentare la copertura vaccinale tra i bambini e le bambine dei Paesi più poveri. O come sia possibile aiutarli a difendersi dalla malaria. O ancora, come fare in modo che vadano regolarmente a scuola per il maggior numero di anni possibile.

Naturalmente lo stesso discorso vale per le altre politiche pubbliche che possiamo prendere in considerazione: ambiente, ricerca, istruzione, sanità, immigrazione e così via.

La conoscenza procede a piccoli passi
Giungiamo così al punto centrale su cui è costruito il mito negativo delle “piccole domande” e la conseguente accusa, mossa agli sperimentalisti, di occuparsi solo di dettagli.

La conoscenza è sempre frutto di un processo collettivo di produzione e accumulazione di evidenza empirica che, nella maggior parte dei casi, si muove per piccoli passi. Concentrare l’attenzione sui rapporti di causa effetto esistenti tra azioni intenzionali e fenomeni sociali non significa trascurare o, addirittura, non prendere in considerazione i “grandi temi”. Valutare gli effetti di singole misure non è un ripiego; rappresenta piuttosto una strategia inevitabile. L’idea alla base di tale strategia è che mettendo insieme tanti esperimenti – che necessariamente devono essere “piccoli” per poter essere precisi – si può provare a rispondere alle “grandi questioni”. Naturalmente questo richiede un confronto scientifico, supportato da riflessioni teoriche e da revisioni sistematiche3 su ciò che gli esperimenti hanno concretamente prodotto.

Insomma, l’accusa rivolta agli sperimentalisti non ci pare così fondata e la divisione tra il “pensare in grande” e il “pensare in piccolo”, se esiste, è meno profonda di quel che sembra.

In conclusione
(1) É vero che gli esperimenti randomizzati si occupano principalmente di rispondere a piccole domande, molto concrete e legate a questioni circoscritte.
(2) Le “grandi domande” sono un osso duro per tutti i tipi di ricerca e per tutte le discipline. Complicato produrre una solida evidenza empirica nel tentativo di dar loro risposta, una volta per tutte. Con l’aggravante che le eventuali risposte sono maggiormente inquinabili da prese di posizione ideologica e da pregiudizi.
(3) Le risposte date alle piccole domande sono comunque utilissime ai decisori. Piccolo non coincide con poco rilevante. Le informazioni prodotte dagli studi randomizzati hanno il pregio di dare indicazioni molto precise sugli strumenti da adottare per affrontare specifici problemi collettivi.
(4) Rispondere alle piccole domande è di aiuto anche nel prendere in esame e discutere le grandi questioni, magari con un tocco di pragmatismo in più. Una prova di ciò è il libro di Abhijit Banerjee ed Esther Duflo dal titolo (in italiano) “Una buona economia per tempi difficili”.

La chiusura della serie dei miti
Con questo post si chiude la serie di brevi articoletti, iniziata più di un anno fa, sui miti negativi che circondano la sperimentazione controllata. Ciò non significa che il discorso sia chiuso qui e che non continueremo ad occuparci di questioni metodologiche legate alla conduzione di esperimenti, mettendone in luce pro e contro. Semplicemente troveremo altri modi – speriamo più interattivi e dinamici – per stimolare il confronto di idee su questi argomenti.

Per leggere tutti i post della serie
1. la lentezza degli studi randomizzati
2. il costo eccessivo degli studi randomizzati
3. la questione etica
4. il problema dei microcontesti
5. la scatola nera
6. la complessità dei programmi
7. il rischio di manipolazione e distorsione
8. le piccole domande

Note
1. In realtà è possibile condurre progetti pilota sotto forma di esperimenti randomizzati, anche quando si prevede di mettere in pista politiche di carattere universale, come il salario minimo, la contrattazione decentrata o il reddito di cittadinanza. Nulla lo impedisce a livello tecnico, anche se vi possono essere elevate difficoltà organizzative e vincoli legati all’opportunità politica. Gli autori ricordano in Italia un primo e unico tentativo di questo tipo: la valutazione del reddito minimo d’inserimento introdotto nel 1998. La sperimentazione si concluse nel 2000, dopo aver coinvolto circa 34mila famiglie. Qualche mese fa è stato presentato un progetto per la valutazione controfattuale del reddito di cittadinanza, che prevede anche la selezione casuale dei territori sui quali condurre la sperimentazione.
2. A riconoscerlo è lo stesso Easterly nell’introduzione al volume già citato: “…“thinking big” on development and growth is in crisis. The “big” triggers for economic growth have not been shown to work, either because they in fact did not work or because it was impossible to demonstrate their impact persuasively. As a result, many in development have turned to “thinking small.” For the most part….the focus has shifted from macro to micro policy questions. This type of research commonly seeks the most effective method for delivering public goods such as education and vaccines. A growing methodology for analyzing micropolicy questions is randomized controlled trials.”
3. Per revisione sistematica si intende l’analisi completa degli studi randomizzati precedentemente condotti su un determinato tema o su un quesito specifico, volta a produrre una sintesi accurata delle migliori evidenze disponibili.

Renato Bertasi, Alberto Martini, Samuele Poy, Marco Sisti e Paola Versino