Nel tempo gli studi randomizzati applicati alle politiche pubbliche sono stati oggetto di molte critiche. Alcune di queste sono piuttosto persistenti nonostante, a ben guardare, non si tratti sempre di critiche così fondate. Per questo motivo abbiamo deciso di pubblicare una serie di post con l’intento di esaminare i vari miti che aleggiano intorno agli esperimenti controllati. La principale fonte d’ispirazione di questi post è un rapporto pubblicato dalla Arnold Foundation e già segnalato in un nostro precedente messaggio.

Ogni articolo è dedicato ad un mito specifico. Nel primo ci siamo occupati della “lentezza” che, per alcuni, sembra caratterizzare questo tipo di studi. In questo secondo articolo ci dedichiamo ad un’obiezione altrettanto ricorrente: gli esperimenti con gruppo di controllo costano troppo!

Mito 2: Gli studi randomizzati sono troppo costosi!
Sovente gli esperimenti con gruppo di controllo randomizzato, indicati più brevemente con l’acronimo RCT (Randomized Controlled Trials), sono accusati di essere troppo costosi. Ecco come rispondono a questa critica Stuart Buck and Josh McGee, gli autori di “Why Government Needs More Randomized Controlled Trials: Refuting the Myths”.

“…non c’è nulla di intrinsecamente costoso in un RCT rispetto ad altre forme di valutazione. Se un certo programma riceve un eccesso di iscrizioni, la randomizzazione per decidere chi entra e chi resta fuori dal programma aggiunge un costo irrisorio all’attuazione dell’intervento…”

In alcuni casi randomizzare può comportare una riduzione dei costi
Anzi è probabile che, a conti fatti, il costo di tirare in aria la classica moneta per decidere chi entrerà nel programma sia inferiore ad altre procedure selettive, più complicate da implementare, che vogliono identificare i partecipanti sulla base di criteri come il bisogno o il merito.

Ipotizziamo il caso di un programma di formazione professionale che abbia raccolto un numero di candidature molto superiore ai posti disponibili. Una volta verificati i requisiti di base, tesi a certificare l’appropriatezza di ogni candidatura, sarà assai meno costoso estrarre a sorte le candidature piuttosto che vagliare tutti i curricula ricevuti – oppure organizzare un test d’ingresso – per valutare quali sono le persone che “meritano” di partecipare al corso.

“Anche nel caso di un programma d’intervento che non ha iscrizioni in eccesso…la randomizzazione dei beneficiari non rappresenta una spesa significativa. In realtà, la conduzione di uno studio randomizzato può anche rendere un programma meno costoso, se si decide di coinvolgere inizialmente solo una parte dei partecipanti potenziali, cioè il gruppo che riceverà il trattamento, invece di tutti coloro che potrebbero essere coinvolti.”

In questa prospettiva la scelta di randomizzare – e di non somministrare il trattamento ad una parte dei soggetti – comporta una spesa inferiore a quella di mettere immediatamente a regime il programma.

Il costo legato alla raccolta dei dati
“Ovviamente può essere costoso rintracciare gli individui o gli enti che partecipano a un RCT, al fine di osservare i loro risultati, dopo l’attuazione dell’intervento. Ma la raccolta dei dati rappresenta una spesa per qualsiasi forma di valutazione, non solo per gli RCT. Nella misura in cui i critici si lamentano del costo della raccolta dei dati, si stanno in realtà lamentando della valutazione e non degli RCT di per sé.“

Storicamente i costi più ingenti nella realizzazione degli studi randomizzati – come di altri tipi di valutazione – sono dovuti alla necessità di condurre indagini che prevedono la somministrazione di questionari ad un ampio numero di persone, in più momenti nel tempo. Grazie però alle recenti innovazioni tecnologiche condurre indagini di questo tipo è (1) molto meno costoso che in passato – utilizzando ad esempio questionari on line, in sostituzione dei tradizionali questionari postali – e (2) spesso non necessario. La disponibilità di database amministrativi, aggiornati anche in tempo reale, permette di raccogliere informazioni tempestive sui beneficiari e sui controlli, senza che vi sia alcun bisogno di avere con questi un’interazione diretta. In questi casi – sempre più frequenti – si può parlare di esperimenti low cost, almeno per quanto riguarda il reperimento dei dati. Il tema è piuttosto organizzare nel modo migliore i dati così da facilitarne l’utilizzo a fini valutativi (oltre che gestionali).

Chi più spende (in sperimentazione), meno spande (in politiche sbagliate)
“In ogni caso, preoccuparsi indebitamente delle spese prodotte dagli studi randomizzati sembra del tutto fuori luogo. Se spendessimo il 2% del budget federale a disposizione sulle politiche sociali per finanziare RCT, sarebbe comunque una spesa di pochi miliardi di dollari all’anno. Tuttavia, questa scelta di rigore metodologico (peraltro senza precedenti) ci consentirebbe di allocare in modo più efficace molti miliardi di dollari in più che ora vengono spesi per politiche non testate, delle quali non conosciamo la reale efficacia. Questo non vuol dire che le politiche sociali dovrebbero essere tagliate; forse dovremmo invece spendere la stessa quantità di denaro per politiche sociali diverse o modificate, che siano più basate sull’evidenza e in grado di produrre davvero i risultati desiderati.”

Porsi il problema della spesa per la conduzione degli esperimenti, senza preoccuparsi degli sprechi, molto più cospicui, prodotti da politiche inefficaci, è semplicemente un errore di prospettiva. Deriva dall’applicazione di un approccio molto miope alla programmazione delle politiche.

In conclusione
Gli studi randomizzati non sono necessariamente più costosi di altre forme di valutazione. Tutto dipende dalla politica oggetto di valutazione e, ancor di più, dalla possibilità di ricorrere o meno a dati amministrativi per identificare l’effetto sulle variabili risultato d’interesse. Se esiste qualche dubbio in proposito, iniziamo almeno a realizzare esperimenti a basso costo. Sarebbe già un bel passo avanti!

In ogni caso, al di là del costo, l’investimento in studi randomizzati si rivela spesso molto fruttuoso. Lo hanno capito molto bene le società di ultima generazione che lavorano sul web: prima di promuovere un prodotto su larga scala – o per prevedere i comportamenti di diversi profili di utenti, in risposta ad un determinato messaggio – realizzano esperimenti tesi a produrre l’informazione che serve per confermare o smentire le loro ipotesi di partenza. Se questo investimento è vantaggioso per le imprese private che vogliono massimizzare il profitto, perché non dovrebbe esserlo per le amministrazioni pubbliche che dovrebbero massimizzare il bene comune?

L’appuntamento è al prossimo mito da sfatare…

Renato Bertasi, Alberto Martini, Marco Sisti e Paola Versino