Nel febbraio del 2025 è uscito in Gran Bretagna un volume interamente dedicato alla sperimentazione controllata per valutare l’impatto delle politiche sociali. Il manuale, dal titolo “Designing and delivering randomised trials for social policy”, noto anche come Ochre Book, è stato redatto da un gruppo di esperti del King’s College London. Si tratta di un testo dall’elevato valore informativo, che vogliamo rilanciare per i lettori italiani, a più di un anno dalla sua pubblicazione.

Del resto, anche in Italia, il termine “impatto” è sempre più utilizzato nell’ambito delle politiche sociali per indicare gli effetti generati dagli interventi. Il Piano d’azione nazionale dell’economia sociale — non ancora approvato, ma ormai in dirittura d’arrivo — dedica uno specifico paragrafo alla misurazione dell’impatto sociale. Ma come si realizza concretamente questa misurazione? Gli approcci possibili sono diversi, ma il metodo sperimentale rappresenta in molti casi la scelta più adeguata se si vuole capire se un intervento funziona oppure no.

Un testo alla portata di tutti
Il manuale è stato realizzato grazie al finanziamento dell’Evaluation Task Force e del Centre for Homelessness Impact. L’obiettivo è colmare il divario esistente tra la ricerca medica e le politiche sociali nell’uso della sperimentazione controllata. Nella prefazione il professor Halpern afferma che, nonostante i grandi passi avanti compiuti negli ultimi 15 anni, il numero di esperimenti randomizzati (Randomized Controlled Trials – RCT) condotti in ambito sanitario è circa dieci volte superiore a quello di tutti gli altri campi messi insieme.

L’Ochre Book si propone come uno strumento di apprendimento alla portata di tutti: funzionari pubblici, operatori del terzo settore, ricercatori e comuni cittadini. Lo scopo è favorire la quantità e la qualità di evidenza empirica che circola sull’efficacia delle politiche, così che essa possa alimentare in modo sistematico le decisioni pubbliche.

Il manuale offre una guida dettagliata sull’uso degli RCT, suddivisa in tre sezioni:
1. introduzione all’esperimento randomizzato
2. gli strumenti di lavoro dello sperimentatore
3. le nuove frontiere della sperimentazione

Di seguito, come invito alla lettura, ripercorriamo velocemente i contenuti di ciascuna sezione.

1. Introduzione all’esperimento randomizzato
La parte introduttiva del volume illustra i diversi tipi di esperimenti, a partire dai modelli più semplici. Le prime pagine sono dedicate alla presentazione dell’esperimento randomizzato tradizionale, che prevede l’assegnazione del trattamento di policy a singoli individui mediante sorteggio. Grazie alla randomizzazione si creano due gruppi statisticamente equivalenti, che differiscono solo per essere stati sottoposti o meno alla politica. Questa uguaglianza di partenza tra i due gruppi (trattati e controlli) permette di interpretare le eventuali differenze osservate dopo l’intervento come effetti della politica.  Dopo aver approfondito alcuni dettagli tecnici degli studi randomizzati, gli autori illustrano altri disegni sperimentali. Ne citiamo tre.

L’esperimento randomizzato a grappolo (Cluster RCT) prevede la selezione casuale di gruppi, come nuclei familiari, classi di studenti, scuole, aziende, ospedali o addirittura aree territoriali.  La scelta di questa strategia si rende necessaria quando è impossibile somministrare il trattamento a singoli individui, in quanto l’intervento è indirizzato, per costruzione, ad una collettività nel suo insieme. Un esempio è l’imposizione di un nuovo limite di velocità per chi passa in un centro urbano.

Nell’esperimento crossover (o within-subject) – che in italiano potremmo chiamare studio incrociato – ogni singolo partecipante, o talvolta un intero gruppo, funge da controllo di sé stesso. Invece di confrontare due persone diverse (una trattata e una non trattata), questa strategia consiste nel confrontare la reazione dello stesso soggetto dopo essere stato esposto a due o più trattamenti in periodi successivi, alternando momenti di esposizione a momenti di non esposizione.

Lo Stepped-wedge randomised controlled trial (SWRCT), letteralmente traducibile come “cuneo a gradini”, deriva il suo nome dalla rappresentazione grafica dell’assegnazione del trattamento nel tempo, che assomiglia a dei gradini che formano un cuneo. In questo caso, l’esperimento inizia con tutti i gruppi (cluster) in una condizione di controllo. Successivamente, l’intervento viene introdotto in cluster selezionati casualmente a intervalli prestabiliti. Questo processo continua finché tutti i cluster non sono passati allo stato di trattamento.

2. Gli strumenti di lavoro di chi sperimenta
La seconda sezione del volume si concentra su aspetti tecnici e pratiche che occorre seguire per trasformare un disegno di ricerca in un esperimento concreto  e affidabile.

Un capitolo illustra il tema della pre-registrazione degli studi. Prima di iniziare un esperimento, i ricercatori devono scrivere il protocollo che seguiranno, ovvero il piano dettagliato che fissa in anticipo cosa verrà misurato e come verranno analizzati i dati, in un apposito registro degli esperimenti. Questo serve a evitare il cosiddetto “P-hacking“: una pratica simile a “barare a freccette”, dove prima si lancia la freccetta e poi si disegna il bersaglio intorno a dove si è infilzata per far finta di aver fatto centro.

Una parte consistente è dedicata alle tecniche utili a determinare la potenza statistica dello studioe a decidere quanti soggetti dovranno comporre il campione dell’esperimento.  

Un altro capitolo è dedicato alla gestione degli imprevisti, come la mancanza dei dati che si era previsto di raccogliere. In quasi tutti gli studi, alcune persone abbandonano il progetto o si rifiutano di essere intervistate. Non includere semplicemente queste persone dall’analisi è rischioso perché potrebbe distorcere i risultati. Gli autori spiegano come funzionano alcune tecniche matematiche sofisticate, come l’imputazione multipla, per completare i dati mancanti in modo trasparente, per quanto sulla base di assunzioni.

Infine, il volume tratta il tema etico dell’espressione e della raccolta del consenso a partecipare all’esperimento. In alcuni studi si sceglie di far firmare obbligatoriamente ai partecipanti un modulo con il quale essi esprimono in modo esplicito la loro volontà di far parte del campione. È il metodo più comune e più sicuro, ma spesso finisce per escludere proprio le famiglie più svantaggiate che hanno meno tempo o minore facilità nel dare il proprio assenso, firmando un modulo.

3. Le nuove frontiere della sperimentazione
La sezione finale esplora l’impiego di modelli di ricerca avanzati e specializzati per contesti in cui i disegni tradizionali risultano limitati o difficili da applicare.

Un esempio di tali modelli è il Mega-trial. Con questo termine si fa riferimento ad un esperimento randomizzato multi-braccio, in cui un numero molto elevato di interventi diversi viene testato simultaneamente rispetto a un’unica condizione di controllo. I mega-trial coinvolgono solitamente campioni grandi, spesso nell’ordine delle decine di migliaia di partecipanti. Finora questo metodo è stato utilizzato principalmente per testare interventi comportamentali leggeri e a basso costo, come interventi di nudging (spinte gentili) che sono facili da standardizzare e distribuire su larga scala.

Un altro esempio sono i trial split-plot, un tipo speciale di esperimenti nei quali la randomizzazione avviene a più livelli contemporaneamente. A differenza degli esperimenti tradizionali, in cui tutti i partecipanti sono divisi in gruppi allo stesso livello, in un disegno split-plot un intervento viene assegnato a livello di gruppo o cluster (chiamato “whole-plot”), mentre un secondo intervento viene randomizzato a livello individuale all’interno dei gruppi (chiamato “split-plot”). Questo modello si rivela particolarmente utile, quando si vuol comprendere quale sia l’efficacia di diverse combinazioni di più interventi.

L’esperimento “winner stays on” – “il vincitore resta in gara” – è un modello di ricerca adattivo e sequenziale in cui diversi interventi vengono testati uno dopo l’altro nel tempo, anziché simultaneamente in un unico grande esperimento. Questo disegno è particolarmente indicato quando il numero di partecipanti disponibili per ogni singolo esperimento è troppo piccolo per permettere un trial multi-braccio – che testa molti interventi insieme – ma i partecipanti arrivano in coorti ricorrenti a intervalli regolari.

Insomma, chi dovrebbe leggere questo manuale?
La lettura di questo manuale è utile a chi desidera orientarsi tra i diversi approcci alla sperimentazione delle politiche sociali e approfondire strumenti, metodi e disegni di ricerca oggi disponibili. Il volume offre spunti concreti per progettare valutazioni rigorose, capaci di rafforzare la qualità delle decisioni pubbliche.

In questa prospettiva, il manuale può interessare anche le persone attualmente coinvolte in Italia nella discussione del Piano d’azione nazionale dell’economia sociale. È auspicabile che il Piano non si limiti a un richiamo generico alla misurazione dell’impatto, ma favorisca in modo esplicito l’adozione di approcci robusti e riconosciuti come standard di riferimento dalla comunità scientifica internazionale. In particolare, laddove possibile, l’utilizzo di metodi sperimentali — come i Randomized Controlled Trials (RCT) — dovrebbe essere promosso per garantire evidenze più affidabili se si intendono “misurare effetti”. Il rischio, altrimenti, è di trovarsi di fronte all’ennesimo insieme eterogeneo di strumenti e metriche che, seppur motivato da buone intenzioni, non riescano a restituire risultati utili a migliorare l’efficacia degli interventi.

Samuele Poy* e Marco Sisti*

*Le opinioni e le conclusioni espresse in questo articolo appartengono esclusivamente agli autori e non riflettono la posizione ufficiale degli enti di appartenenza.