Può capitare di leggere che uno studio teso a identificare gli effetti di una politica pubblica sfrutta il verificarsi di un “esperimento naturale”. Cosa si intende con questa espressione?

Per capirlo torniamo all’idea degli esperimenti (o studi) randomizzati: chi disegna e gestisce la politica da sottoporre a valutazione decide, mediante un sorteggio, chi parteciperà all’intervento e chi ne verrà escluso. L’assegnazione, o meno, di un soggetto alla politica dipende da una procedura simile al lancio di una moneta. Tale procedura, tutt’altro che naturale, ma anzi attentamente costruita dai ricercatori, consente di creare in modo artificiale due gruppi simili o, come si dice in gergo, statisticamente equivalenti. Le differenze osservate, dopo l’attuazione dell’intervento, tra il gruppo sottoposto alla politica e quello escluso possono essere così interpretate come effetto della politica.

Spesso però le politiche non sono concepite in una cornice di sperimentazione controllata, utile a valutare la loro efficacia.

Toh, ma questa politica è (simile ad) un esperimento!
Nonostante questo può accadere che, anche in una “normale” politica non sperimentale, i potenziali beneficiari ricevano, o non ricevano, ciò che l’intervento dovrebbe fornire – a seconda delle situazioni, un sussidio, un servizio, un’informazione, un riconoscimento o un finanziamento – per motivi del tutto casuali. Qualche regola adottata per attuare la politica crea naturalmente – nella maggior parte dei casi senza alcuna intenzione da parte del policy maker – due gruppi molto simili, che si differenziano non per le caratteristiche che possiedono, ma solo per la loro partecipazione o meno all’intervento. Ecco che prende forma un caso simile all’esperimento randomizzato.

Si verificano così, in modo spontaneo, delle condizioni molto fortunate per il valutatore. E’ in questi casi che si parla di esperimento naturale. Ovviamente è chi si pone il problema di valutare a posteriori gli effetti della politica a riconoscere l’esistenza di simili condizioni e a sfruttarle per i suoi fini d’analisi. Agli occhi di tutti gli altri quella resta una normale politica.

Un esempio tra i tanti disponibili
Un esempio può aiutare a capire in che cosa consiste l’esperimento naturale. In letteratura è possibile trovare molti esempi interessanti. Ne scegliamo uno tratto da uno studio italiano, condotto da Paolo Pinotti, e pubblicato nel 2017 su American Economic Review. Il tema è rilevante per il dibattito pubblico nostrano (e non solo). La domanda di fondo è la seguente: “Favorire la regolarizzazione delle persone straniere presenti sul territorio nazionale riduce la probabilità che compiano reati?”.

Irregolarità e criminalità
Il caso è descritto anche nel capitolo dedicato all’immigrazione nel volume recentemente pubblicato dal Mulino dal titolo “Evidence Based Policy!”. L’autore del capitolo, Tommaso Frattini, introduce in modo chiaro le due posizioni esistenti riguardo al binomio “irregolarità e criminalità”.

“Alcuni sostengono che chi ha la tendenza a infrangere la legge tenda anche a violare la normativa in materia di immigrazione. Sarebbero quindi le persone con maggiore tendenza a comportamenti criminali a diventare immigrati irregolari, mentre le persone oneste emigrerebbero solo utilizzando i canali legali. Se questa tesi fosse vera, per ridurre la criminalità tra gli immigrati irregolari bisognerebbe aumentare le espulsioni e rafforzare i controlli alle frontiere in modo da prevenire gli accessi irregolari.

Altri osservatori sostengono invece che, poiché i migranti irregolari hanno accesso solo ai segmenti marginali del mercato del lavoro (quindi a occupazioni nel mercato del lavoro informale, solitamente precarie e scarsamente retribuite), essi hanno un costo-opportunità del crimine inferiore rispetto ai loro connazionali con regolare permesso di soggiorno e rispetto alla popolazione autoctona. La marginalità lavorativa a cui sono costretti dallo status di irregolarità li spinge quindi con più facilità a commettere reati. Se questa tesi fosse vera, una politica efficace per diminuire la criminalità… sarebbe quella della concessione di permessi di soggiorno e dell’apertura di canali di immigrazione regolare.”

Quando si diventa “regolari” un po’ per caso
Se qualcuno proponesse di condurre un esperimento randomizzato, assegnando i permessi di soggiorno mediante un sorteggio, per vedere l’effetto che questo produce sulla propensione a delinquere, andrebbe incontro a molte obiezioni di natura etica.

A ben vedere, però, nella piena normalità delle cose, i permessi di soggiorno sono assegnati attraverso una procedura molto vicina alla lotteria: in sostanza, si rischia di restare irregolari (o di diventare regolari) un po’ per caso. La lotteria in questo caso si chiama Click Day, metodo oggi molto in voga per assegnare contributi e servizi in diversi ambiti di policy.

La politica sui flussi migratori impone che ogni anno sia reso disponibile in Italia un numero fisso di permessi di soggiorno. Le domande sono presentate in via elettronica dai datori di lavoro in un giorno prestabilito – il Click Day appunto – e i permessi sono concessi alle persone che presentano una domanda valida fino ad esaurimento della quota prefissata di permessi, seguendo l’ordine cronologico di presentazione della domanda. In teoria questa procedura è rivolta agli stranieri residenti all’estero che aspirano a lavorare in Italia, ma tutti sanno che in realtà i partecipanti sono quasi tutti stranieri che già vivono in Italia senza documenti.

Il numero di permessi concessi ad ogni giro è molto inferiore al numero delle domande presentate.  Tutte le persone straniere che desiderano essere regolari devono dunque sbrigarsi ad inviare la domanda, se non vogliono rischiare di essere lasciati fuori e restare in una situazione di irregolarità. Solitamente la procedura si conclude nel giro di una manciata di minuti. Nel caso preso in esame da Pinotti (dicembre 2007) tutti i permessi disponibili sono stati assegnati alle domande arrivate nella prima mezz’ora, dalle 8 alle 8.30 del mattino. Tutti quelli che hanno presentato domanda nell’ora successiva – l’ultima è arrivata alle 9.40 – non hanno ricevuto il permesso di soggiorno.

In una situazione di questo tipo l’esito della procedura dipende dal caso: soprattutto per coloro che hanno presentato domanda pochi secondi prima, o pochi secondi dopo, che il numero di permessi si esaurisse. I primi sono diventati regolari, i secondi sono rimasti irregolari. Possiamo dire che intorno all’ora di chiusura si sono formati naturalmente due gruppi di persone con caratteristiche simili, che si differenziano solo per aver ricevuto o meno il permesso di soggiorno.

Le differenze osservate tra questi due gruppi rispetto al tasso di criminalità, nell’anno successivo all’assegnazione dei permessi di soggiorno, permettono dunque di rispondere in modo causalmente rigoroso alla domanda di partenza: qual è l’effetto della regolarizzazione sulla probabilità di compiere un reato?

L’analisi svolta da Paolo Pinotti – che utilizza un metodo più sofisticato rispetto ad un semplice confronto tra medie, il Regression Discontinuity Design – mostra come la percentuale di persone che commettono reati economici tra quelle divenute regolari si dimezzi in confronto a quella osservata presso le persone che, pur presentando domanda, sono rimaste irregolari. I risultati dello studio sono stati ripresi anche da alcuni giornali come Il Sole24Ore e Vita.  

Molte politiche introducono elementi di casualità
E’ chiaro che gli “esperimenti naturali” non si esauriscono nell’applicazione della procedura del Click Day. Molte politiche pubbliche introducono forti elementi di casualità al momento di decidere quali soggetti sottoporre ad un certo intervento.

A volte il ricorso alla casualità avviene in modo del tutto consapevole, anche se non è legato a fini di valutazione. Come è accaduto nel dicembre 1969 negli Stati Uniti, quando per la prima volta si utilizzò il sorteggio per reclutare i nuovi soldati da inviare in Vietnam. Almeno in teoria, questo metodo doveva assicurare una maggiore imparzialità rispetto al sistema precedente che di fatto favoriva il reclutamento dei soldati presso le classi sociali più svantaggiate. In situazioni come queste l’uso del sorteggio risponde all’applicazione di un criterio di giustizia.

Altre volte il caso si nasconde tra le pieghe dell’attuazione della politica, in modo non voluto, come nel Click Day. Ad esempio, quando si decide di riconoscere un certo contributo solo a chi si trova sotto una determinata soglia di reddito. Oppure quando accade che un Comune impone ai suoi residenti la maggiorazione di una certa tassa. Per chi ha un reddito intorno alla soglia, o per chi abita vicino al confine comunale, l’appartenenza o meno al gruppo dei beneficiari del contributo, o al gruppo dei soggetti che subiscono l’aumento fiscale, può essere questione di pochi euro o di pochi metri. Insomma, in queste politiche la dea bendata si diverte a metterci lo zampino. Il valutatore ringrazia per l’aiuto e, dopo aver reso il giusto omaggio alla dea, sfrutta la situazione per produrre conoscenza a favore di tutti.

Marco Sisti

(L’immagine di questo post è tratto https://www.shutterstock.com)