Grazie all’elevato numero di studi valutativi realizzati negli ultimi anni e alla varietà di ambiti di intervento, la Fondazione Compagnia di San Paolo (FSCP) rappresenta un osservatorio privilegiato e una sorta di laboratorio sull’uso della valutazione in generale e di quella sperimentale in particolare. Questa esperienza ha conportato per la Fondazione la necessità di confrontarsi con le condizioni operative — vincoli organizzativi, relazioni con i partner, aspettative degli stakeholder — che determinano quando e come un certo disegno valutativo può essere adottato.

Si fa presto a dire “valutazione”

Da almeno un quinquennio la FCSP ha adottato il paradigma del miglioramento continuo, fondato anche sull’uso attento di analisi valutative dei propri progetti. Nel quadriennio di programmazione 2021–2024 la FCSP ha attivato 96 studi valutativi, di cui 14 con approccio controfattuale. Tra questi ultimi, si contano sei studi randomizzati (Randomized Controlled Trials – RCT).

L’approccio sperimentale è riconosciuto, all’interno della Fondazione, come lo strumento più robusto per stimare l’impatto dei progetti sui fenomeni economici e sociali. Allo stesso tempo è anche il metodo più esigente: richiede risorse non solo finanziarie, ma anche organizzative e competenze metodologiche elevate. Inoltre, talvolta, l’impiego della randomizzazione per selezionare i beneficiari dell’intervento è oggetto di discussione sul piano etico o si rivela di difficile applicazione.

Per questo, l’Ufficio Valutazione della FCSP, oggi inserito nella Direzione Learning, opera attraverso un approccio pluralista, selezionando, caso per caso, il disegno di ricerca più adeguato. Tale approccio tiene conto di dimensioni che vanno spesso al di là dei soli aspetti metodologici. Si considerano i “costi” progettuali della valutazione, le caratteristiche dell’intervento (come la numerosità dei beneficiari e la possibilità di identificare chiare variabili risultati), le questioni etiche che si intensificano nel caso l’intervento da valutare sia indirizzato a persone fragili.

Perché gli studi randomizzati restano “di frontiera”

Nella pratica operativa, gli studi randomizzati sono stati utilizzati quando si sono presentate condizioni favorevoli: progetti con un numero adeguato di destinatari, intervento chiaramente definito, outcome misurabili e contesto eticamente gestibile. Le principali difficoltà riscontrate nell’avvio di uno studio randomizzato sono relative alle seguenti tre dimensioni.

(1) Vincoli culturali e organizzativi: molti progetti non nascono con una logica di misurazione causale; esistono resistenze verso la valutazione che limitano lo spazio per fare ricerca (e, come noto, nel caso degli studi randomizzati al ricercatore deve essere concesso molto spazio, al punto di decidere l’assegnazione della partecipazione);

(2) Questioni etiche e relazionali: la randomizzazione può essere percepita come iniqua e richiede un’attenta gestione comunicativa;

(3) Ostacoli tecnici e metodologici: competenze limitate, difficoltà nel rendere accessibili i risultati e problemi di numerosità o definizione degli outcome.

Per quanto riguarda la prima dimensione, la quasi totalità dei progetti sostenuti è concepita per rispondere ai bisogni del territorio, per sperimentare approcci innovativi o per attivare reti territoriali. In questi contesti, l’idea di condurre un esperimento randomizzato appare agli operatori impegnati nella realizzazione dei progetti estranea o addirittura distorsiva rispetto ai loro obiettivi.

Emerge una certa resistenza verso approcci valutativi ritenuti “troppo quantitativi”. Gli RCT possono essere percepiti come in tensione con pratiche professionali fondate sulla personalizzazione degli interventi, sul dialogo con i beneficiari o sulla capacità di relazionarsi con i bisogni del territorio. Questa tensione non riguarda necessariamente un rifiuto della valutazione, ma riflette più comunemente visioni diverse su cosa significhi “apprendere” da un progetto sociale, e sulla possibilità di utilizzare metodi empirici per farlo.

La seconda dimensione è etica e relazionale. La randomizzazione dei beneficiari è spesso ritenuta problematica, soprattutto quando gli interventi si rivolgono a soggetti in condizioni di fragilità. Anche quando esistono solide giustificazioni per realizzare RCT (risorse limitate, incertezza sull’efficacia, equità procedurale), l’idea di assegnare un trattamento “per sorteggio” entra in conflitto con valori di equità e inclusione che soggiacciono a molte politiche sociali.

La dimensione etica si traduce immediatamente in una questione relazionale e comunicativa. Spiegare l’esistenza di un gruppo di controllo, gestire le aspettative degli enti attuatori e dei beneficiari, e mantenere fiducia e collaborazione per l’intero periodo di osservazione richiedono un impegno costante. In assenza di un forte coinvolgimento degli operatori e degli enti attuatori, il rischio è che la valutazione sia percepita come un vincolo esterno o come un mero esercizio accademico, lontano dai bisogni reali.

Per quanto riguarda l’ultima dimensione, relativa ad ostacoli tecnici e metodologici, gli RCT pongono sfide non banali. Le competenze necessarie per disegnare, implementare e interpretare correttamente uno studio randomizzato sono molto rare nelle organizzazioni (anche nelle più grandi e strutturate). Si richiede solitamente un coordinamento stretto con i valutatori esterni. Anche quando il disegno è solido, emergono molto spesso problemi pratici che influenzano la possibilità di applicare correttamente un RCT, dal suo disegno alla realizzazione.

Infine, gli RCT non sono esenti da un’ultima criticità, trasversale a tutti studi valutativi: la capacità di progettisti e decisori di utilizzare facilmente i risultati. I risultati delle valutazioni  — spesso espressi in linguaggio statistico — rischiano di rimanere opachi per decisori e operatori se non accompagnati da un solido lavoro di mediazione, spiegazione e disseminazione. In questo senso, la difficoltà non è solo “fare bene” uno studio, ma renderlo leggibile, interpretabile e utilizzabile per orientare le scelte strategiche, anche per chi non ha competenze di ricerca.

Come affrontare le difficoltà

Nella nostra esperienza, l’uso degli RCT è il “gold standard” da attivare in un ristretto numero di casi, spesso quelli più innovativi in termini di interventi, quando la domanda valutativa lo richiede e l’organizzazione è pronta a sostenerne la complessità e le implicazioni. Due elementi hanno contribuito a rendere più sostenibile l’uso degli studi randomizzati.

Il primo è la presenza di un ufficio dedicato alla valutazione, con la funzione di interfaccia tra i bisogni conoscitivi della Fondazione e il rigore metodologico. Il team interno traduce le domande delle aree istituzionali in quesiti valutativi, seleziona i metodi, coordina i valutatori esterni e presidia la qualità e la leggibilità dei risultati. In un certo senso svolge il ruolo di “mediatore culturale” tra la comunità dei ricercatori/valutatori e quella dei policy maker/officer della Fondazione. Per questo l’Ufficio Valutazione di FCSP investe tempo e risorse in attività di disseminazione e di apprendimento interno: white paper, pubblicazioni interne ed esterne, formazione interna e organizzazione di numerose attività di condivisione e confronto con i partner di progetto, gli stakeholder e la comunità scientifica. In questo senso, l’obiettivo è evitare che le evidenze raccolte rimangano confinate nei report.

Il secondo elemento è l’integrazione degli RCT in una strategia di foresight evaluation, orientata a costruire nel tempo le condizioni per valutazioni più rigorose. In questo senso, forte degli apprendimenti operativi dell’ultimo quadriennio, nel corso dell’attuale programmazione strategica (2025-2028) la Fondazione si è data come obiettivo quello di realizzare progetti pilota che nascono proprio per essere misurati e costituire la base di programmazioni future. In altre parole, non ci sono progetti che devono essere valutati adattando la metodologia alle caratteristiche del progetto, ma c’è una teoria del cambiamento che deve essere testata creando un RCT il più rigoroso possibile per raccogliere robuste evidenze empiriche in vista di future iniziative della Fondazione, di partner o di altri stakeholder.

È in questo spazio tra metodo, cultura organizzativa e uso delle evidenze, che si gioca la sfida principale per chi vuole fare della valutazione non solo uno strumento di accountability, ma una leva reale di apprendimento e trasformazione.

Simone Martino, Responsabile Valutazione, Fondazione Compagnia di San Paolo