Vi è mai capitato di sentirvi confusi di fronte ai risultati della ricerca? Un giorno un quotidiano esalta i benefici di un bicchiere di vino al giorno, quello seguente al telegiornale si annuncia un nuovo studio che mette in guardia contro qualsiasi consumo. Una ricerca evidenzia i danni al benessere mentale provocati dalla frequentazione dei social media, ma un’altra ne evidenzia gli aspetti positivi. Questa continua contraddizione delle notizie “scientifiche” (o pseudoscientifiche), spesso veicolata da titoli sensazionalistici, non è solo un capriccio dei mezzi di comunicazione, ma è in larga parte il riflesso di come la scienza avanza, per passi e aggiustamenti, e di quanto i singoli studi possano differire per campione, metodo, risultati (ahinoi!) o contesto (e certamente affidabilità!).

Per chi deve decidere come investire risorse pubbliche, progettare interventi educativi o semplicemente orientarsi come cittadino informato, la domanda diventa cruciale: come capire quali risultati sono affidabili? A cosa dobbiamo credere?

La risposta è nella meta-analisi
Una risposta pratica e largamente adottata dagli studiosi si chiama meta-analisi: un metodo di sintesi statistica che prende i risultati quantitativi di molte ricerche (tipicamente) sperimentali indipendenti sullo stesso problema di ricerca e li combina, con l’obiettivo di ottenere delle risposte più affidabili. È un’idea relativamente moderna — il termine fu coniato da Gene Glass negli anni Settanta — e da allora le meta-analisi sono diventate una delle principali bussole per orientare decisioni basate sull’evidenza.

Pensateci un po’. Se voi sapeste che al mondo esistono 100 studi sperimentali che hanno valutato l’efficacia di un intervento x su un obiettivo y, vi fidereste di più delle indicazioni che derivano da uno solo di quegli studi o di più da quelle che emergerebbero dall’insieme di tutti gli studi esistenti?  Se foste a consulto dal vostro medico, vi fidereste di più di una terapia  testata su un solo paziente o di quella testata su 100 pazienti che hanno la vostra stessa patologia?

Ma come funziona? Innanzitutto, si definisce la domanda e si decidono i criteri di selezione.…
Tutto parte da un problema di ricerca ben definito, per esempio: “qual è l’effetto dei programmi Montessori nella scuola primaria sui risultati scolastici e sull’apprendimento socio-emotivo?”. Definita la questione a cui si cerca una risposta, si cercano tutti gli studi che hanno indagato quel problema. Qui servono regole chiare e trasparenti che stabiliscono in un apposito protocollo come sarà condotta la ricerca e come saranno selezionati gli studi, sulla base della loro corrispondenza col nostro problema di ricerca e della loro qualità metodologica (detti criteri di eleggibilità o di inclusione-esclusione).

Stabilire a priori in modo trasparente tali criteri è uno degli aspetti fondamentali di tale metodo. È un po’ come organizzare un bando di selezione: se le regole per stabilire una graduatoria di merito vengono fissate solo dopo aver visto il curriculum dei candidati, chi deve decidere potrebbe fissare dei criteri che avvantaggino qualcuno in base alle simpatie o alle convenienze del momento. Invece, se le regole sono chiare fin dall’inizio, allora la competizione potrà essere più equa e i risultati più affidabili.

Lo stesso accade con le meta-analisi: decidere prima i criteri di inclusione-esclusione serve a evitare che gli autori selezionino solo gli studi che confermano la loro idea iniziale, e garantisce che la sintesi rappresenti davvero l’insieme delle evidenze disponibili. Da ciò, si deduce facilmente anche che la qualità della meta-analisi dipende fortemente dalla qualità degli studi disponibili: se la maggior parte delle sperimentazioni è metodologicamente scadente, la loro sintesi lo sarà in egual misura.

…poi si raccolgono tutti gli studi sul tema e si estraggono le informazioni essenziali in una matrice…
Definiti chiaramente la domanda di ricerca e i criteri di selezione, si raccolgono tutti gli studi disponibili e si selezionano quelli che rispettano tali criteri. Quindi, si estraggono le informazioni essenziali da tutte le sperimentazioni incluse (chi erano i partecipanti; come si è svolto l’intervento; cosa è stato misurato; qual è stato l’effetto registrato in ogni singolo studio; etc.) e li si raccoglie in una matrice dati (come ad es. un foglio di calcolo Excel).

…si calcola l’ampiezza dell’effetto…
A questo punto, si convertono i risultati dei singoli studi in una misura standardizzata che consenta di metterli a confronto (gli studiosi parlano di “effect size”, ES — in italiano, “dimensione o ampiezza dell’effetto” — cioè, una grandezza che rende confrontabili effetti misurati con scale differenti). Facendo una media (ponderata) di tutti gli ES dei singoli studi, si ottiene l’effetto medio di quell’intervento. In pratica, il risultato è una stima complessiva che tende a essere più precisa di ciascuno dei singoli studi presi separatamente. Nel nostro esempio, l’ES esprimerà se e in che misura il metodo Montessori è mediamente efficace per migliorare i risultati scolastici e l’apprendimento socio-emotivo nella scuola primaria. Questa prima informazione può essere utile, ad esempio, per confrontare tra loro più metodi di insegnamento in un dato ciclo di istruzione, rispetto a dati obiettivi di apprendimento, in termini di efficacia.

…si verifica infine a quali condizioni l’intervento risulta efficace
Questa però è solo la prima informazione che si può ottenere da una meta-analisi. Ancora più interessante è capire a quali condizioni quell’intervento realmente funziona (e a quali no). Riguardando tutti i dati registrati nella matrice cui abbiamo fatto cenno prima, si può comprendere, ad esempio, se gli interventi con i soggetti di una certa fascia di età hanno mediamente un effetto maggiore di quelli con soggetti di differente età; o se quelli condotti con l’uso di un determinato software hanno risultati migliori di quelli in cui non c’è stato impiego del digitale; e così via. Tecnicamente, tutto ciò si definisce analisi dell’eterogeneità e analisi dei moderatori e può essere condotta con tecniche statistiche sempre più raffinate. Le possibili analisi sono pressoché infinite, fornendo preziose informazioni per capire a cosa stare attenti quando si progetta o si attua un determinato intervento. E d’altronde uno dei principi chiave più citati, quando di parla di evidence-based policy o evidence-based education, è “what works, for whom, under what circumstances“. Ecco, le meta-analisi tentano di rispondere esattamente alla domanda: “che cosa funziona, per chi, a quali condizioni?”.

Successo e limiti delle meta-analisi
L’utilizzo delle meta-analisi si sta diffondendo in diversi ambiti di policy. Nel campo dell’educazione, ad esempio, questa paratica ha assunto un rilevo sempre crescente negli ultimi decenni. Sintetizzando migliaia di studi si possono identificare pratiche che più frequentemente producono miglioramenti degli apprendimenti, oppure scoprire che idee di politiche comunemente apprezzate nell’opinione pubblica hanno effetti più modesti di quanto si pensi.

È importante però anche capire cosa una meta-analisi non può dirci. I risultati statistici sono certo una informazione fondamentale, ma non sono dogmi. Essi vanno sempre interpretati alla luce dei contesti e delle caratteristiche specifiche delle politiche e degli interventi indagati. La mera combinazione statistica non risolve le differenze di contesto. Un intervento che funziona in un Paese potrebbe non rivelarsi trasferibile in un altro, a meno di importanti adeguamenti. Gli ES e l’analisi dei moderatori spiegano poco, se non guidati da una teoria che consenta di dare loro un significato — la disponibilità di un modello teorico esplicativo è la condizione che consente di tradurre dati in evidenze rilevanti per la pratica.

In conclusione: le meta-analisi non sono la soluzione magica che elimina ogni incertezza, ma sono lo strumento più potente che abbiamo per separare tendenze stabili da risultati isolati e sensazionalistici, rappresentando una bussola fondamentale per politiche pubbliche ed educative più efficaci e meno guidate da mode passeggere.

Marta Pellegrini e Giuliano Vivanet