Navigazione – Mappa del sito
note critiche

Gli esperimenti nelle scienze sociali: molta strada resta da fare per un dibattito maturo sul tema

Experiments in social sciences: the long way ahead to a mature debate
Gianluca Argentin
p. 131-141

Abstract

Randomized Controlled Trial (RCT) is a power tool to assess causality. The use of RTCs among sociologists is limited by common constraints, for example the ethical issues and the non-manipulability of several individual characteristics (i.e. social origins, education, gender, etc.). Moreover, limited use is due also to the lack of knowledge and misunderstanding about how RCTs can generate robust causal inference. In this essay we confront these topics, moving from a recent Italian book about experiments (Rago, 2018). Focusing on several objections to the internal and external validity of RCTs, we show a small amount of the large body of methodological solutions provided by consolidated international literature in the field. In doing so, we try to eliminate the most common misunderstandings related to RCTs. We also argue that a larger use of RCTs may be useful for sociology, thanks to the possibility to integrate rigorous causal estimates with our deeper knowledge of mechanisms underlying social phenomena.

Torna su

Testo integrale

1Nella ricerca sociologica si fa ancora modesto uso degli esperimenti, rispetto a quanto accade in discipline affini, quali l’economia o la scienza politica (Jackson e Cox, 2013). Gli esperimenti mettono i ricercatori nella condizione di manipolare un aspetto della realtà (attraverso un intervento) e di analizzare gli effetti causali – su una o più variabili di interesse – conseguenti al cambiamento introdotto dal ricercatore. Si noti che gli esperimenti non sono l’unico modo con cui possiamo fare inferenza causale quantificando effetti; esistono infatti molte altre tecniche di analisi che portano a questo obiettivo, ma che richiedono di accettare assunti più importanti e meno credibili rispetto a quelli imposti dagli esperimenti (per una rassegna in italiano di tali tecniche si rimanda a Martini e Sisti, 2009). Vi è poi un ampio insieme di tecniche di ricerca – prevalentemente di stampo qualitativo – che permettono di fare inferenza causale non mirando a quantificare gli effetti, ma cercando di descrivere invece i processi sottostanti ad essi. In questa prospettiva, si vogliono ricostruire le catene di azioni e reazioni degli attori (nei contesti), che portano dalla causa (l’intervento) all’effetto (la modificazione dell’outcome di interesse, riconducibile all’intervento). Al di là dell’esistenza di questa varietà di tecniche per lo studio dei processi causali, l’esperimento resta però strumento analitico insuperato quando il ricercatore vuole quantificare l’effetto casuale di una variabile indipendente su una variabile dipendente; tale conclusione non cambia anche tenendo conto dei noti limiti che presentano gli studi sperimentali (Berk, 2005), limiti dei quali si dirà in seguito.

2Il fatto che i sociologi impieghino (ancora) poco gli esperimenti non comporta quindi che a loro siano precluse tout court inferenze causali, ma implica che quelle da loro ottenute siano spesso prive di quantificazioni e/o poco credibili per gli assunti che richiedono. Si giunge così a evidenza solo indiziaria sui processi causali. Si tratta di un limite importante per lo sviluppo della disciplina, soprattutto se si mira a un suo ruolo attivo nella definizione delle politiche. Infatti, non sapere che effetti si producono muovendo una leva sociale limita la capacità della sociologia di formulare indicazioni su come intervenire per modificare la realtà. Un esempio può aiutare a chiarire il punto: abbiamo buona ragione di credere che la mancanza di informazioni sui diversi percorsi scolastici dopo la licenza della scuola secondaria di primo grado possa essere un fattore di rinforzo delle disuguaglianze sociali. La mancanza di informazioni penalizzerebbe gli studenti di più bassa estrazione sociale nell’intraprendere il canale liceale, riducendo quindi nel lungo periodo la loro probabilità di accedere a percorsi di studio universitari. Una conseguente prescrizione di policy, che probabilmente molti sociologi sottoscriverebbero, è fornire a studenti e genitori informazioni obiettive e chiare sui destini occupazionali e di studio a cui si giunge tipicamente dopo i diversi indirizzi della scuola secondaria di secondo grado. Siamo però sicuri che si tratti di un intervento efficace? Tenuto conto dei vincoli di spesa che ogni policy deve affrontare, con quale grado di confidenza suggeriremmo questa iniziativa a un decisore illuminato e dotato di risorse scarse (se ne incontrano molti con la seconda caratteristica, meno invece con la prima)? I fondi pubblici destinati a un intervento informativo potrebbero essere spesi meglio, adottando altre misure più efficaci nel contrasto delle disuguaglianze di istruzione? La nostra conoscenza, teorica ed empirica, dei meccanismi sociali è sufficiente per assumerci il rischio di sbagliare raccomandazione e male investire le (spesso poche) risorse disponibili? Domande come queste ci mettono di fronte allo iato esistente tra il sapere sociologico – spesso teorico e congetturale – e la necessità di azione efficace sulla realtà e le sue asperità. Probabilmente, ci sentiremmo più sicuri circa l’effettiva rilevanza della leva informativa come fattore causale alla base delle scelte scolastiche e quindi come possibile leva di intervento, se potessimo contare su un precedente esperimento in cui fornire informazioni si è tradotto in scelte del liceo meno diseguali (come, ad esempio, nel caso descritto in Barone et al., 2018). Saremmo ancora più convinti della bontà della nostra prescrizione se gli esperimenti condotti fossero molti e (almeno tendenzialmente) convergenti nel mostrare benefici derivanti dal fornire informazioni sugli indirizzi scolastici. Come si diceva, il fatto che i sociologi facciano pochi esperimenti rende poco probabile quest’ultimo scenario e permea quindi di incertezza le nostre raccomandazioni sul “che fare?” di fronte ai problemi sociali. In altri termini, secondo chi scrive, un maggior impiego degli esperimenti potrebbe dare ai sociologi maggiore autorevolezza nel contributo ai processi di policy making. Va osservato che, più in generale, non disporre di evidenza causale robusta comporta anche la difficoltà di sfrondare i nostri quadri teorici dall’infinità di meccanismi sociali che ipotizziamo sottostare a ciascun fenomeno, focalizzandoci solo su quelli più rilevanti. Eviteremmo, almeno in parte, di imbrigliarci in infiniti dibattiti teorici (se non ideologici) sui determinanti dei fenomeni sociali e sui meccanismi sociali ad essi sottostanti, senza poi capire davvero quali cause sortiscano effetti rilevanti e come intervenire per modificare efficacemente il mondo sociale.

3Perché quindi i sociologi usano poco gli esperimenti? Va riconosciuto che ci sono diverse buone ragioni per cui, nella nostra disciplina, prevale il dominio dell’inferenza causale basata su analisi di stampo associativo, con un ricorso contenuto al metodo sperimentale (Gangl, 2010; Goldthorpe, 2016). Vale la pena passarne rapidamente in rassegna alcune. Innanzitutto, va considerato che gli esperimenti non possono essere applicati a molti temi sociologici fondamentali. Infatti, la realizzazione di un esperimento implica che la variabile indipendente sia manipolabile con un intervento da parte del ricercatore. Gran parte delle variabili indipendenti di interesse sociologico non hanno questa caratteristica. Si pensi, ad esempio, al genere o alla classe sociale, che non possono essere cambiati dal ricercatore, se non in contesti molto particolari, come nei vignette studies oppure ad esempio nelle indagini dove si lavora con curricula. Anche quando siamo in presenza di variabili indipendenti manipolabili (ad esempio il grado di informazione degli attori su una data scelta), gli esperimenti sollevano poi questioni etiche, a volte di difficile o impossibile soluzione. In aggiunta a ciò gli esperimenti sono spesso logisticamente impegnativi e costosi (soprattutto per via della necessità di implementare gli interventi volti a manipolare la variabile indipendente). Tipicamente, gli esperimenti producono poi risultati caratterizzati da limitata validità esterna, quindi non generalizzabili al di fuori del contesto e del campione su cui sono stati condotti. Non da ultimo, gli esperimenti richiedono tempo ed energie ai ricercatori prima di giungere a compimento e trasformarsi in pubblicazioni e in un contesto disciplinare che non valorizza la logica sperimentale, gli incentivi accademici per i ricercatori sono a favore della conduzione di nuove survey o di analisi secondarie di dati anziché della conduzione di esperimenti.

4Nonostante questi importanti vincoli all’uso e limiti degli esperimenti, negli ultimi decenni è andata affermandosi una comunità internazionale di sociologi (e di altri scienziati sociali) che riconoscono proprio nel metodo sperimentale un potente strumento di indagine, da affiancare ad altri per analizzare il funzionamento del mondo sociale. Questa comunità è sicuramente trainata da studiosi dei paesi anglosassoni e, in particolare, da quelli che operano nella valutazione delle politiche in campo educativo. Emblematiche sono in tal senso due realtà che hanno dato una spinta formidabile alla diffusione delle sperimentazioni controllate: la statunitense What Works Clearing House e l’inglese Education Endowment Foundation. Parallelamente a tale spinta, sono emersi network e strumenti volti esplicitamente a supportare gli studiosi che conducono sperimentazioni in campo sociale, tra i quali: la conferenza Randomised Controlled Trials in the Social Sciences, promossa dall’università di York e giunta nel 2018 alla tredicesima edizione; l’affermarsi della Society for Research on Educational Effectiveness (SREE) negli Stati Uniti; il diffondersi di registri per la pubblicazione di protocolli sperimentali in campo extra-medico; il consolidarsi di repository che raccolgono i risultati degli esperimenti condotti e li traducono in meta-analisi, come ad esempio la Campbell Collaboration o, per gli studi sull’educazione, la Best Evidence Encyclopedia. Anche in Italia qualcosa si è mosso: stiamo assistendo a una crescente presenza di esperimenti condotti da sociologi oppure che vedono colleghi della nostra disciplina nelle équipe di ricerca (rassegne, ormai già datate, di sperimentazioni italiane in campo educativo sono presenti in Argentin e Molina, 2018 e in Argentin, 2016); è nata la SAPIE – Società per l’Apprendimento e l’Istruzione informati da Evidenza; è stato recentemente istituito il portale che diffonde risultati di studi valutativi basati su evidenza rigorosa, IPSEE – Inventario dei Problemi, delle Soluzioni e dell’Evidenza sugli Effetti. In pochi anni, si è quindi passati da una presenza sporadica degli esperimenti nella ricerca sociale a un flusso di studi che – seppur limitato rispetto a quello di altre discipline e di altri paesi – ha dimensioni crescenti.

5In questo contesto, ben vengano testi come quello di Marina Rago, Gli esperimenti nelle scienze sociali recentemente pubblicato per FrancoAngeli nella collana Metodologia delle Scienze Umane (Milano, 2018). È infatti necessario riflettere anche in Italia su questo metodo di ricerca.

6Il volume può essere suddiviso in tre parti: nella prima, vi è un inquadramento storico e concettuale del metodo sperimentale quale strumento di conoscenza scientifica (capitoli 1, 2 e 3). I primi due capitoli ripercorrono la storia del pensiero occidentale che ha portato al metodo sperimentale, mentre il terzo descrive il metodo sperimentale, mettendone in luce assunti e aspetti problematici. Segue una rassegna di studi sperimentali sviluppata in tre ambiti disciplinari: psicologia, sociologia e scienza politica (capitoli 4, 5, 6 e 7). Questa parte del testo è sviluppata con una scheda sintetica per ogni studio sperimentale recensito. Spaziando tra diverse discipline, la rassegna offre una carrellata molto ricca ed estremamente varia di casi sperimentali, con tematiche che vanno dall’aggressività come comportamento appreso alle scelte fiduciarie, all’influenza sul voto delle interviste pre-elettorali. Infine, sono esposte le riflessioni metodologiche dell’autrice sui modi in cui gran parte degli esperimenti da lei passati in rassegna violano il metodo sperimentale. Ci si focalizza in particolare sulle ipotesi alla base dei disegni sperimentali, sulla manipolazione della variabile indipendente, sulla rilevazione della variabile dipendente e sulle condizioni di contesto da tenere sotto controllo (capitoli 8, 9, 10 e 11).

7Come espresso dall’autrice: “Fine di questo lavoro è denunciare tutti gli innumerevoli e decisivi scostamenti dal metodo sperimentale ortodosso rintracciati nelle ricerche presentate come «esperimenti» per smascherare il tentativo di mimetizzare dietro il termine «esperimento» pratiche di ricerca che nulla hanno di riconducibile all’esperimento nel modo in cui è condotto nelle scienze fisiche” (ivi, 62). Si tratta di un obiettivo pienamente condivisibile, dal momento che permangono marcate (dis)torsioni nell’applicazione del metodo sperimentale in campo sociologico. Va anche osservato che ciò accade nonostante vi siano consolidate linee guida a livello internazionale, volte proprio a garantire la validità degli studi sperimentali. In altri termini, un metodo di ricerca solidamente codificato viene spesso stiracchiato nel suo impiego in ambito sociologico, portando a risultati di dubbia validità. Evidentemente, si tratta di un problema serio per la disciplina non solo per la credibilità dei risultati a cui giungono gli studi in questione.

8Bene dice Rago anche quando afferma che sotto l’etichetta “esperimento” stanno molti studi che sperimentali non sono. Purtroppo però il testo non aiuta a fare chiarezza su questo punto fondamentale. Si adotta infatti una definizione di esperimento non calata nelle scienze sociali e quindi irrispettosa delle specificità della ricerca sperimentale in questo ambito disciplinare (ma propria anche di altri ambiti ad elevata complessità, come ad esempio quello clinico). La definizione di esperimento ideal-tipico adottata da Rago è infatti quella delle scienze fisiche, che vede il ricercatore impegnato a distinguere le “infinite proprietà dell’oggetto dell’esperimento e dell’ambiente fisico e umano in quattro categorie, così articolate: una proprietà considerata dipendente (sperimentale) […]; una o pochissime proprietà, considerate e trattate come indipendenti (operativa/e) […] che vengono fatte variare in modo controllato […]; poche proprietà note, ritenute in grado di perturbare gli stati della proprietà sperimentale e della/e proprietà operativa/e e di influenzarsi vicendevolmente, che vengono neutralizzate o mantenute effettivamente costanti mediante opportuni accorgimenti; le innumerevoli proprietà restanti, che vengono ignorate in quanto sconosciute o giudicate, alla luce delle teorie imperanti nell’ambito disciplinare al quale afferisce quell’esperimento, ininfluenti sulla relazione causale che s’ipotizza legare la/e proprietà/e operativa/e e la proprietà sperimentale” (ivi, 46, ripresa anche a pagina 157 e nella struttura stessa dei capitoli analitici del volume).

9Proprio sulla base di tale definizione, vengono mosse molte critiche alla validità degli esperimenti e dei loro risultati in campo sociale. Non si può che essere d’accordo con Rago sul fatto che i risultati di un processo sperimentale come quello illustrato nella definizione precedente sono di dubbia validità e che sollevano più problemi di quelli che l’esperimento vorrebbe risolvere. Il nodo però sta proprio nel fatto che l’autrice analizza gli esperimenti nelle scienze sociali impiegando come metro di riferimento la definizione di esperimento propria delle scienze fisiche. Ci si basa così su una definizione superata di cosa costituisce il metodo sperimentale al di fuori delle scienze naturali. Quale ricercatore sociale penserebbe oggi di poter distinguere a tavolino ed ex ante le proprietà perturbanti – da tenere quindi sotto controllo – da quelle ininfluenti che possono invece essere ignorate nell‘indagine? Evidentemente, nessuno, tra quanti dotati di buon senso e consapevoli delle complesse interazioni che caratterizzano il mondo sociale. Si tratta del noto problema della strategia di identificazione, che permea l’inferenza causale anche nelle analisi con approcci più consuetudinari in sociologia, come ad esempio la regressione multipla (Morgan e Winship, 2007; Gangl, 2010). Nelle scienze sociali, come anche in ambito clinico, il metodo sperimentale prevede da (molto) tempo per il ricercatore un ruolo ben diverso da quello di onnisciente decisore, che classifica le proprietà in perturbanti e ininfluenti. Ciò perché i fenomeni sociali si caratterizzano per essere molto meno conoscibili e controllabili da parte del ricercatore rispetto ai fenomeni fisici, più facilmente riproducibili in laboratori deputati al loro studio. Il ricercatore, nelle sperimentazioni in ambito sociale, è chiamato “solo” a definire e poi a manipolare con un intervento una variabile indipendente, stimando poi gli effetti di tale mutamento sulla variabile dipendente, a sua volta definita dal ricercatore stesso. Il ricercatore non ha quindi bisogno di classificare le altre proprietà in perturbanti e ininfluenti. Infatti, tutte le altre potenziali fonti di variazione della relazione di interesse sono tenute sotto controllo mediante randomizzazione. Quando si randomizza, si assegnano casualmente i casi oggetto di studio a due (o più) gruppi, uno dei quali viene esposto al trattamento (ai trattamenti) e uno dei quali non è manipolato dal ricercatore e funge da gruppo di controllo. In presenza di numerosità adeguata di casi randomizzati, i due gruppi saranno mediamente equivalenti e sarà possibile stimare, con un grado di incertezza statistica calcolabile a priori, l’intensità dell’effetto della manipolazione della variabile indipendente sulla variabile dipendente. La randomizzazione è la stella polare del metodo sperimentale in campo sociale, dato che grazie a essa il ricercatore non è costretto a decidere arbitrariamente quali variabili tenere sotto controllo e quali invece ignorare. Il ricercatore deve garantire la correttezza della randomizzazione e mettere poi in pratica una serie di azioni – altamente codificate – volte a preservarla, proprio al fine di garantire la validità interna dell’esperimento. Già nel 2007, Morgan e Winship, nel loro testo sull’approccio controfattuale in sociologia, scrivevano che “Although the word experiment has a very broad definition, in the social sciences it is most closely associated with randomized experimental designs, such as the double-blinded clinical trials that have revolutionized the biomedical sciences and the routine small-scale experiments that psychology professors perform on their students” (Morgan e Winship, 2007, 6 e 7). In uno dei più noti manuali sul metodo sperimentale nelle science sociali (non citato in bibliografia nel testo di Rago) Gerber e Green scrivevano già nel 2012 che “Readers with a background in the natural sciences may find it surprising that random assignment is an integral part of the definition of a social science experiment” (Gerber e Green, 2012, 9) e spiegavano poi che ciò consegue al fatto che i soggetti non sono intercambiabili nelle scienze sociali, come invece lo sono nelle scienze naturali. La superiorità della randomizzazione del resto era assodata anche nel campo clinico – caratterizzato a sua volta da non intercambiabilità dei soggetti – già più di trenta anni fa. Nell’edizione del 1985 del testo di riferimento Fundamentals of clinical trials di Friedman e colleghi si leggeva “The randomized control trial and the non-randomized concurrent control studies both assign subjects to etiher the intervention or the control group, but only the former makes the assignmet by using a randomized procedure. […] Each of the designs has advantages and disadvantages, but a randomized control design is the standard by which other studies should be judged. […] The randomized control study is the standard against which all other designs must be compared” (Friedman et al., 1985, 34 e 35). È pertanto consolidato che le sperimentazioni fuori dal mondo delle scienze fisiche richiedono necessariamente randomizzazione per garantire equivalenza tra soggetti del gruppo di trattamento e del gruppo di controllo e per controllare le variabili che possono distorcere l’inferenza causale. È proprio la randomizzazione (e la sua successiva preservazione) che garantisce validità interna all’inferenza causale negli studi sperimentali. Non può certo essere il ricercatore a decidere, a suo piacimento o sulla base delle “teorie imperanti”, quali variabili controllare e quali variabili ignorare. Il primo importante problema del testo di Rago sta proprio nel fatto che l’autrice trascura questo dato, consolidato nella letteratura sperimentale in campo clinico e sociale. Rago usa, come metro di confronto per gli studi empirici che analizza nel suo volume, una definizione di esperimento superata in ambito sociale e valida solo in contesti scientifici dove gli oggetti di analisi sono portatori di un modesto numero di caratteristiche controllabili dal ricercatore. In sintesi, la definizione sperimentale usata nel testo può funzionare (e non sempre) nelle analisi di ingegneria dei materiali, dove si studiano tondini di acciaio piuttosto uniformi e simili l’uno all’altro, ma non quando si indagano gli individui e i loro comportamenti. Rago non ignora in toto la randomizzazione, alla quale dedica un breve paragrafo (§ 3.4). L’indispensabile assegnazione casuale dei soggetti ai due (o più) gruppi viene però definita dall’autrice come un “artificio” (ivi, 54) e viene messa in dubbio la sua capacità di produrre equivalenza. L’autrice esprime il suo dubbio in merito non solo con una descrizione al condizionale di come funziona la randomizzazione stessa, ma anche esplicitamente: “Ma è davvero plausibile attribuire all’artificio della randomizzazione una simile efficacia?” (ivi, 56). Confrontando l’assegnazione casuale di studenti in contesti di apprendimento e di terreni da destinare a coltivazione, l’autrice mette in dubbio che la randomizzazione possa funzionare nel primo caso rispetto al secondo. Si arriva addirittura a ribadire la superiorità della soluzione, superata appunto da decenni in letteratura, del controllo delle variabili confondenti da parte del ricercatore: “Sarebbe più ragionevole controllare che i soggetti scelti non siano portatori di stati su proprietà particolarmente disturbanti rispetto alla proprietà sperimentale, alla proprietà operativa o alle loro relazioni, anziché tentare di massimizzare l’eterogeneità del campione attraverso un campionamento casuale – per poi far passare la (presunta) eterogeneità dei soggetti come una forma di controllo che certifichi il valore scientifico della ricerca «sperimentale» e l’estendibilità dei suoi risultati ad ogni genere di soggetti” (ivi, 57). In sintesi, ciò che appare ragionevole all’autrice è confutato da tempo nella letteratura di riferimento, mentre ciò che Rago trova difficilmente plausibile è supportato dalla teoria statistica, dall’evidenza empirica ed è e prassi consolidata nella comunità degli sperimentalisti. Si noti che, nel passaggio riportato, si aggiunge anche confusamente l’idea che anche i soggetti randomizzati debbano essere a loro volta un campione casuale della popolazione. Si tratta di un fatto auspicabile (per accrescere la validità esterna delle sperimentazioni), ma non necessario e anzi (purtroppo) assai raro nelle pratiche di ricerca, come sa chiunque abbia disegnato o condotto studi sperimentali. Si arriva poi a imputare agli studiosi che usano gli esperimenti una volontà di generalizzazione dei risultati (“estendibilità dei suoi risultati ad ogni genere di soggetti”), che nessun rigoroso ricercatore nel campo oggi affermerebbe. Infatti, è ampiamente noto che uno dei limiti fondamentali delle sperimentazioni controllate sta proprio nella non generalizzabilità dei risultati dei singoli studi (motivo per cui si ricorre alle systematic review e alle meta-analisi).

10La mancata messa a fuoco della centralità della randomizzazione, porta Rago a passaggi scorretti in altri punti del volume, come ad esempio quando si scaglia (improvvidamente) contro la consolidata letteratura internazionale sugli esperimenti naturali: “Resta ingiustificato l’orientamento della letteratura specialistica (Chapin, 1937; Greenwod, 1945; Campbell e Stanley, 1963), che prende in considerazione alcuni eventi (es. terremoti, epdidemie ecc.) generatori di “esperimenti” ex post facto, sebbene il ricercatore non abbia e non possa avere alcun controllo manipolativo degli stati della proprietà (interpretata a posteriori come) operativa” (ivi, 213).

11Un’altra conseguenza del non aver chiara la centralità della randomizzazione nelle sperimentazioni in campo sociale sta nel fatto che, nel lavoro di rassegna degli “esperimenti” condotti in psicologia, sociologia e scienza politica, l’autrice presta poca attenzione al metodo di assegnazione dei soggetti al gruppo di trattamento e a quello di controllo, alla numerosità alla base degli studi e, infine, ai relativi calcoli di potenza statistica. Si ignora così il rischio che l’assenza di effetti statisticamente significativi negli studi possa essere la mera conseguenza di numerosità inadeguate nei campioni di soggetti coinvolti o, peggio, di variabili omesse nel disegno “sperimentale”.

12Un secondo rilevante limite del testo è la parzialità dei riferimenti bibliografici. Ciò vale nei capitoli introduttivi, dove mancano riferimenti a manuali e saggi metodologici recenti sulle sperimentazioni, ma anche nella stessa rassegna degli studi sperimentali. Il problema è dato qui dal fatto che gli studi recenti recensiti nel volume sono davvero pochi. Dei 48 studi sperimentali considerati nessuno è stato pubblicato dal 2010 in poi, undici sono stati pubblicati dal 2000 al 2009, otto sono stati pubblicati negli anni Ottanta o Novanta, quattordici negli anni Sessanta o Settanta e i rimanenti quindici negli anni Cinquanta o prima. In sintesi, tra gli studi passati in rassegna, tre su quattro sono stati pubblicati nel secolo scorso. Selezionare gli studi in base alla “importanza dell’esperimento in sé nel panorama scientifico di riferimento” (ivi, 58) porta certamente verso l’analisi di articoli classici che hanno avuto ampia eco nelle rispettive discipline. Questa scelta è però fuori luogo se l’obiettivo del volume è tracciare un bilancio su quanto la ricerca empirica sia in linea con i canoni del metodo sperimentale. Non valuteremmo mai la qualità odierna delle analisi multivariate o degli studi etnografici nella ricerca sociale basandoci su articoli altrettanto datati. I metodi evolvono, grazie al confronto interdisciplinare e alla comunità di ricerca internazionale, e gli esperimenti condotti oggi sono tecnicamente superiori a quelli del secolo scorso. Non tenere conto di questo aspetto limita molto il valore del lavoro di rassegna svolto da Rago. Chi scrive crede che sarebbe stato decisamente più utile analizzare anche studi sperimentali recenti, confrontandoli con quelli classici del passato, proprio per cogliere il cambiamento nel tempo nell’uso del metodo. È importante ripercorrere la storia degli esperimenti, come fa l’autrice, tornando finanche al pensiero di Galileo e agli studi di Torricelli e Pascal; stanti però le finalità critiche del testo, questo esercizio diventa limitante se non lo si accompagna a un confronto con gli standard odierni del metodo sperimentale.

13Nella terza parte del volume, l’autrice elenca molte criticità nelle quali possono incorrere gli esperimenti. Purtroppo questa parte del volume – la più interessante a parere di chi scrive – procede in modo piuttosto disordinato (soprattutto nei capitoli 9 e 10, nemmeno suddivisi in paragrafi), perdendo di efficacia argomentativa. Si avverte inoltre la mancanza di un capitolo conclusivo del testo, che tiri le fila del ragionamento.

14Un importante distinguo, che avrebbe potuto aiutare nella struttura espositiva del volume, è quello tra il problema della reportistica incompleta degli esperimenti – che comporta opacità da parte dello studioso – e quello degli errori veri e propri nel disegno e nella conduzione degli studi sperimentali – che minano invece la validità dei risultati raggiunti.

15Rispetto al primo punto, va detto che Rago sottolinea efficacemente in più passaggi la mancata chiarezza da parte dei ricercatori nel raccontare come gli studi sono stati realizzati. Si tratta di un tema importante, non a caso già ampiamente discusso nella letteratura internazionale sulle sperimentazioni in campo clinico e riconosciuto come un serio limite delle relative pubblicazioni. Proprio per questo motivo, esistono anche criteri consolidati in chiare linee guida affinché gli studi riportino correttamente procedimenti e risultati di disegni sperimentali. Un buon esempio in tal senso è la check list promossa da Consort – Consolidated Standards of Reporting Trials. Il grosso lavoro rassegna fatto da Rago avrebbe portato a risultati meglio organizzati e più chiaramente sintetizzabili se ci si fosse affidati a strumenti analitici consolidati come la succitata check list. Ne sarebbe uscita rafforzata e meglio documentata anche la giusta conclusione dell’autrice circa la mancanza di informazioni cruciali nel resoconto di molti studi sperimentali.

16Rispetto al secondo punto, gli errori veri e propri nella conduzione di esperimenti, va detto che molti dei problemi rapidamente toccati dall’autrice sono noti in letteratura e già trattati nella manualistica di riferimento proprio come potenziali minacce alla validità degli studi sperimentali, da fronteggiare con opportuni accorgimenti tecnici (Gerber e Green, 2012; Torgerson e Torgerson, 2008). In tal senso, si pensi, ad esempio, all’analisi di più outcome nello stesso esperimento, al coinvolgimento dello sperimentatore nella rilevazione dei dati, alla necessità di preservare la terzietà di questa fase, alla manipolazione congiunta di più variabili indipendenti nei disegni fattoriali, alla rappresentatività dei campioni di soggetti coinvolti negli studi sperimentali, all’artificialità dei contesti di laboratorio, ecc. Si tratta di temi diffusamente discussi nella letteratura metodologica internazionale, non citata da Rago.

17Il testo suscita invece più interesse quando affronta altri problemi caratteristici proprio dell’applicazione degli esperimenti alle scienze sociali e per i quali una riflessione ad hoc non è ancora stata adeguatamente sviluppata. Ci si riferisce, ad esempio, ai passaggi del volume sul rischio di sovra-interpretazione o di interpretazione ex-post e ad hoc dei risultati inattesi emersi, alle riflessioni sul rischio di manipolazione inefficace o difettosa delle variabili sperimentali, alla sottovalutata importanza della dimensione temporale e della relativa scansione nelle rilevazioni dei dati. Si tratta di un insieme di considerazioni interessanti, anche per i lettori avvezzi alla letteratura sperimentale. Si sollevano infatti domande sulle difficoltà insite nel manipolare in modo controllato una variabile indipendente e nel monitorarne appropriatamente gli effetti nei contesti sociali. Un ulteriore tema toccato da Rago, che merita una citazione a parte, è quello della (non rara) impossibilità di replicare degli esperimenti, tema cruciale stante il legame esistente tra i risultati di uno studio e la sua limitata validità esterna. Si tratta di un punto decisamente interessante, anche per le implicazioni che ha sul rapporto tra il ricercatore sociale che adotta il metodo sperimentale e la comunità scientifica di riferimento.

18Purtroppo, tutti questi aspetti si presentano nel volume come riflessioni stimolanti, ma abbozzate senza essere pienamente sviluppate rispetto alle loro rilevanti implicazioni. A opinione di chi scrive, se il volume avesse dedicato più ampia e sistematica riflessione a questi temi, ne avrebbe beneficiato non solo il risultato finale, ma anche il dibattito sugli esperimenti in campo sociale.

19In conclusione, il testo, nonostante l’ampio lavoro di rassegna svolto dall’autrice e nonostante alcune stimolanti riflessioni, sembra a chi scrive un’occasione mancata per veicolare alla comunità dei ricercatori italiani una visione aggiornata e non stereotipa delle sperimentazioni in campo sociale e per promuovere un dibattito maturo sul tema. Per chi conosce e pratica le sperimentazioni, le critiche (implicite ed esplicite) al metodo cadono nel vuoto perché superate (quando non addirittura errate) o perché troppo frettolosamente abbozzate; per chi invece guarda gli esperimenti con sospetto, il volume rischia di produrre solo un generico rinforzo dei pregiudizi già esistenti.

Torna su

Bibliografia

Argentin G. (2016), Non è un Paese per l’evidenza… e pur si muove. Peculiarità, limiti e potenzialità delle sperimentazioni controllate nel sistema scolastico italiano, in Landri P. e Maccarini A. M. (a cura di), Uno specchio per la valutazione della scuola. Paradossi, controversie, vie d’uscita, Milano, FrancoAngeli.

Argentin G. e Molina S. (2018), La valutazione e il monitoraggio dei programmi di formazione dei docenti, in Profumo F. (a cura di), Leadership per l’innovazione nella scuola. I protagonisti e le leve del cambiamento: dirigenti e docenti, formazione e tecnologie, Bologna, il Mulino, pp. 69-89.

Barone C., Assirelli G., Abbiati G., Argentin G. e De Luca D. (2017), Social origins, relative risk aversion and track choice. A field experiment on the role of information biases, «Acta sociologica», 61, 4, pp. 441-459.

Berk R. A. (2005), Randomized experiments as the bronze standard, «Journal of Experimental Criminology», 1, pp. 417-433.

Friedman L. M., Furberg C. D. e DeMets D. L. (1985), Fundamentals of clinical trials, Second edition, Littleton, PSG Publishing Company.

Gangl M. (2010), Causal Inference in Sociological Research, «Annual Review of Sociology», 36, pp. 21-47.

Gerber A. S. e Green D. P. (2012), Field Experiments: Design, Analysis, and Interpretation, New York, W.W. Norton.

Goldthorpe J. (2016), Sociology as a population science, Cambridge, Cambridge University Press.

Jackson M. e Cox D. R. (2013), The Principles of Experimental Design and Their Application in Sociology, «Annual Review of Sociology», 39, pp. 27-49.

Martini A. e Sisti M. (2009), Valutare il successo delle politiche pubbliche, Bologna, il Mulino.

Rago M. (2018), Gli esperimenti nelle scienze sociali, Milano, FrancoAngeli.

Torgerson D. e Torgerson C. (2008), Designing Randomised Trials in Health, Education and the Social Sciences, New York, Palgrave MacMillan.

Sitografia di riferimento

http://www.bestevidence.org/

https://www.campbellcollaboration.org/

http://www.consort-statement.org/

https://www.educationendowmentfoundation.org.uk/

https://www.ies.ed.gov/ncee/wwc/

http://www.ipsee.info/

https://www.sapie.it/

https://www.sree.org/

Torna su

Per citare questo articolo

Notizia bibliografica

Gianluca Argentin, « Gli esperimenti nelle scienze sociali: molta strada resta da fare per un dibattito maturo sul tema »Quaderni di Sociologia, 81- LXIII | 2019, 131-141.

Notizia bibliografica digitale

Gianluca Argentin, « Gli esperimenti nelle scienze sociali: molta strada resta da fare per un dibattito maturo sul tema »Quaderni di Sociologia [Online], 81- LXIII | 2019, online dal 01 juin 2020, consultato il 05 août 2020. URL: http://journals.openedition.org/qds/3548

Torna su

Autore

Gianluca Argentin

Dipartimento di Sociologia e Ricerca Sociale – Università di Milano-Bicocca

Articoli dello stesso autore

Torna su

Diritti d'autore

Licenza Creative Commons
Quaderni di Sociologia è distribuita con Licenza Creative Commons Attribuzione - Non commerciale - Non opere derivate 4.0 Internazionale.

Torna su
  • Logo Rosenberg & Sellier
  • Logo DOAJ - Directory of Open Access Journals
  • OpenEdition Journals