Navigazione – Mappa del sito

HomeNumeri95 - LXVIIIla società contemporanea / Valuta...La valutazione della ricerca e su...

la società contemporanea / Valutazione della ricerca: dai progetti agli effetti

La valutazione della ricerca e suoi effetti sul lavoro scientifico

Research evaluation and its effects on scientific work
Emanuela Reale e Emanuela Varinetti
p. 25-48

Abstract

The article discusses how external evaluation influences academic scientific work and modifies individual strategies for disseminating scientific results. Using a mixed-methods approach that integrates surveys, interviews, and the life histories of academics from Italian universities, the findings reveal a complex picture, such as a generalized increase in productivity across all disciplinary sectors and changes in publication practices, particularly in the social sciences and humanities. External evaluation, that is massive evaluation driven by the government, can have perverse effects, steering researchers towards topics and approaches more aligned with evaluative criteria, sometimes at the expense of innovation and exploratory research. The importance of structuring an evaluation system responsive to changes in scientific production across all disciplinary sectors is emphasized, recognizing the diversity of research practices while promoting quality, integrity, and creativity.

Torna su

Testo integrale

1. Introduzione

  • 1 Nel presente lavoro con l’espressione ‘valutazione esterna’ ci si riferisce agli esercizi di valuta (...)

1Comprendere come la valutazione massiva promossa dal governo possa influenzare il lavoro di ricerca accademico è cruciale per sviluppare politiche della ricerca efficaci e sostenere la qualità stessa della produzione scientifica. Il tema degli effetti della valutazione esterna1 sull’attività accademica, in Italia ha avuto una stagione molto prolifica di analisi e ricerche sviluppate durante l’avvio del primo esercizio VQR (Valutazione della qualità della ricerca) da parte dell’ANVUR (Agenzia nazionale per la valutazione dell’università e della ricerca), rinnovato nei tempi successivi anche con lavori di comparazione con esperienze di altri paesi. Meno vasta è invece la letteratura sugli effetti prodotti dalla valutazione massiva sul lavoro dei singoli accademici nel contesto delle più ampie analisi sull’argomento (Fontana, Valentini, 2020).

  • 2 I risultati complessivi del progetto PRIN2017 (Prot.2017NKWYFC) sono presentati nel volume Reale E. (...)

2Lo studio degli effetti della valutazione esterna sul lavoro di ricerca e sulla produzione scientifica e la definizione di un approccio metodologico per misurare gli effetti della valutazione a livello individuale sono stati le principali finalità del progetto finanziato dal Bando PRIN 2017 dal titolo Gli effetti della valutazione sulla ricerca accademica: produzione della conoscenza e problemi metodologici 2.

3In questo articolo saranno esposti alcuni risultati del progetto, per rispondere alla domanda su quali cambiamenti può produrre la valutazione esterna della ricerca sul lavoro accademico e come modifica le strategie individuali per la diffusione dei risultati scientifici prodotti.

4Nella prima parte dell’articolo sarà delineata la cornice teorica all’interno della quale si colloca l’oggetto di studio. Nella seconda parte saranno descritti l’approccio seguito per risolvere il problema dell’attribuzione degli effetti osservati alla valutazione VQR, e l’uso di un metodo misto che integra survey, interviste e storie di vita dei giovani ricercatori. Nella terza parte saranno presentati alcuni risultati diretti a rispondere alla domanda di ricerca individuata. Infine, l’ultima parte sarà dedicata alla discussione dei risultati e alle conclusioni.

2. Quadro teorico e framework concettuale

5Le regole, gli strumenti nonché gli indicatori utilizzati ai fini della valutazione esterna della ricerca scientifica svolta nelle università vengono analizzati criticamente dalla letteratura nazionale e internazionale la quale pone in rilievo non solo problemi di legittimità e appropriatezza di questi esercizi (Dahler-Larsen, 2011), ma evidenza anche cambiamenti di tipo organizzativo e identitario che essi producono nelle istituzioni accademiche (Pennisi, Reale, 2013; Gambardella et al., 2019; Facchini, Pennisi, 2020).

6Da una parte, gli esercizi di valutazione sono eseguiti da agenzie esterne introducendo in questo modo una forma di regolamentazione “dall’alto”, che agisce sui comportamenti e sulle aspettative degli individui, creando una gerarchia che, a sua volta, produce una vulnerabilità per coloro che non aderiscono ai criteri definiti. Dall’altra, i risultati prodotti dalla valutazione esterna sono spesso utilizzati dalle università come strumento manageriale. In questi casi, l’uso della valutazione è molto collegato alla gestione della ricerca con una forte componente normativa, per ottenere maggiore controllo e visibilità.

7Gli studiosi segnalano altre criticità, che si concentrano principalmente sugli accomplishment accademici, ovvero sugli obiettivi e risultati che gli accademici sono spinti a perseguire a causa di un incentivo esterno, che possono non sempre, però, condurre verso una ricerca di alta qualità o innovativa. Il sistema di valutazione può quindi indurre i ricercatori a produrre risultati rapidi e quantitativamente misurabili, piuttosto che dedicarsi a progetti più complessi e innovativi. Numerosi studi hanno del resto analizzato gli effetti della valutazione sulle modalità di pubblicazione dei risultati scientifici, evidenziando una gamma di esiti sia positivi che negativi (Shalley, 1995; Osuna et al., 2011; Abramo, D’Angelo, 2015). L’impatto negativo è maggiore su quei gruppi identificati come meno efficaci in base ai criteri di valutazione specifici. Tali gruppi possono subire cambiamenti importanti in risposta ai risultati della valutazione (Karlsson, 2017). Le ricerche sul tema dimostrano, inoltre, che se da un lato la valutazione può incentivare la pubblicazione su riviste di alta qualità e promuovere collaborazioni internazionali, dall’altro può anche indurre comportamenti opportunistici e una preferenza per ricerche meno originali e a breve termine (Bloch et al., 2015; Santos, Horta, 2018). Musselin (2013) osserva come la standardizzazione dei processi di valutazione, spinga i ricercatori a orientarsi verso riviste ad alto impatto e a partecipare a collaborazioni internazionali. Questo viene visto come un modo per raggiungere maggiore visibilità e riconoscimento a livello globale, necessario per ottenere valutazioni favorevoli. La pressione esercitata dai processi di valutazione porta, però, alcuni ricercatori a scegliere progetti sicuri e pubblicabili in tempi brevi, piuttosto che a dedicarsi a ricerche innovative e di lungo termine, che potrebbero non essere premiate dalle metriche di valutazione. La valutazione, specialmente quando è legata alla distribuzione di fondi e a progressioni di carriera, incoraggia i ricercatori ad adottare strategie per massimizzare i risultati a breve termine generando, conflitti e distorsioni con effetti sulla qualità stessa della ricerca. Inoltre, nelle università con una cultura manageriale forte, la valutazione diventa uno strumento di controllo che può limitare l’autonomia accademica, portando gli studiosi a focalizzarsi su obiettivi di performance piuttosto che su ricerche significative (Reale, Marini, 2017).

8Sebbene la valutazione esterna possa rafforzare la legittimità e il prestigio delle università, alcuni studiosi indicano che il suo impatto sull’agenda di ricerca dei singoli individui appare limitato (Whitley, Gläser, 2010). Questa discrepanza evidenzia una potenziale disconnessione tra le priorità istituzionali insite nei processi valutativi e gli interessi di ricerca personali degli studiosi, poiché i criteri esterni non sempre si allineano con le motivazioni e l’agenda di ricerca degli accademici stessi.

9Un elemento spesso evidenziato (ma in realtà poco documentato sul piano empirico) è che la pressione per ottenere valutazioni positive può indurre negli studiosi comportamenti più conformi al mainstream delle varie discipline, limitando così la diversità di idee e approcci. Questo fenomeno può portare a una ridotta originalità nella ricerca e favorire comportamenti opportunistici, come la pratica della salami publication, in cui i risultati di una singola ricerca vengono suddivisi in più articoli per aumentare il numero di pubblicazioni senza necessariamente contribuire in modo significativo alla produzione di conoscenza scientifica (Ding et al., 2019).

10L’aspetto potenzialmente più trasformativo della valutazione esterna della ricerca sugli individui è che essa genera una nozione di qualità che viene resa operativa attraverso l’uso combinato di strumenti e misure (indicatori). In questo modo la valutazione segnala il livello necessario per ottenere legittimazione, prestigio, risorse e per accedere e progredire nella carriera accademica, generando in linea di principio una spinta verso l’adeguamento alle regole e ai criteri selezionati (Lucas, 2006; Dahler-Larsen, 2011; Paradeise, Thoenig, 2015).

11La valutazione esterna della ricerca è quasi sempre orientata ad aumentare la qualità dei risultati scientifici prodotti dall’accademia, un obiettivo considerato strategico dai governi per la crescita economica. La definizione di qualità nella ricerca accademica è tuttavia un tema estremamente controverso, come evidenziato da vari studiosi che sul tema presentano orientamenti diversi specie riguardo a come detta qualità debba essere valutata (cfr, per esempio, Ochsner et al., 2016; Abramo et al., 2019; Aksnes et al., 2019). Langfeldt et al. (2020) propongono un approccio che parte dalla constatazione dell’esistenza di due nozioni principali di qualità, che coesistono e generano tensioni. La prima nozione di qualità è generata dal ricercatore, è prodotta quindi all’interno delle comunità scientifiche di riferimento, e si basa su regole e pratiche condivise specifiche di ciascun campo di studio. Le comunità scientifiche stabiliscono standard di qualità, basati sulla reputazione degli studiosi, sull’aderenza all’etica professionale e sull’uso di metodi rigorosi, sull’adozione di teorie consolidate e sull’impiego di metodi appropriati. Al contrario, la nozione di qualità generata dall’esterno si basa su idee e valori espressi da comunità non appartenenti alla ricerca, spesso composte da decisori politici, manager e amministrativi. Nei due casi, l’uso di standard e indicatori predeterminati, che possono includere metriche quantitative come il numero di pubblicazioni, l’impact factor delle riviste, e indicatori bibliometrici, ha una rilevanza diversa. Minore nel primo caso dove predomina l’interesse a mantenere la prevalenza del giudizio dei pari in quanto depositari della capacità di giudicare il valore scientifico di un risultato, maggiore nel secondo dove si ricerca l’adesione a parametri, generalmente numerici, considerati indicatori ‘obiettivi’ quindi non soggetti all’alea dei giudizi individuali. La nozione di qualità, non legata al giudizio delle comunità epistemiche, tende d’altra parte a standardizzare la valutazione della ricerca, creando regimi di valutazione che possono non tenere pienamente conto delle specificità disciplinari e delle dinamiche interne alle comunità scientifiche. Fra questi due estremi si colloca la nozione di qualità elaborata a livello di università (organizzazione) che deve mediare fra le spinte che provengono dalla base scientifica e la richiesta, generalmente di efficienza/efficacia, che deriva dal governo. La tabella 1 presenta una sintesi semplificata del framework concettuale, adattato per gli scopi del nostro studio, e identifica, per i diversi livelli ai quali la nozione di qualità viene elaborata: i. gli elementi che entrano nella valutazione della qualità di un risultato scientifico; ii. il valore o uso che si intende fare dei risultati della valutazione; iii. il collegamento che esiste tra la nozione di qualità e gli elementi da valutare; iv. nonché lo strumento di valutazione adottato.

12Per quanto riguarda i primi, l’originalità è essenziale per legittimare nuovi contributi scientifici e si manifesta attraverso idee, metodi e risultati. Può essere incrementale o radicale, con valutazioni diverse sulla sua desiderabilità a seconda dell’ambito scientifico. Spesso è associata a curiosità e creatività nel contesto della ricerca (Gulbrandsen, 2000; Lamont, 2009). La plausibilità (o affidabilità) della ricerca si basa sul rigore, su metodi solidi, integrità ed etica. La rilevanza di questi aspetti varia tra i settori scientifici: ad esempio, le scienze sperimentali valorizzano la replicabilità, mentre le discipline umanistiche enfatizzano argomentazioni dettagliate e struttura chiara (Gulbrandsen, 2000; Hug et al., 2013, Muller et al., 2024); etica e trasparenza, sono altrettanto fondamentali per valutare la qualità della ricerca in contesti multidisciplinari (Mårtensson et al., 2016). Infine, il valore della ricerca può essere inteso nella sua accezione scientifica ossia come avanzamento del dibattito accademico e del campo di studio, e per le ricadute positive in settori come ambiente, salute, economia e cultura. La “qualità della ricerca” risulta quindi distribuita su vari attributi (originalità, plausibilità e valore), che variano significativamente tra discipline e contesti organizzativi, rivelando complesse dinamiche sociali attorno alle nozioni dominanti (Lamont, 2009; Hug et al., 2013; Muller et al., 2024).

13Nella tabella 1, i livelli rappresentano come la nozione di qualità viene elaborata dai diversi attori. Il Ricercatore è più vicino all’attività di ricerca stessa e pone attenzione diretta all’originalità, robustezza e alla validità scientifica dei contenuti del lavoro scientifico. Gli attributi citati si articolano tuttavia in modo diverso a seconda della comunità epistemica di riferimento del ricercatore stesso. Pertanto, essi non possono essere considerati omogenei tra ricercatori, ma al contrario essi rifletteranno l’eterogeneità della nozione di qualità che caratterizza le discipline scientifiche. A livello di Organizzazione, l’università o l’istituzione di ricerca agiscono come mediatori tra la comunità scientifica interna e le richieste esterne di efficienza. Qui, la qualità viene considerata non solo in relazione alle politiche interne, ma anche attraverso la produzione di risultati di impatto rilevante per l’organizzazione stessa. A livello di Governo, che rappresenta la prospettiva dei decisori politici e amministrativi, la ricerca è valutata in termini di impatto sociale, economico e applicativo, cercando di bilanciare l’efficacia dell’utilizzo delle risorse con l’importanza della reputazione internazionale.

14Lo schema semplificato mostra come, a ogni livello, la qualità della ricerca venga associata a parametri diversi e misurata con strumenti specifici, rispondendo a obiettivi e aspettative caratteristici di ciascun ambito di riferimento.

15Come appare evidente, la coesistenza di diverse nozioni di qualità è suscettibile di generare tensioni significative nell’ambito della ricerca accademica. Da un lato, le comunità scientifiche possono percepire i criteri esterni come una minaccia alla loro autonomia e al valore della ricerca stessa. Dall’altro lato, gli attori politici e amministrativi possono sostenere che l’uso di standard e indicatori oggettivi è necessario per garantire trasparenza tra istituzioni e ricercatori.

16Partendo da questo framework concettuale, intendiamo lavorare sull’ipotesi che dette tensioni non si verifichino in modo omogeneo in tutte le discipline scientifiche, ma siano condizionate da quanto i criteri generati dal governo, nel caso della valutazione esterna, siano compatibili con le nozioni di qualità esistenti all’interno delle comunità scientifiche stesse. Pertanto, ci aspettiamo che ci siano settori disciplinari dove gli effetti della valutazione esterna possano essere trascurabili rispetto alla produzione di conoscenza scientifica, non generando o generando in modo debole tensioni, e settori nei quali invece la valutazione possa avere prodotto effetti trasformativi e di conseguenza anche forti tensioni.

Tab. 1. Nozione di qualità

Livello

Collegamento /
Strumento applicato

Originalità/Novità

Plausibilità/Affidabilità

Uso

Ricercatore

Collegamento

Conoscenza personale del settore scientifico.

Condivisione di teorie, metodi, metodologie, infrastrutture, strutture.

Agenda di ricerca personale e del settore.

Strumento

Giudizio sostanziale dei pari in merito al contributo originale alla conoscenza esistente nel settore di riferimento.

Reputazione, credibilità, robustezza del giudizio.

Valore legato alla propria ricerca e al contributo fornito a future ricerche.

Organizzazione

Collegamento

Doppio binario: conoscenza personale e collettiva del settore e spinte esogene.

Doppio binario: creare condizioni per la qualità e focalizzazione sugli output.

Doppia natura: nozione esterna di utilità e nozione legata all’Università/Dipartimento.

Strumento

Doppia natura degli strumenti: giudizio sostanziale e proxy.

Cultura di ricerca locale e processi di valutazione esterna.

Doppio valore derivante da giudizio esterno dei pari e da proxy sulla qualità scientifica.

Governo

Collegamento

Potenziale per implementazione di politiche e per reputazione internazionale.

Facilità dell’applicazione e robustezza ‘oggettiva’.

Ricadute applicative su economia e società/impatto.

Strumento

Uso di proxy (indicatori semplici o compositi).

Valutazione esterna di esperti tramite proxy.

Oggettività del giudizio

Allocazione delle risorse.

Fonte: Langfeldt et al. (2020) con adattamento delle autrici

17Nel caso specifico dell’Italia, la VQR, finalizzata a fornire una valutazione imparziale della qualità della ricerca nelle università e negli enti di ricerca, serve sia al MUR per assegnare la componente premiale dei finanziamenti in base alla qualità rilevata nelle diverse aree scientifiche, sia a orientare studenti, ricercatori, enti pubblici e privati nel riconoscimento delle eccellenze scientifiche (Fasanella, Martire, 2020). La VQR integra strumenti bibliometrici e di peer review. Nelle discipline con dati citazionali consolidati, come matematica, fisica, ingegneria e medicina, la valutazione effettuata dai panel (Gruppo Esperti di Valutazione-GEV) dei lavori sottomessi dalle università utilizza la peer review informata attraverso un uso consistente di indicatori bibliometrici quali impact factor e numero di citazioni. Nelle scienze umane e sociali e nelle scienze dell’architettura, per le quali non sono sempre disponibili dati citazionali o sono poco attendibili, si utilizza spesso in modo quasi esclusivo la peer review anche attraverso l’intervento di referee esterni (Ancaiani et al., 2015). Anche in questo caso la peer review è corredata da eventuali indicatori bibliometrici e dalla classificazione in cd. Fascia A delle riviste sulle quali è pubblicato un determinato risultato scientifico.

18L’uso eccessivo di metriche quantitative può tuttavia marginalizzare aspetti qualitativi importanti come l’originalità e l’innovazione proposta dallo studio in cambio di una maggiore possibilità di essere citati. Infine, sistemi di valutazione che premiano principalmente i risultati individuali possono scoraggiare la collaborazione fondamentale in molte discipline scientifiche. Queste tensioni, dunque, possono influenzare vari aspetti del lavoro accademico, dalla scelta delle tematiche di ricerca alla modalità di pubblicazione dei risultati.

3. Obiettivi del lavoro e metodologia

19L’unità di analisi di questo lavoro sono gli accademici appartenenti alle Università Italiane, e lo strumento di valutazione osservato è la valutazione esterna utilizzata in Italia dal governo con finalità distributive del finanziamento istituzionale delle università. Si focalizza l’attenzione sugli effetti della VQR, la quale esercita un effetto mediato sugli accademici essendo direttamente rivolta alla valutazione delle organizzazioni (università, dipartimenti) nelle quali essi operano. Il lavoro prima del suo avvio ha dovuto affrontare e risolvere alcuni problemi importanti che si presentano per questo tipo di analisi.

  • 3 L’approccio contributivo cerca di investigare gli effetti prodotti da una certa attività di ricerca (...)

20Il primo problema è quello del nesso causale, che è elemento di forte criticità in tutti i lavori che hanno affrontato il problema dell’individuazione degli effetti o dell’impatto della valutazione su organizzazioni e individui per risolvere il quale ogni scelta metodologica presenta vantaggi e svantaggi e una soluzione ottimale non è ancora stata trovata (Gläser, 2024). Per mitigare i problemi legati all’individuazione di un nesso causale fra effetto e valutazione è stato adottato un approccio contributivo3, in base al quale si assume la concomitanza di più cause nella produzione di un determinato effetto, e l’analisi tende quindi a controllare l’importanza della valutazione nella produzione del risultato osservato rispetto ad altre concause.

21Un ulteriore limite intrinseco di qualsiasi osservazione è che, anche se venisse soddisfatto il requisito dell’attribuzione causale, individuare gli effetti della valutazione della ricerca in un determinato tempo non consente di catturare completamente l’intero spettro dei cambiamenti prodotti. Gli effetti delle politiche di valutazione possono emergere solo dopo un lungo periodo e potrebbero non essere visibili al momento dell’osservazione. Questo ritardo temporale richiede una prospettiva a lungo termine per comprendere appieno l’impatto delle valutazioni sulla produttività e sulla qualità della ricerca. Il problema del lag temporale è stato valutato meno pressante per il lavoro previsto; l’analisi, infatti, è stata sviluppata quando la valutazione esterna della ricerca può considerarsi un processo istituzionalizzato, ed è ragionevole presumere che un nucleo importante di effetti si sia già manifestato e abbia prodotto cambiamenti consolidati. Restano naturalmente fuori dall’osservazione se e come gli effetti rilevati permangano o vengano modificati nei tempi successivi a quelli dell’osservazione, come pure se effetti ulteriori emergeranno nel futuro.

22Il nostro lavoro vuole controllare se la valutazione esterna configuri un’idea di qualità diversa da quella delle comunità epistemiche e produca quindi effetti differenziati influenzati soprattutto dai settori disciplinari di appartenenza (Palumbo, 2020). Si ipotizza, infatti, come già indicato nella sezione 2, che l’influenza della VQR sulla qualità scientifica percepita dai rispondenti vari significativamente tra le aree disciplinari a causa del diverso modo con cui le comunità epistemiche considerano gli elementi chiave della qualità scientifica (originalità, robustezza, validità) e la rilevanza che esse attribuiscono all’uso dei risultati scientifici prodotti.

23In ragione dell’approccio contributivo selezionato, il controllo viene effettuato rispetto ad altri fattori suscettibili anch’essi di produrre il risultato osservato. Il lavoro empirico è stato svolto utilizzando la prospettiva dei metodi misti (Amaturo, Punziano, 2016), cercando di integrare i risultati derivanti da strumenti di tipo quantitativo (la survey) con strumenti di tipo qualitativo (le interviste e le storie di vita) attraverso una triangolazione dei risultati raggiunti nelle diverse osservazioni per migliorare la comprensione dell’oggetto del nostro studio.

  • 4 Professori ordinari, professori associati, ricercatori di ruolo a esaurimento, ricercatori a contra (...)

24La survey online (Andrews et al., 2003; Alessi, Martin, 2010) ha investigato gli effetti della valutazione condotta a livello nazionale attraverso un questionario strutturato diretto a un campione probabilistico di accademici, rappresentativo della popolazione docente e non docente degli atenei italiani (Spinello et al., 2021)4.

  • 5 Ossia 55.535 unità appartenenti a 98 atenei.
  • 6 LS (Scienze della vita): Biologia; Scienze mediche; Agraria e Veterinaria; MPNS (Matematica e Scien (...)

25Dalla popolazione di accademici afferenti ad atenei italiani5 è stato eseguito un campionamento stratificato; quindi, sono state estratte e contattate 3.165 unità. L’indagine è stata amministrata nel 2021 e ha ricevuto 1.365 risposte, per un tasso di risposta (43%) ben bilanciato per genere, livello di carriera, dimensione dell’università, ubicazione geografica e ambito disciplinare6. Il questionario è stato somministrato online secondo la metodologia CAWI, inviando il link per la compilazione agli indirizzi mail istituzionali dei docenti (Istat, 2017).

26Gli effetti della VQR esaminati nel presente articolo non esauriscono tutti gli ambiti toccati dalla survey e si concentrano sui cambiamenti intervenuti su: a) Produttività della ricerca; b) Pratiche di pubblicazione (scelta del tipo di pubblicazione/tipo di riviste); c) Miglioramento della qualità della ricerca associato dai rispondenti all’intervento della valutazione.

  • 7 Il test (Logit multinomiale) è stato utilizzato per modellare le variabili di risultato nominali da (...)

27Sono state elaborate analisi descrittive e una regressione Logit Multinomiale7. Quest’ultima ha analizzato le domande del questionario che chiedevano ai rispondenti l’importanza da essi attribuita ai vari fattori selezionati rispetto a: a) cambiamento delle scelte delle sedi editoriali per la disseminazione dei risultati; b) aumento della produttività scientifica numero di pubblicazioni (Reale et al., 2022). Le domande chiedevano di graduare l’importanza di ciascuno dei fattori elencati, compresa la VQR, sulla base di una scala Likert a quattro modalità (Per niente, Poco, Abbastanza, Molto) e prevedevano sempre un’opzione ‘Altro’ per far emergere fattori ulteriori non segnalati. Tuttavia, detta opzione è stata usata in un numero di casi trascurabile.

  • 8 La Logit ha analizzato la domanda del questionario nella quale si chiedeva ai rispondenti il grado (...)

28È stata altresì effettuata una regressione Logit per analizzare gli effetti della valutazione sulla qualità della ricerca sulla base della percezione dei singoli rispondenti.8 Poiché, come già ricordato, non esiste una definizione univoca di qualità della ricerca ma anzi ipotizziamo che l’influenza della valutazione sia diversa tra gli accademici in relazione alle diverse nozioni di qualità che essi hanno, si assume che ciascun rispondente organizzi la propria risposta in relazione alla propria nozione di qualità che deriva dalla sua appartenenza a una comunità scientifica.

29Seguendo l’approccio contributivo, un passaggio importante è stato la selezione dei fattori più rilevanti che possono concorrere alla produzione del cambiamento osservato. Si tratta di concause generalmente considerate importanti dalla letteratura per modificare i comportamenti individuali dei ricercatori. L’apprezzamento del valore di queste concause è valutato dai rispondenti in base alla loro esperienza personale. La rilevanza attribuita alla VQR nei vari cambiamenti analizzati viene confrontata con l’importanza percepita dagli intervistati riguardo agli altri fattori selezionati.

30Sono stati quindi individuati, sulla base dello stato dell’arte della letteratura sull’argomento, i fattori indicati nella tabella 2 che, insieme alla VQR, sono stati considerati come variabili indipendenti nel modello adottato e suscettibili di avere effetti importanti sul cambiamento nel lavoro di ricerca accademico rispetto ai quali è stata osservata la rilevanza della valutazione.

31Naturalmente questi fattori non esauriscono la gamma di possibili concause, che il lavoro ha cercato almeno in parte di far emergere attraverso l’uso delle interviste e delle storie di vita. Si tratta tuttavia di elementi che possono essere annoverati fra quelli che in genere orientano le scelte delle comunità epistemiche anche oltre i confini nazionali.

32La ricerca qualitativa è stata condotta mediante l’utilizzo di due modalità: i) le interviste informate al fine di comprendere le pratiche di ricerca e di pubblicazione, attraverso un processo comunicativo in cui i partecipanti negoziano reciprocamente i significati delle domande e delle risposte rispetto a evidenze sulla produzione scientifica e il percorso di carriera che l’intervistatore ha collezionato nel lavoro preparatorio all’intervista medesima (Gläser, Laudel, 2007); ii) le storie di vita che grazie ad un approccio narrativo dialogico, valorizzano elementi significativi di eventi passati, presenti e aspettative future (Zuckerman, 1972; Bichi, 2000; 2002). Le prime, pertanto, sono volte a rilevare cambiamenti nel percorso professionale di soggetti già avviati alla carriera scientifica per i quali il cambiamento può avere risvolti molto diversi interessando non solo le pratiche di pubblicazione ma anche l’ambito scientifico o la stessa agenda di ricerca. Nel secondo caso lo scopo è capire meglio come tra i giovani ricercatori, che ancora non hanno un percorso consolidato, l’eventuale influenza della valutazione esterna possa entrare e quale rilevanza abbia nel concreto della pratica di ricerca rispetto ad altri fattori.

Tab. 2. Fattori selezionati come concause rispetto alla VQR nella produzione degli effetti di cambiamento

Fattori individuati

Motivazioni

Internazionalizzazione della comunità scientifica nel settore/area di ricerca (Rostan et al., 2014).

L’internazionalizzazione favorisce una più ampia collaborazione tra ricercatori e la loro mobilità, contribuendo sia alla diversificazione delle prospettive di ricerca e delle metodologie, sia l’accesso a finanziamenti e risorse esterne ai confini nazionali. Inoltre, aumenta la visibilità e l’impatto delle pubblicazioni scientifiche.

Criteri di valutazione specifici per ottenere finanziamenti per la ricerca (Laudel, 2006).

I criteri di valutazione utilizzati per l’erogazione di finanziamenti possono influenzare il lavoro di ricerca, indirizzandone l’orientamento, la qualità e l’impatto. Ad esempio, possono orientare la ricerca verso determinate tematiche, premiare le collaborazioni interdisciplinari oppure favorire l’utilizzo di alcuni metodi e applicazioni rispetto ad altri.

Indirizzi strategici delineati dalle università di appartenenza (Lucas, 2006; Musselin, 2013).

Le università possono circoscrivere i temi di ricerca prioritari attraverso la definizione di politiche e strategie istituzionali oppure attraverso investimenti mirati verso determinate aree tematiche, ma anche grazie ad accordi con specifici dipartimenti e centri di ricerca.

Influenza esercitata dai mentori accademici (Santos, Horta, 2018).

I mentori orientano la scelta degli argomenti e delle metodologie di ricerca dei giovani ricercatori e contribuiscono alla costruzione e all’espansione di reti scientifiche e collaborazioni, orientando e promuovendo così anche il loro avanzamento di carriera.

Necessità di migliorare i propri indicatori bibliometrici (Aksnes et al., 2019).

Gli indicatori bibliometrici possono guidare i ricercatori verso: la produzione di articoli di alta qualità pubblicabili su riviste di prestigio, l’aumento della visibilità e delle citazioni delle proprie opere, Collaborazione con ricercatori riconosciuti a livello internazionale, Bilanciamento tra quantità e qualità delle pubblicazioni.

Fonte: elaborazione delle autrici. La colonna ‘Fattori’ riporta come la concausa è stata proposta nel questionario somministrato ai rispondenti

33Sono stati contattati 267 docenti, selezionati da un nucleo di 2.477 soggetti estratti casualmente dalla popolazione docente degli atenei italiani e sono state raccolte 32 interviste informate con accademici di ruolo e 19 storie di vita con ricercatori RTDA e RTDB (cfr. tab. 3). Complessivamente, sono state compilate 51 schede degli intervistati, contenenti il profilo biografico di carriera e nel caso delle interviste informate, ove pertinente, un cluster bibliometrico sulla produzione scientifica con la funzione di sollecitare la riflessione fra intervistato e intervistando sui cambiamenti nella produzione scientifica nelle aree disciplinari per le quali gli indicatori bibliometrici sono considerati rappresentativi.

Tab. 3. Profilo degli intervistati

Genere

24 Femmine

27 Maschi

Profili accademici

11 Ordinari

17 Associati

4 Ricercatori

9 RTDA

10 RTDB

Aree geografiche

15 Nord-Ovest

9 Nord-Est

17 Centro

9 Sud e Isole

Dimensione Ateneo

15 Mega

19 Grande

14 Medio

3 Piccolo

34I protocolli utilizzati per le interviste e per le storie di vita hanno considerato diverse dimensioni analitiche e temi chiave. In primo luogo, è stata esplorata la carriera accademica e gli interessi di ricerca/produzione scientifica, considerando aspetti quali il prestigio, la pressione del publish or perish, la capacità di condurre ricerche nonostante finanziamenti limitati e la mobilità accademica. Per quanto riguarda le strategie di pubblicazione, sono state chieste informazioni circa l’aderenza alle correnti principali (mainstream) rispetto ad approcci e temi meno esplorati, la scelta tra approcci disciplinari e transdisciplinari, e l’utilizzo di canali di pubblicazione internazionali. Il contesto accademico è stato approfondito in termini di apprendimento organizzativo, del sistema di governance e delle capacità decisionali all’interno delle istituzioni accademiche (Fabrizio et al., 2023). Le dimensioni analitiche sono state utilizzate per l’analisi attraverso la content analysis.

4. Risultati

4.1 La survey

35I risultati che presentiamo si riferiscono alle parti di questionario relative alle variazioni della produttività e delle strategie di pubblicazione degli accademici attraverso alcune statistiche descrittive e alcuni risultati di regressioni Logit (cfr. sezione 3).

36La survey restituisce l’immagine di un mondo accademico caratterizzato in tutti i settori disciplinari dalla percezione di un aumento della produttività scientifica (circa il 50% dei rispondenti in ogni area dichiara di aver aumentato il numero delle pubblicazioni prodotte, fig. 1). Su questo fenomeno i risultati dell’analisi descrittiva mostrano che la VQR ha un’influenza circoscritta e comunque inferiore a quella esercitata per esempio dall’ASN: circa il 40% di coloro che hanno dichiarato di avere avuto nel periodo considerato dalla survey un aumento di produttività non considera la VQR come un elemento che ha influito significativamente su questo risultato. I cambiamenti legati alla valutazione sono particolarmente evidenti tra i ricercatori all’inizio della loro carriera, risultato ovviamente atteso trattandosi di individui a inizio carriera; interessante invece notare che essa è particolarmente alta tra gli accademici che appartengono a università del Sud Italia.

Fig. 1. Come è cambiato l’andamento della tua produttività scientifica negli ultimi dieci anni?

Fig. 1. Come è cambiato l’andamento della tua produttività scientifica negli ultimi dieci anni?

Fonte: elaborazione delle autrici. N° 1.365 rispondenti

37La VQR ha invece un impatto più incisivo rispetto agli altri fattori quando si prende in considerazione il cambiamento nei modi di pubblicazione in particolare nella selezione delle sedi dove pubblicare i risultati (fig. 2). Questo fenomeno invero investe tutti i settori disciplinari anche se in misura assai diversa: il 26% degli accademici delle LS dichiara di aver cambiato strategia di pubblicazione, il 45% fornisce la stessa risposta nelle ENG, mentre nelle SSH la percentuale sale al 56%. Il dato ci mostra che alcuni settori, in particolare quelli delle SSH, stanno subendo dei cambiamenti molto rilevanti nelle modalità di disseminazione dei risultati scientifici raggiunti, ed è ragionevole presumere che tali cambiamenti riflettano trasformazioni che riguardano il modo con cui il lavoro scientifico viene svolto.

Fig. 2. L’importanza della sede di pubblicazione è cambiata negli ultimi dieci anni?

Fig. 2. L’importanza della sede di pubblicazione è cambiata negli ultimi dieci anni?

Fonte: elaborazione delle autrici. N° 1.365 rispondenti

38Se si approfondisce la direzione del cambiamento con riferimento al tipo di pubblicazione, si nota un effetto forte riferibile all’aumento dell’orientamento degli studiosi verso riviste nazionali e internazionali indicizzate di fascia A, particolarmente evidente nei settori delle Scienze Sociali e Umanistiche (SSH) e nel macro-settore ENG (tab. 4). Alla domanda su quali fattori abbiano influenzato i cambiamenti indicati, l’83% dei rispondenti segnala un ruolo molto alto o abbastanza alto della VQR sui cambiamenti che investono la decisione su come/dove pubblicare. L’analisi descrittiva, quindi, conferma che la valutazione ha un effetto importante nel cambiamento delle scelte dei ricercatori rispetto alla disseminazione dei propri risultati, elemento questo che è suscettibile di produrre ricadute ulteriori, come quelle relative all’aumento dell’influenza esercitata da certi tipi di riviste che risultano privilegiate nei criteri di valutazione.

Tab. 4. Cambiamenti nelle sedi di pubblicazione per tipo di pubblicazione

MPNS

LS

ENG

SSH

-

+

-

+

-

+

-

+

Riviste nazionali e internazionali indicizzate Fascia A

2%

20%

0%

25%

3%

42%

2%

51%

Riviste internazionali non indicizzate

2%

1%

2%

0%

5%

2%

3%

5%

Riviste nazionali

4%

0%

6%

1%

8%

2%

14%

6%

Capitoli in libri

4%

3%

5%

3%

9%

10%

15%

22%

Libri

1%

1%

2%

1%

6%

5%

11%

15%

Fonte: elaborazione delle autrici. N° 1.365 rispondenti

39Il test tramite applicazione della Logit multinomiale (cfr. sezione 3) è invece diretto a controllare la probabilità che un determinato effetto (cambiamenti nella produttività o cambiamenti nella strategia di pubblicazione) qualora si verifichi, sia prodotto dalla VQR rispetto alle altre concause esaminate considerate complessivamente. I risultati che presentiamo di seguito sono tutti riferibili a valori statisticamente significativi (p<0,01) e di segno positivo, salvo diversa indicazione.

  • 9 Vale la pena di segnalare che l’attivazione, nel decennio considerato, degli scatti stipendiali leg (...)

40Per quanto riguarda l’aumento della produttività, i risultati indicano un’elevata probabilità di aumento della produttività legato all’effetto della VQR solo nel caso di giovani ricercatori (RTDA e RTDB) e di accademici che lavorano in università del Sud. I giovani ricercatori sono però molto sensibili anche agli altri fattori individuati come potenzialmente suscettibili di influenzare il risultato; pertanto, nel loro caso la valutazione è una delle componenti che esercitano pressioni al pari delle altre. Questo risultato è piuttosto interessante considerando che i giovani ricercatori potrebbero non aver partecipato direttamente a una VQR se il loro percorso, come è probabile, è inferiore ai dieci anni considerati dall’indagine. Pertanto, la percezione dell’importanza della VQR è molto elevata anche tra i soggetti che sono a inizio carriera, i quali ne subiscono un impatto significativo anche prima di esserne direttamente coinvolti, mentre questo non è osservabile nei ricercatori strutturati. Al contrario, la localizzazione geografica dell’ateneo di appartenenza è un fattore che aumenta per tutti gli accademici la possibilità di subire fortemente l’effetto della valutazione in termini di produttività, al contrario di quanto avviene per le altre concause9.

  • 10 La variabile di genere (uomini) mostra un segno negativo con un p value p0,1; la variabile relativa (...)

41Per quanto riguarda il cambiamento della sede di pubblicazione, il test indica chiaramente un effetto molto importante della VQR che riguarda le scienze sociali (Aree CUN 12, 13 e 14), le scienze umane (aree CUN 10 e 11) e le scienze d’ingegneria civile e architettura, mentre le altre concause non mostrano alcuna significatività. L’effetto VQR oltre a essere forte è anche prevalente rispetto agli altri fattori che invece non presentano un’influenza statisticamente significativa. Lo stesso risultato non emerge negli altri settori disciplinari che quindi subiscono meno l’incentivo della valutazione verso l’uso di sedi diverse da quelle consuete per la disseminazione dei risultati di ricerca. La rilevanza della variabile di genere e della presenza di figli sugli effetti prodotti dalla VQR risultano difficili da interpretare in quanto il risultato, pur essendo positivo e statisticamente significativo (indicando dunque che qualche effetto esiste), è comunque debole10.

42Una regressione Logit è stata infine applicata alla domanda del questionario relativa alla percezione degli individui rispetto al miglioramento della qualità del proprio lavoro scientifico (cfr. nota 8). È stata controllata la probabilità che la necessità di seguire le indicazioni della VQR per la produzione scientifica sia considerata positivamente in quanto suscettibile di aumentare la qualità del proprio lavoro di ricerca, rispetto alla percezione opposta che la valutazione non aumenti la qualità. Gli unici settori nei quali la VQR risulta un fattore statisticamente significativo rispetto alla qualità della produzione scientifica sono gli accademici delle scienze fisiche e delle scienze economiche. Il risultato ha una certa rilevanza (p<0,05); tuttavia, con riguardo alle scienze fisiche l’effetto si presenta con segno negativo, mentre per le scienze economiche e statistiche il segno è positivo. Pertanto, per i primi la probabilità che la VQR abbia migliorato la qualità della propria ricerca viene rifiutata in modo netto, nei secondi al contrario la VQR è considerata foriera di un miglioramento qualitativo importante. L’assenza di significatività per la quasi totalità dei settori scientifici indica comunque che la valutazione non viene percepita come strumento che migliora la qualità dei risultati di ricerca. Infine, si deve segnalare la rilevanza del contesto nel quale la valutazione interviene. La percezione positiva rispetto al miglioramento della qualità della ricerca collegato alla VQR si manifesta infatti in modo molto accentuato tra gli accademici delle università localizzate nelle isole, e in misura meno forte (p<0.1) tra coloro che lavorano in università di piccole dimensioni.

4.2 Le interviste e le storie di vita

43Per completare il quadro è utile riportare, seppur brevemente per ragioni collegate all’economia di queste note, alcuni risultati delle interviste informate e delle storie di vita (cfr. sezione 3) riguardo gli effetti della VQR nel lavoro di ricerca.

44Un aspetto critico sollevato riguarda i comportamenti opportunistici adottati in risposta alla valutazione. In particolare, anche da accademici che rivestono il ruolo di professori ordinari viene segnalata la tendenza a scegliere di concentrarsi su temi di ricerca più ‘alla moda’ rinunciando in parte ai propri interessi con l’occhio sempre attento alle conseguenze per carriera e reputazione:

Se ho cercato di adeguarmi oppure mi sono semplicemente affidata ai miei interessi? Ho fatto entrambe le cose. […] ovviamente era mia grande preoccupazione quella di vedere i risultati della mia ricerca corrisposti dal mio avanzamento di carriera (D_PO_HUM).

45Secondo gli intervistati è essenziale mantenere una coerenza tematica nella ricerca, ma è altrettanto importante essere aperti alla multidisciplinarietà, anche nei settori delle aree umanistiche. Un esempio emblematico di questa doppia esigenza è descritto in un’intervista in cui una ricercatrice afferma di essersi sia adeguata nel posizionarsi su un field strategico pur mantenendo coerenza con i propri interessi di ricerca e vivendo, allo stesso tempo, con grande apprensione l’attesa di veder corrispondere ai risultati della ricerca anche un avanzamento di carriera. Sulla stessa linea, le testimonianze raccolte attraverso le storie di vita rivolte ai ricercatori in condizione di precarietà, indicano che, alla domanda diretta su quale fosse il principale elemento di cui tenere conto per le loro scelte di ricerca, la valutazione emerge come elemento che esercita un’influenza significativa.

46La strategia di pubblicazione è un equilibrio delicato tra coerenza con le linee di ricerca, visibilità delle pubblicazioni e criteri di valutazione della VQR. La ricerca di questo equilibrio è particolarmente evidente tra ricercatori e professori associati, mentre sembra meno evidente nei professori ordinari. Da un’intervista ad un professore associato emerge come sia stato indotto a orientarsi, gradualmente, sulle tematiche mainstream una volta constatato che questa scelta consente di pubblicare e posizionare meglio il proprio lavoro con conseguenti ricadute positive in particolare sull’acquisizione dell’idoneità e sull’attrazione di fondi di ricerca:

Se i colleghi si occupano di settori mainstream riescono a pubblicare e piazzare meglio il proprio lavoro, poi dopo questo ha effetto su tutto: sull’idoneità, sui posti, sui fondi di ricerca e così via, quindi ho deciso, pian piano, di cercare di inseguire il mainstream (M_PA_MAT).

47Il finanziamento è un altro elemento chiave che guida le pratiche di ricerca di tutti i docenti e ricercatori orientando fortemente i temi di ricerca, soprattutto nelle fasi iniziali di disegno progettuale:

Le cose che hanno guidato i miei interessi scientifici […] fondamentalmente sono le possibilità di finanziamento […] all’inizio di questa ricerca il gruppo […] era molto piccolo e senza particolari finanziamenti (M_PA_EARTH).

48Le interviste restituiscono però anche la percezione degli accademici, indipendentemente dalla loro posizione e genere, che considera la valutazione come fonte debole per guadagnare prestigio e reputazione, questionando altresì la sua legittimazione e l’uso che viene fatto dei risultati:

Secondo me, il problema non è la valutazione, ma sono gli obiettivi della valutazione, perché ci si chiede di essere valutati, non ci si chiede di essere valutati per tutta la nostra attività, ma ci si chiede di essere valutati per degli obiettivi che sono politici, è questa la realtà delle cose (D_PA_PSIC).

49Nelle storie di vita un elemento interessante è che la valutazione non emerge mai spontaneamente dal racconto degli intervistati. Per approfondire questo tema è necessario ricorrere alla domanda diretta, elemento che conferma come i giovani ricercatori vivano la valutazione in modo diverso dai colleghi senior, in quanto sin dall’inizio del loro percorso di carriera è una componente consolidata del gaming della vita accademica (Lucas, 2006). Interessante vedere come anche i giovani ricercatori esprimano perplessità sull’uso della valutazione e sulla struttura dell’incentivo che essa propone, indicando la prevalenza, in ogni caso, della qualità del lavoro da produrre in quanto unico elemento in grado di procurare pubblicazioni, visibilità e reputazione:

Per la verità […] se la valutazione comportasse poi anche una premialità, avrebbe più senso, perché quello che ci si chiede è di ottemperare a tutta una serie di parametri, sia dal punto di vista della ricerca, sia dal punto di vista della didattica, […] in realtà è una valutazione di cui beneficiano sostanzialmente gli Atenei e forse i dipartimenti, non sicuramente il singolo, per cui uno lo fa perché lo deve fare (M_RTDA_HUM).

Essendo valutato ogni anno, avendo partecipato a concorsi ogni anno, con diverse valutazioni, diversi criteri, poi uno, ad un certo punto, se ne frega anche un po’ dei criteri e va per la sua strada, se rientra nei criteri, bene, se non si rientra, pazienza, quando poi si devono applicare i correttivi, si fa e poi lo valuteremo. Non si vive in funzione dei criteri che decide l’ANVUR e della valutazione, l’importante è avere dei risultati e fare il proprio lavoro (M_RTDA_CHEM).

5. Discussione e conclusioni

50La combinazione dei risultati della survey, delle interviste e storie di vita fornisce un quadro complesso degli effetti prodotti dalla valutazione esterna sul lavoro accademico, difficilmente riconducibile a posizioni estreme tutte positive o tutte negative.

51Un primo risultato è l’aumento generalizzato della produttività in tutti i settori disciplinari, a livello di sistema, universitario e individuale. Questo incremento è in realtà confermato sia dalle rilevazioni quantitative che dalle percezioni individuali e dalle narrazioni degli accademici emerse dalle interviste. Tuttavia, una parte significativa di rispondenti alla survey non attribuisce alla VQR un ruolo determinante in questo cambiamento, riconoscendo invece un’influenza maggiore all’Abilitazione Scientifica Nazionale (ASN) e alla necessità di essere competitivi nell’attrazione di fondi per la ricerca aumentando i propri indici bibliometrici. Questo vale soprattutto per i giovani ricercatori, più sensibili alla pressione del publish or perish e agli incentivi collegati alla progressione di carriera. L’incremento della produttività è particolarmente pronunciato nelle università del Sud Italia, e questo dato concorda con le rilevazioni basate su dati bibliometrici, che mostrano un maggiore margine di miglioramento delle Università del Sud rispetto alle altre, contribuendo così a una convergenza nella produttività delle università italiane.

  • 11 Questo risultato è in effetti stato controllato in uno specifico lavoro all’interno del volume che (...)

52Risulta invece evidente e significativa l’influenza della valutazione sul cambiamento delle modalità di pubblicazione, con un effetto particolarmente forte nei settori disciplinari riconducibili alle scienze sociali e umane (SSH). La qualità della ricerca si conferma essere, come da noi ipotizzato, un concetto che varia in base alle caratteristiche delle comunità epistemiche, e le misurazioni basate su caratteristiche estrinseche mostrano notevoli limiti. Inoltre, l’incentivo a pubblicare su riviste indicizzate e riviste di fascia A ha avuto un effetto vistoso soprattutto nei settori delle SSH, e di architettura; questo risultato suggerisce che le case editrici possano giocare un ruolo cruciale nella costruzione delle logiche di accettazione e rigetto dei lavori scientifici, influenzando le discipline sia nella produzione di contenuti mainstream che nell’apertura all’interdisciplinarità.11

53Un elemento interessante deriva dall’osservazione che i cambiamenti generati dalla necessità di adeguarsi ai criteri della VQR non sono percepiti come elementi in grado di portare un miglioramento della qualità della ricerca; ciò vale anche per tutti i settori disciplinari, con alcune eccezioni significative nei settori della fisica e dell’economia, dove le percezioni sono opposte, creando aspettative negative nel primo caso e positive nel secondo.

54Le interviste e le storie di vita confermano questi risultati, mostrando le criticità che la valutazione può produrre nella selezione dei temi di ricerca da approfondire, con una spinta indiretta a privilegiare settori meno innovativi, e ponendo in evidenza la scarsa capacità della valutazione di essere fonte di visibilità e prestigio.

55La VQR ha avuto pertanto effetti variabili e spesso controversi, con influenze significative concentrate soprattutto in alcune discipline. La coesistenza delle nozioni di qualità della ricerca generate dall’ambiente scientifico e da quello politico non si manifesta in modo uniforme nelle diverse comunità accademiche e genera tensioni che sono più forti nei settori dove il contrasto fra la nozione di qualità elaborata dalla comunità scientifica e quella proposta dal governo è particolarmente accentuato. Certamente è questo il caso delle scienze sociali e delle scienze umane, sulle quali la VQR ha avuto un effetto molto elevato e chiaramente identificabile in tutte le evidenze raccolte, ed è lecito domandarsi se il cambiamento che la valutazione ha indotto dall’esterno sia realmente la migliore scelta possibile per preservare la libertà accademica e l’autonomia delle comunità scientifiche e per il corretto uso della valutazione stessa, o se al contrario sarebbero preferibili pratiche di valutazione dove gli incentivi verso cambiamenti desiderabili potessero avvenire attraverso processi di apprendimento o moral suasion piuttosto che utilizzando la leva finanziaria.

56Il risultato degli accademici nelle scienze fisiche indica inoltre che nel lungo periodo effetti significativi della VQR possono prodursi anche su altri settori appartenenti alle scienze cosiddette sperimentali. In questo senso, sarebbe anche utile chiedersi se la VQR sia riuscita a raggiungere gli obiettivi per cui è stata concepita, non sulla base di idee precostituite a favore o contro la valutazione, ma attraverso una discussione basata su evidenze che sono state raccolte e analizzate. Questo potrebbe portare a una revisione dei criteri utilizzati, dei metodi applicati e dell’uso dei risultati ottenuti. Inoltre, bisogna considerare che il lavoro di ricerca accademico e la produzione di conoscenza sono anche influenzati dalla valutazione dell’insegnamento. La connessione tra la valutazione della ricerca e altri strumenti di valutazione esterna deve essere considerata con attenzione per comprendere appieno l’effetto della valutazione sulle università e sul lavoro accademico.

  • 12 https://coara.eu

57Infine, in tempi di cambiamento come quelli odierni vale anche la pena di interrogarsi sulla sostenibilità del sistema di valutazione, che fortemente dipende dalla sua capacità di adattarsi ai rapidi cambiamenti nella produzione scientifica e nel modo stesso di fare ricerca in tutti i settori disciplinari. I principi codificati nel recente CoARA Agreement (Coalition for Advancing Research Assessment)12 prevedono che la qualità della ricerca sia valutata principalmente dai pari per ricondurre all’interno delle comunità scientifiche il giudizio sul valore della ricerca prodotta. L’uso delle metriche a complemento del giudizio dei pari deve riflettere le diverse dimensioni della ricerca (es. impatto scientifico, innovazione, rilevanza sociale) per riconoscere e valorizzare diversi tipi di contributi. In generale, il passaggio che l’Accordo vuole promuovere è quello di ricostruire una fiducia diffusa nel sistema di valutazione: la progettazione delle pratiche di valutazione deve sostenere l’equità, assicurando che tutti i ricercatori, indipendentemente dalla loro istituzione di afferenza, abbiano pari opportunità di riconoscimento e valorizzazione in tutte le discipline scientifiche, assumendo le differenze epistemiche esistenti e di conseguenza le diversità che le comunità stesse esprimono.

Torna su

Bibliografia

Abramo G., D’Angelo C.A. (2015), The VQR, Italy’s second national research assessment: Methodological failures and ranking distortions, «Journal of the Association for Information Science and Technology», 66, pp. 1-10. DOI: 10.1002/asi.23323

Abramo G., D’Angelo C.A., Reale E. (2019), Peer review versus bibliometrics: Which method better predicts the scholarly impact of publications?, «Scientometrics», 121, pp. 537-554. DOI: 10.1007/s11192-019-03184-y

Aksnes D.W., Langfeldt L., Wouters P. (2019), Citations, citation indicators, and research quality: An overview of basic concepts and theories, «SAGE Open», 9, 1. DOI: 10.1177/2158244019829575

Alessi E., Martin J. (2010), Conducting an internet-based survey: Benefits, pitfalls, and lessons learned, «Social Work Research», XXXIV, 2, pp. 122-128.

Amaturo E., Punziano G. (2016), I Mixed Methods nella Ricerca Sociale, Roma, Carocci.

Ancaiani A., Anfossi A.F., Barbara A., Benedetto S., Blasi B., Carletti V. (2015), Evaluating scientific research in Italy: The 2004-10 research evaluation exercise, «Research Evaluation», XXIV, 3, pp. 242-255.

Andrews D., Nonnecke B., Preece J. (2003), Electronic survey methodology: A case study in reaching hard-to-involve internet users, «International Journal of Human-Computer Interaction», XVI, 2, pp. 185-210.

Bichi R. (2000), La tecnica di intervista nelle storie di vita: Il rimando neutro, forme e modalità di riconoscimento tra aree di significato, «Studi di Sociologia», XXXVIII, 2, pp. 175-188.

Id. (2002), L’intervista biografica: Una proposta metodologica, Milano, Vita e Pensiero.

Bloch C., Graversen E.B., Pedersen H.S. (2015), Researcher mobility and sector career choices among doctorate holders, «Research Evaluation», XXIV, 2, pp. 171-180. DOI: 10.1093/reseval/rvv004

Dahler-Larsen P. (2011), The Evaluation Society, Stanford, Stanford University Press.

Ding D., Nguyen B., Gebel K., Bauman A., Bero L. (2019), Duplicate and salami publication: A prevalence study of journal policies, «International Journal of Epidemiology», XVII, 9, pp. 281-288. DOI: 10.1093/ije/dyz187

Fabrizio S., Finardi U., Morettini L., Reale E., Spinello A.O., Zinilli A., Carazzolo V., Varinetti E., Germani D. (2023), Ricerca accademica e valutazione: qualità, produttività, carriera e agenda di ricerca, Presentazione alla giornata di lavoro Quali effetti produce la valutazione sul lavoro di ricerca? Un dialogo tra ricercatori e decisori politici, CNR, Roma 22 giugno 2023.

Facchini C., Pennisi C. (2020), Gli usi della valutazione tra regole e algoritmi: Il cambiamento degli Atenei nella percezione dei Direttori di Dipartimento, «Rassegna Italiana di Valutazione», LXXIV, pp. 11-34.

Fasanella A., Martire F. (2020), Valutazione della ricerca e ricerca sulla valutazione: Riflessioni, analisi e proposte per la VQR, Milano, Franco Angeli.

Fontana R., Valentini E. (2020), Conseguenze della valutazione: Idee e pratiche dei docenti universitari nelle scienze sociali, Milano, Franco Angeli.

Gambardella D., Grimaldi E., Lumino R. (2019), L’università italiana e i paradossi della valutazione: Processi di depoliticizzazione e spazi riflessivi, in D’Albergo E., Moini G. (a cura di), Politica e Azione Pubblica nell’epoca della Depoliticizzazione, Roma, Sapienza University Press, pp. 89-112.

Gläser G., Laudel G. (2007), Interviewing scientists, «Science, Technology & Innovation Studies», III, 2, pp. 91-111.

Gläser J. (2024), From effects of governance to causes of epistemic change, «Minerva», 62, pp. 309-337. DOI: 10.1007/s11024-024-09526-2

Gulbrandsen M. (2000), Research Quality and Organisational Factors: An Investigation of the Relationship, Trondheim, Norwegian University of Science and Technology.

Hug S.E., Ochsner M., Daniel H.-D. (2013), Criteria for assessing research quality in the humanities: A Delphi study among scholars of English literature, German literature and art history, «Research Evaluation», XXII, 5, pp. 369-383.

Istat (2017), L’utilizzo della tecnica CAWI nelle indagini su individui e famiglie, Roma, Istituto Nazionale di Statistica.

Jonkers K., Zacharewicz T., Oficina de Publicaciones Oficiales de la Unión Europea, Comisión Europea Joint Research Centre (2017), Research Performance Based Funding Systems: A Comparative Assessment, Luxembourg, Publications Office of the European Union.

Karlsson S. (2017), Evaluation as a travelling idea: Assessing the consequences of research assessment exercises, «Research Evaluation», XXVI, 2, pp. 55-65. DOI: 10.1093/reseval/rvx001

Lamont M. (2009), How Professors Think: Inside the Curious World of Academic Judgment, Cambridge (MA), Harvard University Press.

Langfeldt L., Sorlin S., Thomas D.A., Nedeva M. (2020), Co-existing notions of research quality: A framework to study context-specific understandings of good research, «Minerva», LVIII, 1, pp. 115-137. DOI: 10.1007/s11024-019-09385-2

Laudel G. (2006), The art of getting funded: How scientists adapt to their funding conditions, «Science and Public Policy», 33, 7, pp. 489-504. DOI:/10.3152/147154306781778777

Lucas L. (2006), The Research Game in Academic Life, Buckingham, Open University Press.

Mårtensson P., Fors U., Wallin S.-B., Zander U., Nilsson G.H. (2016), Evaluating research: A multidisciplinary approach to assessing research practice and quality, «Research Policy», XLV, 3, pp. 593-603.

Mayne J. (2012), Contribution analysis: Coming of age?, «Evaluation», XVIII, 3, pp. 270-280.

Morton S. (2015), Progressing research impact assessment: A ‘contributions’ approach, «Research Evaluation», XXIV, pp. 405-419.

Müller K., Salö L., Sörlin S. (2024), Quality from within: Entry points to research quality in the humanities, «Research Evaluation», XXXIII, pp. 1-10.

Musselin C. (2013), How peer review empowers the academic profession and university managers: Changes in relationships between the state, universities and the professoriate, «Research Policy», XLII, 5, pp. 1165-1173. DOI: 10.1016/j.respol.2013.02.002

Ochsner M., Daniel H.-D., Hug S. (2016), Research Assessment in the Humanities: Towards Criteria and Procedure, Cham, Springer.

Osuna C., Cruz-Castro L., Sanz-Menéndez L. (2011), Overturning some assumptions about the effects of evaluation systems on publication performance, «Scientometrics», LXXXVI, pp. 575-592. DOI: 10.1007/s11192-010-0312-7

Palumbo M. (2020), Sociologia e ingegneria gestionale di fronte alla valutazione. Convergenze parallele?, «Sociologia Italiana», XV, pp. 165-175. DOI: 10.1485/2281-2652-202015-9

Paradeise C., Thoenig J.-C. (2015), In Search of Academic Quality, New York, Palgrave Macmillan.

Pennisi C., Reale E. (2013), La valutazione dell’università e della ricerca in Italia: Stato dell’arte e prospettive, in Vergani A. (a cura di), Prove di Valutazione: Libro bianco sulla valutazione in Italia, Milano, Franco Angeli, pp. 23-62.

Reale E., Marini G. (2017), The transformative power of evaluation on university governance, in Bleiklie I., Enders J., Lepori B. (a cura di), Managing Universities: Policy and Organizational Change from a Western European Comparative Perspective, Cham, Palgrave Macmillan, pp. 107-137.

Reale E., Zinilli A., Spinello A. (2022), Research evaluation as a tool for governance: Effects on knowledge production, KNOWSCIENCE Workshop, Stockholm.

Rostan M., Ceravolo F.A., Metcalfe A.S. (2014), The internationalization of research, in Huang F., Finkelstein M., Rostan M. (eds.), The Internationalization of the Academy, Cham, Springer, pp. 127-148. DOI: 10.1007/978-94-007-7278-6_7

Santos J.M., Horta H. (2018), The research agenda setting of higher education researchers, «Higher Education», LXXVI, 4, pp. 649-668. DOI: 10.1007/s10734-018-0230-9

Shalley C.E. (1995), Effects of coaction, expected evaluation, and goal setting on creativity and productivity, «Academy of Management Journal», XXXVIII, 2, pp. 483-503. DOI: 10.2307/256689

Spinello A.O., Reale E., Zinilli A. (2021), Design and implementation of a web survey on the effects of evaluation on academic research, CNR-IRCrES Working Paper, 3.

Whitley R., Gläser J. (2010), The Changing Governance of the Sciences: The Advent of Research Evaluation Systems, Cham, Springer.

Zacharewicz T., Lepori B., Reale E., Jonkers K. (2019), Performance-based research funding in EU member states: A comparative assessment, «Science and Public Policy», XLVI, 1, pp. 105-115. DOI: 10.1093/scipol/scy041

Zuckerman H. (1972), Interviewing an ultra-elite, «Public Opinion Quarterly», XXXVI, 2, pp. 159-175.

Torna su

Note

1 Nel presente lavoro con l’espressione ‘valutazione esterna’ ci si riferisce agli esercizi di valutazione della ricerca promossi dal governo per migliorare la qualità della ricerca prodotta dalle università. Questi esercizi sono in genere delegati dai governi ad agenzie specializzate, come avviene in Italia dove la valutazione dell’università è amministrata dall’ANVUR (Jonkers et al., 2017; Zacharevich et al., 2018).

2 I risultati complessivi del progetto PRIN2017 (Prot.2017NKWYFC) sono presentati nel volume Reale E. (a cura di), Valutazione e ricerca accademica. Un’analisi degli effetti sulla produzione di conoscenza, in via di pubblicazione dalla casa editrice Franco Angeli nella Collana Editoriale AIV.

3 L’approccio contributivo cerca di investigare gli effetti prodotti da una certa attività di ricerca tenendo conto sia della natura complessa del processo di costruzione della conoscenza scientifica, sia dei problemi relativi al tempo in cui l’effetto si è generato, e al nesso causale che lega l’effetto prodotto al risultato scientifico (Mayne, 2012; Morton, 2015). Nel nostro caso utilizziamo l’approccio contributivo rispetto a uno strumento di politica della ricerca, la VQR appunto, che è in grado di generare degli effetti sul lavoro di ricerca degli accademici, ai quali tuttavia possono concorrere altri fattori collegati anch’essi da strumenti di policy e/o da indirizzi strategici concomitanti.

4 Professori ordinari, professori associati, ricercatori di ruolo a esaurimento, ricercatori a contratto RTDA e RTDB. Per le caratteristiche del campione si rinvia a Spinello et al. (2021).

5 Ossia 55.535 unità appartenenti a 98 atenei.

6 LS (Scienze della vita): Biologia; Scienze mediche; Agraria e Veterinaria; MPNS (Matematica e Scienze Naturali): Matematica e Informatica; Fisica; Chimica; Scienze della Terra; ENG (Ingegneria e Architettura): Ingegneria Civile e Architettura; Ingegneria industriale e dell’informazione; SSH (Scienze Sociali e Umanistiche): Scienze dell’antichità, filologico-letterarie e storico-artistiche; Scienze storiche, filosofiche, pedagogiche e psicologiche; Scienze giuridiche; Economia e statistica; Scienze politiche e sociali.

7 Il test (Logit multinomiale) è stato utilizzato per modellare le variabili di risultato nominali dato un insieme di variabili indipendenti. In questo modo è stato possibile assegnare una probabilità a ciascun livello della variabile di risultato in base alle caratteristiche degli intervistati (genere, presenza di figli, settore disciplinare CUN diviso in macroaree, livello di carriera, dimensione dell’Università basata sul numero di docenti, macroregioni (classificazione Istat).

8 La Logit ha analizzato la domanda del questionario nella quale si chiedeva ai rispondenti il grado di accordo (secondo una scala Likert a quattro modalità da ‘Per niente d’accordo’ a ‘Molto d’accordo’) rispetto all’affermazione: ‘La necessità di produrre pubblicazioni in linea con le indicazioni della VQR non ha influito sulla qualità della mia ricerca’.

9 Vale la pena di segnalare che l’attivazione, nel decennio considerato, degli scatti stipendiali legata alla produttività potrebbe essere un fattore ulteriore che incide sull’aumento della produttività degli accademici. Ancorché questo fattore non sia emerso in nessuna delle risposte ricevute utilizzando l’opzione ‘Altro’ prevista dalle domande, è comunque impossibile inferire da un’assenza la non rilevanza degli scatti stipendiali. Tuttavia, anche ipotizzando che questo fattore abbia avuto un effetto molto alto, questo non cambierebbe le considerazioni relative all’influenza della VQR che su questo aspetto appare piuttosto circoscritta.

10 La variabile di genere (uomini) mostra un segno negativo con un p value p<0,1; la variabile relativa alla presenza di almeno un figlio ha segno positivo ma anche in questo caso un p value p<0,1.

11 Questo risultato è in effetti stato controllato in uno specifico lavoro all’interno del volume che raccoglie i risultati del progetto PRIN da cui deriva il presente lavoro (cfr. nota 1).

12 https://coara.eu

Torna su

Indice delle illustrazioni

Titolo Fig. 1. Come è cambiato l’andamento della tua produttività scientifica negli ultimi dieci anni?
Credits Fonte: elaborazione delle autrici. N° 1.365 rispondenti
URL http://journals.openedition.org/qds/docannexe/image/7061/img-1.jpg
File image/jpeg, 119k
Titolo Fig. 2. L’importanza della sede di pubblicazione è cambiata negli ultimi dieci anni?
Credits Fonte: elaborazione delle autrici. N° 1.365 rispondenti
URL http://journals.openedition.org/qds/docannexe/image/7061/img-2.jpg
File image/jpeg, 99k
Torna su

Per citare questo articolo

Notizia bibliografica

Emanuela Reale e Emanuela Varinetti, «La valutazione della ricerca e suoi effetti sul lavoro scientifico»Quaderni di Sociologia, 95 - LXVIII | 2024, 25-48.

Notizia bibliografica digitale

Emanuela Reale e Emanuela Varinetti, «La valutazione della ricerca e suoi effetti sul lavoro scientifico»Quaderni di Sociologia [Online], 95 - LXVIII | 2024, online dal 01 mars 2025, consultato il 18 mai 2025. URL: http://journals.openedition.org/qds/7061; DOI: https://doi.org/10.4000/13k0e

Torna su

Autori

Emanuela Reale

Istituto di ricerca sulla crescita economica sostenibile (CNR- IRCrES)

Emanuela Varinetti

Istituto di ricerca sulla crescita economica sostenibile (CNR- IRCrES)

Torna su

Diritti d'autore

CC-BY-NC-ND-4.0

Solamente il testo è utilizzabile con licenza CC BY-NC-ND 4.0. Salvo diversa indicazione, per tutti agli altri elementi (illustrazioni, allegati importati) la copia non è autorizzata ("Tutti i diritti riservati").

Torna su
Cerca su OpenEdition Search

Sarai reindirizzato su OpenEdition Search