Navigazione – Mappa del sito

HomeNumeri95 - LXVIIIla società contemporanea / Valuta...Valutare per valorizzare e miglio...

la società contemporanea / Valutazione della ricerca: dai progetti agli effetti

Valutare per valorizzare e migliorare: l’esperienza della VQR

Evaluating to enhance and improve: the experience of the VQR
Alessandra Celletti e Antonio Felice Uricchio
p. 67-80

Abstract

In 2022 ANVUR concluded an evaluation exercise of the Italian research, to which we refer with the acronym VQR (Research Quality Assessment), covering the period 2015-2019 and aimed at universities, public research centers supervised by the MUR, and institutions that participated on a voluntary basis. The VQR 2015-2019 gave an important picture of the Italian research and Third Mission activities, which was extensively analyzed in an ANVUR critical analysis report as well as in a report prepared by international experts, commissioned by ANVUR to analyze the strengths and weaknesses of the evaluation. Based on the lessons offered by the 2015-2019 VQR, ANVUR subsequently began to work on the VQR referred to the period 2020-2024. The experiences of previous evaluation exercises were taken into account in the new evaluation, incorporating stimuli and proposals gathered through internal discussion, and also through the opinion gained from foreign experts to improve critical aspects of the evaluation.

Torna su

Testo integrale

Gli autori ringraziano il Consiglio Direttivo ANVUR, il Direttore Dr. Daniele Livon, il Dr. Marco Malgarini, la Dr.ssa Irene Mazzotta, il Dr. Scipione Sarlo, il Dr. Cristiano Trani, per aver contribuito alla realizzazione della VQR3 in ANVUR e per la loro collaborazione alla VQR4.

  • 1 Rapporto finale ANVUR VQR 2015-2019, https://www.anvur.it/attivita/vqr/vqr-2015-2019/rapporto-final (...)
  • 2 Critical Analysis of VQR 2015-2019 Results, https://www.anvur.it/wp-content/uploads/2023/09/ANVUR_C (...)
  • 3 VQR 2015-2019 Expert Review Panel, https://www.anvur.it/wp-content/uploads/2023/09/Expert-Review-Pa (...)

1L’ANVUR (Agenzia Nazionale di Valutazione del sistema Universitario e della Ricerca) ha concluso nel 2022 un esercizio di valutazione della ricerca italiana, a cui ci si riferisce con l’acronimo VQR (Valutazione della Qualità della Ricerca), relativo al periodo 2015-2019 e rivolto ad università, enti pubblici di ricerca vigilati dal MUR, istituzioni diverse che hanno partecipato su base volontaria1. La VQR 2015-2019 ha fornito un quadro importante della ricerca italiana e delle attività di Terza Missione, che è stato ampiamente analizzato in un rapporto ANVUR di analisi critica e in un rapporto redatto da esperti internazionali, incaricati da ANVUR di analizzare i punti di forza e debolezza della valutazione. Sulla base dell’insegnamento offerto dalla VQR 2015-2019, ANVUR ha successivamente avviato i lavori della VQR relativa al periodo 2020-2024. Nella nuova valutazione si è tenuto conto delle esperienze degli esercizi valutativi precedenti, recependo stimoli e proposte raccolte attraverso un confronto interno2, e anche attraverso l’opinione acquisita da esperti stranieri3 al fine di migliorare gli aspetti critici della valutazione.

1. Introduzione

2Oggi, più che mai, le Università e i centri di ricerca assumono il ruolo di istituzioni chiave nei processi di promozione di scienza e conoscenza, valorizzando capitale umano e pensiero critico, attraverso le diverse missioni che le caratterizzano: didattica, ricerca e terza missione. In quanto luogo privilegiato nella formazione del sapere, tali istituzioni hanno una grande responsabilità nei processi di costruzione del futuro nella piena consapevolezza della centralità della propria azione, mettendo a disposizione della società civile e del sistema produttivo le proprie competenze. In questo ambito, assume una particolare rilevanza il processo valutativo, inteso come strumento essenziale per promuovere la qualità della ricerca e allo stesso tempo per stimolare il censimento delle diverse attività realizzate dalle istituzioni, riconoscendone il valore. In Italia, la Valutazione della Qualità della Ricerca (VQR), che viene adoperata per la distribuzione della quota premiale del Fondo di Funzionamento Ordinario (FFO), è divenuta un importante modello valutativo delle istituzioni universitarie e degli enti di ricerca, inducendo una maggiore e diffusa consapevolezza sull’importanza del miglioramento qualitativo nella ricerca. Giunta al quarto esercizio, la VQR, pur con le inevitabili critiche e resistenze, è ormai percepita non più come un controllo burocratico, ma piuttosto come un’importante occasione per un ampio confronto nella comunità scientifica nazionale (e internazionale) di ordine metodologico e culturale. Allo stesso tempo, la VQR rappresenta un appuntamento periodico che consente il monitoraggio dei migliori prodotti scientifici, delle politiche di reclutamento e delle azioni di valorizzazione della conoscenza (anche note come terza missione e impatto sociale), dando concretezza al principio di responsabilità che connota e valorizza l’autonomia universitaria, e la libertà di ricerca e di insegnamento. Proprio perché largamente diffusa e partecipata, la valutazione della ricerca non può atteggiarsi come insieme di regole tecniche o come una procedura gestita da un ristretto gruppo di persone. Per questo motivo, ANVUR si impegna nella trasparenza dei processi, nella selezione mediante bando pubblico dei valutatori (in larga parte selezionati per sorteggio), nell’ampio ricorso alla peer review, e nella pubblicazione di un’analisi critica della valutazione stessa al termine dell’esercizio valutativo.

3Qualche dato sulla valutazione che si è conclusa nel 2022: la VQR 2015-2019 ha coinvolto circa 600 esperti e più di 11.000 revisori esterni, che hanno collaborato per analizzare più di 180.000 articoli, monografie e capitoli di libri prodotti tra il 2015 e il 2019 da circa 65.000 ricercatori afferenti a 134 istituzioni, tra università, enti pubblici di ricerca vigilati dal MUR e istituzioni che hanno partecipato alla VQR su base volontaria. Alla luce della mole di prodotti e ricercatori coinvolti, si pone costantemente l’esigenza di rafforzare e migliorare i procedimenti di valutazione della qualità della ricerca.

4Il Bando ANVUR della VQR 2015-2019 ha inteso assicurare il non facile contemperamento tra il primario obiettivo della VQR, ovvero il conferimento e la valutazione dei migliori prodotti della ricerca, con i principi della trasparenza e dell’open access. Il risultato è che, per la prima volta e in linea con quanto già accade a livello internazionale, i prodotti della ricerca oggetto della valutazione sono disponibili in accesso aperto, secondo le modalità indicate nel bando. Tutta la procedura si svolge ovviamente nel rispetto della riservatezza relativamente agli esiti della valutazione di ogni singolo prodotto, in modo che i risultati non siano diffusi in alcun modo, se non ai diretti interessati (ovvero gli autori stessi).

5Concludiamo ricordando che l’edizione successiva, ovvero la VQR relativa al periodo 2020-2024, contiene diversi elementi di novità; rimandando alle sezioni successive per una più accurata descrizione, vogliamo qui menzionare che la VQR 2020-2024 riduce ulteriormente il ruolo della bibliometria, rafforzando la peer-review, inoltre estende notevolmente le attività relative alla valorizzazione della conoscenza, infine introduce la valutazione di nuove tipologie collegate alla ricerca scientifica, in particolare le infrastrutture e i progetti internazionali ottenuti su base competitiva. Questi cambiamenti intendono contribuire al perseguimento di numerosi obiettivi, tra cui la promozione della qualità della ricerca italiana, stimolare il miglioramento della qualità delle scelte compiute dalle Istituzioni, incentivare la partecipazione a fondi competitivi internazionali, incentivare e migliorare le attività di condivisione e valorizzazione delle conoscenze, migliorare e valorizzare la qualità delle infrastrutture di ricerca.

2. La valutazione della ricerca italiana

6Il DPR 76 del 1° febbraio 2010, stabilisce all’art. 3 che l’ANVUR valuta la qualità dei processi, i risultati e i prodotti delle attività di gestione, formazione, ricerca, ivi compreso il trasferimento tecnologico delle Università e degli Enti di Ricerca, principalmente tramite valutazione tra pari. Pertanto, una delle missioni principali dell’ANVUR è la valutazione della qualità della ricerca scientifica, denotata con l’acronimo VQR. La VQR fornisce un panorama della ricerca scientifica che viene svolta nel nostro Paese, valutando Università (statali e non statali), Scuole Speciali, Enti Pubblici di Ricerca vigilati dal MUR, nonché istituzioni che su esplicita richiesta e previa intesa con ANVUR si sottopongono volontariamente alla valutazione.

7Nel nostro paese la valutazione della ricerca ha una storia relativamente recente ed è stata principalmente orientata all’analisi dei prodotti della ricerca scientifica e i casi studio inerenti attività di terza missione-impatto sociale. La prima valutazione venne condotta dal CIVR (Comitato di Indirizzo per la Valutazione della Ricerca) nel 2007 in riferimento al periodo 2001-2003. I successivi esercizi di valutazione condotti da ANVUR sono la VQR relativa al periodo 2004-2010 (a cui per brevità ci riferiremo con la sigla VQR1) svolta nel 2011-2013, la VQR del periodo 2011-2014 (VQR2) svolta nel 2015-2017, la VQR del periodo 2015-2019 (VQR3) svolta nel 2020-2022. Con il Decreto Ministeriale n. 998 del 1° agosto 2023 è iniziata la VQR4 relativa al periodo 2020-2024, che si concluderà a giugno 2026. Oltre alla valutazione della ricerca e delle attività di valorizzazione delle conoscenze (che estende la terza missione-impatto sociale), la VQR4 è finalizzata anche alla valutazione di ulteriori tipologie relative alla ricerca che viene svolta in Italia, e precisamente le infrastrutture di ricerca, seppur limitatamente agli Enti pubblici di ricerca vigilati dal MUR e alle Istituzioni volontarie, e la valutazione dell’entità finanziaria dei progetti internazionali ottenuti su base competitiva tramite una revisione tra pari.

8I risultati della VQR sono utilizzati dal MUR per la ripartizione della quota premiale del Fondo di Funzionamento Ordinario (FFO), il principale fondo di finanziamento delle università italiane, e per l’assegnazione della quota del FFO destinata al cofinanziamento dei progetti di ricerca presentati dai Consorzi Interuniversitari di Ricerca. Inoltre, i risultati della VQR sono usati per la selezione di 180 Dipartimenti di Eccellenza delle Università italiane che usufruiscono di una consistente dotazione finanziaria aggiuntiva per un periodo complessivo di 5 anni.

9In ogni occasione in cui si illustrano le attività della VQR, è opportuno sottolineare due questioni di particolare importanza:

  • la valutazione riguarda le Istituzioni nel loro complesso, e non riguarda i singoli ricercatori;

  • ogni confronto a livello di Settore Scientifico Disciplinare, in particolare all’interno della stessa istituzione, va considerato con cautela, anche tenendo presente la flessibilità concessa nell’ambito della VQR alle istituzioni di conferire per ciascun ricercatore un numero variabile di prodotti.

10Concludiamo ricordando i molteplici obiettivi della VQR, come descritto, ad esempio, all’art. 2 del Bando VQR 2020-2024. Tra le diverse finalità contenute nel Bando, si intende:

  • promuovere e stimolare la qualità della ricerca del Paese, incoraggiando i ricercatori alla partecipazione attiva alla ricerca scientifica;

  • stimolare il miglioramento della qualità delle scelte per il reclutamento e le progressioni di carriera;

  • aumentare la visibilità internazionale e la partecipazione a progetti internazionali;

  • stimolare il miglioramento della capacità di spesa;

  • incentivare le attività di valorizzazione delle conoscenze;

  • migliorare le azioni di trasferimento tecnologico;

  • valorizzare le infrastrutture di ricerca;

  • stimolare il miglioramento della qualità della formazione dottorale;

  • incrementare le occasioni di collaborazione e integrazione tra il sistema della ricerca e le imprese;

  • incentivare l’accessibilità dei dati e le pubblicazioni in modalità di accesso aperto.

3. L’insegnamento della VQR3

11La VQR3 è stata un’importante attività svolta dall’ANVUR per una durata complessiva di circa 2 anni e terminata a luglio 2022 con la presentazione ufficiale dei risultati. Alla VQR3 ha contribuito una gran parte della struttura, in particolare il Consiglio Direttivo, i Dirigenti, e molti funzionari di ANVUR. Di fatto, si è reso necessario un forte impegno da parte di molti componenti di ANVUR, in quanto la VQR3 ha rappresentato un’attività molto complessa, come emerge dai numeri che l’hanno contraddistinta: hanno partecipato oltre 130 Istituzioni (di cui 98 Università, 14 Enti di Ricerca vigilati dal MUR, 22 Istituzioni che hanno aderito alla valutazione su base volontaria), circa 65.000 ricercatori hanno conferito oltre 183.000 pubblicazioni scientifiche (ovvero articoli, monografie, contributi in volume, ecc.), le istituzioni hanno presentato 676 casi studio relativi alle attività di Terza Missione. L’attività valutativa è stata distribuita tra 18 Gruppi di Esperti della Valutazione (GEV), globalmente composti da 645 ricercatori italiani e stranieri, afferenti alle diverse aree disciplinari, coadiuvati da 24 assistenti; inoltre, la valutazione dei prodotti della ricerca ha coinvolto oltre 11.000 revisori esterni, sia italiani che stranieri.

12Nella VQR3 sono state valutate diverse tipologie di prodotti, tra cui articoli su rivista, monografie, contributi in volume, contributi in atti di convegno, edizioni critiche, traduzioni, voci in dizionario o enciclopedia, brevetti, composizioni, disegni, progetti architettonici, performance artistiche, teatrali e musicali, banche dati e software. La fig. 1 mostra la distribuzione dei prodotti conferiti, distinta per tipologia di pubblicazione ammessa nel bando VQR3. I dati della fig. 1 mostrano una netta preferenza per il conferimento di articoli su rivista (che rappresentano l’87,2% del totale delle pubblicazioni conferite), seguiti dai contributi in volume e dalle monografie.

  • 4 Critical Analysis of VQR 2015-2019 Results cit.

Fig. 1. Prodotti conferiti per tipologia4

Fig. 1. Prodotti conferiti per tipologia4

13I dati appena illustrati fanno comprendere la complessità dell’esercizio valutativo. Inoltre, anche se 183.000 prodotti da valutare possono sembrare un numero non eccessivamente consistente, bisogna tenere conto delle dimensioni complessive con cui il prodotto viene valutato. L’insieme di tutti i fattori valutativi definiscono lo spazio ambiente in cui si opera. In particolare,

  • la valutazione dei prodotti della ricerca è basata su tre criteri: originalità, rigore metodologico, impatto;

  • la valutazione tiene conto del numero delle citazioni e auto-citazioni;

  • nella VQR3 sono stati utilizzati gli indicatori di impatto per la rivista sede del prodotto, e precisamente AIS-Article Influence Score, SNIP-Source of Normalized Impact per Paper, SJR-Scimago Journal Rank, Impact Factor, Citescore, MCQ-Mathematics Citation Quotient.

14Queste considerazioni fanno comprendere che ogni prodotto deve essere valutato in un contesto multi-dimensionale, rendendo la valutazione ancora più complessa.

15La VQR3 ha visto l’introduzione di importanti novità, tra cui la valutazione delle attività di Terza Missione. Ricordiamo che per Terza Missione si intendono tutte quelle attività con cui le Istituzioni entrano in contatto con la società, interagendo attraverso diverse iniziative che, nella VQR3, sono state classificate in base a dieci campi di azione definiti nel bando, e precisamente: la divulgazione scientifica, la valorizzazione della proprietà intellettuale, l’imprenditorialità accademica, la produzione e gestione di beni artistici e culturali, la sperimentazione clinica, il trasferimento tecnologico, la formazione permanente e la didattica aperta, la produzione di beni pubblici, gli strumenti innovativi per l’Open science, le attività collegate all’Agenda ONU 2030, inclusi gli obiettivi di sviluppo sostenibile. Nella VQR3 i casi studio presentati dalle istituzioni sono stati valutati in base a quattro criteri: 1) la dimensione sociale, economica e culturale dell’impatto; 2) la rilevanza rispetto al contesto di riferimento; 3) il valore aggiunto per i beneficiari; 4) il contributo della struttura proponente. In particolare, l’impatto viene inteso come la capacità di trasformazione o miglioramento generati per l’economia, la società, la cultura, la salute, l’ambiente o, più in generale, per la lotta al contrasto alle disuguaglianze economiche, sociali e territoriali.

16La valutazione dei casi di studio è stata effettuata da gruppi di lavoro formati all’interno del GEV interdisciplinare di terza missione. È interessante osservare che i casi di studio sono stati valutati attraverso un processo di peer-review, in questo caso supportato da indicatori che potevano, senza obbligo di farlo, essere forniti direttamente dalle istituzioni per ognuno dei casi studio inviati, con un processo quindi che ha avuto un coinvolgimento dell’istituzione.

17La VQR3 ha mostrato che la definizione di impatto richiede un’accurata riflessione, in quanto essa comporta diverse criticità interpretative, tra cui le seguenti:

  1. non è sempre evidente il legame di causa-effetto tra la ricerca e l’esito ottenuto;

  2. non c’è sempre una corrispondenza diretta tra attività di ricerca e impatto generato, poiché l’impatto può essere diffuso, o piuttosto complesso e potrebbe non essere chiaro quale parte dell’impatto complessivo debba essere attribuita a una data ricerca;

  3. le attività maggiormente innovative sono intrinsecamente internazionali e di conseguenza risulta difficoltoso attribuire l’impatto di una determinata ricerca ad un contesto locale, o piuttosto nazionale;

  4. la finestra temporale su cui valutare l’impatto può variare enormemente e, in generale, può risultare difficile da prevedere.

18Un altro importante aspetto che è stato analizzato al termine della VQR3 riguarda la modalità valutativa dei prodotti. Ricordiamo che a partire dagli anni ’90, in molti paesi si sono sviluppati sistemi di finanziamento delle Istituzioni dell’Istruzione superiore basati sulla valutazione della performance accademica. Le metodologie utilizzate all’interno di tali processi di valutazione sono state negli ultimi anni al centro di un intenso dibattito internazionale; tra le varie iniziative ricordiamo la San Francisco Declaration on Research assessment (DORA)5, il Leiden Manifesto on research metrics6, The metric tide report7, the Agreement on Reforming Research Assessment, promosso dalla Coalition for Advancing Research Assessment (COARA)8. In particolare, COARA ha prodotto un documento in cui si sottolinea che «la valutazione deve basarsi primariamente su un giudizio qualitativo per il quale la peer-review è centrale, e può essere supportata da un uso responsabile degli indicatori».

19Nella VQR3 il DM 1110/2019, art. 5 (nonché Bando ANVUR art. 7, comma 2) ha stabilito che la valutazione peer-review dei prodotti poteva essere informata, laddove ritenuto opportuno in base alle caratteristiche dell’area, da indicatori citazionali e informazioni bibliometriche internazionali, tenendo conto delle autocitazioni. Per i settori non supportati da indicatori bibliometrici, si adottava invece la peer-review pura. È importante sottolineare che nei documenti GEV sulle modalità di valutazione della VQR3 è ribadito che «L’utilizzo di indicatori citazionali non può in ogni caso determinare una valutazione automatica del prodotto». Pertanto, la valutazione non poteva essere puramente quantitativa, nel senso che gli indicatori citazionali non potevano determinare automaticamente la valutazione, ma gli indicatori potevano essere usati a supporto della valutazione dei prodotti pubblicati su riviste indicizzate nelle basi di dati citazionali Web of Science e Scopus.

20La peer-review informata utilizzata nella VQR3 ha rappresentato un cambiamento rilevante, ma ha anche richiesto un alto numero di esperti per poter effettuare la valutazione tra pari. La proporzione di revisioni interne ed esterne al GEV mostra una differenza sostanziale tra aree STEM, Scienze della vita e Psicologia, in cui la maggioranza dei prodotti sono stati valutati internamente al GEV, e i settori umanistici e scienze sociali in cui la maggioranza dei prodotti è stata invece affidata a valutatori esterni.

21Un’ulteriore novità della VQR3 ha riguardato i prodotti disponibili in open access: al momento del conferimento dei prodotti, le Istituzioni dovevano indicare se i lavori erano disponibili in accesso aperto, e fornire il collegamento al documento. In particolare, nel caso di articoli finanziati da almeno il 50% di fondi pubblici, i prodotti oggetto di valutazione sono stati resi disponibili a libero accesso. È stato reso disponibile solamente il metadato, quando si è verificata una delle seguenti condizioni:

  1. l’ammontare del finanziamento era minore del 50%;

  2. il prodotto aveva un periodo di embargo superiore;

  3. la monografia non era disponibile in open access;

  4. prodotti diversi dagli articoli.

22Al termine della VQR3, ANVUR ha pubblicato sul proprio sito la lista completa dei metadati dei prodotti valutati, rendendo disponibile, quando possibile, il link ai prodotti in accesso aperto.

23In conclusione, la VQR3 ha fornito una fotografia ampia e dettagliata della ricerca italiana che si svolge presso istituzioni pubbliche, private, telematiche ed enti di ricerca vigilati dal MUR. Questa fotografia può però essere osservata anche da prospettive diverse da quelle che riguardano strettamente la ricerca scientifica, perché analizzando i risultati si trovano elementi interessanti che contribuiscono ad estendere la valutazione ad altre dimensioni. Ad esempio:

  1. il ruolo dei giovani, ovvero dei ricercatori neo-assunti o che hanno avuto un avanzamento di carriera nel periodo di riferimento 2015-19: i risultati della VQR3 hanno mostrato una qualità media più alta dei prodotti conferiti dai ricercatori neo-assunti o promossi, rispetto a coloro che non hanno cambiato qualifica nel periodo 2015-2019. Questa constatazione ci induce a ritenere che la ricerca dei giovani sia di livello elevato e che pertanto meriti una opportuna valorizzazione;

  2. le questioni di genere che emergono dall’analisi dei prodotti valutati dalla VQR, distinguendo per qualifica del ricercatore e per macro settore di appartenenza; per le aree STEM, Scienze della vita e Psicologia, i risultati mostrano un punteggio medio delle donne leggermente superiore a quello degli uomini per i prodotti conferiti dalle Professoresse Ordinarie, Associate e delle Ricercatrici a tempo indeterminato, mentre il punteggio è leggermente inferiore agli uomini per le Ricercatrici a tempo determinato; per le aree umanistiche e sociali, soltanto le Ricercatrici a tempo indeterminato conseguono un punteggio medio superiore agli uomini, mentre per le altre qualifiche il punteggio è leggermente inferiore;

  3. le differenze geografiche, in particolare con riferimento ai casi studio conferiti in base alla regione di appartenenza dell’istituzione: tutte le aree geografiche hanno conferito prevalentemente casi studio nel campo di azione relativo al Public engagement; il secondo campo di azione ha invece sottolineato differenze geografiche importanti, poiché le regioni del nord hanno privilegiato i casi studio in «Strutture di intermediazione e trasferimento tecnologico», il centro ha conferito molti prodotti nel campo d’azione «Produzione di beni pubblici di natura sociale, educativa e politiche per l’inclusione», mentre il sud e le isole hanno scelto il campo d’azione «Produzione e gestione di beni artistici e culturali».

4. Verso una nuova valutazione: la VQR4

24La discussione precedente relativa alla VQR3 ci indice a pensare che l’inquadratura della fotografia della VQR non possa essere statica, ma piuttosto debba essere intesa come un’inquadratura dinamica. Con questo intendiamo che la VQR deve adattarsi al progresso scientifico, tecnologico e culturale del periodo a cui l’esercizio valutativo si riferisce. Inoltre, la valutazione deve anche adattarsi al contesto sociale esistente nel periodo di riferimento. A questo proposito, abbiamo visto come la pandemia abbia incentivato la didattica a distanza o piuttosto come i recenti avvenimenti mondiali richiedano un’attenta analisi delle politiche di inclusione.

  • 9 VQR 2015-2019 Expert Review Panel cit.

25Al termine della VQR3 abbiamo avviato una “valutazione della valutazione”, che si è svolta in due fasi distinte. Nella prima fase, abbiamo redatto un rapporto interno (pubblicato sul sito ANVUR, si veda [2]) per analizzare le principali caratteristiche dell’esercizio valutativo, e comprendere i relativi punti di forza e debolezza, anche alla luce del più recente dibattito internazionale in tema di valutazione. Il rapporto analizza approfonditamente i dati e le procedure della VQR3, identificando i principali punti di attenzione; inoltre, il rapporto presenta i risultati di due indagini che riguardano la soddisfazione degli utenti rispetto alla qualità delle procedure predisposte dall’ANVUR, ed infine riporta brevemente la discussione in corso in sede Europea e globale sul tema di riforma del research assessment. Nella seconda fase, ANVUR ha individuato un gruppo di esperti internazionali provenienti da diverse aree di ricerca e diverse istituzioni, inclusi ERC, REF, EUA, European Alliance for SSH, ecc.; gli esperti hanno lavorato per diversi mesi allo scopo di analizzare criticamente il lavoro svolto in VQR3, comprendere quali cambiamenti contribuiscono a migliorare la procedura e suggerire una serie di raccomandazioni che sono state utilizzate per avviare la successiva VQR. Il rapporto degli esperti internazionali è pubblicato sul sito dell’ANVUR9 e contiene un totale di 21 raccomandazioni, di cui ne riportiamo qui una lista parziale con l’indicazione di dove tali raccomandazioni sono state recepite nel bando della VQR4 (come indicato nelle descrizioni successive delle raccomandazioni) o attraverso iniziative in corso di svolgimento in ANVUR:

  • Raccomandazione 1: il gruppo raccomanda che il Ministero dell’Istruzione e della Ricerca in collaborazione con ANVUR pubblichi una chiara dichiarazione degli scopi della VQR. Questo articolo del bando VQR dovrebbe includere le ulteriori finalità oltre alla ripartizione dei finanziamenti (art. 2, comma 4).

  • Raccomandazione 3: il gruppo raccomanda di rivedere la scala della VQR, al fine di ridurre il numero di prodotti della ricerca che vengono valutati (art. 5, comma 5).

  • Raccomandazione 6: l’ANVUR dovrebbe istituire sessioni di formazione ad hoc per i coordinatori e vice-coordinatori dei gruppi di lavoro per assicurare che lo scopo, le procedure e i risultati desiderati della valutazione siano ben compresi (art. 3, comma 23). Se possibile ANVUR dovrebbe assegnare un consulente esterno a supporto di ogni gruppo per consigliare sullo svolgimento dei lavori e per garantire la coerenza tra i membri del gruppo.

  • Raccomandazione 8: nel tempo, l’ANVUR dovrebbe esaminare attentamente l’uso degli strumenti di Intelligenza Artificiale per facilitare l’assegnazione di esperti ai risultati della ricerca (progetto in corso in ANVUR). Pur riconoscendo il valore dell’automazione parziale, è essenziale che i coordinatori e i vice-coordinatori dei gruppi di esperti del GEV mantengano la loro autonomia e l’opportunità di rivedere tali meccanismi.

  • Raccomandazione 11: l’ANVUR dovrebbe garantire che i membri del GEV e gli esaminatori esterni ricevano istruzioni specifiche sull’uso della bibliometria e una formazione adeguata per evitare l’uso inappropriato di alcune metriche (attività di formazione prevista dall’art. 3, comma 23).

  • Raccomandazione 15: l’ANVUR dovrebbe incoraggiare una valutazione equa dei risultati della ricerca indipendentemente dalla lingua in cui sono prodotti (art. 5, comma 2).

  • Raccomandazione 19: il gruppo raccomanda che l’ANVUR riesamini i campi d’azione per i casi di studio della Terza Missione e consideri un approccio più flessibile per classificare i casi di studio (art. 9, comma 5).

  • Raccomandazione 21: il gruppo raccomanda che nelle future valutazioni della Terza Missione, il numero di casi di studio richiesti sia direttamente collegato alla dimensione delle istituzioni (art. 9, comma 1).

26Qui di seguito alcuni punti di attenzione emersi dall’analisi critica della VQR3 in merito ai prodotti della ricerca, utili ai fini del miglioramento della valutazione nella VQR4:

  1. Dalla prima alla terza VQR si è osservato un netto aumento del conferimento di articoli in rivista ed un calo delle monografie; pertanto, si ritiene opportuno valorizzare e incentivare tutti i prodotti meritevoli, indipendentemente dalla tipologia di pubblicazione.

  2. Nell’ambito della VQR, per quanto possibile è importante tenere presente effetti potenzialmente distorsivi connessi al gender bias, alle differenze di valutazione tra aree STEM, Scienze della vita e Psicologia, rispetto ai settori umanistici e sociali; inoltre, è opportuno tenere in debito conto le differenze tra aree geografiche, le differenze relative alla lingua del prodotto, la tipologia di Istituzione valutata e le pubblicazioni che eventualmente sono conferite in accesso aperto.

  3. Il confronto tra i risultati della VQR3 riferiti alle revisioni interne (2 membri GEV), esterne (2 referee esterni) o miste (1 membro GEV e 1 referee esterno) induce a ritenere opportuna una maggiore omogeneità tra i criteri di valutazione applicati dai revisori interni ed esterni.

  • 10 Celletti A., Costantini P., Primeri E., Romagnosi S. (2023), Analisi di genere, Focus Rapporto ANVU (...)

27È interessante osservare che il «Focus: Analisi di Genere»10, redatto nell’ambito del Rapporto ANVUR 2023, contiene una sezione in cui si analizzano i risultati ottenuti da donne e uomini nella VQR3, mostrando un sostanziale equilibrio dei punteggi medi.

28Nella VQR4 abbiamo tenuto in considerazione l’insegnamento offerto dalla VQR3, e le raccomandazioni che sono state espresse nel rapporto degli esperti internazionali. Inoltre, prima della versione definitiva del bando della VQR4, abbiamo avviato una consultazione pubblica in cui i ricercatori potevano inviare suggerimenti ed osservazioni attraverso le proprie istituzioni.

29In particolare, nella VQR4 il ruolo della bibliometria è stato ulteriormente ridotto e viene rafforzato il ruolo della peer-review, prevedendo che l’uso di molteplici indici citazionali internazionali non preveda una loro integrazione in un singolo codice di lettura che correli le citazioni ottenute dal prodotto con l’indicatore di impatto della rivista in cui il prodotto è pubblicato. Ribadiamo che gli indicatori citazionali non potranno sostituirsi ad un’accurata valutazione di merito del prodotto della ricerca, né tradursi in una automatica assegnazione del prodotto a una delle classi di merito; inoltre, la valutazione dei GEV deve essere basata esclusivamente sulla qualità del prodotto, e deve essere indipendente dalla tipologia di prodotto conferito, nonché dalla lingua di redazione del prodotto stesso. Il rafforzamento della peer-review, a discapito dell’utilizzo degli indicatori citazionali, dovrebbe orientare le scelte dei ricercatori verso lavori di qualità, oltre a rendere inappropriati eventuali comportamenti distorsivi quali le citazioni di cortesia.

30È opportuno sottolineare che ad ogni edizione la VQR modifica dinamicamente gli obiettivi della valutazione, anche allo scopo di valorizzare i contenuti di specifiche attività, come ad esempio è accaduto nella VQR4. Infatti, il DM 998/2023 prevede un ampliamento delle attività relative alla valorizzazione della conoscenza; inoltre, la VQR4 estende la valutazione ad ulteriori tipologie collegate alla ricerca scientifica, e precisamente le infrastrutture e i progetti internazionali ottenuti su base competitiva. In particolare, a norma del DM 998/2023, art. 1, comma 3, lettera b, per «valorizzazione delle conoscenze» si intende «il processo con cui si crea valore economico e/o sociale a partire dalle conoscenze risultanti dall’attività di ricerca, collegando aree e settori diversi e trasformando i dati, le competenze tecniche e i risultati della ricerca in prodotti, servizi, soluzioni e politiche sostenibili basate sulla conoscenza e che portano vantaggio alla società». Nell’ambito della valorizzazione delle conoscenze sono state previste cinque tematiche, e precisamente:

  1. trasferimento tecnologico, produzione, gestione di beni pubblici;

  2. public engagement;

  3. scienze della vita e salute;

  4. sostenibilità ambientale;

  5. inclusione e contrasto alle diseguaglianze, con particolare riferimento agli obiettivi dell’Agenda ONU 2030.

31Ciascuna tematica è stata ulteriormente declinata in cinque campi di azione, ampliando così gli orizzonti delle iniziative che saranno conferite dalle istituzioni.

32Per quanto riguarda le infrastrutture di ricerca, esse devono intendersi come strutture, anche distribuite, localizzate sul territorio dei paesi dell’Unione Europea (incluse quelle su territorio italiano), dell’EFTA e del Regno Unito, nonché risorse e servizi ad esse collegati. Le infrastrutture devono essere caratterizzate da apertura all’utilizzo da parte della comunità scientifica e di altri utenti, ai fini della conduzione di ricerche di alta qualità nei rispettivi campi, nonché da priorità di accesso in base alla qualità delle proposte, sottoposte a valutazione da parte degli organi dirigenti dell’infrastruttura.

33Inoltre, nella VQR4 le Istituzioni sono chiamate a presentare progetti assegnati sulla base di una selezione competitiva internazionale, tramite revisione tra pari, con la condizione che tali progetti siano stati attivati nel periodo 2020-2024 e che il Coordinatore o Responsabile dell’unità locale sia un ricercatore afferente all’Istituzione alla data del 1° novembre 2024. Tali progetti dovranno avere un ammontare minimo di finanziamento per l’Istituzione conferente pari o superiore a 50 mila euro ed essere finanziati da Enti erogatori di finanziamenti di natura pubblica o privata non nazionali o locali.

34Infine, osserviamo che nella VQR4 è stato compiuto un considerevole sforzo nella direzione di un migliore riconoscimento della diversità dei contributi alla ricerca, ampliando ulteriormente la tipologia di prodotti conferibili per la valutazione. In particolare, nella VQR4 sono stati inclusi banche dati, carte geologiche, geografiche, tematiche, materiali audiovisivi e multimediali, curatele, traduzioni in rivista, recensioni di taglio critico-interpretativo, procedure, rapporti, relazioni scientifiche e note tecniche, anche a supporto degli organi politici e ministeri vigilanti. Inoltre, i principi della scienza aperta sono stati considerati nella revisione dei criteri di valutazione. In particolare (art. 7, comma 9), il criterio relativo alla metodologia è stato definito come la capacità del prodotto di presentare in modo chiaro gli obiettivi della ricerca, la letteratura utilizzata e i risultati ottenuti, favorendo altresì, ove applicabile, la riproducibilità dei risultati, la trasparenza rispetto a metodi e procedure adottate e l’accesso in modalità aperta ai dati utilizzati, nella logica di valorizzare l’intero processo che ha portato alla realizzazione del prodotto della ricerca.

5. Conclusioni

35La valutazione della ricerca è un processo importante per il progresso scientifico e per il mondo della ricerca. La VQR fornisce un panorama generale della ricerca che attualmente viene svolta nel nostro Paese, con un sistema sempre più attento alla qualità nella promozione, nel reclutamento e nella formazione di giovani ricercatori, e una crescente attenzione nei confronti delle attività di Terza Missione.

36La valutazione coinvolge una serie di metodologie e strumenti che sono utilizzati allo scopo di misurare la qualità delle attività di ricerca. I miglioramenti che derivano dalla valutazione della ricerca possono essere osservati su tutte le aree disciplinari, e si estendono a diversi livelli. In particolare, nella VQR4 riferita al periodo 2020-2024, si esprime particolare attenzione alla valorizzazione delle conoscenze, ed inoltre si introducono le valutazioni delle infrastrutture di ricerca e dei progetti internazionali ottenuti su base competitiva. Riteniamo che ci siano ancora aspetti da analizzare in maggiore dettaglio e soprattutto è importante proseguire, in un’ottica di confronto, un’attività di ricerca e analisi di modelli valutativi utilizzati nei Paesi membri della Comunità Europea.

Torna su

Note

1 Rapporto finale ANVUR VQR 2015-2019, https://www.anvur.it/attivita/vqr/vqr-2015-2019/rapporto-finale-anvur-e-rapporti-di-area/sezione-rapporto-finale-anvur/ [link non disponibile 24/03/2025].

2 Critical Analysis of VQR 2015-2019 Results, https://www.anvur.it/wp-content/uploads/2023/09/ANVUR_Critical-Analysis-of-VQR-2015-2019-Results.pdf [link non disponibile 24/03/2025].

3 VQR 2015-2019 Expert Review Panel, https://www.anvur.it/wp-content/uploads/2023/09/Expert-Review-Panel_Report-on-VQR-2015-2019.pdf [link non disponibile 24/03/2025].

4 Critical Analysis of VQR 2015-2019 Results cit.

5 DORA-San Francisco Declaration on Research Assessment, https://sfdora.org/read/.

6 Hicks D., Wouters P., Waltman L. et al. (2015), Bibliometrics: The Leiden Manifesto for research metrics, «Nature», 520, pp. 429-431. DOI: 10.1038/520429a.

7 Wilsdon J., Allen L., Belfiore E., Campbell P., Curry S., Hill S. et al. (2015), The metric tide: report of the independent review of the role of metrics in research assessment and management, University of Sussex, https://hdl.handle.net/10779/uos.23418680.v1.

8 COARA, The Agreement on Reforming Research Assessment, https://coara.eu/agreement/the-agreement-full-text/.

9 VQR 2015-2019 Expert Review Panel cit.

10 Celletti A., Costantini P., Primeri E., Romagnosi S. (2023), Analisi di genere, Focus Rapporto ANVUR, 2023, https://www.anvur.it/wp-content/uploads/2024/01/Focus-equilibrio-di-genere-2023.pdf [link non disponibile 24/03/2025].

Torna su

Indice delle illustrazioni

Titolo Fig. 1. Prodotti conferiti per tipologia4
URL http://journals.openedition.org/qds/docannexe/image/7085/img-1.jpg
File image/jpeg, 102k
Torna su

Per citare questo articolo

Notizia bibliografica

Alessandra Celletti e Antonio Felice Uricchio, «Valutare per valorizzare e migliorare: l’esperienza della VQR»Quaderni di Sociologia, 95 - LXVIII | 2024, 67-80.

Notizia bibliografica digitale

Alessandra Celletti e Antonio Felice Uricchio, «Valutare per valorizzare e migliorare: l’esperienza della VQR»Quaderni di Sociologia [Online], 95 - LXVIII | 2024, online dal 01 mars 2025, consultato il 15 mai 2025. URL: http://journals.openedition.org/qds/7085; DOI: https://doi.org/10.4000/13k0g

Torna su

Autori

Alessandra Celletti

Dipartimento di Matematica – Università di Roma Tor Vergata

Antonio Felice Uricchio

Dipartimento Jonico – Università di Bari Aldo Moro

Torna su

Diritti d'autore

CC-BY-NC-ND-4.0

Solamente il testo è utilizzabile con licenza CC BY-NC-ND 4.0. Salvo diversa indicazione, per tutti agli altri elementi (illustrazioni, allegati importati) la copia non è autorizzata ("Tutti i diritti riservati").

Torna su
Cerca su OpenEdition Search

Sarai reindirizzato su OpenEdition Search