Navigazione – Mappa del sito

HomeNumeri95 - LXVIIIla società contemporanea / Valuta...Valutazione della ricerca: solo e...

la società contemporanea / Valutazione della ricerca: dai progetti agli effetti

Valutazione della ricerca: solo effetti perversi?

Introduzione
Research assessment: only perverse effects?
Mauro Palumbo, Sergio Scamuzzi e Paola Borgna
p. 7-23

Abstract

The essay introduces the contributions to the issue and traces the main lines of the debate on the evaluation of research in the universities to which they refer: the expected and achieved advantages, the perverse effects attributed to the evaluation on the quality of scientific production and its publication and on the distribution of resources, methodological and score calculation flaws, the overall governance of the evaluation process. It is noted that these analisis vary in their more general premises and implications between the abolition of evaluation seen as an instrument of arbitrary and/or centralistic control, its modifications that take into account innovations such as open access and more weight of peer review by reducing bibliometric automatisms, the questioning of rewards as the main purpose of evaluation, specific technical and methodological improvements. It concludes by stating that in any case general ethical guidelines of the research are in question.

Torna su

Testo integrale

1. La discussione su finalità e procedure

  • 1 Interessante notare che già in questo primo esercizio uno dei criteri di valutazione degli Atenei t (...)

1La valutazione della ricerca in Italia ha una storia non breve, anche se tende a essere considerata di solito a partire dal primo esercizio di VQR (Valutazione della Qualità della Ricerca, appunto) che ha avuto effettive conseguenze sulla distribuzione del fondo di finanziamento ordinario, successivo all’istituzione dell’Agenzia Nazionale di Valutazione del sistema Universitario e della Ricerca (ANVUR) nella sua forma attuale e all’emanazione della legge 240/2010, che assegnava una funzione premiale a tale valutazione. Si può dire infatti che già alla fine del secolo scorso, sulla scorta della diffusione dei principi del New Public Management e dell’estensione alla sfera pubblica dei criteri di Efficienza, Efficacia, Economicità operata da una serie di norme approvate nel corso degli anni Novanta (Azzone, Dente, a cura di, 1999), si è avvertita l’esigenza di introdurre una funzione valutativa all’interno degli Atenei, con i Nuclei di Valutazione (ROARS, 2012). È del 1996 l’istituzione dell’Osservatorio Nazionale della Ricerca, del 1998 la creazione del Comitato di Indirizzo per la Valutazione della Ricerca (CIVR), del 1999 quella del Comitato Nazionale per la Valutazione del Sistema Universitario (CNVSU), che diede vita al primo consistente esercizio di Valutazione, la VTR (Valutazione Triennale della Ricerca) 2001-2003, che per la prima volta in Italia prese in esame in modo sistematico l’attività scientifica, e non solo, degli Atenei e degli Enti di Ricerca italiani (CIVR, 2007)1. Questi esercizi di valutazione, cui si affiancano, sul piano della didattica, i Progetti Campus e CampusOne (2001-2004), che introducono elementi di autovalutazione per alcuni dei nuovi corsi istituiti a seguito della riforma degli ordinamenti didattici introdotta dal DM 509/99, sono già orientati da una logica “premiale” volta a stimolare la competizione nel sistema accademico, ma sono anche aperti a utilizzi autonomi da parte degli Atenei, in una logica di miglioramento continuo connessa all’affermarsi della cultura della qualità, spinta dalla CRUI (Conferenza dei Rettori delle Università italiane) e dagli indirizzi della Commissione Europea (Stefani, 2006).

2Ma è dal 2009 – in seguito alla legge 180/2008 – che avviene la svolta decisiva, con la previsione di una quota premiale del fondo di finanziamento ordinario da ripartire prendendo in considerazione qualità e risultati dei processi formativi e della ricerca scientifica, con la messa in opera dell’ANVUR a partire dal 2011 (Fasanella, Martire, a cura di, 2020; Ribolzi, 2013). Nel nuovo sistema di redistribuzione dei fondi pubblici, la performance degli Atenei diventa dimensione centrale da sottoporre a valutazione (Reale, 2013).

3Nel decennio scorso, tuttavia, vanno emergendo le contraddizioni tra spinta alla qualità attraverso il controllo dei processi (si pensi al modello AVA 3 [AVA: Autovalutazione – Valutazione – Accreditamento]) e spinta al miglioramento attraverso la valutazione di risultati (si pensi alla VQR), con un’evidente compressione dell’autonomia degli Atenei, dal momento che, usualmente, la responsabilizzazione rispetto ai risultati dovrebbe accompagnarsi ad una autonomizzazione dei processi attraverso i quali i risultati sono ottenuti. Questa contraddizione, almeno parziale, è accentuata dal duplice ruolo dell’Agenzia di valutazione, che interviene sia sui processi, attraverso le visite periodiche, gli accreditamenti e il sistema AVA, esteso pian piano anche ai dottorati, e sia sui risultati attraverso la VQR, anch’essa estesa alla Terza Missione, che abbraccia una gamma di attività sempre più ampia.

4La valutazione della didattica e la valutazione della ricerca si intrecciano per più aspetti, anche per ovvie ragioni. In questa sede focalizziamo però l’attenzione sulla sola valutazione della ricerca. Occorre anzitutto ricordare che la valutazione della ricerca è un tema da sempre controverso, non solo in Italia. Non è stata intenzione di questo fascicolo proporre analisi comparative, ma il contributo di Molas-Gallard sulla Spagna mostra importanti problematiche comuni di governance e di innovazione, estensibili ad altri ordinamenti europei.

  • 2 L’osservazione presenta una straordinaria analogia con la teoria funzionalista di Davis e Moore (19 (...)

5Ci sono diversi livelli ai quali si è sviluppato il dibattito italiano, che senza pretesa di esaustività è forse bene ricordare. Il primo, più generale, riguarda la concezione stessa di valutazione, intesa da taluni come forma foucaultiana di controllo esercitato dal potere attraverso la sua interiorizzazione da parte dei controllati (es.: Pinto, 2012; Borrelli, 2015; Vidaillet, 2018): un livello apparentemente molto astratto, ma dal quale autori e autrici che lo richiamano fanno discendere conseguenze molto pratiche in termini di effetti negativi sugli Atenei (posizione che riecheggia nel contributo di Borrelli nella pagine che seguono; vedi anche AA.VV., 2023). Un secondo livello, correlato al primo, è quello che riconduce la valutazione all’espandersi in ambito accademico del modello del New Public Management (NPM) (es.: Gambardella e Lumino, 2016; Colarusso e Giancola, 2020); anche se spesso non è messa in discussione la concezione di valutazione in sé, lo è il suo innestarsi in un processo di neocentralismo mortificatore nella sostanza dell’autonomia universitaria. A questo filone appartengono parecchi autori (es.: Palumbo, Pennisi, 2014), ma possiamo inscrivervi anche colleghi come Andrea Buonaccorsi (2015), che reputano comunque positivo il bilancio della valutazione, pur sottolineandone rischi e possibilità di usi impropri. La critica del NPM sembra talvolta portare ad un rifiuto della stessa valutazione, mentre in altri casi la discussione riguarda soprattutto il modo in cui la valutazione è stata inserita nel sistema universitario italiano dai commi 4, 5, 6 dell’art. 1 della legge 240/2010, che legano in modo “lineare” la valutazione alla premialità nei finanziamenti (che come sappiamo, in regime di risorse decrescenti, si è tradotta in punibilità di chi non è “eccellente”). Si tratta di un punto assai rilevante, dal momento che apre la strada ad un altro tema cruciale, costituito dagli usi della valutazione e dai suoi impatti sulle istituzioni accademiche e sulle persone che le animano. Sotto questo profilo, anche la parziale sovrapposizione tra l’attività dell’ANVUR e le procedure dell’Abilitazione Scientifica Nazionale (ASN), ad esempio con la classificazione delle riviste scientifiche e il relativo impatto sulle soglie di ammissibilità dei candidati, è stata oggetto di critica e non a caso si tratta di un aspetto che a sua volta viene trattato nelle prossime pagine (si veda per esempio il contributo di Reale e Varinetti). I due ambiti di analisi sono distinti ma collegati, per le relazioni importanti che corrono tra VQR e ASN. A questo proposito è utile distinguere tra gli usi istituzionalmente previsti e i “discorsi” (Jessop, 2004; Jessop, Sum, 2010) sottostanti, ossia i presupposti valoriali impliciti o espliciti soggiacenti ad essi. Se infatti si reputa che la valutazione vada inserita in un sistema premiale, per cui chi è valutato meglio avrà dei vantaggi (essenzialmente, ma non solo, in termini di finanziamenti) e, implicitamente, chi sarà valutato peggio avrà dei danni (di finanziamenti o di carriera), si assume un modello pedagogico piuttosto rozzo, secondo il quale tutti dovrebbero competere per ottenere i vantaggi connessi a una buona valutazione e questo porterebbe a un miglioramento complessivo del sistema2.

  • 3 Il tema richiama quello dei ranking degli Atenei e dei loro effetti sul reclutamento degli studenti (...)

6Il modello è tuttavia rozzo per diversi motivi; ne enunciamo solo i principali in forma schematica: a) non è detto che gli incentivi connessi ad una “buona” valutazione siano considerati allo stesso modo da tutti i “concorrenti” (l’ipotesi soggiacente di un semplicistico “homo oeconomicus” andrebbe dimostrata e non data per scontata); b) non tutti i “concorrenti” partono dallo stesso livello (quindi la promessa di premi può essere attraente per i meglio piazzati, ma disincentivante per chi è lontano dalla “eccellenza”); c) non considera gli effetti di contesto che invece incidono fortemente sulle diverse variabili considerate nella valutazione (Viesti, 2016), ipotizzando un asettico ambito nazionale della ricerca in cui tutti i partecipanti godono delle stesse opportunità; d) sottintende un sostanziale “darvinismo sociale”, per cui chi non ha spazio per il miglioramento (o chi rifiuta per varie ragioni questo modello) non ha diritto di rimanere nel sistema (questo aspetto dà forza a posizioni più radicali, quale quella presentata da Borrelli in questo numero); e) ritiene fungibili e trasferibili i risultati di valutazioni individuali e collettive (nel concreto: con la VQR considera i “prodotti” dei singoli; in AVA considera l’operato di Corsi di laurea, Dipartimenti e Atenei, ma poi un Dipartimento è eccellente in base ai risultati aggregati dei singoli e un Ateneo – in cui operano i singoli – è valutato in base a variabili meso e non micro, quali la struttura organizzativa, i sistemi di qualità, ecc.). In altre occasioni (es.: Palumbo, Pennisi, 2014; Palumbo, 2018) si è cercato di mostrare che questo sistema, che connette la valutazione alla premialità, non è l’unico possibile, ricordando ad esempio che il Sistema Nazionale di Valutazione dell’Istruzione prevede che le scuole “peggiori” siano aiutate a migliorare e non siano punite per i valori bassi dei loro indicatori. Forse perché il sistema scolastico nazionale deve rimanere ancorato al territorio e quello universitario invece può essere ristrutturato lasciando in vita solo gli Atenei “migliori” e assumendo che gli studenti, a costo zero, possano, se lo desiderano, spostarsi verso questi “campioni”?3

7Queste riflessioni ci conducono al terzo livello del dibattito, che si concentra sull’utilizzo della valutazione, in cui si osserva che gli “intended uses” non esauriscono gli impatti effettivi della valutazione sul sistema accademico nazionale e sulla vita delle persone che lo popolano. Pubblichiamo diversi contributi che si occupano di questo aspetto e mostrano, com’era da attendersi, effetti non voluti ma prevedibili e in parte effetti non previsti, anche in ragione dei modi in cui la valutazione della ricerca si interseca con le progressioni di carriera dei ricercatori e delle ricercatrici o degli e delle aspiranti tali. Si vedano al riguardo gli interessanti contributi di Reale e Varinetti e quello a firma collettiva dell’Associazione Dottorandi e Dottori di Ricerca in Italia (ADI). Basti qui dire che è ovviamente inevitabile, e in parte costituisce un effetto atteso e intenzionalmente voluto, che chi ambisce ad entrare nel sistema o a progredire nella carriera si adegui ai criteri valutativi impliciti ed espliciti della VQR e dell’ASN (nei settori non bibliometrici gli articoli valgono soprattutto se in riviste di fascia A; le monografie valgono di fatto quanto un articolo; più si pubblica meglio è; le pubblicazioni in inglese risultano preferibili a quelle in italiano e indirettamente anche a quelle in altre lingue; …). Evidentemente non tutti gli effetti di questo adeguamento sono positivi: si pensi solo al noto fenomeno del salami slicing, o alla diffusione delle riviste predatorie su cui proponiamo un interessante saggio di Parra Saiani, alla proliferazione delle coauthorship e delle lobbies citazionali (Baccini et al., 2019), per non citare che i più rilevanti.

8In estrema sintesi, si potrebbe dire che la somma degli effetti (attesi e inattesi) della valutazione ha prodotto risultati sul comportamento degli attori in capo non necessariamente coerenti con le intenzioni del legislatore. Luci e ombre che emergono dai non numerosi lavori empirici condotti in Italia su questo tema (Fontana e Valentini, a cura di, 2020; Colarusso e Giancola, 2020: Reale, a cura di, 2025). Pare utile ricordare al riguardo quanto affermato da Espeland e Sauder (2007), che, sottolineando il concetto di reattività (per cui gli attori modificano i loro comportamenti in ragione del fatto che sono valutati, osservati o misurati), individuano tra queste conseguenze due meccanismi, la profezia che si autoadempie e la commensuration, che producono effetti quali “the redistribution of resources, redefinition of work, and proliferation of gaming strategies” (p. 3). Molto opportunamente, a questo riguardo, Gambardella e Lumino (2020) osservano che la valutazione con finalità di accountability induce una vera e propria trasformazione nei frame di riferimento dei soggetti valutati, che si traduce in learning; poiché tuttavia diverse forme di accountability coesistono nelle organizzazioni complesse, in ragione dei soggetti e dei destinatari della valutazione, delle sue finalità e delle procedure valutative messe in atto, queste producono forme specifiche di apprendimento. In riferimento al sistema universitario italiano, le autrici tipizzano gli apprendimenti in termini di full adhesion, compliance, critical agency e refusal: una tipologia non lontana da quella classica mertoniana.

9Last but not least, ci sono gli aspetti metodologici della valutazione, cui purtroppo non abbiamo potuto dedicare un saggio specifico in questo fascicolo, ma che riecheggiano nei vari contributi e che hanno avuto spazio nel dibattito nazionale, soprattutto nel decennio scorso (es.: Fasanella, Di Benedetto, 2014; Fasanella, Martire, 2017; Fasanella, Martire, a cura di, 2020).

10In breve, tre sono i punti che riteniamo più rilevanti, segnatamente per le aree “non bibliometriche” e quindi in particolare per l’Area 14. Il primo (di carattere generale) riguarda le modalità con cui sono selezionati i referee (che spesso non fanno parte del GEV [Gruppi di Esperti della Valutazione], ma sono esperti esterni) e le modalità con cui sono formulati i giudizi in caso di difformità rilevanti tra i due referee: modalità spesso non pienamente trasparenti e oggetto di discussione in letteratura (Fasanella, Di Benedetto, 2014). Il secondo, già discusso in precedenti saggi da diversi studiosi (es.: Palumbo, Pennisi, 2015), riguarda il fatto che i tre criteri di valutazione dei prodotti (nella VQR 2020-2024, Originalità, Metodologia e Impatto) sono parzialmente sovrapponibili e polisemici a sufficienza per poter essere interpretati in modo difforme dai valutatori e hanno inoltre lo stesso peso a prescindere dal tipo di contributo sottoposto a valutazione. In questo ambito si collegano anche le riflessioni critiche, sviluppate soprattutto nell’ambito dei settori cosiddetti “bibliometrici”, in ordine alla necessità di privilegiare la peer review sugli automatismi derivanti dagli indicatori citazionali. Le riserve sull’uso estensivo dei sistemi citazionali erano state avanzate già prima dell’avvio operativo dell’ANVUR (es.: Figà Talamanca, 1999; Baccini, 2010; Bonaccorsi, 2012) e hanno dato vita a un vasto movimento volto a limitare il ricorso alla bibliometria, con argomentazioni assolutamente condivisibili, non ultimo il fatto che questa finisce per attribuire a soggetti privati in cerca di lauti guadagni il potere di decidere la qualità dei contributi pubblicati e, sul lato degli editori, di favorire la proliferazione delle riviste predatorie, sulle quali la riflessione in Italia non è ancora sufficientemente sviluppata da consentire una retroazione sui processi di abilitazione (si veda il contributo di Parra Saiani). Governare con i numeri (Gambardella, Lumino, 2016) appare agevole se questi sono creati quasi in automatico, ma per fortuna la recente nascita del Consorzio CoARA e più in generale il movimento per l’Open Science (cui sono di seguito dedicati diversi contributi) stanno operando con forza per una riduzione degli automatismi bibliometrici (come risulta anche dallo stesso contributo di Celletti e Uricchio).

  • 4 Si usa questo lessico per segnalare il fatto che la variabile continua costituita dai punteggi medi (...)
  • 5 In realtà tra 0,1 e 1, essendo il punto minimo della Cantrill non 0, ma 1.

11Il terzo punto, sul quale ci soffermiamo più a lungo, riguarda le metriche utilizzate per assegnare un valore ai singoli prodotti. Nella VQR ogni referee deve infatti assegnare un punteggio ai diversi aspetti considerati rilevanti per la qualità di un prodotto e la media dei punteggi totali dei due valutatori (salvo scostamenti eccessivi tra i due, che richiedono l’intervento del GEV ed eventualmente di un terzo valutatore) si può considerare espressa su di una scala di rapporti o di intervalli. Tuttavia, a seconda della “soglia” propria del punteggio, questo viene riclassificato in una scala ordinale. L’art. 7, comma 10, del Bando VQR 2020-24 (ANVUR, 2023) conferma infatti le categorie ordinate già utilizzate nelle precedenti esperienze di valutazione, ovvero Eccezionale, Eccellente, Standard, Sufficiente e Scarsa rilevanza o non accettabile, trasformando quindi una scala cardinale continua come la scala Cantrill in una scala ordinale (anche qui come negli esercizi precedenti). Assegna poi dei coefficienti numerici (1; 0,8; 0,5; 0,2; 0) alla scala ordinale, ritrasformandola in una scala ad intervalli con un arbitrario punto centrale4. Questa triplice conversione (da scala di rapporti o ad intervalli a scala ordinale e poi di nuovo a scala di rapporti “forzata” in valori centrali definiti in modo arbitrario) finisce per amplificare le differenze conseguite nella prima assegnazione di punteggi, quella effettuata dai valutatori, allargando oltre misura le distanze tra posizioni “di confine” tra una classe e un’altra. Mezzo punto di differenza colloca un prodotto in Eccezionale, con valore 1, oppure in Eccellente, con valore 0,8, trasformando una distanza di 0,5 punti su 10 in una di due punti, o addirittura di tre se quel mezzo punto fa scendere il prodotto nella classe Standard rispetto alla Eccellente o nella classe Sufficiente invece che nella Standard. In questo modo una trasformazione che potrebbe mantenere la stessa continuità della scala originale, semplicemente dividendo per il valore massimo teorico il punteggio conseguito da un prodotto (quindi esprimendolo in una scala continua compresa tra 0 e 15), viene “distorta” in una scala di valori ordinati riferita in modo sostanzialmente arbitrario a quelli originali. In questo modo, le distorsioni derivanti dall’operativizzazione (il secondo punto considerato) si sommano a quelle concernenti la costruzione dell’indice finale (il terzo punto) (cfr. sul tema Fasanella e Di Benedetto, 2014; Palumbo e Pennisi, 2015; Fasanella e Martire, 2017; a cura di, 2020).

2. I temi per un dibattito pubblico: vantaggi, criticità e opportunità della valutazione

12Questo fascicolo offre una vasta gamma di posizioni sulla valutazione che toccano molti temi diversi. E da prospettive diverse: abbiamo infatti ritenuto di affiancare ai saggi di teoria e di ricerca sul tema alcuni più brevi testi di persone interpellate sulla valutazione della ricerca con specifico riferimento all’attività che hanno svolto e svolgono in ruoli istituzionali – fermo restando naturalmente che tali interventi impegnano chi li ha scritti e non le istituzioni di riferimento. In ogni caso, l’intero lavoro che qui presentiamo non ha pretesa di una completa esaustività.

13Delle posizioni emerse forniamo di seguito una sinossi in forma di tesi sintetiche che trovano la necessaria articolazione e una discussione approfondita nei contributi delle pagine che seguono. Le osservazioni presentate valgono tendenzialmente per tutte le discipline, con le necessarie differenziazioni; l’appartenenza dei curatori e della curatrice e di una parte degli autori e delle autrici alla comunità sociologica riteniamo abbia costituito un punto di vista interessante perché questa comunità fa ricerca con una epistemologia e una metodologia multi paradigmatica, a metà tra scienziati e umanisti (Corbetta, 2014, capp. 1 e 2). L’intento della sinossi è di promuovere e facilitare un dibattito più ricco e maturo e meno condizionato da pregiudizi nella comunità scientifica tutta, oltre che in quella sociologica.

2.1. Vantaggi della valutazione

14In una graduazione e in un continuum concettuale approssimativi, dagli obiettivi politico-strategici attesi e conseguiti alle sue implicazioni amministrative e gestionali, possiamo elencare i seguenti vantaggi attesi tra i più frequentemente citati.

  • Maggiore produttività di ricercatori e ricercatrici e minori divari tra Atenei. Interessante è il problema sociologico se si tratti di effetto adattivo (di compliance, secondo la tipologia di Gambardella e Lumino, 2020).

  • Qualità più elevata e uniforme della produzione scientifica, con miglioramenti di sedi universitarie e di ricercatori e ricercatrici in precedenza “marginali”. Al netto naturalmente di una definizione operativa e condivisa di che cosa debba intendersi per qualità della produzione scientifica (si veda, in senso conforme, Reale, a cura di, 2025).

  • Visibilità dei risultati, quindi anche controllabilità, confrontabilità, conseguente possibilità di orientare strategie di ricerca da parte delle istituzioni e di un più agevole accesso e impiego della ricerca da parte di terzi nel caso dei trasferimenti di conoscenza e di public engagement.

  • Migliore capacità e adeguatezza complessiva dell’amministrazione universitaria, sua maggiore accountability.

  • Stimolo all’internazionalizzazione della ricerca, stimolo a pubblicare presso editori nazionali e internazionali, disincentivo a editori locali e “di comodo”.

  • Criteri universalistici e oggettivi, per orientare scelte di reclutamento e di carriera e finanziarie nella ricerca, e per scegliere valutatori, con incarichi a rotazione, contrastando discrezionalità, particolarismi e localismi, personalismi.

  • I criteri quantitativi adottati (es.: impact factor, numerosità pubblicazioni) rendono le valutazioni oggettive e anche giudizi qualitativi possono essere espressi con scale, che consentono confronti immediati.

  • La valutazione evolve: i limiti dei criteri quantitativi possono essere compensati dal rafforzamento del ruolo della peer review nei recenti orientamenti a favore delle posizioni espresse da CoARA, maturati anche in ANVUR.

15A favore di una parte di questi vantaggi possono essere richiamate evidenze empiriche relative alla maggiore produttività di chi fa ricerca e alla sua maggiore internazionalizzazione, ovvero alla maggiore presenza di coauthorship nei lavori scientifici, tutti risultati importanti. Contra, come si ricorderà oltre, le pratiche del salami slicing, le lobbies citazionali, la scarsa significatività degli attuali indicatori bibliometrici.

2.2. Criticità della valutazione

16In una graduazione e in un continuum concettuale approssimativi, da un livello generale e valoriale ad un livello tecnico-metodologico, possiamo elencare le criticità più frequentemente denunciate.

  • Una valutazione di prodotti che si avvale di impact factor, pubblicazione solo in sedi formalizzate, private e costose (ad es. riviste di fascia A e straniere, grandi editori), presenza in banche dati private e commerciali, contraddice e contrasta una scienza aperta, accessibile in tutte le fasi e nei metodi di produzione della conoscenza, in quanto resa possibile da finanziamenti pubblici (open access).

  • Non offre informazione sulla responsabilità etica e l’impatto sociale della ricerca essendo focalizzato solo sulla comunità accademica, premiandone così l’autoreferenzialità, a fronte di una domanda sociale alla scienza che va in senso opposto (vedi alcune proposte CoARA).

  • Spinge al ritualismo mertoniano: premia cioè la conformità alle regole e i mainstream sui valori di innovazione, originalità, curiosità, varietà tipici della ricerca, che vengono svalutati. È un aspetto tra i più citati dai critici.

  • Sottrae scelte e valutazioni alla comunità scientifica e alle università stesse, se gli organismi che la governano e gestiscono sono ministeriali, o agenzie terze come in Italia, che operano in condizione di monopolio e comunque non indipendenti, ma soggette a controllo e nomina governativa. Si lede l’autogoverno delle prime e si possono creare conflitti tra le due istanze, si può ledere libertà e autonomia di ricerca/di conoscenza dell’università e/o del singolo ricercatore o della singola ricercatrice, possono nascere discrasie tra scelte strategiche delle istituzioni e preferenze individuali sui temi di ricerca. L’autonomia dei ricercatori e delle ricercatrici può essere messa a rischio dalla stessa controllabilità della ricerca valutata.

  • Impone un governo amministrativizzato della ricerca, depoliticizzandone le scelte strategiche, dà luogo a ‘subpolitiche’, come prevedeva Beck, che non risultano dalla volontà parlamentare, e possono perfino non dipendere neanche dal ministro in carica, di fatto assegnando ad un organismo tecnico (peraltro di nomina politica) i ruoli del Ministero.

  • Sottrae al forum pubblico della comunità scientifica i giudizi qualitativi dei valutatori che diventano insindacabili e arbitrari, definitivi a differenza di quelli del dibattito scientifico; soprattutto, assegna a un forum specifico (quale? quanto realmente pubblico?) gli effetti “istituzionali” della valutazione.

  • Impone una gabbia rigida di criteri e una gestione burocratica degli atti di valutazione.

  • I giudizi hanno effetti immediati, ma se arbitrari (ossia molto irregolari per la stessa persona da un anno all’altro) vengono corretti solo con la rotazione dei giudici nel tempo, un tempo tuttavia lungo.

  • Permette a settori scientifico disciplinari diversi (o altri tipi di raggruppamento parziale nella comunità scientifica) di fare cartello, concordare e attuare politiche diverse nella valutazione al fine di migliorare la loro competitività nell’assegnazione delle risorse dipendenti da tale valutazione.

  • Spinge, con l’adozione di metriche quantitative, a privilegiare la quantità delle pubblicazioni sulla qualità, con effetti inflattivi e di disimpegno morale sulla produzione scientifica in generale e negativi sulla qualità delle singole pubblicazioni.

  • Conferisce potere sulla ricerca a editori delle riviste (referate, di classe A, internazionali, con alto impact factor) e alle loro finalità commerciali (aumentando i costi della ricerca per pagarle), in un mercato oligopolistico e poco trasparente. Crea spazio per un mercato secondario di editori e riviste predatorie.

  • Premia la sede e la collocazione editoriale sulla valutazione rispetto alla qualità intrinseca del prodotto, in particolare nei settori disciplinari cosiddetti bibliometrici.

  • Permette strategie opportunistiche individuali e di gruppi che incrementano citazioni reciproche e autocitazioni alla base degli impact factor (aspetto che appare confermato dalle analisi empiriche in argomento), chiudendosi al confronto scientifico allargato.

  • Permette strategie opportunistiche individuali e di gruppi che favoriscono la diffusione di riviste predatorie ed editoria di comodo internazionali.

  • Svaluta le pubblicazioni a fini didattici, di trasferimento di conoscenza, di public engagement, per premiare solo la ricerca a fini strettamente accademici e della comunità scientifica di riferimento. In fondo, mentre cresce l’attenzione verso la Terza Missione si spinge a pubblicare solo per pubblici ristretti e iper specializzati e le produzioni manualistiche o divulgative si vedono riconosciute poco o nessun valore.

  • Disincentiva la collaborazione tra discipline diverse su problemi di ricerca comuni, svalutando o impedendo sedi di pubblicazione diverse da quelle strettamente settoriali-disciplinari (vedi afferenze ai SSD / GDS delle riviste). La interdisciplinarità spesso proclamata o indicata come utile obiettivo diventa così pura retorica.

  • Omologa la valutazione senza rispettare le diversità disciplinari e di stili di ricerca, impone una scienza normale (modello STEM), soprattutto nei settori bibliometrici, anche se la crescente adesione a CoARA potrebbe aiutare a superare alcune distorsioni.

  • Penalizza le monografie a favore degli articoli, disincentivando o distorcendo la prassi di discipline come quelle umanistiche, che meglio si sono tradizionalmente espresse con le prime e favorendo quelle che si esprimono con le seconde (STEM).

  • Presenta errori tecnico-metodologici nella quantificazione di giudizi qualitativi e nella comparazione tra sedi e discipline diverse, non considerando i condizionamenti derivanti dai diversi contesti di lavoro dei ricercatori e delle ricercatrici.

  • L’organizzazione della valutazione può impedire di fatto l’esame dei prodotti e il confronto sul loro valore intrinseco per impossibilità di giudizi competenti su campi molto diversi e specializzati da parte di singoli studiosi, e anche per meri motivi di sovraccarico.

  • Genera un sovraccarico di procedure e compiti per chi è valutato, che sottraggono tempo alla ricerca e alla didattica, le principali funzioni.

  • “Professionalizza” i valutatori e le valutatrici che diventano portatori di interessi diversi da quelli dei ricercatori e delle ricercatrici, e comunque riducono la loro attività scientifica, senza peraltro ricevere una formazione specifica (e magari critica) all’impiego delle tecniche (soprattutto nella ASN).

  • L’insieme delle procedure non sembra favorire la semplificazione amministrativa pur auspicata.

  • In alcuni casi ha introdotto criteri di valutazione nuovi o parzialmente nuovi, ma con un effetto retroattivo, il che rende “sleale” la valutazione.

17La lista delle criticità è sicuramente più ampia di quella dei vantaggi attesi; in modo forse un po’ rozzo potremmo aggregarle tuttavia in tre ambiti:

  1. le finalità della valutazione, legata al tema della premialità, che legittima le critiche relative all’ignorare gli effetti di contesto e all’uso di automatismi bibliometrici;

  2. le procedure e modalità della valutazione: la predisposizione “dall’alto” di griglie e parametri di valutazione e di metriche corrispondenti “forza” il giudizio dei valutatori in gabbie predefinite. Per altro verso, la valutazione da parte di una Agenzia di nomina ministeriale viene effettuata con il diretto coinvolgimento dei membri delle comunità scientifiche, che si fanno “complici” di eventuali misfatti;

  3. gli effetti sulle persone e sul sistema universitario nel suo complesso, in termini di diffusione di comportamenti “opportunistici”, di favore verso temi e metodi mainstream, di moltiplicazione delle pubblicazioni, di “corsa” verso le riviste ad elevato impact factor o di fascia A (con il rafforzamento conseguente di coloro che vedono aumentato il proprio potere da queste prassi).

2.3. Rimedi e opportunità per la valutazione

18In una graduazione e in un continuum concettuale approssimativi, dall’innovazione radicale alla manutenzione dell’esistente, possiamo elencare i seguenti rimedi e opportunità, espressi in termini molto generali e riassuntivi.

  • Abolizione completa della valutazione nelle forme attuali e libera competizione con il solo giudizio del dibattito scientifico e dell’opinione pubblica (posizione che appare implicitamente assunta dai critici radicali).

  • Autovalutazione affidata all’università (organismo nazionale come la CRUI): non alle sedi, non ad altri organismi o alle comunità scientifiche. La pregressa esperienza del CNVSU evidenzia tuttavia i limiti di questo modello, che non ha avuto significativi impatti migliorativi sugli Atenei probabilmente per l’assenza di connessioni premiali.

  • Integrazione della valutazione della ricerca in senso stretto con la valutazione della formazione, dell’impatto, della leadership (e dell’assistenza nel caso dei medici), riconoscendo vari equilibri tra queste attività (ai sensi dell’agreement CoARA del 2022).

  • Allargamento della nozione di impatto, finora valutato nel solo ambito scientifico-accademico, all’insieme degli stakeholder sociali della ricerca (CoARA). La reputazione è uno di questi impatti, finora raramente oggetto di strategie di comunicazione pubblica della ricerca specifiche, attuate dalle università.

  • Sostituzione della bibliometria con la sola peer review e il cv narrativo, introduzione di open peer review senza dimenticare peraltro che un sistema di valutazione formalizzato, anche se basato sulla peer, deve definire a monte il quadro di riferimento metodologico ed operativo in cui si colloca.

  • Adozione di metodi e criteri differenti per area umanistica e tecnico-scientifica (o aree ampie altrimenti definite).

  • Suggerimenti tecnici di miglior integrazione tra qualità e quantità, ad esempio differenziando il peso di pubblicazioni individuali e di ampio respiro (monografie) e di contributi brevi con molti coautori, oppure evitando i cambiamenti di scala che, come detto in precedenza, amplificano la distanza tra punteggi vicini.

  • Vari suggerimenti tecnico-metodologici per migliorare le pratiche esistenti e terzietà delle revisioni della metodologia che possono emergere da una valutazione periodica della valutazione stessa.

19Ci permettiamo di aggiungere che i possibili rimedi emersi vanno sempre inquadrati all’interno delle finalità di un sistema valutativo e degli effetti attesi dallo stesso. La conoscenza sempre più approfondita (vedi Reale, a cura di, 2025) degli effetti su ricercatori e ricercatrici e sui sistemi universitari dell’apparato valutativo attuale (non solo la VQR, ma le visite periodiche di accreditamento e l’ASN) potrebbe orientare i rimedi previsti alla luce delle conseguenze attese e inattese.

3. Conclusione: auspici per evitare effetti perversi e quesiti di fondo

20Auspicio di chi ha curato questo fascicolo dei «Quaderni di Sociologia» è che si sviluppi un dibattito più maturo sul tema della valutazione della ricerca, più attento agli aspetti metodologici, da un lato, e alle conseguenze, attese o meno, intenzionali o meno, dei processi innescati, dall’altro lato. Una consapevolezza maggiore degli attori non solo dei principi che sono messi in gioco dalla valutazione, ma anche degli effetti sui ricercatori, sulle ricercatrici e sulle strutture, in particolare sull’innovazione e varietà, così intrinseche alla ricerca. Non c’è dubbio infatti che alla base del ragionamento c’è anche la risposta alla domanda implicita sulle finalità ultime: quale ricerca, quale università, per quale Paese? Esserne consapevoli ci pare il primo passo da compiere per ridurre i rischi e le cattive conseguenze che la valutazione (questa valutazione specifica) provoca, riflettendo con lucidità e trasparenza sul metodo e sulle procedure e sulle logiche interne che contengono.

21Sul piano del metodo, invece, si avverte la necessità di interventi sistemici e non locali, consapevoli delle conseguenze prevedibili, formulati con la opportuna trasparenza e assunzione di responsabilità su obiettivi strategici e criteri e metodologie coerenti e conseguenti con essi, dei soggetti che le attivano e rendono obbligatorie. Ad esempio, coinvolgimento ex ante dei valutati nella formulazione dei criteri, attraverso forme di rappresentanza collettiva e/o in forma diretta e costruzione dei panel secondo logiche adeguate a fronteggiare la complessità della produzione scientifica da esaminare. Raccordando VQR e AVA con ASN, anche al fine di evitare gli effetti perversi che possono derivare dal considerarle separatamente.

22In questo senso si potrebbero avanzare alcune modeste proposte volte a ridurre alcuni effetti negativi (o perversi, à la Boudon) della valutazione attuale; proposte che formuliamo in termini di quesiti, anche per rispettare le finalità di questo numero di aprire o allargare la riflessione sul tema, non certo di chiuderla o finalizzarla a un disegno di riforma di cui non siamo né portatori né interpreti.

  1. Un minore legame con reclutamento e progressioni di carriera potrebbe giovare a una più fruttuosa valutazione della ricerca con un miglior esercizio dell’autonomia universitaria? Ad esempio, con minori vincoli dell’ASN a criteri e parametri definiti dall’ANVUR (senza per questo ampliare ulteriormente il potere decisionale posto in capo alle Commissioni ASN, la cui costituzione potrebbe a sua volta essere discussa)?

  2. Potrebbe essere utile un più chiaro disegno delle modalità con cui le varie forme di valutazione si intersecano e influiscono sulle strutture e sugli Atenei, articolando altresì in modo diverso le funzioni poste in capo all’ANVUR (accreditamento, valutazione, controllo…) e chiamando in causa eventualmente anche soggetti diversi?

  3. Avrebbe senso differenziare (e come) l’impatto delle valutazione a seconda che si applichi al reclutamento, alla carriera, a singoli o gruppi o sedi in competizione per finanziamenti, a comunicazioni esterne dei medesimi a fini di reputazione, ecc.? L’utilizzo “grezzo” di dati di valutazione per una pluralità di funzioni (es. finanziamento delle sedi e orientamento di studenti e studentesse) potrebbe essere affinato in relazione a una platea plurale di destinatari?

  4. Quali relazioni tra le valutazioni delle tre missioni? Ha senso un approccio “lineare” per cui si opera in sostanza una sorta di “somma” delle tre, oppure sono possibili approcci più fini, in relazione anche ai diversi pubblici prioritariamente interessati alle tre missioni?

  5. Ultimo ma non ultimo, ha davvero senso connettere in modo pervasivo la valutazione alla premialità, oppure sarebbe possibile conciliare l’uso premiale con la definizione di strategie migliorative, come accade nel Sistema Nazionale di Valutazione dell’istruzione? Altre finalità come quelle additate dall’open access non dovrebbero ricevere attenzione per un approccio innovativo?

23Un quesito di fondo chiude la nostra riflessione. In che misura le attuali forme di valutazione danno attuazione ai valori della ricerca scientifica, valori oggi minacciati da una parte sia pure minoritaria della opinione pubblica, delle imprese e dei regimi politici con forme di privatizzazione estrema e di negazionismo? È oggi in questione una “libera scienza”: principio guida della Costituzione italiana che l’organizzazione della ricerca deve salvaguardare. A tal fine, per orientare la valutazione, potremmo prendere le mosse dal classico schema di Merton, passarlo al vaglio delle più recenti riflessioni sulle trasformazioni dei modi della produzione scientifica, per poi applicarlo nella nostra comunità scientifica. Ci riferiamo ovviamente a:

  • comunitarismo: inteso come appartenenza dei risultati della ricerca almeno a tutta la comunità degli scienziati, sua estensione ai cittadini contribuenti se la ricerca deriva da un finanziamento pubblico;

  • universalismo: ogni pretesa di verità scientifica dipende da criteri impersonali e condivisi;

  • disinteresse: la scienza ha carattere pubblico e controllabile e non dipende nei suoi metodi, risultati, diffusione dall’interesse privato di singoli e da opinioni;

  • dubbio sistematico: sospensione del giudizio sino a che la coerenza interna e il fondamento empirico delle teorie non siano provati.

Torna su

Bibliografia

AA.VV. (2023), Perché la valutazione ha fallito. Per una nuova Università pubblica, Perugia, Morlacchi.

ANVUR (Agenzia Nazionale di Valutazione del sistema Universitario e della Ricerca) (2023), Bando VQR (2020-2024), Decreto n. 8 del 31/10/2023, https://www.anvur.it/wp-content/uploads/2023/10/Bando-VQR-2020-2024_31ottobre.pdf.

Azzone G., Dente B. (a cura di) (1999), Valutare per governare. Il nuovo sistema dei controlli nelle Pubbliche Amministrazioni, Milano, Etas.

Baccini A. (2010), Valutare la ricerca scientifica. Uso ed abuso degli indicatori bibliometrici, Bologna, il Mulino.

Baccini A., De Nicolao G., Petrovich E. (2019), Citation gaming induced by bibliometric evaluation: A country-level comparative analysis, «PLoS ONE», 14, 9, https://doi.org/10.1371/journal.pone.0221212.

Beck U. (2000), La società del rischio. Verso una seconda modernità, Roma, Carocci.

Bonaccorsi A. (2012), Potenzialità e limiti dell’analisi bibliometrica nelle aree umanistiche e sociali. Verso un programma di lavoro, https://www.roars.it/wp-content/uploads/2012/03/valutazione_aree_umanistiche_e_sociali.pdf.

Bonaccorsi A. (2015), La valutazione possibile. Teoria e pratica nel mondo della ricerca, Bologna, il Mulino.

Borrelli D. (2015), Contro l’ideologia della valutazione. L’ANVUR e l’arte della rottamazione dell’università, Milano, Jouvence.

Boudon R. (1981), Effetti ‘perversi’ dell’azione sociale, Milano, Feltrinelli, ed. or. 1977.

CIVR (Comitato di Indirizzo per la Valutazione della Ricerca) (2007), Relazione finale VTR 2001-2003, Roma.

CoARA (Coalition for Advancing Research Assessment) (2022), Agreement on reforming research assessment, https://coara.eu/app/uploads/2022/09/2022_07_19_rra_agreement_final.pdf.

Colarusso S., Giancola O. (2020), Università e nuove forme di valutazione Strategie individuali, produzione scientifica, effetti istituzionali, Roma, Sapienza Università Editrice.

Corbetta P. (2014), Metodologia e tecniche della ricerca sociale, Bologna, il Mulino.

Davis K., Moore W. (1942), A Conceptual Analysis of Stratification, «American Sociological Review», VII, 3, pp. 309-321.

Davis K., Moore W. (1945), Some Principles of Stratification, «American Sociological Review», X, 2, pp. 242-249. Trad. it.: Alcuni principi della stratificazione (1945), in Teorie sulla struttura di classe, a cura di R. Bendix e S.M. Lipset, Padova, Marsilio, 1969, pp. 17-30.

Espeland W.N., Sauder M. (2007), Rankings and Reactivity: How Public Measures Recreate Social Worlds, «American Journal of Sociology», 113, 1, pp. 1-40, https://doi.org/10.1086/517897.

Fasanella A., Di Benedetto A. (2014), Luci e ombre nella Vqr 2004-2010: un focus sulla scheda di valutazione peer nell’Area 14, «Sociologia e Ricerca Sociale», 104, pp. 59-84.

Fasanella A., Martire F. (2017), Considerazioni metodologiche sulla Vqr 2011-2014 e possibili sviluppi della valutazione, «Sociologia e ricerca sociale», 114, pp. 89-116.

Fasanella A., Martire F. (a cura di) (2020), Valutazione della ricerca e ricerca sulla valutazione Riflessioni, analisi e proposte per la VQR, Milano, Franco Angeli.

Figà Talamanca A. (1999), Come valutare “obiettivamente” la qualità della ricerca scientifica: il caso dell’Impact Factor, «Bollettino dell’unione matematica italiana», 2, 3, pp. 249-281.

Fontana E., Valentini E. (a cura di) (2000), Conseguenze della valutazione. Idee e pratiche dei docenti universitari nelle scienze sociali, Milano, Franco Angeli.

Gagliardi B. (2018), La tutela amministrativa della libertà accademica, Milano, Kluwer.

Gambardella D., Lumino R. (2016), Measuring university-based research in Europe: competing indicators and underlying assumptions, «International Review of Sociology», 26, 3, pp. 424-439, https://doi.org/10.1080/03906701.2016.1244932.

Gambardella D., Lumino R. (2020), Re-framing accountability and learning through evaluation: insights from the Italian higher education evaluation system, «Evaluation», 26, 2, pp. 147-165.

Jessop B. (2004), Critical semiotic analysis and cultural political economy, «Critical discourse studies», 1, 2, pp. 159-174.

Jessop B., Sum N.-L. (2010), Critical discourse analysis, cultural political economy and economic crisis, in De Cillia R., Gruber H., Menz F., Kryzanowski M. (a cura di), Discourse politics-identity/Diskurs-Politik-Identität, Vienna, Brigitte Narr.

Merton R.K. (1970), Struttura sociale e anomia, in Teoria e struttura sociale, Bologna, il Mulino, 1970, vol. II, pp 297-345, ed. or. 1949.

Merton R.K. (1978), L’ethos della scienza, in Statera G. (a cura di), Sociologia della scienza, Napoli, Liguori, 1978, pp. 105-115, ed. or. 1942.

Palumbo M., Pennisi C. (2014), La valutazione senza governo, «Rassegna Italiana di Valutazione», 18, 59, pp. 7-33.

Palumbo M., Pennisi C. (2015), Criteri corretti e condivisi per una valutazione buona e utile della ricerca, «Sociologia e Politiche sociali», 2, pp. 73-89.

Palumbo M. (2018), Buone intenzioni e cattive conseguenze, in AA. VV., La valutazione del sistema universitario e della ricerca. Una riflessione critica per proporre un nuovo modello, Quaderni Articolo 33, Roma, Edizioni Conoscenza, pp. 49-64.

Pinto V. (2012), Valutare e punire. Una critica della cultura della valutazione, Napoli, Cronopio.

Reale E. (2013), La valutazione della ricerca e il cambiamento dell’Università, «Sociologia e Ricerca Sociale», 100, pp. 148-159.

Reale E. (a cura di) (2025), Gli effetti della valutazione esterna della ricerca sul lavoro accademico in Italia, Milano, Angeli (in corso di stampa).

Ribolzi L. (2013), Valutare l’università: una sfida non solo per l’Anvur, «Sociologia e ricerca sociale», 100, pp. 23-32.

ROARS (2012), Appunti per una storia dell’ANVUR (I), 8 marzo 2012, https://www.roars.it/appunti-per-una-storia-dellanvur-i/.

Stefani E. (2006), Qualità per l’Università, Milano, Franco Angeli.

Vidaillet B. (2018), Valutatemi! Il fascino discreto della meritocrazia, Aprilia, Novalogos.

Viesti G. (2016), Università in declino, un’indagine sugli atenei da Nord a Sud, Roma, Donzelli.

Torna su

Note

1 Interessante notare che già in questo primo esercizio uno dei criteri di valutazione degli Atenei teneva conto della propensione alla valorizzazione applicativa della ricercap, antesignana della Terza Missione, allora limitata a brevetti e spin off.

2 L’osservazione presenta una straordinaria analogia con la teoria funzionalista di Davis e Moore (1942; 1945) di legittimazione/spiegazione della stratificazione sociale. Parafrasandola, si potrebbe dire che solo collegando alla valutazione un sistema che premi i migliori questi sono spronati a raggiungere performance elevate.

3 Il tema richiama quello dei ranking degli Atenei e dei loro effetti sul reclutamento degli studenti. Non possiamo affrontarlo in queste pagine; ci limitiamo ad affermare che gli effetti dei ranking non sembrano avere sugli studenti italiani, per il momento, un effetto analogo a quello che producono in altri Paesi, dove la mobilità studentesca è più facile e i sistemi sono diversamente organizzati e le graduatorie sono spesso articolate per ambiti di interesse dei potenziali allievi (qualità della ricerca, occupabilità degli studenti, servizi forniti agli studenti, ecc.).

4 Si usa questo lessico per segnalare il fatto che la variabile continua costituita dai punteggi medi dei due referee viene arbitrariamente sezionata in intervalli cui sono assegnate le etichette verbali categoriali sopra dette (ma sotto le quali stanno intervalli di punteggi), cui viene fatto corrispondere un valore (1, 0,8, ecc.) che non corrisponde al punto centrale di ogni intervallo, ma ad un valore compreso in un intervallo tra zero e uno, definito tuttavia in modo arbitrario (ossia non coerente con la trasformazione della scala Cantrill, che va da 1 a 10, in una scala che va da 0 a 1).

5 In realtà tra 0,1 e 1, essendo il punto minimo della Cantrill non 0, ma 1.

Torna su

Per citare questo articolo

Notizia bibliografica

Mauro Palumbo, Sergio Scamuzzi e Paola Borgna, «Valutazione della ricerca: solo effetti perversi?»Quaderni di Sociologia, 95 - LXVIII | 2024, 7-23.

Notizia bibliografica digitale

Mauro Palumbo, Sergio Scamuzzi e Paola Borgna, «Valutazione della ricerca: solo effetti perversi?»Quaderni di Sociologia [Online], 95 - LXVIII | 2024, online dal 01 mars 2025, consultato il 19 mai 2025. URL: http://journals.openedition.org/qds/7057; DOI: https://doi.org/10.4000/13k0d

Torna su

Autori

Mauro Palumbo

DISFOR – Dipartimento di Scienze della Formazione – Università di Genova

Articoli dello stesso autore

Sergio Scamuzzi

Dipartimento di Culture, Politica e Società – Università di Torino

Articoli dello stesso autore

Paola Borgna

Dipartimento di Filosofia e Scienze dell’Educazione – Università di Torino

Articoli dello stesso autore

Torna su

Diritti d'autore

CC-BY-NC-ND-4.0

Solamente il testo è utilizzabile con licenza CC BY-NC-ND 4.0. Salvo diversa indicazione, per tutti agli altri elementi (illustrazioni, allegati importati) la copia non è autorizzata ("Tutti i diritti riservati").

Torna su
Cerca su OpenEdition Search

Sarai reindirizzato su OpenEdition Search