1A partire dalla San Francisco Declaration on Research Assessment del 2012, si sono moltiplicate le iniziative in favore di una riforma della valutazione della ricerca che ponga al centro le pratiche di una ricerca responsabile e integra. La DORA (2012), che a ottobre 2024 conta oltre venticinquemila sottoscrizioni da centosessantasei paesi, più di tremila delle quali da parte di istituzioni1, raccomanda di non utilizzare metriche basate sulle riviste (come il Journal Impact Factor) per valutare la qualità dei singoli articoli di ricerca e i contributi di un singolo scienziato e nelle decisioni in merito a reclutamento, promozione o finanziamento della ricerca.
2La stessa impostazione si ritrova nel report The Metric Tide (Wilsdon et al., 2015), redatto da un gruppo di esperti indipendenti del Regno Unito, e nel Leiden Manifesto (Hicks et al., 2015), che hanno avuto notevole risonanza internazionale. In accordo con i dieci principi definiti nel Manifesto, una valutazione della ricerca è responsabile se le metriche sono utilizzate a supporto di una valutazione qualitativa, se i risultati sono considerati nel contesto della missione di ricerca di un’istituzione, se vengono riconosciuti contributi che hanno rilevanza a livello locale e, infine, se i processi di raccolta e di analisi dei dati sono trasparenti. In quest’ultima direzione si muove anche la recente Barcelona Declaration on Open Research Information, sempre a guida olandese, che impegna chi la sottoscrive a fare in modo che l’apertura delle informazioni sulla ricerca sia l’impostazione predefinita, anche sostenendo infrastrutture che siano aperte e sostenibili (Kramer et al., 2024).
3Gli Hong Kong Principles for Assessing Researchers pubblicati a luglio 2020 in seguito alla sesta Conferenza mondiale sull’integrità della ricerca, si pongono l’obiettivo di assicurare che i ricercatori siano riconosciuti e premiati per le attività che rafforzano l’integrità della ricerca stessa; anche in questo caso, la visione generale è articolata in una serie di principi. Il primo richiede di valutare i ricercatori in base a pratiche responsabili che coprono le diverse fasi di ricerca (dalla concezione dell’idea, fino al suo sviluppo e alla sua realizzazione, comprese la metodologia, l’esecuzione e l’effettiva divulgazione). Il secondo principio consiste nel valorizzare la comunicazione trasparente di ogni ricerca, indipendentemente dai risultati ottenuti. Il terzo, nel valorizzare le pratiche della scienza aperta. Il quarto e il quinto principio richiedono di valorizzare un’ampia gamma di ricerche, studi e contributi che sono parte essenziale dell’attività accademica, tra cui la revisione tra pari, il tutoraggio, attività di sensibilizzazione e finalizzate alla condivisione di conoscenza (Moher et al., 2020, 4).
4Le raccomandazioni e i principi sopra riportati sono stati ripresi nello scoping report della Commissione europea Towards a Reform of the Research Assessment System, pubblicato alla fine del 2021 al termine di un processo di consultazione durato nove mesi, e che ha visto discutere numerosi rappresentanti di Enti di ricerca, università e loro associazioni, finanziatori della ricerca, infrastrutture e rappresentanti degli Stati membri dell’Unione e dei Paesi associati, sui termini di una riforma della valutazione della ricerca. L’esito di tale processo, descritto in dettaglio in appendice del report (Commissione europea, 2021, 13-17), ha reso evidente la necessità di avviare un’iniziativa europea che facilitasse e accelerasse una riforma, al fine di valorizzare il merito intrinseco e le attività di ricerca piuttosto che il numero di pubblicazioni e il luogo in cui sono pubblicate. Lo scoping report parte dall’assunto che i processi di ricerca stanno subendo una trasformazione digitale, che li rende meno lineari, più collaborativi e aperti, nonché sempre più multidisciplinari e che tale cambiamento dà esito a una maggiore varietà di risultati. Allo stesso tempo, il rapporto riconosce che l’attuale sistema di valutazione della ricerca utilizza spesso metodi inadeguati e limitati per valutare la qualità, le prestazioni e l’impatto della ricerca e dei ricercatori – limitandosi a prendere in considerazione quasi esclusivamente il numero di pubblicazioni su riviste con elevato Journal Impact Factor e il numero delle citazioni, vale a dire criteri meramente quantitativi, e basati su metriche tradizionali.
5Viceversa, il report si pone l’obiettivo di stimolare e di premiare le pratiche della scienza aperta, in particolare la collaborazione, anche riconoscendo i diversi contributi dei singoli ai gruppi di ricerca, la condivisione di conoscenze e il coinvolgimento di diversi attori sociali, e incoraggiando la ricerca multi-, inter- e transdisciplinare, nonché lo sviluppo di percorsi di carriera non tradizionali.
6Le pratiche della scienza aperta sono dunque riconosciute come un elemento essenziale a definire la qualità della ricerca, e possono essere valorizzate soltanto attraverso una valutazione qualitativa basata sulla peer review, supportata da un uso responsabile di indicatori quantitativi.
7Tale impostazione si è tradotta nei principi e negli impegni dell’Agreement on Reforming Research Assessment (ARRA) del 20222, e nella successiva istituzione della Coalition for Advancing Research Assessment (CoARA), che nasce per facilitare lo scambio di informazioni e l’apprendimento reciproco e per consentire così una riforma sistemica basata su principi comuni, in particolare attraverso gruppi di lavoro3 (che hanno come focus argomenti specifici) e capitoli nazionali4 le cui attività sono incentrate sulla comunicazione e sull’adozione dei principi e degli impegni dell’ARRA a livello dei singoli Stati5. Alla Coalizione si aderisce sottoscrivendo l’ARRA e impegnandosi così a rispettarne i principi e gli impegni. I membri di CoARA formalizzano il proprio programma di riforma in un Piano d’azione istituzionale da pubblicare entro un anno dalla firma dell’Accordo (limite che è stato esteso a un anno e mezzo per i primi firmatari)6.
- 7 Attraverso il programma di CoARA Boost saranno finanziati almeno cinquanta progetti, distribuendo u (...)
8A sostegno della Coalizione, la Commissione europea attraverso il programma Horizon Europe finanzia il progetto CoARA Boost, un’azione di coordinamento e supporto che fornisce supporto operativo alla coalizione, sia internamente – anche attraverso un meccanismo di finanziamenti rivolti alle singole organizzazioni7 per sostenerle nei processi di riforma –, sia esternamente, promuovendo l’adesione a CoARA a livello globale e rafforzando la cooperazione internazionale in favore di una riforma della valutazione della ricerca.
9Il breve testo dell’ARRA descrive i principi, gli impegni e il calendario della riforma, e fornisce una serie di allegati – strumenti che offrono esempi utili a tradurre in pratica gli stessi principi e impegni enucleati.
10Le azioni che i firmatari dell’accordo si impegnano a realizzare sono definite nei quattro impegni fondamentali che costituiscono il cuore della riforma e i termini della valutazione qualitativa proposta. Il primo consiste nel riconoscere «le diverse pratiche, attività e carriere nella ricerca, tenendo in considerazione la natura specifica delle discipline e di altre intraprese di ricerca» (ARRA, 2024, 11). L’obiettivo è qui spostare l’attenzione dalle pubblicazioni (ad alto impatto), per coprire l’intero spettro delle produzioni scientifiche, includendo tra queste non solo i prodotti in senso stretto (come le pubblicazioni, i dati, il software) ma anche quelle pratiche che contribuiscono alla solidità, all’apertura, alla trasparenza e all’inclusività della ricerca e dei suoi processi, come la revisione tra pari, e le attività d’insegnamento, attività direzionali o di coordinamento, la supervisione, la formazione e il tutoraggio di studenti e giovani ricercatori (ibidem). Si tratta di far emergere un’ampia gamma di prodotti, pratiche e attività che nell’attuale sistema di valutazione restano nascoste e non vengono valorizzate, e che sono state spesso rappresentate come la parte nascosta (e prevalente) di un iceberg (l’attività di ricerca e le pratiche che definiscono la professione di ricerca) di cui, finora, è visibile e valorizzata solo la punta (un piccolo sottoinsieme di pubblicazioni, gli articoli su riviste ad alto impatto).
11In accordo col secondo impegno, «la valutazione della ricerca deve basarsi in primo luogo su un giudizio qualitativo, per il quale è centrale la revisione tra pari, sostenuto da un uso responsabile di indicatori quantitativi, quando pertinenti» (ivi, 13). Nell’ARRA, la peer review è individuata come «il più solido metodo conosciuto per valutare la qualità della ricerca e ha il vantaggio di essere in mano alla comunità̀ scientifica» (ibidem). L’ARRA inoltre fornisce una generale definizione dei principi sui cui si deve basare un processo corretto di peer review, rimandando a quelli proposti dal Global Research Council (2018) concepiti per soddisfare i principi fondamentali di rigore e trasparenza: valutazione da parte di esperti, imparzialità, appropriatezza, riservatezza, integrità e considerazioni etiche, di genere, uguaglianza e diversità. Allo stesso tempo, riconosce che a) la comunità di ricerca dovrà rivalutare e migliorare regolarmente le pratiche di peer review, e che b) i ricercatori dovrebbero ricevere un riconoscimento per quest’attività, che dovrebbe essere valutata nel reclutamento e nelle progressioni di carriera (ibidem). Il gruppo di lavoro di CoARA dal titolo Recognizing and Rewarding Peer Review8, che è guidato da CoAlition S e dall’Università di Leiden e ha avviato i suoi lavori nell’autunno 2023, ha un piano di lavoro di due anni in cui si propone di raccogliere sistematicamente dati e prove sulle modalità con cui le attività di peer review di alta qualità possono essere riconosciute e ricompensate, per poi utilizzare le informazioni raccolte per definire principi e linee guida, la cui applicazione potrà essere sperimentata da Università, Enti di ricerca ed enti finanziatori nelle procedure di valutazione.
- 9 Per un’analisi degli effetti dannosi delle pratiche di valutazione tradizionali mi permetto di rima (...)
12Il terzo e il quarto impegno dell’ARRA si concentrano su alcune tipologie di indicatori quantitativi, di cui richiedono l’abbandono: le metriche relative a sede, formato, o lingua di pubblicazione; l’uso delle classifiche universitarie (ranking) per valutare la qualità della ricerca o dei ricercatori; gli indicatori bibliometrici basati su autore o pubblicazione come il Journal Impact Factor e l’h-index come strumenti esclusivi per valutare qualità e/o impatto. Si riconosce qui in modo evidente che l’abuso di questi indicatori ha prodotto effetti dannosi per la comunicazione della ricerca scientifica, ampiamente dimostrati e documentati (Biagioli, Lipmann, 2020)9.
13Il modo in cui questi impegni fondamentali e i sei di supporto saranno tradotti in azioni pratiche da parte degli aderenti a CoARA sono, lo si è detto, i Piani d’azione istituzionali, uno strumento attraverso il quale le singole istituzioni rendono ufficialmente noto il proprio programma di riforma sia internamente, sia esternamente, secondo la logica che una riforma non possa che essere globale e che le buone pratiche esistenti possano essere di stimolo e d’ausilio anche in contesti diversi.
14Se è ancora presto per trarre conclusioni o insegnamenti, uno sguardo preliminare a quelli ad oggi pubblicati mostra che si tratta in generale di documenti molto snelli (la cui lunghezza varia tra le due e le sei/sette pagine) e di alto livello, che definiscono le azioni guida che verranno intraprese per rispettare gli impegni di CoARA. Sarà interessante condurre un’analisi approfondita, così come anche studiare le buone pratiche che verranno messe in atto dalle comunità di ricerca, per capire e condividere tendenze, scelte ma anche sfide e difficoltà.
15Altri strumenti utili a tradurre gli impegni in pratica si trovano in appendice dell’ARRA, e in particolare nell’allegato 4, il Toolbox: practical tools and options to consider, che rimanda a una serie di indicazioni e di strumenti che possono aiutare a rispondere alle necessità delle istituzioni che intendono attuare la riforma (ARRA, 2024, 36-51).
16Uno strumento metodologico molto importante, a cui si fa ampio riferimento, è lo SCOPE Framework for Research Evaluation (INORMS, 2021) sviluppato dal Research Evaluation Group (REG) dell’International Network of Research Management Societies (INORMS). Il framework propone una metodologia e un processo in cinque passaggi attraverso cui tradurre in pratica i principi della valutazione responsabile della ricerca. SCOPE è l’acronimo delle cinque fasi della metodologia:
-
«START with what you value»: bisogna avviare il processo partendo da ciò che si apprezza e che si intende valorizzare. In pratica, è fondamentale avere chiari i valori di partenza, che devono essere espliciti sia ai valutatori sia a chi viene valutato, evitando errori comuni come il cosiddetto “effetto lampione”, che consiste nel valutare qualcosa semplicemente perché si dispone di dati al riguardo.
-
«CONTEXT considerations»: è necessario assicurarsi che la valutazione sia specifica per il contesto, avendo chiaro chi si sta valutando (considerando la dimensione e la disciplina dell’oggetto o soggetto valutato) e perché lo si fa. Si può infatti valutare per diversi scopi, ad esempio per incentivare comportamenti, per premiare (come nel caso degli avanzamenti di carriera), o per monitorare. Considerazioni sul contesto sono fondamentali per la scelta degli indicatori rilevanti.
-
«OPTIONS for evaluating»: lo scopo di questa fase è esplorare tutte le opzioni di valutazione disponibili, sia qualitative che quantitative, per valutare i valori all’interno del contesto, facendo attenzione a non usare indicatori quantitativi per valutare elementi qualitativi (come il numero di citazioni per valutare la qualità di una ricerca) e viceversa. In generale, è però fondamentale che gli indicatori siano validi (che, cioè, riflettano il concetto misurato), comprensibili, trasparenti (inclusi i dati alla base, che dovrebbero essere pubblici e documentati), equi (dovrebbero essere evitati pregiudizi sistematici), adattivi (i criteri dovrebbero essere aggiornati quando pregiudizi o abusi diventino evidenti) e riproducibili, in primis da chi li utilizza.
-
«PROBE deeply»: molti dei problemi che attualmente dominano l’approccio alla valutazione della ricerca avrebbero potuto essere evitati se fossero stati verificati e testati al principio, al fine di individuarne l’impatto potenzialmente dannoso e le possibili conseguenze indesiderate. Per questa ragione, nella quarta fase si invita a porsi le seguenti domande: chi potrebbe essere discriminato da questo approccio? In che modo potrebbe essere truccato? Quali potrebbero essere le conseguenze indesiderate? E qual è il rapporto costi-benefici?
-
«EVALUATE your evaluation»: l’ultima fase consiste nel valutare la stessa valutazione. Questo consentirà di individuare eventuali effetti distorsivi che non sono emersi nella fase precedente, e di tenerne conto per migliorare gli esercizi successivi.
17Lo SCOPE Framework si basa inoltre su tre principi guida:
1. Valutare solo se necessario. Si riconosce che la ricerca e i ricercatori sono sottoposti a numerosi esercizi valutativi, non sempre necessari, e che questo abbia un impatto negativo sulla cultura della ricerca. Tale fenomeno è aggravato dalla cattiva qualità delle pratiche di valutazione, come l’impiego di metriche di citazione delle riviste per valutare i singoli ricercatori. Perciò, il primo principio incoraggia coloro che intendono avvalersi di SCOPE in un esercizio valutativo a chiedersi, in primis: “Abbiamo bisogno di una valutazione?”
-
2. Valutare con i valutati. Secondo questo principio, ogni valutazione dovrebbe essere co-progettata dalle comunità scientifiche che ne sono oggetto. Il principio della collaborazione assume qui un ruolo chiave.
-
Attingere alle competenze di valutazione. Il terzo principio richiede di applicare agli esercizi di valutazione lo stesso rigore che applichiamo alla ricerca accademica. Questo comporta anche un implicito riconoscimento del valore scientifico di tali attività.
-
Il framework SCOPE aiuta dunque a calare i principi della riforma nei diversi contesti, spingendo a riflettere sulla necessità e lo scopo dello stesso esercizio di valutazione, a partire dal contesto in cui si attua. Pertanto, pur trattandosi di uno strumento di alto livello, ha una forte valenza pratica.
- 10 La matrice è pubblicata nel rapporto Commissione europea (2017a).
18Un’ulteriore indicazione di metodo che si trova nel Toolbox allegato all’ARRA è il suggerimento di adottare un approccio a portfolio, in modo da valorizzare diverse esperienze, attività e competenze dei ricercatori. Un esempio di questa impostazione è la Open Science Career Assessment Matrix (OS-CAM) pubblicata nel 201710, il cui obiettivo è definire un quadro di valutazione multidimensionale, o a portfolio, attraverso cui valorizzare diversi aspetti della carriera di un ricercatore. È opportuno osservare che la scienza aperta è un principio guida di OS-CAM, e che tutti i risultati e le attività sono valutati in base al loro grado di apertura. Esempi di tale approccio sono il modello olandese e quello norvegese, che sono stati selezionati come casi studio nel presente paper in quanto primi modelli di valutazione qualitativa diffusi in Europa, e che hanno anticipato molti dei principi di ARRA e CoARA. I due esempi sono descritti rispettivamente nei paragrafi 3.1 e 3.2.
- 11 In bibliografia sono riportati i riferimenti completi ai modelli utilizzati.
19Infine, nel Toolbox si suggerisce l’impiego di formati di curriculum vitae narrativi come strumento a supporto di una valutazione qualitativa. Tali modelli vengono utilizzati in maniera crescente da molti finanziatori, tra cui è possibile menzionare lo US National Institutes of Health (NIH) e la National Science Foundation (NSF), che li hanno introdotti nel 2015, il Consiglio delle ricerche olandese (NWO), e Science Foundation Ireland (SFI), che hanno introdotto i primi modelli tra il 2018 e il 2019, la Swiss National Science Foundation (SNSF) che li ha adottati l’anno successivo, e il Luxembourg National Research Fund (FNR), UK Research and Innovation (UKRI), Joint Funders Group (JFG), University of Glasgow (Bordignon et al., 2023), e il Consiglio nazionale delle ricerche francese (Rousset, 2021), che li hanno introdotti nel 202111. Formati di CV narrativo sono stati impiegati anche in Italia dal CNR nel 2023 nelle procedure di avanzamento di carriera di ricercatori e tecnologi. Alcuni esempi saranno esaminati nel paragrafo 4, anche allo scopo di individuarne le caratteristiche fondamentali.
- 12 Si vedano in particolare VSNU et al. (2019; 2023); Universities Norway (2021).
20Gli esempi riportati nel seguito costituiscono, come anticipato, due primi tentativi di definizione di framework per una valutazione qualitativa della ricerca, volta a far emergere e a valorizzare prodotti, processi e attività di ricerca di diversa natura e tipologia. Per l’analisi di entrambi si sono utilizzati materiali di carattere istituzionale, resi pubblici dalle istituzioni che li hanno definiti e poi adottati12.
- 13 Alla redazione del position paper hanno partecipato rappresentanti delle seguenti organizzazioni: V (...)
21La prima iniziativa che ha proposto un approccio a portfolio, teso a valorizzare le diverse e molteplici componenti che caratterizzano la professione di ricerca, è delineata nel position paper A Room for Everyone’s Talent (VSNU et al., 2019)13.
- 14 Il programma Recognition and Reward ha visto una prima fase di sperimentazione (2020-2022) e ha una (...)
- 15 I Paesi che effettuano esercizi di valutazione nazionale sulla qualità della ricerca comprendono: P (...)
22Frutto della collaborazione tra associazioni universitarie, finanziatori e associazioni accademiche olandesi, il position paper olandese ha fornito le linee guida per la riforma poi avviata dai finanziatori della ricerca dei Paesi Bassi e conosciuta come programma Recognition and reward14. In particolare il protocollo di valutazione standard (Standard Evaluation Protocol-SEP) 2021-202715, utilizzato per valutare le unità di ricerca, ne fa propri i principii. Le università, i centri medici universitari e gli istituti di ricerca hanno tradotto il framework nazionale in criteri di valutazione specifici per la singola istituzione. E diversi finanziatori hanno fatto propria la medesima impostazione nella definizione dei curriculum narrativi o evidence-based.
23Il modello proposto richiede in primo luogo di riconsiderare la definizione stessa di professioni di ricerca, facendo emergere tutte le attività che le caratterizzano. Si passa quindi dalla valutazione delle sole pubblicazioni (e dal riconoscere in particolare un sottoinsieme di queste, gli articoli su riviste ad alto impatto) tradizionalmente rientranti nell’area Ricerca, alla valorizzazione di altre attività e risultati, che rientrano nelle cinque aree che seguono:
-
Formazione
-
Ricerca
-
Impatto
-
Leadership
-
Assistenza ai pazienti (nelle Facoltà di medicina)
24L’adozione di un’impostazione a portfolio risponde dunque alla necessità di rendere visibili e di valorizzare le attività che costituiscono una parte essenziale e spesso prevalente delle professioni di ricerca, e che restano oscurate o nascoste nel sistema di valutazione tradizionale. Poiché si tratta di un cambiamento radicale nella cultura e nelle pratiche di ricerca, il position paper olandese riconosce la necessità di avviare attività di informazione e formazione a sostegno dei ricercatori e di fornire linee guida e strumenti formativi alle commissioni esaminatrici, così come l’impegno a collaborare a livello internazionale, sia attraverso associazioni (come la European University Association e Science Europe), sia tramite il Ministero per la ricerca olandese e con la Commissione europea.
25Gli obiettivi della riforma sono enucleati nel seguito e comprendono:
-
Diversificare e rivitalizzare i percorsi di carriera. Come è evidente, uno degli scopi principali della riforma proposta è consentire una maggiore varietà di percorsi e di profili professionali, riconoscendo e premiando diverse competenze e attività. A causa dell’interconnessione tra didattica (nel testo, formazione) e ricerca tipica del sistema universitario olandese, che richiede agli accademici competenze nelle prime due aree, entrambe dovranno essere presenti in ogni modello di profilo accademico. Un ulteriore obiettivo di tale modello è rendere possibili percorsi di carriera flessibili, affinché i ricercatori possano orientarsi, nel corso del tempo, in diverse attività. Riconoscere la varietà di attività è necessario anche per il secondo obiettivo, ove all’interno di un gruppo di ricerca, di un dipartimento o di una facoltà, i diversi profili e background complementari si integrano in un insieme coerente.
Pubblicata nel 2023, la roadmap del programma Recognition and Reward prevede la creazione di percorsi di carriera e di avanzamento per le posizioni di professore con profili che si articolano nelle cinque aree individuate nel position paper, e il fatto che i valutatori tengano conto del percorso di carriera scelto dal candidato.
-
Trovare un equilibrio tra l’individuo e il gruppo. È importante riconoscere e valorizzare ruoli diversi, anche all’interno dei gruppi di ricerca, e dar valore non solo alle prestazioni individuali, ma anche al contributo a gruppi, dipartimenti, consorzi, e all’istituzione in generale. Nella pratica, questo principio si traduce nella definizione di criteri che diano enfasi alla cosiddetta team science e alle collaborazioni interdisciplinari, ad esempio valorizzando la partecipazione a consorzi di ricerca. Ciò contribuirà a favorire una cultura del lavoro maggiormente inclusiva, che tenga conto della natura complessa e interdisciplinare degli attuali problemi scientifici e sociali, e implica la ricerca di un maggiore equilibrio tra la collaborazione all’interno di una singola disciplina e interdisciplinare, da un lato, e lo sviluppo di forti basi disciplinari dall’altro. La roadmap del programma Recognition and Reward (VSNU et al., 2023) si propone di tradurre tale strategia in un piano del personale in modo da far sì che i dipartimenti e le altre unità organizzative possano descrivere le capacità e competenze di cui hanno bisogno anche per quanto riguarda il loro contributo al gruppo o al dipartimento. Dal 2024 si prevede inoltre di ricompensare tale contributo all’interno degli esercizi di valutazione.
-
- 16 Il report non contiene una definizione di qualità. La ricerca di qualità è però implicitamente ed e (...)
- 17 In un dibattito del 2023, Matilde Galli, ricercatrice e coordinatrice di un gruppo di ricerca in sc (...)
Porre al centro la qualità. Un principio cardine della riforma è che la ricerca sia valutata ponendo minor enfasi su elementi quantitativi (come il numero di pubblicazioni) e maggiore attenzione alla qualità16, al contenuto, all’integrità scientifica, alla creatività, al contributo scientifico e/o sociale, valorizzando il profilo specifico del ricercatore/docente e delle aree in cui opera. Nel riconoscere che esistono diverse possibili risposte alle domande su che cosa costituisca una buona ricerca, o su che cosa sia il merito, tali questioni saranno al centro della discussione della stessa comunità scientifica e accademica17. Secondo la roadmap nel 2024 verranno specificate le caratteristiche per il reclutamento e le promozioni del personale di ricerca che saranno utilizzate nelle diverse aree chiave. Nel farlo si terrà conto delle differenze disciplinari, condividendo quelle che sono riconosciute come buone pratiche, anche attraverso un coordinamento nazionale, e coinvolgendo la comunità scientifica e le commissioni esaminatrici. Si prevede inoltre un maggior uso di CV narrativi, e di portfolio di valutazione basati su evidenze.
-
Stimolare la scienza aperta. La scienza aperta è strettamente legata alla riforma del sistema di valutazione, dei riconoscimenti e delle premialità che il position paper introduce, e la sua promozione è tra gli scopi principali della riforma. I punti sopra menzionati sono tutti elementi che definiscono le pratiche della scienza aperta, che la riforma intende riconoscere e valorizzare. Il programma delle azioni future pubblicato nel 2023 specifica che a partire dal 2024 le attività relative alla scienza aperta e alla formazione aperta saranno considerate prioritarie nello sviluppo e nella valutazione del personale.
-
Incoraggiare la leadership accademica. Infine, uno degli obiettivi è valorizzare la buona leadership accademica a tutti i livelli, tanto tra i giovani quanto tra i ricercatori affermati, e include non solo attività di direzione e coordinamento in senso stretto, ma anche la supervisione di studenti e dottorandi. Questo obiettivo è complementare al secondo. Come chiarito nella roadmap del programma Recognition and Reward, a partire dal 2024 ci si concentrerà su un approfondimento del significato di buona leadership e del suo ruolo nel reclutamento e negli avanzamenti di carriera.
26Come è facile osservare, i principi e gli impegni dell’ARRA riprendono la maggior parte degli argomenti e degli obiettivi del position paper olandese, che è stato anche d’ispirazione per la definizione della Norwegian Career Assessment Matrix (NOR-CAM), pubblicata nel 2021.
27Nel 2019 un gruppo di lavoro nominato da Universities Norway (UHR) è stato incaricato di individuare i principi guida per una valutazione della ricerca che tenesse conto della transizione verso la scienza aperta e le sue pratiche. Il gruppo di lavoro ha lavorato a stretto contatto con iniziative simili in diversi altri Paesi europei, oltre che nella European University Association, con il mandato di elaborare principi guida per la valutazione della ricerca in alcuni ambiti specifici: le proposte di progetto di ricerca, il reclutamento e gli avanzamenti di carriera (Universities Norway, 2021).
28La matrice di valutazione della carriera norvegese (NOR-CAM) presenta un quadro sistematico in cui sono valutati diversi elementi, i quali possono essere combinati per scopi ed esigenze diverse. NOR-CAM e il relativo quadro di valutazione si rivolgono dunque alle istituzioni accademiche e ai finanziatori della ricerca, che sono chiamati ad utilizzarlo per le procedure valutative nelle aree sopra menzionate, anche aggiornando le proprie linee guida e assicurando che le commissioni esaminatrici siano informate e formate adeguatamente. La matrice e il framework ad essa associato sono stati pubblicati a giugno 2021 (ibidem). Le sezioni che seguono ne presentano i principi e le raccomandazioni generali come delineati nei documenti istituzionali sopra menzionati, per poi illustrare la struttura e i contenuti della matrice NOR-CAM.
29I principi su cui si basta il nuovo quadro di valutazione della ricerca sono sei.
- 18 Il Comitato nazionale per la pubblicazione scientifica norvegese ha fornito indicazioni in merito a (...)
30Il primo principio invita a usare gli indicatori bibliometrici con cautela18, integrandoli con altre informazioni, e ribadisce l’eccesso di enfasi, implicita e quasi esclusiva, che viene posta sugli indicatori tradizionali e quantificabili dei risultati della ricerca (ad esempio il numero di lavori pubblicati, l’h-index e il Journal Impact Factor). Come nel modello olandese, l’obiettivo qui è porre l’accento sulla qualità, sul contenuto, sull’integrità, sulla creatività e sul contributo alla ricerca e/o alla società, nonché di riconoscere e valorizzare il profilo specifico del candidato.
31Il secondo principio consiste nel riconoscere diverse competenze, ma non in tutte le aree allo stesso tempo o da parte di ciascuno. In accordo con esso, non tutti dovrebbero fare tutto; viceversa, il quadro proposto consentirà a ciascuno di posizionarsi in una o più aree principali (ricerca, insegnamento, innovazione, relazioni esterne o leadership) secondo un equilibrio che può variare nel tempo. Un aspetto fondamentale da valorizzare è il lavoro di gruppo e la collaborazione; questo principio contribuisce a farlo ove invita a riconoscere collaborazioni anche interdisciplinari, considerando le competenze e i profili (specialistici) dei singoli come parte di un insieme (gruppo di ricerca, istituto o facoltà).
32Il terzo pone la scienza aperta al centro della riforma, chiedendo di valutare tutti i risultati, le attività e le competenze alla luce dei suoi principi. La scienza aperta è un principio fondamentale della ricerca, e sta diventando il nuovo modus operandi della ricerca, pertanto deve essere riconosciuta come tale e valorizzata.
33In accordo col quarto principio è essenziale che la valutazione avvenga in modo trasparente, rendendo chiaro a chi viene valutato quello che viene valorizzato e perché. Infatti, spesso non è semplice identificare i reali criteri di valutazione per i candidati stessi (soprattutto se provenienti da altri Paesi). Il quadro proposto renderà dunque più semplice ottenere una maggiore trasparenza in tal senso.
34Riconoscendo che le pratiche di valutazione correnti possono costituire un ostacolo all’equilibrio e alla diversità di genere, il quinto principio ne richiede la promozione.
35Il sesto e ultimo principio richiede di fornire assistenza, formazione e e supporto ai processi di valutazione.
36La proposta del gruppo di lavoro si configura quindi come una guida pratica su come applicare i nuovi processi a livello istituzionale e nelle singole unità di ricerca.
37Sulla base dei principi, il gruppo di lavoro ha inoltre elaborato quattro raccomandazioni:
-
«1. Stabilire un quadro completo per la valutazione delle carriere accademiche che:
– bilanci gli obiettivi quantitativi e qualitativi e le forme di documentazione degli standard e delle competenze accademiche;
– consenta percorsi di carriera diversificati e promuova standard elevati nelle tre aree chiave: istruzione, ricerca e interazione con la società;
– riconosca le competenze indipendenti e individuali del personale accademico, nonché i risultati ottenuti in gruppo e attraverso la collaborazione;
–valorizzi i principi dell’Open Science (compresi i sistemi di valutazione aperti);
– valorizzi e incoraggi la leadership e gli incarichi gestionali (management) accademici.
-
Impegnarsi a livello internazionale nello sviluppo di un modello di valutazione norvegese perché:
– i cambiamenti nei criteri di valutazione non possono essere apportati da un solo Paese;
– il modello norvegese può contribuire a processi correlati a livello internazionale.
-
Utilizzare NOR-CAM come strumento pratico e flessibile per la valutazione dei risultati accademici, e delle competenze e dell’esperienza del personale accademico. NOR-CAM mette in evidenza sei aree di competenza attraverso la documentazione e una riflessione sistematica: si veda la matrice sottostante.
-
Sviluppare un “sistema automatico di CV” che consenta agli accademici di recuperare i dati che possono essere utilizzati per documentare le competenze e i risultati nella propria carriera, comprese le domande per posizioni, promozioni e finanziamenti esterni.» (NOR-CAM, 2021, 5-6, traduzione dell’autrice).
38Uno strumento pratico, che declina e traduce in azioni specifiche i principi e le raccomandazioni sopra illustrati è la Norwegian Career Assessment Matrix (NOR-CAM). Il gruppo di lavoro ha adattato al contesto norvegese la Open Science Career Assessment Matrix (OS-CAM) (Commissione europea, 2017), di cui ha considerato i criteri alla luce dei regolamenti istituzionali per la selezione di candidati a professori ordinari e associati, e dei regolamenti relativi al reclutamento e alla promozione dei docenti universitari. Ciò ha fornito la base per lo sviluppo di una matrice di valutazione delle competenze, uno strumento da utilizzare per la valutazione del personale accademico e delle relative carriere in Norvegia (Universities Norway, 2021, 20-21).
39La matrice è stata concepita come strumento di alto livello da declinare in specifici contesti e negli esercizi di valutazione dell’attività accademica in più aree di competenza e in modo più sistematico rispetto a quanto avveniva in precedenza.
40Le sei aree di competenza di NOR-CAM comprendono: A. i risultati di ricerca, B. i processi di ricerca, C. le competenze didattiche, D. l’impatto e l’innovazione, E. le attività di coordinamento e direzionali (leadership), e F. altre eventuali esperienze.
41Per ogni ogni area, è possibile descrivere, documentare e articolare una riflessione su risultati, esperienze, competenze e attività rilevanti. La matrice presenta alcuni esempi utili per ciascuna categoria, al fine di mostrare ciò che può essere valorizzato. Si chiarisce tuttavia che non si tratta di elenchi esaustivi, ma meramente indicativi. Inoltre, non tutti gli strumenti devono necessariamente essere utilizzati contemporaneamente; viceversa, le istituzioni sono invitate a usare solo quelli più rilevanti per la specifica valutazione in oggetto (che può riguardare un reclutamento, la promozione, o il finanziamento di progetti di ricerca).
42In generale, si raccomanda ai candidati di selezionare un numero relativamente ridotto di risultati (ad esempio tra tre e cinque lavori scientifici pubblicati), da sottoporre poi a una valutazione qualitativa. Ai candidati è inoltre data l’opportunità di riflettere sulla rilevanza dei risultati all’interno di una o più aree di competenza, includendo considerazioni sull’utilizzo dei risultati di ricerca in un contesto più ampio, anche al di fuori del mondo accademico. La base della valutazione diventa quindi una combinazione di risultati documentabili e di una parte narrativa in cui il candidato dà ragione delle scelte operate.
43In accordo con il principio secondo il quale l’accesso aperto ai risultati e ai processi di ricerca sono obiettivi chiave che favoriscono la verificabilità, la qualità e il riuso della conoscenza, si richiede che le descrizioni in ogni categoria includano una chiara indicazione del grado di apertura dei risultati e dei processi sottoposti a valutazione.
44La prima colonna presenta le sei aree di competenza proposte, mentre nella seconda colonna sono riportati esempi di risultati e competenze rilevanti in ciascuna area. È chiaro che gli elementi da includere e il loro peso potranno variare a seconda della posizione da ricoprire e del profilo dell’istituzione. Come si è già osservato, sarà poi responsabilità e cura delle stesse istituzioni dare priorità a una o più aree o componenti nel singolo processo di valutazione. È altresì evidente come un approccio come quello proposto nel framework SCOPE sia fondamentale per declinare uno strumento generale come la NOR-CAM nel contesto di valutazione in cui è applicato. In quest’ottica va la possibilità per i candidati di spostare risultati e competenze da una cella all’altra, o di presentarne alcuni in più di una cella. Ad esempio, la citizen science può rientrare sia nell’area di competenza B. Processi di ricerca che in D. Impatto e innovazione.
45La terza colonna, relativa alla documentazione, è individuata negli stessi documenti istituzionali come il tallone d’Achille del sistema proposto. È evidente infatti che la disponibilità di dati e informazioni affidabili è una condizione necessaria all’affermarsi del nuovo modello, e che invece i dati al momento disponibili riguardano quasi esclusivamente le pubblicazioni. Per valutare la qualità (reale) in altre aree di competenza, sarà dunque indispensabile disporre di strumenti e infrastrutture che consentano di documentare sistematicamente e in formati trasparenti, aperti e verificabili che ne consentano il riuso, le attività che rientrano nelle aree B.-F. Si rendono dunque necessari sforzi tesi a identificare le fonti pertinenti, e consentire l’accesso ai dati da esse provenienti, anche considerando il fatto che molte attività sono attualmente documentate, ma che le informazioni esistenti sono disperse tra diversi database e registri e non sempre sono interoperabili.
46La quarta colonna della matrice deve contenere una riflessione del candidato sulle sue attività, e può essere utilizzata per proporre un’autovalutazione dei propri risultati e delle competenze. L’obiettivo è creare un collegamento tra i dati documentabili o misurabili presentati nella terza colonna, e una valutazione qualitativa proposta dal candidato stesso. Il formato di curriculum narrativo, che si è diffuso negli ultimi anni e viene adottato in misura crescente dagli enti finanziatori della ricerca, è menzionato sia nella sezione “riflessione” della NOR-CAM (di cui costituisce un buon esempio), sia nel Toolkit pubblicato in appendice all’ARRA. Esso si propone come strumento per una valutazione qualitativa del percorso di un ricercatore – a complemento del peer review dei prodotti selezionati e di altri dati quantitativi sulla sua carriera e la produzione scientifica intesa in senso lato.
47Se i curricula narrativi sono un modello che si sta affermando in tempi piuttosto recenti, vale la pena osservare che lo stesso template di curriculum vitae scientifico tradizionale è stato introdotto da meno di cinquant’anni negli anni ‘70-’80 del secolo scorso (Hamann, Kaltenbrumer, 2020). Il modello standard di cv scientifico è una successione di liste di item biografici e bibliografici, raggruppati in categorie standardizzate a cui il candidato è chiamato a conformarsi. Si tratta di uno strumento a più livelli, in cui i singoli item sono collegati a pubblicazioni e altri “fatti”, registrati in database, archivi (istituzionali e disciplinari), anagrafi della ricerca, il cui formato facilita la comparazione tra individui.
48L’aggettivo “narrativo” definisce un curriculum vitae caratterizzato da elementi riflessivi, come descritto nella NOR-CAM, e si contrappone al curriculum concepito come elenco dei risultati scientifici. Il passaggio ai CV narrativi segna il ritorno a un formato noto negli anni ’50 e ’60, e utilizzato in Germania nelle scienze umane e sociali in cui le attività accademiche sono presentate in prima persona e in forma testuale e narrativa e in cui gli elementi quantitativi sono menzionati a supporto della narrazione proposta (Bordignon et al., 2023).
49Bordignon et al. (2023, 314) hanno in particolare osservato come, significativamente, la letteratura scientifica vera e propria sull’argomento sia scarsa; tuttavia, l’analisi di numerose fonti non tradizionali (editoriali, interviste, commenti e blog post) riflette l’ampia discussione pubblica sul tema. A partire dal 2015 sono stati avviati alcuni esperimenti in cui i nuovi formati di CV sono stati introdotti in sostituzione di quelli tradizionali.
50Il primo introdotto in ambito europeo è il narrative CV del Consiglio delle ricerche olandese (NWO)19 che dal 2019 è adottato negli schemi di finanziamento olandesi. Il CV narrativo è composto di due parti: il profilo accademico (narrativo) e i risultati principali, una categoria che include pubblicazioni, set di dati, brevetti e software. Al candidato si richiede in particolare di presentare un numero di risultati scientifici di impatto limitato (massimo dieci) piuttosto che un elenco completo di pubblicazioni, e che tali risultati siano ad accesso aperto. Il CV narrativo utilizza le aree individuate nel position paper olandese e descritte nel paragrafo 3.1.
51Due ulteriori esempi sono i modelli introdotti dal CNRS in Francia nel 2021, e dal CNR in Italia nel 2023, che presentano alcune caratteristiche simili a quello olandese, ma anche alcune specificità. Nel modello adottato dal CNRS per le progressioni di carriera (Rousset, 2021) i principali cambiamenti introdotti possono essere riassunti in sei punti fondamentali:
-
Sono i risultati stessi che devono essere valutati, non il fatto che siano stati pubblicati su una rivista prestigiosa o su altri mezzi di comunicazione noti.
-
Non è necessario fornire un elenco completo dei prodotti. Viceversa, il candidato ne sceglie un numero limitato (fino a un massimo di dieci). Di ogni prodotto citato nel dossier di valutazione, il ricercatore deve spiegare la portata, l’impatto e il contributo individuale.
-
Devono essere accettati tutti i tipi di prodotto.
-
Tutti i prodotti menzionati devono essere accessibili in HAL, che è l’archivio aperto istituzionale del CNRS, o eventualmente in un altro archivio aperto.
-
Nelle domande di avanzamento di carriera, i candidati devono spiegare cosa hanno fatto in cinque diverse aree, che includono: 1) Contributi al progresso scientifico, 2) Formazione attraverso la ricerca, l’insegnamento, l’exploitation e la diffusione della conoscenza scientifica, (3) Innovazione, trasferimento e valorizzazione dei risultati della ricerca, (4) Gestione e/o assunzione di responsabilità collettive (5) Mobilità geografica, tematica o funzionale.
-
Infine, i candidati sono chiamati a dare un peso alla propria attività, distribuendo un punteggio totale di quaranta punti tra le suddette cinque aree in misura proporzionale all’importanza che ciascuna ricopre all’interno del proprio percorso.
- 20 I template e le linee guida sono accessibili come allegati ai bandi dei concorsi 315.62, 315.63, 31 (...)
52Nel 2023 il Consiglio Nazionale delle Ricerche (CNR) ha adottato un modello di CV narrativo basato su principi simili nelle selezioni per avanzamento di carriera di ricercatori e tecnologi20. Ai candidati si è chiesto di presentare una selezione di prodotti o titoli (che comprendono dunque attività fondamentali per l’Ente in quanto rientrano nella sua missione), e di posizionarsi rispetto a una serie di ambiti (per i ricercatori, tre) attribuendo un peso relativo alle proprie attività. Il template di cv allegato al bando richiede di spiegare il valore dei propri risultati e attività in forma discorsiva, con l’eventuale supporto di indicatori quantitativi.
53Il template che ha avuto in assoluto maggiore eco è il Résumé for researchers (R4R) della Royal Society21, introdotto dapprima come pilota e poi esteso a UK Research and Innovation (UKRI) e Joint Funders Group (JFG) nel 2019 (Meadmore et al., 2022).
54Strutturato in quattro moduli principali, è inteso come strumento flessibile e adattabile al contesto in cui viene impiegato (The Royal Society, 2019). La scelta del titolo (Résumé e non curriculum) fa capire che si predilige un approccio narrativo in cui esporre una sintesi e una selezione delle esperienze più significative che sono inserite in un contesto, piuttosto che un elenco completo delle attività svolte (Lamb, 1984).
55Dopo un primo campo in cui al candidato è richiesto di inserire i propri dati personali, che comprendono elementi relativi alla sua formazione, alle principali qualifiche e alle posizioni rilevanti ricoperte in precedenza, seguono quattro domande a cui il candidato è invitato a rispondere nei quattro moduli corrispondenti.
-
In che modo hai dato un contributo alla generazione di conoscenza?
-
In che modo hai dato un contributo allo sviluppo di altre persone?
-
In che modo hai dato un contributo alla comunità di ricerca in generale?
-
In che modo hai dato un contributo alla società in generale?
56Le domande aiutano così a tracciare un percorso in cui il candidato è chiamato a descrivere attività, esperienze, competenze e risultati in quattro campi che, come centri concentrici, prendono le mosse dall’attività di ricerca in senso stretto per ampliare il focus sul rapporto tra il candidato e il gruppo di ricerca, sull’impatto delle sue attività nella comunità di ricerca e, infine, sulla società. Per aiutare i candidati a rispondere, vengono presentati alcuni esempi che aiutano a capire quali informazioni ci si aspetta che il candidato fornisca.
57Nel primo modulo si può spiegare come si è contribuito alla generazione di nuove idee o ipotesi di ricerca, e quali sono le competenze chiave che sono state usate per sviluppare tali idee o per testare le ipotesi. Viene menzionato il fatto che è possibile includere una piccola selezione di risultati (di cui si citano diverse tipologie), che dovranno essere citati tramite DOI (se disponibile), presupponendo che i revisori possano e debbano accedervi e leggerli. I risultati devono essere accompagnati da una descrizione del motivo per cui sono stati selezionati e da una spiegazione del perché sono importanti.
58Il secondo modulo può essere usato per mettere in evidenza le competenze che sono state decisive per il successo di un gruppo di ricerca o dei suoi membri, tra cui la gestione di progetti e la creazione di collaborazioni, da quelle istituzionali (ad esempio interdisciplinari) a quelle internazionali. Può anche includere attività di insegnamento, supervisione o tutoraggio di studenti e colleghi.
59Nelle risposte alla domanda del terzo modulo è possibile menzionare attività di valutazione (referaggi, partecipazione a commissioni per la valutazione di ricercatori e progetti di ricerca), l’organizzazione di eventi e il contributo alle pratiche della ricerca integra e responsabile, così come a migliorare la cultura della ricerca. Altri esempi includono la nomina in posizioni di responsabilità, e riconoscimenti su invito all’interno del proprio settore.
60Le risposte all’ultima domanda possono ad esempio includere il coinvolgimento dei pazienti negli studi clinici, o mettere in evidenza attività di cosiddetta Science for Policy a livello locale, nazionale o internazionale.
61In generale, le caratteristiche principali e generali che si riscontrano nei formati di CV narrativo sono le seguenti:
-
l’abbandono di alcune metriche, e la promozione dell’uso di indicatori quantitativi all’interno di un contesto.
-
Il rifiuto dell’adozione di liste o elenchi.
-
La valorizzazione di un’ampia gamma di attività di ricerca.
-
La contestualizzazione dei risultati, anche attraverso una loro selezione e
-
la promozione di inclusività e diversificazione, ove le metriche sono invece percepite come una barriera alle differenze, all’equità e all’inclusione (Bordignon et al., 2023, 315-316).
- 22 La “qualità”, il primo principio su cui deve basarsi la valutazione, viene definita con il «premiar (...)
62Abbiamo osservato come si assista a una comune richiesta, che proviene dagli stessi ricercatori, di abbandonare la bibliometria, e in particolare le metriche basate sulla rivista o sull’autore, come strumento per valutare la qualità della ricerca22, che l’ARRA e CoARA interpretano e traducono in pratica.
63A partire da tale premessa, CoARA promuove una valutazione qualitativa, i cui principi fondamentali consistono nella valorizzazione delle varie e diverse attività, dei processi e dei prodotti della ricerca; e nel valutare il contenuto e non il contenitore di ogni produzione o attività scientifica, fondando il giudizio sulla revisione tra pari (solo supportato da indicatori quantitativi).
64È così richiesto un cambiamento culturale basato sul principio che è necessario pubblicare meno (abbandonando la logica del “publish or perish”), e pubblicare meglio (rendendo trasparenti, accessibili e riproducibili risultati, dati e processi e prestando maggiore attenzione all’integrità della ricerca). Questa trasformazione ha lo scopo di produrre una ricerca più solida e rigorosa, più integra, più responsabile.
65Nella prospettiva promossa da ARRA e CoARA, lo stesso cambiamento deve applicarsi alla stessa valutazione. È dunque necessario valutare solo quando necessario, avendo chiaro lo scopo ai cui fini l’esercizio valutativo è rivolto, perché i processi di valutazione sono costosi, richiedono tempo, e hanno un notevole impatto sulla vita dei ricercatori. E valutare meglio, seguendo metodologie chiare, trasparenti e rigorose, di cui il framework SCOPE costituisce un valido esempio (Inorms, 2021).
- 23 Si vedano ad esempio le attività del Centre for Science and Technology Studies (CWTS) dell’Universi (...)
66Nelle sezioni 3 e 4 abbiamo analizzato diversi tentativi di traduzione pratica dei principi alla base della valutazione qualitativa, che sono stati calati in specifici contesti e a questi adattati. I primi due esempi (i modelli olandese e norvegese), che sono stati avviati prima della costituzione di CoARA, rappresentano tentativi importanti di valorizzare le pratiche della scienza aperta. Su questa tematica sono in corso numerose attività di ricerca, e ulteriore ricerca sarà necessaria23. Tale necessità è postulata anche nell’ARRA, ove è reso esplicito il fatto che la discussione all’interno della comunità scientifica debba restare aperta, perché ogni scelta e decisione deve essere validata, monitorata e rivalutata dalle stesse comunità scientifiche.
- 24 OPUS-Open and Universal Science (settembre 2022-agosto 2025). DOI: 10.3030/101058471, https://opusp (...)
- 25 GraspOS-Next Generation Research Assessment to Promote Open Science, gennaio 2023-dicembre 2025. DO (...)
- 26 Il CNR, che coordina uno dei pilot, ad esempio analizzerà l’impatto dell’applicazione dei nuovi for (...)
67A tal fine la stessa Commissione europea ha finanziato numerosi progetti nell’ambito del programma Horizon Europe, attraverso i quali aspira a contribuire alla ricerca su come riconoscere e valorizzare la scienza aperta e le sue pratiche. Tali progetti sono esplicitamente menzionati nel Piano d’azione della Commissione attraverso cui ci si propone di tradurre in pratica gli impegni assunti sostenendo e aderendo a CoARA (Commissione europea, 2024). Il Research Assessment Framework sviluppato nel progetto OPUS24, similmente alla OS-CAM e poi alla NOR-CAM, si pone come uno strumento a portfolio che combina l’approccio quantitativo e quello qualitativo (O’Neill, 2023). Tra le sfide e le necessità che emergono c’è senz’altro quella di accedere a dati e informazioni che semplifichino ai ricercatori la partecipazione alle procedure di valutazione, rendendo loro più semplice la fase della documentazione delle loro attività e mettendo a disposizione sistemi di CV automatici, come quello proposto dal gruppo di lavoro norvegese che ha definito la NOR-CAM. La mancanza di dati affidabili e certificati relativi ad alcune tipologie di prodotti di ricerca e, in misura ancora maggiore, ai processi e alle attività della ricerca è un vulnus importante del sistema che va delineandosi. Per affrontare il problema è essenziale che infrastrutture pubbliche e aperte mettano a disposizione di istituzioni e ricercatori dati FAIR, aperti, affidabili e certificati. Il progetto GraspOS25 si propone di affrontare il problema definendo un Open Science Assessment Framework, vale a dire un’infrastruttura che raccoglie un insieme di servizi, tra cui dashboard per gestire profili di ricerca (Researcher profile) che permettano di valorizzare l’apertura di risultati e processi, a partire dalla premessa che il contesto, lo scopo e i valori informano il protocollo di valutazione e che, poiché ogni contesto è diverso, è da questo che è necessario partire. In GraspOS sono infatti attivi nove pilot che, a partire da diversi contesti nazionali e disciplinari, testeranno l’OSAF e i suoi servizi così da individuare risposte alle esigenze della specifica comunità di riferimento, e discutere sfide e opportunità26.
- 27 Tale problematica riguarda in particolare la valutazione dell’impatto e delle sue diverse dimension (...)
68La necessità di porre al centro i contesti della valutazione ha portato Paul Wouters, tra gli estensori del Leiden Manifesto, a suggerire di sostituire il concetto di «informed peer review» (Moed, 2005) con quello di «giudizio contestualizzato», che pone al centro il contesto tenendo conto dei modi flessibili e spesso ingegnosi attraverso i quali i ricercatori attribuiscono un particolare significato a strumenti come il peer review e gli indicatori. Seguire questo approccio porrebbe due questioni al centro della costruzione di nuovi protocolli e procedure di valutazione. La prima riguarda il modo in cui la valutazione influenza il processo di generazione di conoscenza. Rispondere a tale questione significa ad esempio allineare i criteri di valutazione ai valori e allo scopo della ricerca stessa (ad esempio alla missione dell’Ente o Università); e comporta anche considerare e gestire sia gli eventuali effetti perversi, sia quelli che produce sulla struttura di potere nel settore. Infatti, se non è sempre chiaro quale possa o debba essere l’output finale di un giudizio qualitativo e come possa essere reso inattaccabile da ricorsi (soprattutto in Paesi in cui le procedure concorsuali sono altamente burocratizzate), la raccolta di casi di studio può essere in tal senso di grande utilità27. La seconda questione riguarda chi detiene il controllo della definizione dell’agenda e dei processi di ricerca, e anche chi controlla la stessa valutazione, ed è strettamente legata a come si definisce la qualità della ricerca (Di Donato, 2024, 34-41). Entrambe le questioni, sottolinea in conclusione Wouters (2020, 74), mettono in luce che i problemi della valutazione sono squisitamente politici, in quanto riguardano come vogliamo vivere e che tipo di società stiamo creando.