1Il binomio Open Science-valutazione si presta a una duplice lettura: la valutazione per l’Open Science e l’Open Science per la valutazione.
2Se “valutazione” è un concetto ben noto, non altrettanto si può dire per “Open Science”, sul quale circola ancora una certa disinformazione: occorre quindi fare chiarezza.
3“Open Science” implica diversi piani di lettura – etico, politico, culturale, tecnico, economico – ed è un concetto complesso (Leonelli, 2023) per definire il quale occorre procedere per approssimazioni successive.
4Come incipit, valga l’iconico obiettivo di EOSC (1.2, 2023, 55), la European Open Science Cloud: «Open Science practices and skills are rewarded and taught, becoming the ‘new normal’». L’idea di Open Science come “new normal” dà la cifra della rilevanza del processo in atto in Europa e nel resto del mondo.
5La definizione più recente di Open Science si legge nelle Raccomandazioni che l’Unesco (2021, 7) ha votato all’unanimità alla fine del 2021:
Open Science is defined as an inclusive construct that combines various movements and practices aiming to make multilingual scientific knowledge openly available, accessible and reusable for everyone, to increase scientific collaborations and sharing of information for the benefits of science and society, and to open the processes of scientific knowledge creation, evaluation and communication to societal actors beyond the traditional scientific community. It comprises all scientific disciplines and aspects of scholarly practices, including basic and applied sciences, natural and social sciences and the humanities, and it builds on the following key pillars: open scientific knowledge, open science infrastructures, science communication, open engagement of societal actors and open dialogue with other knowledge systems.
6Il primo accento va posto sull’aggettivo “inclusiva”, perché la conoscenza scientifica è un diritto umano (art. 27 della Dichiarazione Universale) e non deve quindi lasciare indietro nessuno, che si tratti di nazioni, discipline, genere o possibilità economica. Da questo discende l’attenzione per il multilinguismo, sia per valorizzare le culture locali sia per permettere anche a chi sta fuori dall’accademia un’effettiva partecipazione (si pensi alla citizen science, uno dei componenti della Open Science). La conoscenza scientifica deve poi essere non solo accessibile ma anche riusabile, per rendere più rapida ed efficiente la creazione di nuova conoscenza, evitando perdite di tempo e di fondi: il primo beneficio della Open Science è per la ricerca stessa, che procede più rapidamente, come è risultato evidente durante la pandemia con la condivisione di dati e di preprint.
7Fondamentale è anche l’ultimo pilastro della definizione Unesco, il dialogo aperto: come sottolinea Pierre Mounier (2022, 5) introducendo la sua affascinante descrizione dell’ecosistema della ricerca, “dialogo” implica una relazione in due sensi, non solo la “condivisione” del sapere una volta prodotto all’interno delle università. Quando parliamo di Open Science non dobbiamo quindi pensare solo a una modalità aperta di condivisione – a senso unico, dall’accademia verso l’esterno – dei risultati della ricerca ex post, ma a un modo diverso di creare conoscenza ex ante, avendo un approccio collaborativo e “open by design” in ogni elemento del ciclo della ricerca.
- 1 European Parliament (2019), Directive (EU) 2019/1024 of the European Parliament and of the Council (...)
8Non dimentichiamo infatti che la Open Science comprende tutti gli elementi e i passaggi del ciclo della ricerca, dall’ipotesi inziale agli strumenti di raccolta dei dati alle pubblicazioni Open Access, ai dati «as open as possible»1, alle infrastrutture aperte, al software open source, alla open peer review, alle risorse educative aperte, a tutto l’universo che ruota attorno alla citizen science.
9A maggior chiarezza, va aggiunto un ulteriore tassello, che ancora una volta leggiamo in un documento Unesco (2023):
Open science is not an end in itself, but a means towards fairer, more equitable, diverse and inclusive research systems that are better geared towards the production, dissemination and use of scientific knowledge that helps address societal challenges with benefits for all.
- 2 The road to FAIR and equitable science, Leiden (2024), https://www.lorentzcenter.nl/the-road-to-fai (...)
10L’Open Science è un mezzo, non l’obiettivo. L’obiettivo è una scienza migliore; nella particolare declinazione delle Raccomandazioni Unesco è un sistema ricerca che sia equo, rispettoso delle diversità e inclusivo – poiché nel 2024 il tema dell’equità non è più negoziabile e dovrebbe permeare l’intera cultura della ricerca. Non a caso il workshop ospitato nel gennaio 2024 dal Lorentz center di Leiden per celebrare i 10 anni dalla nascita dei principi FAIR-Findable, Accessible, Interoperable, Reusable (Wilkinson et al., 2016) aveva come titolo The road to FAIR and equitable science2, e il citato Outlook Unesco (2023, 3) si apre con il paragrafo For open science to reach its full potential, it must be an equitable global phenomenon:
Open science can be a powerful tool to bridge the existing science, technology and innovation gaps, to accelerate the achievement of the Sustainable Development Goals and to promote the fulfilment of the human right to science. With a growing number of countries charting their paths towards more open, inclusive and accessible science systems, it has become crucial to undertake a comprehensive global assessment of open science to gauge its impact, identify challenges and lay the groundwork for future progress. The transition to open science requires a shift in the culture of and partnerships for science. […] Gaps persist along existing socio-economic, technological and digital divides between countries. Lack of equity in access to funding, skills and tools are preventing open science from reaching its full potential. […] Only collective, collaborative and coordinated action and investment can accelerate the transition to a truly global, equitable open science.
11Da due lacerti di documenti ufficiali dell’Unione Europea vengono altri elementi chiave:
- 3 Council of the European Union (2020), Proposal for a REGULATION OF THE EUROPEAN PARLIAMENT AND OF T (...)
Open science, including open access to scientific publications and research data, as well as optimal dissemination and exploitation of knowledge has the potential to increase the quality, impact and benefits of science and to accelerate the advancement of knowledge by making it more reliable, more efficient and accurate, better understandable by society and responsive to societal challenges3.
12Intanto viene messo in chiaro che Open Access e Open Science non sono sinonimi ma l’uno componente dell’altra, e, soprattutto, viene sottolineato il potenziale della Open Science in termini di qualità della ricerca, di maggiore impatto sulla società e di benefici per la scienza, maggiormente affidabile – perché trasparente, un tema su cui torneremo spesso – e più efficace per la rapidità della circolazione del sapere, nonché maggiormente rispondente ai bisogni della società. Questo spiega il crescente e deciso sostegno che la Commissione Europea ha dato alla Open Science negli ultimi 15 anni (Burgelman et al., 2019; Arentoft, 2023).
- 4 Council of the European Union (2023 a), High-quality, transparent, open, trustworthy and equitable (...)
- 5 European Commission (2018), Recommendation (EU) 2018/790 of 25 April 2018 on access to and preserva (...)
13Le politiche europee si basano su uno dei pilastri della Open Science, ovvero: trattandosi di ricerche finanziate con fondi pubblici, i risultati devono essere pubblicamente disponibili: «[the Council] HIGHLIGHTS that immediate and unrestricted open access should be the norm in publishing research involving public funds»4. Si tratta del fondamento sotteso già alle Raccomandazioni del 20185 e a tutti i documenti ufficiali europei a sostegno delle politiche di Open Science negli ultimi anni (Arentoft, 2023). Lo stesso principio viene richiamato con fermezza anche dagli enti finanziatori della ricerca nel Preamble all’iniziativa PlanS (CoalitionS, 2018):
Universality is a fundamental principle of science: only results that can be discussed, challenged, and, where appropriate, tested and reproduced by others qualify as scientific. Science, as an institution of organised criticism, can therefore only function properly if research results are made openly available to the community so that they can be submitted to the test and scrutiny of other researchers. Furthermore, new research builds on established results from previous research. The chain, whereby new scientific discoveries are built on previously established results, can only work optimally if all research results are made openly available to the scientific community. Publication paywalls are withholding a substantial amount of research results from a large fraction of the scientific community and from society as a whole. This constitutes an absolute anomaly, which hinders the scientific enterprise in its very foundations and hampers its uptake by society. Monetising the access to new and existing research results is profoundly at odds with the ethos of science.
14La scienza è un processo incrementale: se i risultati delle ricerche non sono pubblicamente disponibili, si rischia di reinventare la ruota o, dal punto di vista degli enti finanziatori, di sprecare fondi in ricerche già effettuate ma pubblicate dietro le barriere di un abbonamento.
15Come conclusione serve un ultimo tassello, che deriva da una definizione comprensiva anche se non ufficiale:
‘Open Science’ stands for the transition to a new, more open and participatory way of conducting, publishing and evaluating scholarly research. Central to this concept is the goal of increasing cooperation and transparency in all research stages. This is achieved, among other ways, by sharing research data, publications, tools and results as early and open as possible.
Open Science leads to more robust scientific results, to more efficient research and (faster) access to scientific results for everyone. This results in turn in greater societal and economic impact6.
- 7 COARA, https://coara.eu/.
- 8 European Parliament (2019), Directive (EU) 2019/1024 of the European Parliament and of the Council (...)
16Open Science significa fare ricerca in un modo diverso – ex ante, “open by design”, non solo condividerla alla fine –, pubblicarla in modo diverso – in preprint, in open laboratory notebook, con dati e codice –, e valutarla in modo diverso – per questo COARA, la Coalition for advancing research assessment7, riveste un’importanza cruciale. Ciò che preme sottolineare in questa definizione è il concetto di “as early and open as possible”, funzionale a sfatare alcuni miti intorno all’Open Science quali l’impossibilità di brevettare (in questo caso, “as early as possible” sarà dopo il brevetto) o i dubbi sui dati personali: in questo caso, i dati saranno FAIR – appunto “Accessible” a determinate condizioni per ragioni di ricerca – ma non Open. Alcuni tipi di dati devono essere “as closed as necessary”, come recita la Direttiva europea sugli Open Data8 – ma perché si dovrebbero perdere tempo e fondi pubblici a ricreare dataset, se sono già esistenti? Se i dati sono gestiti secondo i principî FAIR, anche se chiusi, possono essere riusati a determinate condizioni di confidenzialità ed entrare quindi nel processo di creazione di nuova conoscenza.
17Questo è il cardine: se si mette a fattor comune, si progredisce più in fretta. Le lezioni del COVID sono chiare: durante la crisi c’è stata una spinta enorme a condividere i dati (Maxmen, 2021; Oecd, 2023) – si badi bene, i dati, le sequenze del virus, non solo le pubblicazioni – e i preprint, ovvero la forma più rapida di comunicazione dei risultati di una ricerca, per affrontare la pandemia in modo efficace (Banks, 2020; Crowe, 2020; Roorick, 2020; Tse et al., 2020; Besançon, 2021).
18“Open data saves lives”: con questa frase “definitiva” si apriva il rapporto sullo stato degli Open Data 2021 (Digital science, 2021), a sottolineare il cambio di paradigma imposto dalla pandemia. Ma perché dovremmo limitare la condivisione di dati e risultati in modo aperto e rapido solo al Coronavirus? Il cambiamento climatico, la violenza di genere, l’Alzheimer, il cancro sono forse argomenti meno importanti? Non va trascurato che la ricerca è finanziata con i fondi pubblici, e dovrebbe essere appunto pubblicamente disponibile per tutti, non solo per i pochi fortunati che possono permettersi abbonamenti a riviste che arrivano a decine di migliaia di dollari l’anno, e in tutta la sua interezza, non solo nella sintesi finale sotto forma di articolo su rivista. I benefici della Open Science sono quindi per la ricerca, che risulta più solida e riproducibile (perché tutto il processo, inclusi i dati e le metodologie sono disponibili) e progredisce più rapidamente (perché accessibile a diversi soggetti), ma anche per la società, perché una scienza aperta è inclusiva nei confronti dei cittadini, è al servizio dei decisori politici e risponde maggiormente alle sfide planetarie che richiedono un approccio globale e interdisciplinare.
19Definire “Open Science” secondo le declinazioni qui presentate è funzionale al ragionamento sulla riforma della valutazione. Si parta da come viene valutata oggi la ricerca: vengono considerate sostanzialmente solo le pubblicazioni, per la maggior parte in inglese, misurate utilizzando banche dati private commerciali che per copertura rappresentano una minima parte del sapere prodotto sia in termini geografici – con un nord del mondo ipertrofico, Stati Uniti d’America ed Europa in testa, mentre gli altri continenti sono spariti – sia disciplinari, con una netta prevalenza per le scienze non umanistiche. E la corsa alle pubblicazioni ha generato quella cultura del “publish or perish” che – vedremo più oltre – ha avuto effetti devastanti su integrità e qualità della ricerca (Leonelli, 2023).
20Per questo, nelle definizioni, occorre sottolineare anche il forte legame fra Open Science e integrità, in cui la chiave di volta è costituita dalla trasparenza dell’intero ciclo, che favorisce controlli sulla solidità della metodologia e rende maggiormente difficili le frodi (ERAC, 2021, 3). La Open Science può anche essere considerata come un’estensione del concetto di «responsible research» proprio perché la trasparenza e la disponibilità di tutti i passaggi della ricerca favoriscono il dialogo, la collaborazione, la trasmissione di buone pratiche e soprattutto incrementano la riproducibilità (Bezuidenhout, 2019). In altre parole
Open Science opens up research to external scrutiny and, therefore, weaknesses in methodology – from unintentional mistakes to true frauds – are more likely to be identified early on. Thus Open Science is more likely to produce results that are verifiable and reproducible. As research integrity aims at ensuring that the process and practice of research are as reliable as possible, open science contributes to high standards of integrity being met (ERAC, 2021).
21Il primo beneficio della Open Science, lo abbiamo ricordato più volte, è per la scienza stessa, che risulta più solida e riproducibile grazie alla disponibilità di metodi, protocolli, workflow, dati e codice per processarli. Ma, in controluce, c’è il sistema di valutazione attuale: quanti di questi elementi sono presi in considerazione come “prodotti” della ricerca? E, con il clima di iper-competizione attuale, chi ha il “coraggio” di condividere i risultati il prima possibile, anche sotto forma di preprint? O di mettere a disposizione i dati? Non solo non ci sono incentivi, ma sono sorte forti resistenze per paura di danneggiare la propria carriera: non a caso la mancanza di credito è indicata fra i fattori che frenano le pratiche di apertura (Digital Science, 2023).
22Da anni, chi si occupa di Open Science, al termine di una lezione o di un convegno, sente l’immancabile commento: «interessante, ma noi siamo valutati sull’Impact Factor/la fascia A della rivista», che denuncia chiaramente l’incompatibilità dell’attuale sistema di valutazione ipercompetitivo con le logiche collaborative della Open Science.
23La comunità scientifica e gli organi politici sensibili alla questione si sono interrogati su questa dissonanza e hanno avviato il dibattito anni fa, anche se in Italia l’eco è giunta poco.
24Nel 2016 la Amsterdam call for action on Open Science9 metteva al primo posto fra le 12 azioni richieste per implementare la Open Science proprio la modifica del sistema di incentivi e valutazione.
- 10 European Commission, Directorate-General for Research and Innovation (2017), Evaluation of research (...)
25Nel 2017 il gruppo di esperti riuniti dalla Commissione Europea iniziava il suo rapporto Evaluation of Research Careers fully acknowledging Open Science practices10, dal sottotitolo molto significativo: Incentives and/or recognition for researchers practicing Open Science, con queste parole:
Open Science represents an approach to research that is collaborative, transparent and accessible. There are a wide range of activities that come under the umbrella of Open Science that include open access publishing, open data, open peer review and open research. It also includes citizen science, or more broadly, stakeholder engagement, where non specialists engage directly in research. Open Science goes hand in hand with research integrity and requires legal and ethical awareness on the part of researchers. A driver for Open Science is improving the transparency and validity of research as well as in regards to public ownership of science, particularly that which is publicly funded. Researchers across Europe already practise Open Science to some extent through, for example, open access to their publications. Some already provide open data, engage in open peer review, and stakeholder engagement or citizen science. Researchers advance in their career through assessment and this is the key factor to ensure that Open Science becomes mainstream. The exclusive use of bibliometric parameters as proxies for excellence in assessment by most funding agencies and universities/research organisations does not facilitate Open Science. Researchers’ engagement in Open Science will increase through encouragement and incentives from employers and funders through assessment.
26Bernard Rentier (2020), rettore emerito dell’università di Liegi, durante la pandemia evidenziava come il cambio di paradigma dovuto appunto alla necessità di condividere rapidamente dati e risultati fosse necessario ma, in tempi “normali”, ostacolato dalle regole di valutazione; di più, faceva notare come le regole attuali di valutazione snaturino i canali tradizionali di comunicazione privilegiando l’inglese – per essere inseriti nelle banche dati internazionali – a scapito delle lingue nazionali, in contrasto con l’attenzione al multilinguismo nelle Raccomandazioni Unesco:
The pitfall also lies in the way researchers are evaluated. Based on the number of their publications and the prestige of the journals that publish them, assessment urges scientists to focus on writing articles as if it were a goal in itself. This type of evaluation does not do justice to the merits of the researcher and its effects on science are perverse: a plethora of publications and a decline in their quality. In the humanities and social sciences, it depreciates the use of vernacular languages, which is important in research related to a more local context.
27Lo slittamento da temi di ricerca locale verso tempi internazionali e mainstream è un altro degli effetti perversi e indesiderati del sistema attuale (Leonelli, 2023).
28Infine, ci sono responsabilità precise connesse al finanziamento pubblico della ricerca, che vengono disattese dal meccanismo attuale delle riviste “prestigiose” chiuse dietro abbonamento, come ha ben chiaro la coalizione di enti finanziatori che nel 2018 hanno dato vita a CoalitionS11 – da cui è scaturito il famoso “PlanS” per velocizzare il passaggio a l’Open Access:
Publication paywalls are withholding a substantial amount of research results from a large fraction of the scientific community and from society as a whole. This constitutes an absolute anomaly, which hinders the scientific enterprise in its very foundations and hampers its uptake by society. Monetising the access to new and existing research results is profoundly at odds with the ethos of science. There is no longer any justification for this state of affairs to prevail and the subscription-based model of scientific publishing, including its so-called ‘hybrid’ variants, should therefore be terminated (CoalitionS, 2018).
29CoalitionS riconosce come le regole di valutazione attuali, troppo incentrate su quantità e Impact Factor, producano effetti di distorsione sul sistema della ricerca, verso il quale «Researchers and research funders have a collective duty of care»:
our collective duty of care is for the science system as a whole, and researchers must realise that they are doing a gross disservice to the institution of science if they continue to report their outcomes in publications that will be locked behind paywalls. We also understand that researchers may be driven to do so by a misdirected reward system which puts emphasis on the wrong indicators (e.g. journal impact factor). We therefore commit to fundamentally revise the incentive and reward system of science (ibidem).
30Le regole attuali di valutazione informano quindi profondamente il sistema, e lo dominano con la tirannia dei ranking, al punto che il professor Jean Claude Guédon individua proprio nella valutazione la chiave di volta:
- 12 European Commission, Directorate-General for Research and Innovation. (2019), Future of scholarly p (...)
The conclusion is actually simple: the evaluation of research is the keystone, and it has already been identified by scholars around the world, and by various expert groups within the European Commission, as structuring a global research architecture characterised by an unlimited quest for rankings. The ranking imperative affects all levels of the research structure, and it tends to constrain change for nearly all actors. This is true of individual researchers, of research groups, of whole research institutions, and even of whole countries. Symmetrically, publishers design their marketing strategies around journal rankings. But they too have become prisoners of this strategy, even though they benefit from it, and they have difficulties seeing beyond it12.
31I criteri attuali di valutazione mantengono in piedi, attraverso la logica dei ranking e del prestigio, il sistema disfunzionale – o meglio, funzionale agli enormi profitti delle case editrici, che sfiorano il 40% (Hagve, 2020) – delle riviste scientifiche in abbonamento, per cui oggi si arrivano a pagare decine di migliaia di dollari per l’abbonamento a una singola rivista, generando un giro d’affari di 10 miliardi di dollari l’anno (Brainard, 2021) per chiudere un contenuto creato con fondi pubblici, scritto da autori non pagati e rivisto da revisori non pagati. Ma in una situazione non corrotta «the profit motive has no place in scholarly publishing» (Caroline Edwards cit. in Clemente-Vega, 2024). Né i cosiddetti «contratti trasformativi» sembrano essere la soluzione, se ci vorranno più di 72 anni, di questo passo, per un passaggio globale del sistema da abbonamento a Open Access (Brayman et al., 2024). Di più: se si applica la logica del prestigio anche all’Open Access, si giunge all’aberrazione dei 12.290 dollari per pubblicare un solo articolo Open nella rivista Nature13, cosa che alcuni autori faranno spinti dalla brama di pubblicare sulle riviste considerate “top” e ottenere vantaggi in termini di valutazione. L’Open Access era nato per garantire accesso a tutti; porre barriere di ingresso così alte significa utilizzare la spinta verso l’Open per meri interessi commerciali tradendo i principi dell’apertura, perché «l’Open Access a ogni costo non può essere un’opzione» (AISA, 2022). In direzione di un Open Access sostenibile, equo, nelle mani della comunità si sta muovendo il variegato universo che ruota intorno al concetto di «Diamond Open Access» (Mounier, Roorick, 2023). Le riviste Diamond Open Access, quelle per cui non paga né l’autore per pubblicare né il lettore per leggere, sono un’alternativa, suggerita fortemente anche a livello europeo come l’unica sostenibile14, il cui successo dipenderà però largamente dalla dismissione della logica dei ranking di riviste e del prestigio delle sedi editoriali. Vedremo però al par. 3 che le distorsioni provocate dalla valutazione attuale non sono solo di natura economica, e richiedono quindi un approccio davvero sistemico.
- 15 Council of the European Union (2022), Research assessment and the implementation of Open Science, C (...)
32Il Consiglio dell’Unione Europea ha ben chiara la necessità di cambiare le regole del gioco, se si vuole promuovere l’approccio Open alla scienza, consci dei suoi enormi benefici. Nelle Conclusioni sulla valutazione della ricerca e l’implementazione della scienza aperta 15il Consiglio dell’Unione Europea riconosce:
3. ACKNOWLEDGES that in order to accelerate the implementation and the impact of Open Science policies and practices across Europe, action has to be taken to move towards a renewed approach to research assessment, including incentive and reward schemes, to put in place a European approach in accordance with the Pact for Research and Innovation in Europe, and strengthen capacities for academic publishing and scholarly communication of all research outputs, and encourage where appropriate, the use of multilingualism for the purpose of wider communication of European research results.
33Per questo motivo la Commissione Europea ha lanciato alla fine del 2021 COARA, la Coalition for the advancement of research assessment16, nella convinzione che la riforma dei criteri di valutazione sia urgente, e che serva uno sforzo concertato:
- 17 Council of the European Union (2022), Research assessment and the implementation of Open Science, C (...)
4. UNDERLINES that, while many research funding and performing organisations, as well as research assessment authorities, are taking steps to improve the way they assess research and researchers, change remains slow, uneven and fragmented across Europe, and therefore REITERATES the need to advance in a concerted effort towards reforming the various research assessment systems and practices for research, researchers, research teams and institutions to improve their quality, openness, performance and impact; furthermore, EMPHASIZES that applying Open Science principles should be appropriately rewarded in researchers’ careers17.
34COARA si pone nel solco di iniziative che da tempo andavano richiedendo una riforma dei criteri di valutazione, dalla DORA Declaration18 con il suo impegno a non utilizzare metriche quali Impact Factor al manifesto di Leiden19 con i suoi 10 punti per un uso responsabile delle metriche al progetto INORMS20 con la creazione del perimetro SCOPE e i suoi 5 principi fondanti, di cui diremo fra poco.
35Il modello SPACE [Standards, Process and policy, Accountability, Culture, Evaluative feedback] proposto da DORA è uno strumento prezioso per avviare la riflessione – perché questo richiede COARA: avviare la riflessione nelle nostre università coinvolgendo chi fa ricerca – tenendo in considerazione i valori, la cultura del cambiamento, i processi all’interno delle istituzioni, le assunzioni di responsabilità, e infine il monitoraggio che deve sostenere il ciclo del cambiamento, che è iterativo (Hatch, Schmidt, 2021).
36Parimenti, il perimetro tracciato da SCOPE va tenuto presente per un corretto approccio a COARA, il cui senso più pieno non è la ricerca spasmodica di un indicatore alternativo all’Impact Factor, ma l’aderenza ai valori (apertura, collaborazione, interdisciplinarietà, inclusione, rispetto delle diversità) sui quali modellare i nuovi criteri di valutazione:
-
S=Start with what you value: questo è un cardine, e la prova e contrario si ha negli effetti perversi della valutazione attuale che sembra dare valore solo alla quantità
-
C=Context considerations: va presa in considerazione non solo la specificità delle discipline ma anche la motivazione e lo scopo per cui si valuta, esercizio per esercizio, perché i criteri non possono essere gli stessi
-
O=Options for evaluating: soppesare indicatori quantitativi e qualitativi, facendo molta attenzione a non scambiare la quantità per qualità
-
P=Probe deeply: è il nucleo del sistema, ovvero riflettere su quali sono le potenziali conseguenze indesiderate, i possibili comportamenti adattivi o peggio i varchi per le frodi, le potenziali discriminazioni e il bilancio costi/benefici
-
E=Evaluate your evaluation, verificando se gli scopi sono stati raggiunti anche in termini di creazione di consapevolezza.
37COARA, rispetto a questi precursori, ha il vantaggio di essere non solo la prima iniziativa sistematica e condivisa da oltre 700 enti di ricerca21 che hanno firmato l’accordo, ma di essere anche sostenuta a livello politico dalla Commissione Europea.
38COARA si basa su alcuni principi di fondo (etica, integrità, autonomia della ricerca) e su altri più specifici, fra cui, per la relazione con Open Science, sono particolarmente rilevanti nel testo dell’Agreement22:
-
Il focus sulla qualità, in cui la trasparenza dei processi e la disponibilità dei dati giocano un ruolo fondamentale (p. 3).
-
Il riconoscimento delle diverse pratiche di ricerca e della diversità dei risultati, non limitandosi alle pubblicazioni (p. 4).
-
Il rispetto delle diverse discipline scientifiche e dei diversi canali attraverso cui comunicano la ricerca (p. 5).
-
La valorizzazione dei diversi ruoli, anche al di fuori dell’accademia (p. 5).
39Un punto in particolare (p. 4) merita una lettura integrale poiché riassume l’approccio Open fin qui presentato:
- 23 Le frasi in grassetto sono state evidenziate da me.
Recognise the diversity of research activities and practices, with a diversity of outputs, and reward early sharing and open collaboration. Consider tasks like peer review, training, mentoring and supervision of Ph.D candidates, leadership roles, and, as appropriate, science communication and interaction with society, entrepreneurship, knowledge valorisation, and industry-academia cooperation. Consider also the full range of research outputs, such as scientific publications, data, software, models, methods, theories, algorithms, protocols, workflows, exhibitions, strategies, policy contributions, etc., and reward research behaviour underpinning open science practices such as early knowledge and data sharing as well as open collaboration within science and collaboration with societal actors where appropriate. Recognise that researchers should not excel in all types of tasks and provide for a framework that allows researchers to contribute to the definition of their research goals and aspirations23.
40L’apertura e la condivisione sono elementi premianti: in questo sta il tratto “rivoluzionario” di COARA, il ribaltamento dell’approccio attuale competitivo che, come abbiamo visto, veniva riconosciuto da più parti come un ostacolo quasi insormontabile per le pratiche Open, e, come vedremo, ha provocato effetti collaterali devastanti per l’integrità della ricerca.
41Premiare apertura e collaborazione dà anche la vera cifra di COARA e ne evita una lettura riduttiva: come dicevamo più sopra, non si tratta solo di andare alla ricerca di indicatori diversi, alternativi all’Impact Factor, ma di partire da una prospettiva radicalmente diversa nella valutazione. Considerare tutti gli elementi del processo valorizza il lavoro quotidiano di ricerca – che non si limita certo alla stesura dell’articolo finale – e mette in risalto attività quali la creazione di una scuola, la relazione con il mondo non accademico, e, all’interno dell’accademia, la peer review. Notiamo per inciso che rendere pubbliche le metodologie, protocolli e dati dà anche la misura della serietà e della solidità del processo scientifico, che sarà oggetto del prossimo paragrafo.
42Chi ha firmato l’accordo di COARA (in Italia, oltre ad ANVUR, quasi 60 fra università ed enti di ricerca) si impegna entro un anno a discutere e redigere un Piano di Azione, e a comunicarne e discuterne i risultati entro 5 anni. Il Piano d’Azione non va inteso come un obbligo ma come un’opportunità per cambiare – finalmente – le regole con un approccio condiviso con la comunità di ricerca, o meglio “le” comunità in senso longitudinale – dai dottorandi ai tecnici della ricerca ai ricercatori giovani e ai professori – e latitudinale, per tenere conto delle peculiarità delle singole aree disciplinari.
43Gli impegni cui i firmatari hanno aderito, e che devono – nel loro interesse – implementare nei Piani d’azione, sono 10 e indicano chiaramente la direzione: riconoscere la diversità dei risultati, privilegiare la qualità a scapito della quantità, evitare l’uso improprio di indicatori quali Impact Factor e h-index, evitare l’uso dei ranking nella valutazione dei singoli e delle istituzioni.
44Oltre a questi, ci sono attività di creazione di consapevolezza sui temi della valutazione e l’impegno a rendere pubblici dati e criteri della valutazione stessa. A quest’ultimo punto fa da integrazione la recente Barcelona Declaration24, i cui firmatari si impegnano a utilizzare fonti citazionali e bibliografiche aperte e a produrre a propria volta informazioni aperte sulla ricerca. Strumenti aperti quali Open Alex25 o Open Citations26 sono già in uso da infrastrutture ed enti di ricerca, e acquisiranno interesse e importanza crescente: il centro CWTS di Leiden, che pubblica il ranking delle prestazioni di circa 1400 enti di ricerca nel mondo, ha pubblicato per la prima volta nel 2024 l’edizione Open del ranking basata appunto sui dati di Open Alex, condividendo non solo la metodologia ma anche i dati grezzi 27; la Sorbona ha disdetto a dicembre 2023 l’abbonamento alla banca dati proprietaria Web of Science – per intenderci, quella che include il calcolo dell’Impact Factor – e si è orientata verso Open Alex come soluzione aperta e collaborativa28; l’Università di Milano ha intrapreso lo stesso percorso (Basset, 2024).
45COARA è un’occasione unica per valorizzare le pratiche di Open Science nel contesto della valutazione rendendo auspicabilmente più aperta nel contempo la conoscenza scientifica. Con un caveat: non si possono utilizzare per la Open Science gli indicatori tradizionali, che sono del tutto inadeguati poiché misurano “risultati” e non processi. Per capire quanto le pratiche Open abbiano trasformato in direzione di equità e inclusione l’ecosistema della creazione di conoscenza occorre assumere una prospettiva più alta, ovvero il grado di apertura e aderenza ai valori della Open Science (Unesco, 2023, 26):
It is therefore important to understand and monitor the degree of openness not only of the outputs of science but also across all the pillars of open science and across all the stages of the scientific cycle. A combination of open qualitative and quantitative assessments, as well as innovations in the understanding of and response to change, will be needed for a monitoring system for open science that itself adheres to the values and principles of open science.
46La spinta verso politiche che sostengono la Open Science può avere effetti indesiderati – si pensi all’aberrazione dei 12.290 dollari per pubblicare un solo articolo in Nature: è vero che abbiamo un articolo Open in più, ma a che prezzo?:
If not addressed proactively, these unintended consequences can lead to exacerbated inequities in access to scientific knowledge and the benefits of science, increase in the gaps in science technology and innovation between and within countries, greater vulnerability and further marginalization of those already disadvantaged and marginalized within and outside the conventional scientific community (ivi, 61).
47In altre parole, avere “più Open Science” non sempre coincide con un buon risultato, se arriva a scapito di equità ed inclusione, come nel caso di molti cosiddetti “contratti trasformativi” in Open Access (Rafols et al., 2023):
we shouldn’t monitor whether there is more or less open science, but what types of OS are developed and adopted, by whom, and with what consequences. This means monitoring should include not just the diversity of OS channels (the supply side), but also the multiplicity of usages and outcomes (the demand side). […] it is essential to understand the trajectory of both OS in practice and whether it is making, or not making, science more equitable and responsive to global needs. For example, the way in which some open access investments in rich countries, such as transformative publishing agreements, may result in less equitable outcomes in access to publishing services for other countries. More open science does not always lead to better outcomes.
48Occorre richiamare un concetto espresso in una delle definizioni poste in apertura: Open Science significa condurre, pubblicare e valutare la ricerca in modo diverso, in caso contrario si corre il rischio di “Open washing” – premettere “Open” a ogni pratica ma non cambiare radicalmente il sistema della comunicazione scientifica non è la direzione giusta (Mons, 2021) e può anzi portare a riprodurre e amplificare le diseguaglianze esistenti (Chan, 2021).
49Fin qui, emerge l’importanza e la necessità di cambiare i criteri di valutazione se si vuole che la Open Science diventi “the new normal” nel fare ricerca – o meglio, che si torni a fare ricerca in modo collaborativo e riproducibile, secondo i canoni del metodo scientifico moderno “corrotto” dalla ipercompetizione e mercificazione della comunicazione scientifica (Pievatolo, 2019; Leonelli, 2023).
50I vantaggi della scienza aperta, lo ricordavamo in apertura, sono evidenti per la scienza stessa in termini di solidità e trasparenza. Basta scorrere il blog scientifico Retraction Watch29 per avere le prove quotidiane del precario stato della comunicazione scientifica attuale. Perché, a conti fatti, il panorama è sconfortante:
-
un alto tasso di non-riproducibilità dovuto spesso a metodologie poco solide, non dettagliate, a causa della fretta di pubblicare (Baker, 2016; Munafò et al., 2017; Kayser, 2021);
-
un’affidabilità dei risultati scientifici inversamente proporzionale al “prestigio” della rivista (Smaldino, McElreath, 2016; Brembs, 2018);
-
l’avvento di comportamenti adattivi: un aumento del 179% di autocitazioni in Italia dopo l’introduzione dell’esercizio nazionale di valutazione della ricerca (Seeber et al., 2019) e una apparente crescita della produzione scientifica, in realtà “gonfiata” dalle citazioni (Baccini et al., 2019);
-
l’iperproduttività di alcuni ricercatori (fino a 60 articoli all’anno), a scapito della qualità (Conroy, 2024),
-
la piaga dei “papermills” che producono industrialmente articoli senza alcuna validità scientifica (COPE, 2023);
-
il fenomeno degli editori “predatori” come sottoprodotto non dell’Open Access (Fava et al., 2021) ma della cultura del “publish or perish”, per cui i ricercatori non sono vittime inconsapevoli ma complici pur di avere una linea in più nel curriculum (Neylon, 2015);
-
evidenze di dati manipolati (Ederer, 2024, ed esempi quotidiani dal blog Retraction watch);
-
evidenze di articoli con frasi scritte da ChatGPT quali “Certainly, here is a possible introduction for your topic”, pubblicate su prestigiose riviste peer reviewed e “sfuggite” sia ai revisori, sia agli editor, sia all’autore stesso (Cabanac et al., 2022; Cabanac, 2024);
-
le dimissioni recenti di quattro rettori, Corchado a Salamanca (Seguín, 2024), Gay ad Harvard e Tessier-Lavigne a Stanford, Digdowiseiso in Indonesia, tutti per questioni legate all’integrità scientifica dei loro lavori o a citazioni manipolate (si veda la rispettiva copertura in Retraction Watch)
-
la scoperta di un “cartello” di citazioni reciproche che ha portato all’esclusione dell’intero settore di matematica da una banca dati nel 2023 (Catanzaro, 2024);
-
un pericoloso aumento delle ritrattazioni (Brainard, 2018) e del tasso delle ritrattazioni per frode in medicina, che arriva a uno sconcertante 66.8% (Freijedo-Farinas et al., 2024), con una correlazione diretta fra il numero di ritrattazioni e l’Impact Factor della rivista – più è alto l’Impact Factor, maggiore il numero delle ritrattazioni, a riprova del fatto che Impact Factor non sia sigillo di qualità (Fang, Casadevall, 2011).
- 30 Council of the European Union (2022), Research assessment and the implementation of Open Science, C (...)
51Il legame fra queste distorsioni e i criteri attuali di valutazione viene riconosciuta da anni e da più parti, valga per tutte la voce autorevole del Consiglio dell’Unione Europea (2022) che dichiara nelle sue Conclusioni del giugno 202230:
ACKNOWLEDGES that research assessment systems should focus on quality and impact, and RECALLS that the current research assessment systems are nowadays to a great extent too focused on the use of some quantitative journal- and publication-based indicators and the evaluation of a narrow range of research outputs; CONSIDERS that such an approach may lead to negative biases in terms of research quality, reproducibility and integrity.
52Il fatto che lo stesso strumento (la rivista) venga utilizzato sia per disseminare i risultati della ricerca sia per valutare i ricercatori attraverso l’Impact Factor è divenuto di ostacolo alla comunicazione scientifica (Guédon, 2021), ha creato un clima ipercompetitivo a scapito della qualità (Vazire, 2021), con effetti devastanti in termini di “scientific misconduct”. Nella presentazione del corposo volume Gaming the metrics: misconduct and manipulation in academic research (Biagioli, Lippman, 2020) si legge:
Gaming the Metrics examines how the increasing reliance on metrics to evaluate scholarly publications has produced radically new forms of academic fraud and misconduct. The contributors show that the metrics-based “audit culture” has changed the ecology of research, fostering the gaming and manipulation of quantitative indicators, which lead to the invention of such novel forms of misconduct as citation rings and variously rigged peer reviews.
53Recentemente si è levato con forza un altro grido di allarme: «Our ‘publish-or-perish’ culture is breaking the academy» (Rahman, 2024). Si susseguono con sempre maggior frequenza i richiami ad affrontare la profonda crisi dell’integrità scientifica in atto, che sta minando la credibilità della scienza: titoli quali We need to talk about systematic fraud (Byrne, 2019), Universities need to stop hiding from research integrity problems (Thorpe, 2024), Bad apples or systematic problem? Is Italy struggling with maintaining high level of research integrity? (Pizzolato, 2024) sono ormai all’ordine del giorno, fino ad arrivare al recente ‘The situation has become appalling’: fake scientific papers push research credibility to crisis point (McKie, 2024), articolo in cui si leggono le parole di Marcus Munafò – uno degli autori del Manifesto per la scienza riproducibile (Munafò et al., 2017)
If you have growing numbers of researchers who are being strongly incentivised to publish just for the sake of publishing, while we have a growing number of journals making money from publishing the resulting articles, you have a perfect storm.
54Dorothy Bishop, per anni professoressa di Neuropsicologia a Oxford, conclude nello stesso articolo:
People are building careers on the back of this tidal wave of fraudulent science and could end up running scientific institutes and eventually be used by mainstream journals as reviewers and editors. Corruption is creeping into the system (McKie, 2024).
55Bishop (2023), preoccupata per la sottovalutazione della piaga delle frodi da parte di editori e di istituzioni di ricerca, era arrivata a proporre per i giovani ricercatori un corso di «difesa contro le arti oscure» per imparare tecniche con cui individuare i casi sospetti di articoli poco seri o generati da papermills.
56Elisabeth Bik, ricercatrice olandese esperta di integrità della ricerca, riconosce in una recente intervista la necessità di “rallentare” nella corsa alle pubblicazioni per frenare gli effetti perversi della valutazione attuale (Olaizola, 2024).
57Il valore fondante di COARA e della riforma della valutazione sta proprio nella rinuncia alla corsa alla “quantità” e all’abbandono della logica dei ranking – sia per le riviste sia per le istituzioni – per raggiungere i quali si è arrivati a fare letteralmente di tutto: «Ottenere un buon punteggio attraverso l’applicazione di queste metriche diventa un obiettivo che gli scienziati e gli editori sono disposti a raggiungere barando» (Biagioli, 2016; Illetterati, 2021) oppure offrendo premi in denaro ai propri ricercatori quando riescono a pubblicare sulle riviste prestigiose, pratica che ha portato in Thailandia a un aumento di 19 volte della produzione scientifica, con seri dubbi sulla integrità delle pubblicazioni (Conroy, 2024).
58Nei documenti ufficiali europei, al contrario, è chiaro il legame di molte pratiche Open con la qualità e la riproducibilità:
- 31 Council of the European Union (2022), Research assessment and the implementation of Open Science, C (...)
24. CONSIDERS that some Open Science practices such as open peer-review and early publication of preprints are very promising but challenging, and should be further promoted within a coherent framework and be based on rigorous integrity principles and practices, as they allow quicker dissemination of research results and quicker ways of vetting the quality thereof; 25. NOTES in this respect the need to increase the reproducibility of research results since this contributes to higher quality, a more efficient research processes, more trustworthy results, more effective translation into innovations, and higher return on investments in research as well as the promotion of public trust in science and evidence-informed policy making31.
59La Open Science, attraverso la cifra della trasparenza, è funzionale a un sistema ricerca in cui le frodi e la manipolazione dei dati possono essere limitati.
60Si pensi a una pratica quale la pre-registrazione: pre-registrando l’ipotesi di ricerca intanto si acquisisce una priorità con una data certa, si possono cercare collaborazioni, e una volta terminata la ricerca sarà più difficile sia modificare l’ipotesi iniziale per accomodare i risultati sia falsificare i dati o manipolarli e, ancora più importante, in caso di risultati negativi si è obbligati a pubblicarli (Nosek et al., 2018). I risultati negativi sono altrettanto se non più notevoli di quelli positivi, perché la scienza fallisce – “provando e riprovando” – ma nessuna rivista ad alto Impact Factor pubblica risultati negativi. Nell’ottica di un ente finanziatore della ricerca, la pubblicazione di risultati negativi evita lo spreco di denaro e di tempo nel riprodurre esperimenti semplicemente perché non si sa che quelle specifiche non portano al risultato atteso.
61Mettere a disposizione i dati, una delle pratiche Open più note, abilita non solo il riuso ma anche lo scrutinio: la scienza dovrebbe essere “show me” e non “trust me” (Stark, 2018). Se non si forniscono i dati non si è attendibili; se si hanno dati e metodi si può discutere anche di errori – o raggiungere scoperte inedite:
Science should be ‘show me’, not ‘trust me’; it should be ‘help me if you can’, not ‘catch me if you can’. If I publish an advertisement for my work (that is, a paper long on results but short on methods) and it’s wrong, that makes me untrustworthy. If I say: “here’s my work” and it’s wrong, I might have erred, but at least I am honest. If you and I get different results, preproducibility can help us to identify why – and the answer might be fascinating.
62Di più: un articolo senza dati è solo la “pubblicità” della ricerca, non la ricerca stessa (Buckheit, Donoho, 1995). Il famoso caso degli economisti Reinhart e Rogoff, e del loro errore scoperto da un dottorando attraverso l’analisi dei dati grezzi, è esemplare (Herndon et al., 2013).
63Non solo. Nel mondo digitale, la scienza è cambiata, ed è sempre più data-driven e interdisciplinare:
- 32 European Commission, Directorate-General for Research and Innovation (2021), Towards a reform of th (...)
The research and innovation process is undergoing major evolutions, largely due to the digitalisation of the research and discovery process: the diversity of research tasks and required skills has increased, the volume of previous findings and datasets is often staggering, and desired outputs are no longer restricted to scholarly publications; sharing knowledge and tools, and openness to contributions from other stakeholders in the system (open collaboration) have become essential to efficiency and impact; and there is a growing need of multi-, inter-, and trans-disciplinary approaches and collaboration to tackle ever more complex scientific questions and societal challenges in collaboration with societal stakeholders. There is also a continuous need to make research outputs accessible and re-usable by other researchers and the whole of society and to ensure sound methodologies that increase the reliability and reproducibility (where applicable) of research outputs32.
64Ma le metriche per valutarla non sono cambiate, sono rimaste ancorate alle riviste – non considerando nessun altro risultato della ricerca – e all’Impact Factor, con gli effetti collaterali perversi ben sintetizzati nel documento della Commissione Europea che funge da prodromo a COARA:
These major evolutions are not aligned with the metrics that often dominate assessment: the number of publications and citations, and the quantity of publications in journals with high Journal Impact Factor (JIF). The race for publications – the so-called publish-or-perish culture – comes at the expense of quality, integrity, and trust in research. Also, using the JIF as a proxy for quality of research is shown to be inappropriate. Despite this, moving away from the use of JIF is non-trivial because it is easy to use and is engrained in academic culture, conferring prestige to authors and their institutions publishing in high JIF journals; whereas additional efforts may be required by alternatives such as more qualitative assessment methods33.
65La Open Science, con la sua cifra di apertura di tutti gli elementi del ciclo, è funzionale quindi sia a evitare gli effetti dannosi della valutazione quantitativa sia a un sistema di valutazione che davvero valorizzi l’intera attività accademica, secondo il citato principio di COARA, richiamato integralmente più sopra, per cui vanno riconosciute le diverse attività – creazione di una scuola, mentoring, peer review – e l’approccio collaborativo e interdisciplinare.
66Si pensi al valore della open peer review. Le revisioni vengono chieste agli esperti della materia, ma oggi, in un sistema di “double blind”, gli esperti sono anonimi e le revisioni restano chiuse nei cassetti. Perché? Una buona revisione richiede parecchio tempo, e spesso contiene argomentazioni notevoli, “pezzi” di conoscenza che meriterebbero un pubblico più vasto che non i soli autori e i curatori della rivista. L’orientamento verso la open peer review, pur con tutte le cautele e le declinazioni del caso (Pöschl, 2012; Ross-Hellauer, 2017), è sempre più generale in Europa e richiesto anche in Horizon Europe, il programma di finanziamento della Commissione Europea. Se le revisioni sono pubbliche, ottengono un identificativo, possono essere citate, ed entrano di diritto nella “grande conversazione” della comunicazione scientifica. Perché non dovrebbero entrare anche nel circuito della valutazione? Se si viene riconosciuti come esperti da un numero crescente di riviste, perché non si dovrebbe essere valutati anche sulla qualità e la solidità delle revisioni?
67La open peer review viene spesso associata alla forma più rapida di disseminazione della ricerca, il preprint. Servizi quali Pre-review34, che permette di ricevere commenti e revisioni dall’intera comunità, o Peer community in35, che funge da filtro di qualità, o ancora workflow innovativi come quelli degli overlay journals36, che si basano sui preprint depositati negli archivi, dimostrano la potenzialità della Open Science nello sfruttare il web ben al di là di quanto facciano gli editori tradizionali che si limitano a pubblicare online un pdf statico, cristallizzato. Al contrario, i preprint e la open peer review attivano la “grande conversazione” e favoriscono gli approcci inter e transdisciplinari. Dal punto di vista valutativo, inoltre, i preprint minano alla base la logica proxy dell’Impact Factor – assegnato all’intera rivista e non al singolo articolo –,in quanto non esiste alcun “contenitore” di riferimento, il contenuto va valutato per quello che è e non per via di un indicatore che Robert Terry non esita a definire “tossico”, l’Impact Factor, che per similitudine viene associato a una medaglia d’oro vinta senza nemmeno correre la gara (Terry, 2021).
68Non vanno dimenticate le lezioni del COVID, in cui i preprint hanno giocato un ruolo fondamentale insieme alla condivisione dei dati (Terry, 2021; Oecd, 2023): mettere a disposizione della comunità preprint, dataset o metodologie, che abilitano il lavoro di altri e fanno procedere la ricerca in modo più rapido, dovrebbe rientrare fra i criteri premianti. Tutti gli elementi del ciclo della ricerca, se resi FAIR [Findable, Accessible, Interoperable, Reusable] e aperti, quindi riutilizzabili per creare nuova conoscenza, dovrebbero poter essere considerati “prodotti” della ricerca ed entrare nel circuito della valutazione: dalla ipotesi iniziale, ai dati, al codice usato per processarli, ai protocolli, alle metodologie, ai quaderni di laboratorio elettronici, tutto dovrebbe costituire, nell’ottica di COARA, un contributo all’avanzamento della conoscenza ed essere quindi parte della valutazione.
69Proprio gli Open lab notebook37, i quaderni di laboratorio elettronici aperti, possono essere un altro contributo della Open Science per scardinare il sistema delle riviste – e la connessa logica del prestigio: gli open lab notebook sono ambienti virtuali nei quali trovano posto i testi (metodologie, protocolli, conclusioni), i dati, il codice eseguibile; sono ambienti dinamici e collaborativi, “documenti vivi” in contrasto alle riviste, “fossili” ormai obsolete e inefficaci (Ritchie, 2022). Di fronte a strumenti così versatili ed efficienti come gli open lab notebook (Shapira, Harding, 2019), viene da chiedersi se le riviste scientifiche siano ancora necessarie. Anzi: se non siano proprio da rimpiazzare facendo leva su infrastrutture esistenti (i repository Open) e tecnologie aperte e federate per creare un sistema di comunicazione che davvero serva la comunità scientifica e utilizzi al meglio il denaro pubblico invece di sprecarlo in abbonamenti che fanno solo gli interessi dei grandi gruppi editoriali (Brembs et al., 2023). Perché, come ricorda l’economista Claudio Aspesi, il business degli editori è fare soldi, ma il “business” delle università dovrebbe essere creare e diffondere la conoscenza, non aiutare gli editori ad aumentare i profitti (Aspesi et al., 2021).
70Torniamo al binomio iniziale: gli strumenti Open sono innovativi e funzionali a una scienza migliore, ma non si diffonderanno mai se la valutazione resta ancorata alla pubblicazione su rivista e alla logica del prestigio (la valutazione per l’Open Science); viceversa, dando valore a ogni elemento del processo di ricerca la Open Science valorizza l’attività quotidiana che è molto più ricca della “pubblicazione” (l’Open Science per la valutazione).
71Gli esercizi che dimostrano quanto le pratiche Open siano in perfetta consonanza con una valutazione diversa – e anzi possano renderla possibile – sono ormai numerosi: dal perimetro olandese Room for everyone’s talent: towards a new balance in the recognition and reward of academics, che tiene conto del talento di ciascuno anche nel rapporto con la società (VSNU et al., 2019), al processo finlandese Towards a FAIReR assessment: make it meaningful, make it possible, make it rewarding (Mustajoki et al., 2021), alla matrice norvegese NOR-CAM che considera nella valutazione sei aree di competenza (NOR-CAM, 2021).
- 38 European Commission (2023), Recommendation (EU) 2023/2836 of 12 December 2023 on promoting the enga (...)
72Particolarmente affascinanti sono i Building blocks for impact (Schmidt, 2022) che indicano una prospettiva inedita combinando il grado di influenza con i nuovi tipi di interlocutori, per fornire un modello – flessibile e ricombinabile – che dà conto dell’impatto reale dell’attività accademica (fig. 1). Notiamo per inciso che uno dei blocchi raffigura il binomio “science for policy”, un tema particolarmente caldo in Europa come dimostrano i recenti documenti ufficiali su «evidence-informed policy making»38, di difficile realizzazione in un mondo in cui la conoscenza scientifica rimane chiusa:
Fig. 1. Building blocks of impact (Schmidt, 2022)
73Nonostante questa ricchezza di proposte e riflessioni oggi, sia nella comunicazione che nella valutazione, siamo ancora largamente ostaggio di strumenti (le riviste) e di criteri (Impact Factor) nati per riviste di carta –quando la pubblicazione era effettivamente l’unico modo per comunicare la sintesi della ricerca – e cresciuti sugli imperi commerciali dei grandi editori (Mons, 2016):
Researchers, funders and publishers (I always thought that meant making things public) keep each other hostage in a deadly embrace by continuing to conduct, publish, fund and judge science in the same way as in the past century. So far, no-one seems to be able to break this deadlock.
74Iniziative coordinate quali COARA, sostanziate dalla riflessione diffusa di cui abbiamo cercato di dare conto, e associate alle politiche di Open Science obbligatorie in Horizon Europe e ad ambienti virtuali quali EOSC, la European Open Science Cloud39, per facilitare la condivisione di conoscenza e di dati FAIR, sono un’occasione unica per voltare pagina e poter davvero valorizzare una scienza più solida, trasparente, rispondente ai bisogni della società (Masuzzo, Angler, 2021).