Navigation – Plan du site
Actualité de la recherche
Débats. L’évaluation des publications scientifiques en débat

La evaluación de las publicaciones científicas en España: las revistas de Historia

Mª Isabel del Val Valdivieso
p. 307-311

Texte intégral

  • 1  Mª I. del Val Valdivieso es catedrática en la Universidad de Valladolid y presidenta de la Socieda (...)

1Como en el resto de los países de nuestro entorno, desde hace varios años la cultura de la calidad se ha impuesto en el mundo académico español1. Con ello se han generalizado y normalizado los procesos de evaluación de las actividades académicas y científicas de los profesores e investigadores y de los soportes a través de los cuales se hacen públicos los resultados alcanzados.

2En este segundo aspecto, la política editorial de libros y revistas ha ido incorporando mecanismos de evaluación de la calidad de los trabajos publicados. De esta forma, las editoriales universitarias y buena parte de las comerciales se han dotado de comités científicos y de evaluación que valoran la calidad de la obra propuesta para su publicación, aceptándola o no en función del resultado de ese filtro previo. Cuando lo consideran oportuno, tales comités solicitan informes a especialistas que valoran los originales sin conocer su autoría, es decir mediante el sistema de pares ciegos.

3En el caso de las revistas, el sistema es similar. Por regla general, el comité editorial se ocupa de recabar los informes de pares ciegos. En este caso, lo habitual es que, una vez recibido el artículo, éste pase por un primer análisis realizado por miembros de ese comité que constatan si la propuesta se ajusta a las condiciones y características propias de la revista. Superado este filtro, cada artículo es sometido a la valoración de dos especialistas ajenos a la revista y a la institución a la que está vinculada. Tales informes son fundamentales ya que permiten al comité editorial decidir si el trabajo propuesto será publicado o no. En caso de aceptación, se comunican al autor las correcciones que debe realizar por sugerencia de los informantes. Si no es aceptado, se traslada esta decisión al autor con una breve explicación del porqué de la misma. Las revistas cuentan con sus propios evaluadores, cuyos nombres suelen publicarse cada varios números con el fin de favorecer el anonimato del responsable de cada evaluación concreta.

  • 2   Aunque tiene ya unos años, puede consultarse para más información sobre sistemas y criterios de e (...)

4Pero no se trata sólo de velar por la calidad del contenido de cada publicación. Se busca también la calidad de la propia revista, circunstancia que adquiere gran relevancia dado que, en esta época de apariencias en la que nos encontramos, será la calificación de la revista, no la del artículo en sí, lo que otorgará mayor o menor calidad a éste, y por tanto lo que dará más o menos posibilidades de éxito a su autor cuando someta a evaluación su investigación2.

  • 3  Este trabajo se ha redactado en enero de 2014.

5Cada dos años, la Fundación Española para la Ciencia y la Tecnología (FECyT) realiza una convocatoria para evaluar la calidad editorial y científica de las revistas españolas (la última el 28 de diciembre de 2013). Se trata de un organismo dependiente del Ministerio de Economía y Competitividad (MINECO) [<http://www.fecyt.es>], que agrupa las revistas en cuatro grandes áreas de conocimiento, incluyendo las de Historia en la de Humanidades. El proceso, del que se ocupa el proyecto ARCE (<http://evaluacionarce.fecyt.es/​>), tiene dos fases, una primera de autoevaluación en la que cada responsable de revista debe responder a un cuestionario, siendo necesario que todas las respuestas sean positivas para poder pasar a la evaluación propiamente dicha. Una vez admitida, la revista es sometida a examen en dos campos. Por un lado, editorial y científico, siendo necesario que cumpla los doce requisitos exigidos que van desde la identificación de los miembros de los consejos de la publicación (primer ítem) hasta su repercusión o impacto (ítem duodécimo) medido por las citas recibidas; se tienen en cuenta también las bases de datos en las que está referenciada, la internacionalidad de los autores, la endogamia/exogamia, etc. Por otro, esta segunda fase de la evaluación se centra en dos cuestiones tal y como se especifica en la actual convocatoria3: «Orientación de la revista: en la que se valorará que la revista pueda considerarse científica, profesional o de divulgación» y «Estructura de la revista y sus artículos: en la que se valorará que la revista disponga de un contenido científico mayoritario y si la estructura de los artículos de investigación favorece la comunicación científica».

6Lo que se pretende con esta evaluación es destacar a las mejores revistas con un sello de calidad que reconoce su excelencia editorial y científica. Esta mención, además del valor que otorga a la revista y a los trabajos en ella publicados, da acceso a una herramienta de gestión electrónica alojada en el Repositorio Español de Ciencia y Tecnología, RECyT (<http://recyt.fecyt.es>), que ofrece importantes servicios de gestión y publicación electrónica.

7Todo este proceso evaluador corre a cargo de una Comisión mixta formada por tres miembros de la FECyT (la directora del Departamento de Gestión de la Calidad Científica, GIC, y dos técnicos de ese departamento) y tres especialistas en evaluación de ciencia y bibliometría. Nombradas por la Dirección General del organismo, actúan también cuatro subcomisiones, una por cada una de las áreas (Ciencias Puras y Aplicadas, Ciencias de la Vida, Ciencias Sociales, Humanidades) en las que participan expertos en la materia. Cada una de estas subcomisiones tiene un coordinador y varios vocales, uno por cada una de las materias que integran las cuatro áreas (trece en total), de los cuales al menos un 20% son extranjeros. En caso necesario se recaba la opinión de revisores externos. Los nombres de estos evaluadores se hacen públicos una vez finalizado el proceso.

8Realizada la evaluación, es la Dirección General de la FECyT, visto el informe final de la Comisión, la que emite la resolución definitiva, que se hace pública en el Boletín Oficial del Estado y en la web. El sello de calidad recibido por las revistas que han superado el proceso tiene una duración de tres años, al cabo de los cuales han de volver a someterse a una nueva evaluación diseñada al efecto, esta vez centrada únicamente en el proceso editorial. En ambos casos, primera concesión y renovación, la actuación se rige, lógicamente, por los principios de objetividad, confidencialidad y transparencia, buscando en todo momento garantizar la igualdad de tratamiento y la imparcialidad.

9En este contexto, hay dos aspectos que destacar, debido a su estrecha relación con el contenido científico de las revistas, y también porque afectan directamente a la evaluación de la actividad de sus autores. Me refiero al impacto y a la indexación en bases de datos. Para valorar la primera cuestión, el índice de impacto, se recurre a las citas. Debido a la gran diferencia que se observa entre unos campos y otros, se ponderan las fuentes consultadas en función del área de conocimiento de que se trate. Esas fuentes son el JCR (Journal Citation Report), WoS (Web of Science), SJR, Scielo, IN-RECJ, IN-RECS, Scopus, Google Scholar Metrics, Microsoft Academic Search, y también otras más directamente vinculadas a las Humanidades y por tanto a la Historia, concretamente el IN-RECH (<http://ec3.ugr.es/​in-rech/​>) y el ERIH (<http://www.esf.org/​research-areas/​humanities/​erih-european-reference-index-for-the-humanities.html>).

10La clasificación de las revistas realizada por diversos organismos constituye otro dato relevante, que también es considerado en el proceso general de evaluación, y que, lo mismo que el índice de impacto, cobra alta relevancia en la valoración de la producción científica de cada autor cuando tiene que enfrentarse a la evaluación de su actividad investigadora. En el listado ofrecido por la FECyT para la convocatoria en curso (2013) figuran aquellas que este organismo considera de mayor valor. Entre ellas aparecen algunas que tienen especial relevancia para el área de Historia. Encontramos así Humanities Abstracts e Historical Abstracts (HA); esta última recoge bibliografía sobre la historia mundial (no hay referencias de EE UU ni de Canadá) procedentes de revistas, libros y tesis doctorales, en un arco temporal que va de mediados del siglo xv hasta la actualidad, en los campos de Historia, Ciencias Sociales y Humanidades. Junto a estas encontramos otras como SSCI (Social Sciences Citation Index. Web of Science), Regesta Imperii o la prestigiosa y tradicional IMB (International Medieval Bibliography), elaborada por el Instituto de Estudios Medievales de la Facultad de Artes de la Universidad de Leeds, siendo su editor en la actualidad Alan V. Murray; se trata de una obra iniciada en 1967, que cuenta con numerosos colaboradores en Europa, EE UU, Australia, Brasil, Japón y Sudáfrica. Todas estas bases de datos suelen requerir, entre otros indicadores propios de las normas académicas de calidad, periodicidad regular, resúmenes en inglés y revisión por pares de los artículos presentados para su publicación.

11A grandes trazos ese es el sistema de evaluación de las revistas científicas en España realizado por una Fundación vinculada al MINECO, del que depende en la actualidad la investigación. Pero hay que indicar que existen otras clasificaciones elaboradas por diferentes organismos. Un convenio suscrito entre el Consejo superior de investigaciones científicas (CSIC) y la Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA) hizo posible que el Grupo de investigación EPUC (Evaluación de Publicaciones Científicas en Ciencias Sociales y Humanas) del Instituto de Estudios Documentales sobre Ciencia y Tecnología (IEDCYT) del Centro de Ciencias Humanas y Sociales (CCHS) del CSIC desarrollara hasta el año 2013, fecha en la que fue anulado, el proyecto DICE (Difusión y Calidad Editorial de las revistas científicas españolas de Humanidades y Ciencias Sociales y Jurídicas). La base de datos resultante ha sido una muy útil herramienta para conocer el índice de difusión de las revistas y su valoración en diferentes bases de datos. En ella se indica la calificación que reciben las revistas en ANEP (Agencia Nacional de Evaluación y Prospectiva de la Dirección General de Investigación Científica y Técnica del MINECO), ERIH (European Reference Index for the Humanities) y CARHUS plus, índice elaborado por AGAUR (Agència de Gestió d’Ajuts Universitaris i de Recerca, de la Direcció General de la Recerca de la Generalitat de Cataluña). Además, ese índice (<http://dice.cindoc.csic.es>) informa sobre si la revista cuenta o no con evaluadores externos, valora su grado de apertura al exterior y de internacionalización en función del porcentaje de autores ajenos a la institución y extranjeros, e indica su difusión o impacto a partir de las bases de datos en las que la revista está incluida.

12En relación con este último aspecto, a las bases de datos ya citadas es preciso añadir una más, que es tomada en consideración en todos los casos y que cuenta con un amplio respaldo en el mundo iberoamericano, Latindex (<http://www.latindex.unam.mx/​>), proyecto relativo a revistas científicas de América Latina, el Caribe, España y Portugal que arrancó en 1995 en la UNAM (Universidad Nacional Autónoma de México). Cada país participante cuenta con un organismo responsable, encargándose de la coordinación general el Departamento de Bibliografía Latinoamericana de la Subdirección de Servicios de Información Especializada de la Dirección General de Bibliotecas de la UNAM. La referencia latindex son 33 criterios que una revista debe reunir, repartidos en cuatro aparatados: características básicas, de presentación, de gestión y política editorial, y de contenido; el grado de calidad de una revista será mayor cuanto mayor sea el número de criterios cumpla; la enumeración de estos ítem puede encontrarse en <http://www.latindex.unam.mx/​documentos/​docu.html>.

13Sin duda todo este sistema, que en ocasiones resulta altamente complicado para quienes gestionan las revistas científicas y para los investigadores cuando tienen que someter a evaluación su investigación, ha favorecido que los trabajos publicados gocen en general de mejor calidad. El sistema de pares ciegos, que garantiza que dos especialistas (o más en caso de conflicto) informen los artículos antes de su publicación y propongan mejoras a los mismos, si lo consideran oportuno, es un mecanismo que incentiva la mejora de la calidad del producto final. Y la evaluación y clasificación de las revistas anima a éstas a mejorar en todos los sentidos. No obstante, para alcanzar los más altos niveles, el esfuerzo que sus responsables deben realizar es muy grande, y no son escasas las ocasiones en que no cuentan con el apoyo suficiente para cumplir con todos los requisitos formales exigidos, a pesar que de que cumplan con los referentes de la calidad científica de los artículos publicados. Por otro lado, el legítimo deseo de todo investigador de conseguir una buena valoración cuando somete a evaluación su trabajo lleva a que las revistas mejor valoradas tengan una sobredemanda, lo que se traduce en más trabajo para sus responsables y mayor nivel de rechazo de originales, mientras que aquellas que no cuentan con tan alta valoración se encuentren en la situación inversa. Estos y otros aspectos deberían ser puntos de reflexión a tener en cuenta para mejorar el sistema de valoración de las revistas y de los resultados de investigación de los historiadores, en este último caso poniendo el acento no solo en el medio en que está publicado, sino también en la calidad del trabajo a valorar.

Haut de page

Notes

1  Mª I. del Val Valdivieso es catedrática en la Universidad de Valladolid y presidenta de la Sociedad Española de Estudios Medievales.

2   Aunque tiene ya unos años, puede consultarse para más información sobre sistemas y criterios de evaluación, Emilio Delgado López-Cortázar, Rafael Ruiz-Pérez, Evaristo Jiménez-Contreras, La edición de revistas científicas. Directrices, criterios y modelos de evaluación, Universidad de Granada, 2006 (se puede descargar en: <http://www.fecyt.es/fecyt/docs/tmp/550433876.pdf>).

3  Este trabajo se ha redactado en enero de 2014.

Haut de page

Pour citer cet article

Référence papier

Mª Isabel del Val Valdivieso, « La evaluación de las publicaciones científicas en España: las revistas de Historia »,Mélanges de la Casa de Velázquez, 44-2 | 2014, 307-311.

Référence électronique

Mª Isabel del Val Valdivieso, « La evaluación de las publicaciones científicas en España: las revistas de Historia », Mélanges de la Casa de Velázquez [En ligne], 44-2 | 2014, mis en ligne le 01 janvier 2018, consulté le 20 février 2018. URL : http://journals.openedition.org/mcv/5862

Haut de page

Auteur

Mª Isabel del Val Valdivieso

Universidad de Valladolid

Haut de page

Droits d’auteur

© Casa de Velázquez

Haut de page
  • Logo Casa de Velázquez
  • OpenEdition Journals