1. Pasado de la publicación de corpus literarios en TEI

2. Datos FAIR y TEI

6Consideramos que, cuando los datos son principalmente textuales, los criterios FAIR son más fáciles de adoptar en TEI que en otros formatos (como especificaciones ad hoc de XML, HTML, JSON, CSV, texto plano o MySQL). De manera breve, podemos describir de la siguiente manera los principales aspectos de los criterios FAIR:

• Findable

• TEI ofrece elementos (como <idno>) para guardar identificadores unívocos (F1), describir el documento con metadatos (F2) y que la relación entre datos y metadatos quede guardada en la integridad de un único documento (F4).

• Accesible

• Al estar basado en un estándar abierto como es XML, TEI puede accederse utilizando protocolos abiertos y gratuitos (A1). De nuevo, el hecho de que metadatos y datos estén recogidos en un solo documento resulta una ventaja (A2).

• Interoperable

• TEI ofrece un vocabulario formal y abierto para la descripción de datos (I1), sigue en buena medida los criterios FAIR (I2) y permite tanto la interrelación de conjuntos de datos como la documentación de cambios (I3). Sin embargo, dos implementaciones TEI diferentes pueden no ser interoperables al no utilizar los mismos elementos y atributos.

• Reusable

• TEI ofrece posibilidades para que los investigadores describan las decisiones tomadas sobre los datos (R1), tiene elementos específicos para la licencia (R1.1) y la procedencia de los datos (R1.2) y es uno de los formatos más ampliamente usados en las Humanidades (R1.3).

7Con esto no queremos decir que cualquier proyecto que trabaje con TEI producirá datos de investigación completamente FAIR. En primer lugar, en la lista anterior nos hemos centrado en la perspectiva del investigador y no en aquellos puntos que dependen principalmente del repositorio donde se publiquen (como F3, A1 o A2). En segundo lugar, cada proyecto que utilice TEI debe tomar una serie de decisiones sobre su implementación específica, por lo que cada proyecto debe decidir hasta qué punto y de qué manera satisface los criterios FAIR. Sin embargo, observamos que TEI tiende a ofrecer elementos específicos para cada uno de estos puntos. Incluso con poco esfuerzo, el uso de TEI mejora el estatus FAIR de nuestros datos en comparación con otros formatos, especialmente en comparación con texto plano.

8Por ejemplo, en estilometría es habitual encontrar documentos de texto plano con ciertos metadatos codificados en el nombre del archivo, con la estructura Autor_Título.txt. Ese mismo documento de texto plano tendrá un mejor estatus FAIR con un par de pasos como son incluir el texto de cada nueva línea en un elemento TEI y colocar los metadatos de autor y título como metadatos en elementos TEI dentro del <teiHeader>. De esta manera se hace explícito qué datos y metadatos son considerados y qué valor tiene cada uno de ellos.

3. El problema: textos y datos no publicables por razones legales, éticas u otras

9En la mayoría de los casos, los investigadores que crean datos (por ejemplo, textos literarios en TEI) quieren publicar estas colecciones junto con los resultados del análisis y los metadatos. Esto puede no solo ser un interés de los investigadores, sino también un requisito de las instituciones financiadoras. La publicación de los datos, metadatos, herramientas y resultados estadísticos es también una presuposición sobre la reproducibilidad de los resultados de investigaciones, recogido en la R (Reusable) de los criterios FAIR.

10Sin embargo, hay casos en que la publicación de textos y datos no es posible por razones legales: en muchos países, los derechos de explotación expiran a los 70 años de la muerte del autor. En consecuencia, obras de autores que fueron publicadas por primera vez a principios del siglo XX no están en el dominio público. Por ejemplo, las obras de Rafael Alberti (nacido en 1902, muerto en 1999) no entrarán en el dominio público antes del 2070, mientras que los textos de Federico García Lorca (1898–1936), de la misma generación, están en el dominio público desde el año 2017. Los textos que están todavía bajo la protección de los derechos de explotación pueden ser analizados o anotados, pero no pueden ser publicados de manera completa.

11Otras razones que prohíben una publicación abierta de datos afectan el contenido y el origen de los datos. Puede tratarse de datos empíricos, como encuestas de lectores que contienen aspectos sensibles o referencias personales, que no pueden ser publicados, aunque estos representan una minoría en el campo de los estudios literarios. Igualmente, algunos aspectos éticos obstaculizan la publicación de datos procedentes de culturas indígenas cuya reproducción es cuestionable, por ejemplo por haber sido obtenidos en un contexto imperialista. Si los datos pertenecen originalmente a otras culturas o regiones, puede ser problemático publicarlos aunque formen parte del dominio público (Carroll et al. 2020).

4. Una posible solución: datos derivados

14Como se mencionaba en la primera sección, algunos proyectos ya han encontrado posibles soluciones al problema de no poder publicar los datos originales: publicar datos derivados (también llamados extracted features en artículos en inglés). El objetivo es poder publicar la mayor cantidad de datos sin cometer ninguna infracción legal o ética. En este artículo nos centraremos en aquellos casos en los que los textos no pueden publicarse debido a derechos de explotación.

15En 2020 se publicó un artículo fruto de una serie de encuentros por parte de diferentes investigadores universitarios e instituciones, entre ellos la Biblioteca Nacional Alemana. El artículo expone que:

La idea básica de los formatos de texto derivados (abgeleitete Textformate en alemán) es esencialmente la siguiente: Se parten de fondos de textos completos protegidos por derechos de autor … a los que una institución tiene acceso legal. Estas colecciones de textos se transforman en los denominados formatos de texto derivados mediante la aplicación de procesos que representan esencialmente tanto un enriquecimiento selectivo de la información (por ejemplo, mediante la anotación lingüística) como una reducción de la misma (por ejemplo, mediante la supresión de formas de palabras o la anulación de información secuencial). Este procesamiento puede aplicarse, en caso necesario, en relación con un proyecto de investigación concreto de la propia institución o de terceros. El ejemplo más sencillo de este formato de texto derivado sería una tabla que registra las frecuencias de cada palabra en cada texto para un inventario de textos.
(Schöch et al. 2020, la traducción es nuestra)

16En esta misma publicación se discuten diferentes iniciativas que ya han implementado esta idea. Probablemente, la más conocida sea el Google Ngram Dataset, un conjunto de datos con n-grams de diferentes longitudes (bigramas, trigramas, 4-grams y 5-grams) de tokens y anotación de categorías gramaticales. Los datos originales en numerosas lenguas proceden de publicaciones escaneadas para Google Books y no se refieren a publicaciones concretas ni contienen metadatos, sino que han sido agrupados por el año de la publicación. De esta manera, este conjunto de datos permite ciertos análisis diacrónicos, pero no centrados en autores, editoriales o publicaciones concretas.

Ejemplo 1. Datos derivados en HTRC formateados en JSON-LD.

​ ​ "tokenPosCount":​ {
​ ​ ​ ​ "se":​ {"PRON":​ 8},
​ ​ ​ ​ "siera":​ {"VERB":​ 1},
​ ​ ​ ​ "le":​ {"PRON":​ 3},
​ ​ ​ ​ "romper":​ {"VERB":​ 1},
​ ​ ​ ​ "ser":​ {
​ ​ ​ ​ ​ ​ "AUX":​ 1,
​ ​ ​ ​ ​ ​ "VERB":​ 1
​ ​ ​ ​ },
​ ​ ​ ​ "Cervantes":​ {"PROPN":​ 1},
​ ​ ​ ​ "ama":​ {"NOUN":​ 1},
​ ​ ​ ​ "entre":​ {"ADP":​ 1},

18En el artículo de Schöch et al. (2020) también se mencionan ciertos tipos de análisis frecuentes en las Humanidades Digitales y otras disciplinas afines. El objetivo es tener en cuenta metodologías concretas mientras se discuten las diferentes posibilidades de los datos derivados. En el artículo se mencionan:

1. Clasificación y clustering de textos (incluyendo atribución de autoría y estilometría)

2. Extracción de rasgos distintivos

3. Reducción de dimensionalidad con topic modeling

4. Análisis de polaridad mediante análisis de sentimiento (sentiment analysis)

5. Relaciones de personajes (mediante análisis de redes)

6. Análisis de reúso de texto (es decir, el estudio de qué textos reutilizan o citan otros textos anteriores)

7. Modelos lingüísticos, como BERT (Bidirectional Encoder Representations from Transformers) o GPT (Generative Pre-trained Transformer), para diferentes tareas

19Otros métodos podrían añadirse, como la anotación manual o automática de los datos, o el análisis de otras entidades.

5. La formalización de datos derivados en TEI

5.1 ¿Qué queremos publicar?

21En esta sección, exploramos con un único texto diferentes posibilidades para la extracción de datos derivados y su posible representación en TEI. Consideramos los siguientes tipos de datos derivados:

1. Datos del texto como frecuencias o co-ocurrencias de entidades, tokens, tipografía y espacios en blanco.

2. Estructura textual, por ejemplo, para observar si un documento contiene citas, pasajes teatrales, poemas, párrafos u oraciones, así como su distribución a lo largo de las secciones (capítulos, escenas) y del documento.

3. Metadatos a nivel de documento como el nombre del autor, el género, el año de publicación, etcétera. Estos datos suelen haber sido anotados manualmente por el editor o exportados desde alguna fuente como catálogos. En TEI, se codificarían dentro del <teiHeader>.

4. Valores estadísticos textuales como la longitud media de párrafos u oraciones, medidas de legibilidad del texto, complejidad textual, etcétera. Estos pueden ser expresados en TEI mediante elementos <measure> dentro del elemento <extent> en <teiHeader>.

5. Anotaciones de diferentes tipos, como lemas, categorías gramaticales o semánticas, rima o silabificación, análisis de sentimiento, etcétera. Estas pueden haber sido anotadas de manera manual por personas o de manera automática por herramientas. Además, son susceptibles de ser expresadas en TEI mediante soluciones in-line o utilizando estrategias stand-off, por ejemplo mediante el elemento <standOff> y referencias al elemento anotado.

22De estos cinco tipos de datos, consideramos que el único protegido por los derechos de explotación del autor y que no puede ser publicado es el primero, los datos del texto (tokens y tipografía). Sin embargo, es importante no olvidar los otros cuatro tipos de datos y dar soluciones que los integren siguiendo los criterios FAIR.

5.2 Ejemplo original

Ejemplo 2. Comienzo de La Tribuna, con elementos para párrafos, pasajes narrativos y oraciones.

<div n="1" type="chapter" xml:id="ne0075_chap1">
  <head xml:id="ne0075_chap1_head0">- I - : Barquillos </head>
  <p xml:id="ne0075_chap1_p1">
    <seg type="narrative" xml:id="ne0075_chap1_seg2">
      <s xml:id="ne0075_chap1_s3">Comenzaba a amanecer, pero las primeras y vagas luces del alba a duras penas lograban colarse por las tortuosas curvas de la calle de los Gastros, cuando el señor Rosendo, el barquillero que disfrutaba de más parroquia y popularidad en Marineda, se asomó, abriendo a bostezos, a la puerta de su mezquino cuarto bajo.</s>
      <!-- ... -->
    </seg>
    <!-- ... -->
  </p>
  <!-- ... -->
</div>

5.3 Bolsa de palabras en TEI a diferentes niveles textuales

24Una manera de publicar datos derivados sobre el texto es seguir la estrategia del CORDE, es decir, tokenizar el texto y dar la frecuencia de cada token en el volumen completo. De esta manera estamos representando en TEI los valores que estarían contenidos en una matriz de bolsa de palabras (bag of words). Para ello, podemos utilizar el elemento <measure> y sus atributos @commodity y @quantity.

Ejemplo 3. Frecuencias de tokens de todo el volumen en <measureGrp>.

<extent>
  <measureGrp type="form">
    <measureGrp corresp="#ne0075">
      <measure commodity="," quantity="5727"/>
      <measure commodity="de" quantity="4121"/>
      <measure commodity="la" quantity="2699"/>
      <measure commodity="el" quantity="2631"/>
      <measure commodity="y" quantity="2243"/>
      <!-- ... -->
    </measureGrp>
    <!-- ... -->
  </measureGrp>
  <!-- ... -->
</extent>

25Sin embargo, si el documento ya se encuentra estructurado en capítulos, podríamos utilizar un <measureGrp> para cada capítulo y referenciar mediante el atributo @corresp el capítulo correspondiente del que proceden los datos de frecuencia.

Ejemplo 4. Frecuencias de tokens del primer capítulo en <measureGrp>.

<extent>
  <measureGrp type="form">
    <measureGrp corresp="#ne0075_chap1">
      <measure commodity="," quantity="142"/>
      <measure commodity="de" quantity="120"/>
      <measure commodity="el" quantity="91"/>
      <measure commodity="la" quantity="75"/>
      <measure commodity="y" quantity="71"/>
      <!-- ... -->
    </measureGrp>
    <!-- ... -->
  </measureGrp>
  <!-- ... -->
</extent>

26Esto puede ser llevado un paso más allá y dar las frecuencias en unidades más pequeñas, como párrafos (<p>) o estrofas (<lg>)

Ejemplo 5. Frecuencias de tokens del primer párrafo en <measureGrp>.

<extent>
  <measureGrp type="form">
    <measureGrp corresp="#ne0075_chap1_p1">
      <measure commodity="," quantity="18"/>
      <measure commodity="de" quantity="17"/>
      <measure commodity="el" quantity="11"/>
      <measure commodity="y" quantity="10"/>
      <!-- ... -->
    </measureGrp>
    <!-- ... -->
  </measureGrp>
  <!-- ... -->
</extent>

27Si el texto se encuentra estructurado en oraciones, como es el caso de la versión anotada de CoNSSA, las bolsas de palabras pueden representar cada oración:

Ejemplo 6. Frecuencias de tokens de la primera oración en <measureGrp>.

<extent>
  <measureGrp type="form">
    <measureGrp corresp="#ne0075_chap1_s3">
      <measure commodity="," quantity="6"/>
      <measure commodity="de" quantity="5"/>
      <measure commodity="a" quantity="4"/>
      <measure commodity="el" quantity="3"/>
      <measure commodity="las" quantity="2"/>
      <measure commodity="y" quantity="2"/>
      <!-- ... -->
    </measureGrp>
    <!-- ... -->
  </measureGrp>
  <!-- ... -->
</extent>

28En teoría, la oración no tiene que ser el elemento más profundo en la estructura textual al que se aplique este método, sino que puede trasladarse a los sintagmas. Sin embargo, esto podría acabar considerando los sintagmas que contengan una cantidad muy reducida de palabras o incluso una única palabra. De esta manera acabaríamos con bolsas con una o unas pocas palabras y reproducir el orden completo del texto sería sencillo. Incluso es cuestionable si las oraciones no son unidades demasiado breves para las que es posible reproducir el orden original. De esta manera, la estructura textual y sintáctica nos lleva a un área gris donde nos preguntamos hasta qué punto podemos publicar las frecuencias de los tokens.

29Los datos del HTRC Extracted Features Dataset presentados anteriormente constituyen una variante de este modelo con algunas diferencias a lo hasta ahora presentado. Por un lado, el nivel textual elegido en este conjunto de datos para crear las bolsas de palabras es la página, en coherencia con la digitalización que tiene lugar en bibliotecas que tradicionalmente tiene como objetivo producir PDFs. Por otro lado, este conjunto de datos ofrece también la anotación gramatical de los tokens, información que podría ser codificada en TEI de diferentes maneras.

5.4 Estructura textual vacía

30Muchas preguntas de investigación sobre el texto no pueden ser respondidas solo con bolsas de palabras del volumen o libro analizado, cómo la cantidad, longitud o distribución de párrafos y oraciones a lo largo de la obra. La versión anotada de CoNSSA contiene no solo la estructura de párrafos y oraciones, sino también qué segmentos del texto están en estilo directo (en inglés, direct speech) y cuáles son los segmentos narrativos. Toda esta información está estructurada mediante los elementos <p>, <seg> y <s> en TEI. Aunque cabría la opción de modelar estas etiquetas de tal manera que también fuesen recogidas sus frecuencias en la bolsa de palabras, esto traería desventajas como la pérdida de la estructura jerárquica.

31Por ello, nuestra propuesta es mantener las etiquetas pendiendo del elemento <text>, pero eliminar de ellas todo el contenido léxico y tipográfico. Es decir, mantener una estructura textual en TEI sin texto. El marcado TEI es un trabajo de los editores del texto, por lo que consideramos que no debe ser considerado como protegido por los derechos de explotación del autor, lo que conlleva que podamos publicarlo sin restricciones.

Ejemplo 7. Estructura textual en TEI sin texto en los elementos principales.

<div n="1" type="chapter" xml:id="ne0075_chap1">
  <head xml:id="ne0075_chap1_head0">- I - : Barquillos </head>
  <p xml:id="ne0075_chap1_p1">
    <seg type="narrative" xml:id="ne0075_chap1_seg2">
      <s xml:id="ne0075_chap1_s3"/>
      <s xml:id="ne0075_chap1_s4"/>
      <s xml:id="ne0075_chap1_s5"/>
      <s xml:id="ne0075_chap1_s6"/>
      <s xml:id="ne0075_chap1_s7"/>
      <s xml:id="ne0075_chap1_s8"/>
    </seg>
  </p>
  <!-- ... -->
</div>

32Como se observa, los elementos TEI vacíos de <p>, <seg> y <s> mantienen el atributo @xml:id. Si el mismo documento TEI contiene las frecuencias léxicas en los <measureGrp> explicados en sección 5.3, un investigador puede cruzar los datos de ambas secciones y obtener, por ejemplo, qué vocabulario aparece en oraciones de estilo directo y compararlo con el vocabulario de oraciones narrativas; este análisis no sería posible si los datos fuesen modelados solo en bolsas de palabras.

5.5 Alteración del orden de los tokens en elemento TEI

33Aunque la combinación de las estrategias de seccións 5.3 y 5.4 recogería buena parte de los datos, la desventaja para los usuarios es el hecho de que tengan que extraerlos de dos elementos del mismo archivo, y cruzarlos mediante los identificadores (en los atributos @xml:id y @corresp). Esto supone que los usuarios tengan ciertos conocimientos técnicos, como conocimientos sobre XPath y en alguna lengua de programación.

34Una alternativa más amigable para herramientas y usuarios consiste en desordenar las palabras dentro de cada elemento TEI descendiente de <text>. En ejemplo 8 se observa que el orden de los tokens de la primera oración de la novela de Bazán han sido desordenados, o dicho de otra manera, han sido ordenados aleatoriamente:

Ejemplo 8. Tokens en elemento de oración con el orden de los tokens desordenado de manera aleatoria.

<p xml:id="ne0075_chap1_p1">
  <seg type="narrative" xml:id="ne0075_chap1_seg2">
    <s xml:id="ne0075_chap1_s3">Comenzaba de el la a las Marineda asomó las a popularidad , Rosendo , tortuosas , , luces más Gastros bostezos de curvas . el lograban calle y la por mezquino el duras cuarto bajo , amanecer colar los su penas se y parroquia barquillero en de se señor a a puerta , primeras vagas pero cuando alba de que abriendo de disfrutaba</s>
    <!-- ... -->
  </seg>
  <!-- ... -->
</p>

35Una alternativa a este desorden u orden aleatorio es sustituirlo por otro orden, como el alfabético:

Ejemplo 9. Tokens en elemento de oración ordenados alfabéticamente.

<p xml:id="ne0075_chap1_p1">
  <seg type="narrative" xml:id="ne0075_chap1_seg2">
    <s xml:id="ne0075_chap1_s3">, , , , , , . Comenzaba Gastros Marineda Rosendo a a a a abriendo alba amanecer asomó bajo barquillero bostezos calle colar cuando cuarto curvas de de de de de disfrutaba duras el el el en la la las las lograban los luces mezquino más parroquia penas pero popularidad por primeras puerta que se se señor su tortuosas vagas y y</s>
    <!-- ... -->
  </seg>
  <!-- ... -->
</p>

36Otras opciones son posibles, como el orden alfabético inverso o el orden por frecuencia. El orden alfabético (y otros órdenes no aleatorios) resulta más llamativo que el aleatorio, en parte por la repetición de tokens o caracteres idénticos o similares (tipografía, palabras en mayúscula o minúscula). El orden aleatorio puede crear a primera vista una falsa sensación de naturalidad, especialmente en investigadores que no conozcan suficientemente el idioma del documento. Por eso, consideramos que puede ser una ventaja utilizar órdenes no aleatorios como el alfabético para recordar a la persona investigadora que trabaja con textos que han sido alterados de manera artificial.

37Independientemente del orden de los tokens, este documento con orden alterado contendría exactamente la misma información que un documento con la estructura textual vacía (sección 5.4) y las bolsas de palabras a nivel de oración (sección 5.3). La ventaja es que este documento podría enviarse a herramientas que procesan TEI, como Voyant Tools o Stylo. Sin embargo, al igual que cualquier otro basado en bolsas de palabras, produciría resultados erróneos si se utilizasen métodos inspirados en la semántica distribucional, entre ellos extracción de colocaciones, n-grams, topic modeling o word embeddings.

5.6 Muestra y xSample

38Otra posibilidad diferente a las que hasta ahora se han presentado es publicar solo una muestra del texto original. Esta muestra contendría una cantidad del texto original (por ejemplo, el 15%), incluido el orden de los tokens que hasta ahora se había perdido.

40Una versión más sencilla de este procedimiento podría ser la extracción de muestras aleatorias del 15% del total del documento. Más concretamente, podrían seleccionarse de manera aleatoria el 15% de las oraciones en cada uno de los capítulos. Del restante 85% de los elementos TEI se eliminaría su contenido léxico, manteniéndose como elementos vacíos (sección 5.4). Dependiendo del interés y del género analizado, podría elegirse otra unidad textual diferente a la oración, como la página, el párrafo o el verso.

41El proceso de selección podría realizarse mediante programas que lean el documento TEI, iteren por los capítulos (o elementos <div> que dependan directamente del elemento <body>), y cuenten la cantidad de oraciones (u otras unidades textuales) de ese capítulo. Una vez se tenga ese número, se calcularía qué número de oraciones representan el 15% de ese capítulo. Después, se generarían números aleatorios que designen cuáles son las oraciones que entran en el 15% que se mantiene y qué oraciones son parte del 85% cuyo contenido se elimina. Más detalles pueden encontrarse en el código del repositorio del artículo de Gärtner et al. (2021).

42En ejemplo 10 se muestra el resultado de este proceso en el comienzo de la novela de Bazán. El primer capítulo tiene 18 párrafos con un total de 71 oraciones; redondeando hacia abajo, el 15% de 71 oraciones son 10. El proceso aleatorio elige 10 oraciones para este capítulo cuyo contenido léxico se mantiene; del resto de 61 oraciones se borra su contenido, pero se mantienen sus elementos TEI. En el caso del primer párrafo, esto significa que el contenido de todas las oraciones se elimina excepto el de la segunda oración:

Ejemplo 10. Muestra de oraciones por párrafo.

<p xml:id="ne0075_chap1_p1">
  <seg type="narrative" xml:id="ne0075_chap1_seg2">
    <s xml:id="ne0075_chap1_s3"/>
    <s xml:id="ne0075_chap1_s4">Vestía el madrugador un desteñido pantalón grancé, reliquia bélica, y estaba en mangas de camisa.</s>
    <s xml:id="ne0075_chap1_s5"/>
    <s xml:id="ne0075_chap1_s6"/>
    <s xml:id="ne0075_chap1_s7"/>
    <s xml:id="ne0075_chap1_s8"/>
  </seg>
</p>

43Uno de los aspectos más débiles de este procedimiento es la falta de un marco legal claro que permita que los investigadores o las instituciones encargadas de infraestructuras de investigación como bibliotecas publiquen estas muestras de manera abierta. En el caso de xSample, el proyecto se basa en dos párrafos de leyes alemanas que permiten que ciertos datos que no pueden ser publicados sí puedan ser compartidos con otros investigadores que participan en un proyecto interdisciplinar o que participan en revisión por pares (Gärtner et al. 2021). Está todavía por aclarar qué criterios deben cumplir las personas que pueden recibir los datos generados de esta manera.

44Independientemente del marco legal, este procedimiento tiene claras ventajas y desventajas. Por un lado, se pierde la mayor parte del texto original. Por otro lado, la persona tendría acceso a los datos originales del 15% lo que ofrece mayor libertad a la hora de elegir método de análisis. En realidad, esta es la única posibilidad hasta ahora presentada que permitiría aplicar métodos como word embeddings sin restricciones (aunque con menos material). Si el muestreo se realizase de manera homogénea a lo largo de todos los capítulos y dentro de ellos se eligiesen las oraciones de manera aleatoria, el 15% debería ser representativo del conjunto de la obra, por lo que las conclusiones a las que se llegasen podrían ser generalizables para el resto de la obra siguiendo procedimientos de la estadística inferencial. Este conjunto de métodos estadísticos estándares en muchas áreas de la investigación inducen las características de una población estadística a partir de muestras (Evans 1996, 25–26). Aplicados a textos de la manera aquí presentada, podrían tomar las unidades lingüísticas que aparecen en las muestras y predecir qué frecuencia sería esperable en el texto completo. Esta manera de trabajar sería especialmente útil para analizar fenómenos basados en unidades con frecuencias relativamente altas; sin embargo, sería difícilmente aplicable a fenómenos o unidades que aparecen solo un par de veces en cada documento, como refranes, colocaciones específicas, o referencias a personajes, personas o lugares secundarios en la obra.

5.7 Texto enmascarado

45Una última posibilidad que queremos presentar consiste en sustituir cada una de las unidades léxicas por identificadores, como si cada token llevase una máscara que impidiese el reconocimiento de la unidad léxica original. El objetivo de este procedimiento es publicar tanto la frecuencia como el orden de las unidades léxicas para el texto completo, pero hacerlo de tal manera que se pierda la relación entre el token original y el token publicado. Para realizarlo, en primer lugar conviene crear un listado de todos los tokens presentes en el corpus. En segundo lugar, debe asignarse a cada token un identificador aleatorio de manera que la relación entre token e identificador quede guardada en una tabla de mapeo:

Tabla 1. Selección de tokens y sus identificadores.

token	id
,	id_2859
.	id_1005
Comenzaba	id_1941
a	id_6603
de	id_12350

46Posteriormente, cada token presente en el texto de los elementos TEI es sustituido por su identificador:

Ejemplo 11. Vocabulario enmascarado.

<p xml:id="ne0075_chap1_p1">
  <seg type="narrative" xml:id="ne0075_chap1_seg2">
    <s xml:id="ne0075_chap1_s3">id_1941 id_6603 id_12466 id_2859 id_2977 id_10836 id_12155 id_6531 id_7254 id_7892 id_12350 id_5108 id_2363 id_6603 id_3224 id_3725 id_9127 id_11417 id_9579 id_3246 id_10836 id_11477 id_9428 id_12350 id_8726 id_9707 id_12350 id_3152 id_4414 id_2859 id_7346 id_5108 id_11423 id_11406 id_2859 id_5108 id_7807 id_2327 id_1406 id_12350 id_1731 id_11045 id_6531 id_6895 id_8972 id_8819 id_2859 id_9579 id_756 id_2859 id_5384 id_6603 id_5296 id_2859 id_6603 id_8726 id_12399 id_12350 id_5671 id_6190 id_10418 id_4058 id_1005</s>
    <!-- ... -->
  </seg>
  <!-- ... -->
</p>

47El resultado es un texto incomprensible para el ser humano, pero potencialmente analizable por métodos estadísticos o computacionales. Este modelo representaría para cada corpus un mundo textual completo, contenido en sí mismo, con una lógica interna regulada por la tabla de mapeo entre tokens originales e identificadores. Muchos procedimientos computacionales podrían aplicarse a esta representación, tanto aquellos basados en bolsas de palabras como en colocaciones, por ejemplo para la clasificación de documentos. Sin embargo, no solamente la comprensión humana sería víctima del enmascaramiento de los tokens; un corpus con vocabulario enmascarado sirve solo para métodos computacionales como parte de una lengua sin hablantes ni recursos. La mayoría de herramientas de procesamiento de lenguaje natural no podrían aplicarse a este corpus, entre otras herramientas de anotación lingüística. Incluso tokenizadores que consideran dividir el texto en unidades más pequeñas, por ejemplo, WordPiece, el tokenizador estándar en algoritmos de BERT, (Tunstall, Werra, y Wolf 2022, 33) podrían realizar errores al procesar esta representación enmascarada. En otras palabras, un corpus con vocabulario enmascarado es un objeto hermético, un recurso que no se puede comparar con otros corpus, al que no se le pueden aplicar base de datos ni herramientas de procesamiento del lenguaje natural, ni anotar de manera manual, ya que no se puede comprender.

48Aunque no consideramos que esta opción sea aceptable para la enorme mayoría de los usos, no la descartamos completamente. Podría ser imaginable que una institución tenga un gran conjunto de documentos sensibles y que quiera realizar una tarea concreta con ellos, como clasificarlos según ciertas categorías. Las personas que programen ese procedimiento de clasificación no deben poder leer los textos originales, pero sí deben poder aplicar diferentes métodos computacionales.

6. Aplicación a diferentes ejemplos

49En estas secciones, queremos demostrar con tres recursos en español de qué manera podrían implementarse las posibilidades presentadas.

6.1 Corpus Diacrónico del Español (CORDE)

50En 2002 la Real Academia Española (RAE) publicó dos corpus complementarios: el Corpus de Referencia del Español Actual (CREA) con textos contemporáneos y el Corpus Diacrónico del Español (CORDE) con textos históricos. El plan era que el CREA contuviese siempre los textos de los últimos 25 años y que el CORDE fuese aumentando paulatinamente su alcance cronológico. El plan se modificó con el desarrollo de un nuevo corpus llamado Corpus del Español del Siglo XXI (CORPES) que contiene textos de este siglo.

51El CORDE es una de las mayores fuentes históricas de textos en español, con alrededor de 300 millones de tokens y 34.000 textos de las diferentes áreas donde se habla español (Sánchez Sánchez y Domínguez Cintas 2007). Este corpus es una herramienta estándar en diferentes áreas del estudio de la lengua y literatura en español, aunque también ha recibido críticas, principalmente en relación con que la falta de homogeneidad en cuanto a la modernización de sus textos (Rodríguez Molina y Octavio de Toledo y Huerta 2017).

Ejemplo 12. Metadatos y datos derivados del Quijote en el CORDE.

<TITULO>El ingenioso hidalgo don Quijote de la Mancha</TITULO>
<AUTOR>Cervantes Saavedra, Miguel de</AUTOR>
<PAIS>España</PAIS>
<FECHACRE>  1605   	</FECHACRE>
<TEMA>Prosa narrativa extensa: Novela y otras formas similares</TEMA>
<MEDIO>Libro</MEDIO>
Número de formas ortográficas: 188175
Número de elementos (tokens): 215121
Número de elementos distintos (types): 15845
17324 ,
10661 que
8928 de
8164 y

53En este documento se observan tres tipos de datos. En primer lugar, metadatos sobre el autor y el texto, con sus valores en elementos XML. En segundo lugar, tres cuantificaciones sobre el contenido del texto: número de formas ortográficas, número de elementos y número de elementos distintos. Finalmente, la cuantificación de la frecuencia de cada token en el texto original a modo de tabla con dos columnas separadas por un espacio en blanco.

54En este trabajo, tomamos estos datos derivados y los modelamos en un archivo TEI. Debido a que nosotros consideramos como input datos que ya han sido derivados, nos vemos restringidos en cuanto a las opciones disponibles. De las opciones discutidas en la sección 5, solo tenemos a disposición hacer bolsas de palabras del volumen. Sin embargo, la RAE sí podría realizar datos derivados más ricos, como bolsas de palabras por frase, tokens desordenados o muestras del texto completo.

55Los tres tipos de datos publicados por la RAE como datos derivados podrían ser expresados de manera explícita y en un formato coherente en un único documento TEI. Los diferentes metadatos se colocarían en los diferentes elementos TEI (entre otros <title> y <author>). Las tres cuantificaciones sobre el texto podrían colocarse en un <measureGrp> con un @type que lo describa, y la frecuencia de tokens se encontraría en otro <measureGrp>.

Ejemplo 13. Propuesta de metadatos y datos derivados del CORDE en TEI.

<TEI>
  <teiHeader>
    <fileDesc>
      <titleStmt>
        <title>El ingenioso hidalgo don Quijote de la Mancha</title>
        <author>Cervantes Saavedra, Miguel de</author>
      </titleStmt>
      <extent>
        <measureGrp type="metrics">
          <measure commodity="ortographic_forms" quantity="188175"/>
          <measure unit="tokens" quantity="215121"/>
          <measure unit="types" quantity="215121"/>
        </measureGrp>
        <measureGrp type="tokens">
          <measure commodity="," quantity="17324"/>
          <measure commodity="que" quantity="10661"/>
          <measure commodity="de" quantity="8928"/>
          <measure commodity="y" quantity="8164"/>
          <!-- ... -->
        </measureGrp>
        <!-- ... -->
      </extent>
      <!-- ... -->
    </fileDesc>
    <!-- ... -->
  </teiHeader>
  <!-- ... -->
</TEI>

56Además, se podrían añadir referencias a los archivos de autoridad de recursos como la BNE, Virtual International Authority File (VIAF) o Wikidata a algunos de estos metadatos, como autor u obra, así como otros metadatos (como el lugar, tema o medio). De esta manera, los datos derivados del CORDE podrían ser enriquecidos con los datos de estos recursos o comparados con otros corpus o catálogos que también contengan identificadores de archivos de autoridad.

Ejemplo 14. Metadatos en TEI identificados con entidades en Wikidata.

<titleStmt>
  <title ref="https://www.wikidata.org/wiki/Q480">El ingenioso hidalgo don Quijote de la Mancha</title>
  <author ref="https://www.wikidata.org/​wiki/​Q5682">Cervantes Saavedra, Miguel de</author>
</titleStmt>

6.2 Corpus of the Novel in the Spanish Silver Age (CoNSSA)

58Sin embargo, muchos autores mantienen derechos de explotación sobre sus textos, por lo que sus textos no pueden ser publicados de manera abierta. Por ejemplo, los herederos de Pío Baroja mantendrán los derechos de explotación del autor hasta 2036. De todos los textos del corpus se publicaron tablas de metadatos y, dependiendo del origen de la digitalización de los textos y datos derivados en forma de tablas de bolsas de palabras y otros rasgos que permiten la reproducibilidad de los análisis realizados con el corpus.

59Para futuras publicaciones de datos derivados, metadatos y datos pueden integrarse en un único documento TEI, ya sea mediante bolsas de palabras de oración o párrafo (sección 5.3), o mediante oraciones con tokens desordenados u ordenados alfabéticamente (sección 5.5). En el ejemplo 15 hemos modelado mediante orden alfabético dentro de un elemento <s> los tokens de la primera oración de la novela de Pío Baroja El mayorazgo de Labraz.

Ejemplo 15. Metadatos en TEI identificados con entidades en Wikidata.

<div type="part">
  <head>LIBRO PRIMERO: LOS VIAJEROS</head>
  <div n="1" type="chapter" xml:id="ne0001_chap1">
    <head xml:id="ne0001_chap1_head0">I</head>
    <quote xml:id="ne0001_chap1_quote1">
      <p xml:id="ne0001_chap1_p2">
        <seg type="narrative" xml:id="ne0001_chap1_seg3">
          <s xml:id="ne0001_chap1_s4">, ? Estrella Occidente a asomas colina crepúsculo de de el el en entre faz follaje la las majestuosa miras nubes paseas por que que qué radiante resplandeces soberbia sobre te través tu y ¿ …</s>
        </seg>
      </p>
      <!-- ... -->
    </quote>
    <!-- ... -->
  </div>
  <!-- ... -->
</div>

60En este ejemplo se observa la ventaja de la alteración del orden, ya que la primera oración se encuentra dentro de un elemento <quote>, es decir, es parte de una cita textual. De esta manera se pueden realizar análisis textuales o estilísticos teniendo en cuenta esta categoría, información que se perdería en la mayoría de alternativas.

6.3 Picasso

Ejemplo 16. Etiquetas gramaticales anotadas por el Stanford POS tagger para la primera línea del poema “El Entierro del Conde de Orgaz.” .

​ ​ rg
​ ​ rn
​ ​ vaip
​ ​ rg
​ ​ cs
​ ​ ncs
​ ​ cc
​ ​ ncs
​ ​ aq
​ ​ fp

63Una peculiaridad de los textos de Picasso es que prácticamente no utiliza signos de puntuación, lo que aumenta la dificultad de reconocer las categorías gramaticales, por lo que en muchos casos es errónea. Sin embargo, analizar las categorías gramaticales es una posibilidad para comparar el uso y el estilo del autor en textos de diferentes idiomas (para este caso el francés y español, véase Rißler-Pipka 2023).

64Estas anotaciones gramaticales pueden ser representadas en TEI mediante bolsas de rasgos a nivel de volumen en un elemento <measureGrp>:

Ejemplo 17. Metadatos y frecuencia de las etiquetas gramaticales del poema “El Entierro del Conde de Orgaz,” en TEI.

<TEI>
  <teiHeader>
    <fileDesc>
      <titleStmt>
        <title>El Entierro del Conde de Orgaz</title>
        <author ref="https://www.wikidata.org/​wiki/​Q5593">Pablo Picasso</author>
      </titleStmt>
      <extent>
        <measureGrp type="partOfSpeech">
          <measure commodity="ncs" quantity="1040"/>
          <measure commodity="sp" quantity="1010"/>
          <measure commodity="da" quantity="645"/>
          <measure commodity="ncp" quantity="530"/>
          <measure commodity="aq" quantity="478"/>
          <!-- ... -->
        </measureGrp>
        <!-- ... -->
      </extent>
      <!-- ... -->
    </fileDesc>
    <!-- ... -->
  </teiHeader>
  <!-- ... -->
</TEI>

7. Conclusiones

66En este artículo hemos presentado diferentes opciones de publicación de datos relacionados con textos cuando los datos originales y completos no pueden publicarse. Sin embargo, todas estas opciones se basan en que las personas del proyecto quieran publicar ciertos datos y así hacer que tanto ellas mismas como el resto de la comunidad se beneficien de este paso.

67Ante este interés y los nuevos desarrollos y discusiones que están teniendo lugar en diferentes países, argumentamos a favor de TEI como un formato en el que publicar datos derivados. La ventaja de TEI en comparación con otros formatos reside en que TEI permite modelar en un único documento otros tipos de datos que también son relevantes para el análisis, como la estructura textual, metadatos, documentación o anotación generada tanto de manera manual como automática. Esto permite que diferentes puntos de los criterios FAIR puedan ser satisfechos.

68Hemos explorado diferentes maneras de modelar estos datos textuales derivados en TEI y los hemos aplicado a tres casos concretos y diferentes de los últimos años. Consideramos que la variante de alteración del orden en los elementos TEI (sección 5.5) es probablemente la que mejor equilibra el marco legal actual, la cantidad de datos y su usabilidad.

69En cualquier caso, las diferentes opciones tienen que ser discutidas con juristas teniendo en cuenta las leyes nacionales e internacionales, aspectos que en este artículo no hemos podido cubrir.

71Como vemos, los datos derivados abren nuevas posibilidades y retos en diferentes áreas de la investigación. Por todo ello, un aspecto central de los siguientes años recae en la necesidad de que los proyectos para la creación de infraestructuras se comuniquen de manera activa con la comunidad investigadora sobre sus necesidades y preferencias.

SVN keywords: $Id: jtei-calvo-235-source.xml 1212 2023-07-16 18:56:47Z pietro.liuzzo $