Skip to navigation – Site map

HomeIssuesIssue 16¿Qué hacer con textos que no se p...

¿Qué hacer con textos que no se pueden publicar? Datos derivados, criterios FAIR y TEI

What to do with copyright restricted texts? Derived text formats, the FAIR criteria, and TEI
José Calvo Tello and Nanette Rißler-Pipka

Abstracts

In certain circumstances, data prepared by projects cannot be published openly. In the last decades different projects have published derived data (also called extracted features) to avoid this problem. In this article, we argue in favor of TEI as a format for this task, as it favors compliance with the FAIR principles. Furthermore, we present different options, discuss their advantages and disadvantages and show concrete applications to several projects with Spanish texts (CORDE, novels of the Silver Age and texts by Picasso).

Top of page

Author's notes

Agradecemos a nuestro colega y jurista Michael Ernst sus comentarios y respuestas a nuestras preguntas, así como los comentarios de los revisores y los editores del Journal of the Text Encoding Initiative, que nos han ayudado a mejorar el artículo.

Full text

1. Pasado de la publicación de corpus literarios en TEI

1Uno de los usos más frecuentes de la TEI es la codificación de corpus, tanto para objetivos lingüísticos como literarios. A diferencia de las ediciones digitales con un grado mayor de detalle en su codificación, esta se suele restringir en los corpus a los elementos estructurales superficiales, como la diferenciación entre paratextos y texto principal, capítulos, párrafos, poemas, etc. Algunos grandes proyectos internacionales han publicado cientos o miles de textos literarios en TEI de manera abierta, como la Digitale Bibliothek en TextGrid Repository,1 Drama Corpus (DraCor),2 los corpus formados durante la COST action European Literary Text Collection (ELTeC, Schöch et al. 2021; Burnard, Schöch, y Odebrecht 2021), o, en menor escala, los corpus para las lenguas romances de CLiGS Textbox (Schöch et al. 2019).

2Este tipo de publicaciones que utilizan TEI también han sido parte de la historia de las humanidades digitales en español. Proyectos como la Biblioteca Virtual Miguel de Cervantes3 o los corpus de la Real Academia Española (RAE) como el Corpus Diacrónico del Español (CORDE), que presentaremos en detalle más adelante (Sánchez Sánchez y Domínguez Cintas 2007) fueron proyectos pioneros a la hora de codificar en TEI textos en español. Ambas instituciones decidieron no poner a disposición de manera abierta sus recursos en TEI, lo que impidió que la comunidad hispanohablante tuviese acceso a una parte importante de esos recursos. Otros proyectos siguieron una senda similar, como Canon 604 o la Biblioteca Digital Artelope.5 En los últimos seis años han sido publicados nuevos corpus literarios de manera abierta, como los corpus de sonetos Diachronic Spanish Sonnet Corpus6 (DISCO, Ruiz Fabo et al. 2018) y Corpus of Spanish Golden-Age Sonnets7 (Navarro Colorado 2018), el de la Biblioteca Electrónica Textual del Teatro en Español de 1868–19368 (BETTE, integrado en DraCor, Santa María Fernández, Calvo Tello, y Jiménez Fernández 2020), los de prosa española y latinoamericana en CLiGS Textbox,9 el Corpus of the Novel in the Spanish Silver Age (CoNSSA, Calvo Tello 2021a; 2021b),10 Corpus de novelas hispanoamericanas del siglo XIX (CONHA, Henny-Krahmer 2018) o el corpus español de European Literary Text Collection (ELTeC).11

3Una de las razones por las cuales iniciativas como el CORDE no pusieron a disposición sus datos originales fueron las restricciones legales de ediciones modernas de textos antiguos. Sin embargo, la RAE puso a disposición ciertos datos derivados de ese corpus que han sido utilizados de manera masiva por la comunidad investigadora. En concreto, publicaron la lista de frecuencia de los tokens del corpus.12 Además, desde hace algunos años ofrecen la posibilidad de solicitar acceso a la frecuencia de palabras por texto junto con sus metadatos,13 ofreciendo como ejemplo El ingenioso hidalgo don Quijote de la Mancha de Miguel de Cervantes Saavedra.14 En este artículo proponemos y discutimos diferentes posibilidades para la publicación de datos en TEI cuando no se pueden publicar los textos originales.

2. Datos FAIR y TEI

4Desde su publicación, los principios FAIR (Wilkinson et al. 2016) se han convertido en una parte importante de la ciencia abierta y de las buenas prácticas para la publicación de datos de investigación.15 En el campo de los estudios literarios, uno de los datos más frecuentes son corpus textuales junto con sus metadatos. Para preparar y publicar esos datos de una manera que pueda ser útil para la comunidad y lograr el reconocimiento en la comunidad investigadora, es necesario hacerse la pregunta: ¿son mis datos FAIR?

5Los principios FAIR están basados en los cuatro términos que forman el acrónimo: Findable (“encontrables”), Accesible (“accesibles”), Interoperable (“interoperables”), Reusable (“reutilizables”). Sin embargo, no pueden reducirse a esos cuatro aspectos, sino que cada uno recoge puntos concretos respecto a cada etapa de trabajo de recolección, análisis y preparación de los datos para la publicación (expresados frecuentemente como, por ejemplo, F1 o F2 para los dos primeros subpuntos de Findable). Los principios requieren esfuerzo y colaboración tanto por parte de los investigadores (en cuanto editores o creadores de datos), como por parte de los operadores de repositorios de datos (administradores de datos).16

6Consideramos que, cuando los datos son principalmente textuales, los criterios FAIR son más fáciles de adoptar en TEI que en otros formatos (como especificaciones ad hoc de XML, HTML, JSON, CSV, texto plano o MySQL). De manera breve, podemos describir de la siguiente manera los principales aspectos de los criterios FAIR:

  • Findable

  • TEI ofrece elementos (como <idno>) para guardar identificadores unívocos (F1), describir el documento con metadatos (F2) y que la relación entre datos y metadatos quede guardada en la integridad de un único documento (F4).

  • Accesible

  • Al estar basado en un estándar abierto como es XML, TEI puede accederse utilizando protocolos abiertos y gratuitos (A1). De nuevo, el hecho de que metadatos y datos estén recogidos en un solo documento resulta una ventaja (A2).

  • Interoperable

  • TEI ofrece un vocabulario formal y abierto para la descripción de datos (I1), sigue en buena medida los criterios FAIR (I2) y permite tanto la interrelación de conjuntos de datos como la documentación de cambios (I3). Sin embargo, dos implementaciones TEI diferentes pueden no ser interoperables al no utilizar los mismos elementos y atributos.

  • Reusable

  • TEI ofrece posibilidades para que los investigadores describan las decisiones tomadas sobre los datos (R1), tiene elementos específicos para la licencia (R1.1) y la procedencia de los datos (R1.2) y es uno de los formatos más ampliamente usados en las Humanidades (R1.3).

7Con esto no queremos decir que cualquier proyecto que trabaje con TEI producirá datos de investigación completamente FAIR. En primer lugar, en la lista anterior nos hemos centrado en la perspectiva del investigador y no en aquellos puntos que dependen principalmente del repositorio donde se publiquen (como F3, A1 o A2). En segundo lugar, cada proyecto que utilice TEI debe tomar una serie de decisiones sobre su implementación específica, por lo que cada proyecto debe decidir hasta qué punto y de qué manera satisface los criterios FAIR. Sin embargo, observamos que TEI tiende a ofrecer elementos específicos para cada uno de estos puntos. Incluso con poco esfuerzo, el uso de TEI mejora el estatus FAIR de nuestros datos en comparación con otros formatos, especialmente en comparación con texto plano.

8Por ejemplo, en estilometría es habitual encontrar documentos de texto plano con ciertos metadatos codificados en el nombre del archivo, con la estructura Autor_Título.txt. Ese mismo documento de texto plano tendrá un mejor estatus FAIR con un par de pasos como son incluir el texto de cada nueva línea en un elemento TEI y colocar los metadatos de autor y título como metadatos en elementos TEI dentro del <teiHeader>. De esta manera se hace explícito qué datos y metadatos son considerados y qué valor tiene cada uno de ellos.

3. El problema: textos y datos no publicables por razones legales, éticas u otras

9En la mayoría de los casos, los investigadores que crean datos (por ejemplo, textos literarios en TEI) quieren publicar estas colecciones junto con los resultados del análisis y los metadatos. Esto puede no solo ser un interés de los investigadores, sino también un requisito de las instituciones financiadoras. La publicación de los datos, metadatos, herramientas y resultados estadísticos es también una presuposición sobre la reproducibilidad de los resultados de investigaciones, recogido en la R (Reusable) de los criterios FAIR.

10Sin embargo, hay casos en que la publicación de textos y datos no es posible por razones legales: en muchos países, los derechos de explotación expiran a los 70 años de la muerte del autor. En consecuencia, obras de autores que fueron publicadas por primera vez a principios del siglo XX no están en el dominio público. Por ejemplo, las obras de Rafael Alberti (nacido en 1902, muerto en 1999) no entrarán en el dominio público antes del 2070, mientras que los textos de Federico García Lorca (1898–1936), de la misma generación, están en el dominio público desde el año 2017. Los textos que están todavía bajo la protección de los derechos de explotación pueden ser analizados o anotados, pero no pueden ser publicados de manera completa.

11Otras razones que prohíben una publicación abierta de datos afectan el contenido y el origen de los datos. Puede tratarse de datos empíricos, como encuestas de lectores que contienen aspectos sensibles o referencias personales, que no pueden ser publicados, aunque estos representan una minoría en el campo de los estudios literarios. Igualmente, algunos aspectos éticos obstaculizan la publicación de datos procedentes de culturas indígenas cuya reproducción es cuestionable, por ejemplo por haber sido obtenidos en un contexto imperialista. Si los datos pertenecen originalmente a otras culturas o regiones, puede ser problemático publicarlos aunque formen parte del dominio público (Carroll et al. 2020).

12En relación con estos aspectos legales y éticos, algunos proyectos dedicados a infraestructuras de investigación (como el consorcio alemán Text+)17 ofrecen servicios de asistencia con el asesoramiento de expertos.

  • 18 Véase, por ejemplo, el asesoramiento en CESSDA (Consortium of European Social Science Data Archives (...)

13Estos problemas no son tenidos en cuenta de manera general en los criterios FAIR. Las posibles soluciones varían y dependen de los objetivos del proyecto. En comunidades investigadoras con más datos sensibles, como las ciencias sociales, existen repositorios que ofrecen control sobre quién puede conseguir qué datos.18 Otra solución de este tipo que no corresponde a los criterios FAIR es la publicación en un repositorio específico (por ejemplo, los repositorios universitarios que sirven exclusivamente para archivar los datos, sin que estos puedan encontrarse).

4. Una posible solución: datos derivados

14Como se mencionaba en la primera sección, algunos proyectos ya han encontrado posibles soluciones al problema de no poder publicar los datos originales: publicar datos derivados (también llamados extracted features en artículos en inglés). El objetivo es poder publicar la mayor cantidad de datos sin cometer ninguna infracción legal o ética. En este artículo nos centraremos en aquellos casos en los que los textos no pueden publicarse debido a derechos de explotación.

15En 2020 se publicó un artículo fruto de una serie de encuentros por parte de diferentes investigadores universitarios e instituciones, entre ellos la Biblioteca Nacional Alemana. El artículo expone que:

La idea básica de los formatos de texto derivados (abgeleitete Textformate en alemán) es esencialmente la siguiente: Se parten de fondos de textos completos protegidos por derechos de autor … a los que una institución tiene acceso legal. Estas colecciones de textos se transforman en los denominados formatos de texto derivados mediante la aplicación de procesos que representan esencialmente tanto un enriquecimiento selectivo de la información (por ejemplo, mediante la anotación lingüística) como una reducción de la misma (por ejemplo, mediante la supresión de formas de palabras o la anulación de información secuencial). Este procesamiento puede aplicarse, en caso necesario, en relación con un proyecto de investigación concreto de la propia institución o de terceros. El ejemplo más sencillo de este formato de texto derivado sería una tabla que registra las frecuencias de cada palabra en cada texto para un inventario de textos.
(Schöch et al. 2020, la traducción es nuestra)

16En esta misma publicación se discuten diferentes iniciativas que ya han implementado esta idea. Probablemente, la más conocida sea el Google Ngram Dataset, un conjunto de datos con n-grams de diferentes longitudes (bigramas, trigramas, 4-grams y 5-grams) de tokens y anotación de categorías gramaticales. Los datos originales en numerosas lenguas proceden de publicaciones escaneadas para Google Books y no se refieren a publicaciones concretas ni contienen metadatos, sino que han sido agrupados por el año de la publicación. De esta manera, este conjunto de datos permite ciertos análisis diacrónicos, pero no centrados en autores, editoriales o publicaciones concretas.

  • 19 El documento de HTRC también se encuentra en el repositorio con los datos y código de este artículo (...)

17Junto con Google Books, otro gran conjunto de datos es el producido por el HathiTrust Research Center (HTRC) bajo el nombre de HTRC Extracted Features Dataset (Jett et al. 2020). Contiene datos de 17 millones de publicaciones, en concreto metadatos y las frecuencias de palabras por página. De esta manera, los datos derivados son mucho más detallados que en el caso de los n-grams, permitiendo muchos más análisis que en el caso anterior. Cada archivo corresponde a un volumen digitalizado en HathiTrust. Estos archivos son documentos JSON expresados en JSON for Linking Data (JSON-LD), en cuya raíz, junto con algunos metadatos técnicos, se encuentran dos elementos: metadata y features. El primero contiene ciertos metadatos descriptivos del documento, como su título, su autor (normalizado mediante identificadores VIAF), fecha de publicación, etcétera. El elemento features contiene, junto con ciertos metadatos técnicos, un elemento pages que contiene una lista con elementos para cada una de las páginas del volumen. A su vez, cada uno de los elementos para cada página incluye ciertos metadatos (como la lengua detectada en el texto de la página), y finalmente un elemento body. Este contiene un elemento tokensPosCount que incluye los principales datos derivados del texto, en concreto cada uno de los tokens que se encuentran en la página, su categoría gramatical y la frecuencia de la combinación de ambos en la página. Ejemplo 1 muestra algunos tokens de una página de la obra O locura o santidad de José Echegaray, que se encuentra en la muestra que el HTRC ofrece como ejemplo:19

Ejemplo 1. Datos derivados en HTRC formateados en JSON-LD.

​ ​ "tokenPosCount":​ {
​ ​ ​ ​ "se":​ {"PRON":​ 8},
​ ​ ​ ​ "siera":​ {"VERB":​ 1},
​ ​ ​ ​ "le":​ {"PRON":​ 3},
​ ​ ​ ​ "romper":​ {"VERB":​ 1},
​ ​ ​ ​ "ser":​ {
​ ​ ​ ​ ​ ​ "AUX":​ 1,
​ ​ ​ ​ ​ ​ "VERB":​ 1
​ ​ ​ ​ },
​ ​ ​ ​ "Cervantes":​ {"PROPN":​ 1},
​ ​ ​ ​ "ama":​ {"NOUN":​ 1},
​ ​ ​ ​ "entre":​ {"ADP":​ 1},

18En el artículo de Schöch et al. (2020) también se mencionan ciertos tipos de análisis frecuentes en las Humanidades Digitales y otras disciplinas afines. El objetivo es tener en cuenta metodologías concretas mientras se discuten las diferentes posibilidades de los datos derivados. En el artículo se mencionan:

  1. Clasificación y clustering de textos (incluyendo atribución de autoría y estilometría)

  2. Extracción de rasgos distintivos

  3. Reducción de dimensionalidad con topic modeling

  4. Análisis de polaridad mediante análisis de sentimiento (sentiment analysis)

  5. Relaciones de personajes (mediante análisis de redes)

  6. Análisis de reúso de texto (es decir, el estudio de qué textos reutilizan o citan otros textos anteriores)

  7. Modelos lingüísticos, como BERT (Bidirectional Encoder Representations from Transformers) o GPT (Generative Pre-trained Transformer), para diferentes tareas

19Otros métodos podrían añadirse, como la anotación manual o automática de los datos, o el análisis de otras entidades.

20Desde 2021, el consorcio alemán Text+20 ha iniciado sus actividades como parte de su infraestructura nacional de datos de investigación (Nationale Forschungsdateninfrastruktur o NFDI). Este consorcio tiene como objetivo coordinar la integración de recursos ya existentes siguiendo las necesidades de las comunidades de investigadores que usan el texto como principal fuente de datos. Una de las tareas que se planean explorar en este proyecto es la publicación de datos derivados, considerando sus diferentes implicaciones legales, de estandarización o su aplicación a la investigación. Esto es especialmente relevante para algunas de las instituciones participantes en Text+ como archivos y bibliotecas, con grandes cantidades de textos digitales. El poder desarrollar esta idea dentro de Text+ facilita que los requisitos de numerosos proyectos puedan ser considerados en su diseño.

5. La formalización de datos derivados en TEI

5.1 ¿Qué queremos publicar?

21En esta sección, exploramos con un único texto diferentes posibilidades para la extracción de datos derivados y su posible representación en TEI. Consideramos los siguientes tipos de datos derivados:

  1. Datos del texto como frecuencias o co-ocurrencias de entidades, tokens, tipografía y espacios en blanco.

  2. Estructura textual, por ejemplo, para observar si un documento contiene citas, pasajes teatrales, poemas, párrafos u oraciones, así como su distribución a lo largo de las secciones (capítulos, escenas) y del documento.

  3. Metadatos a nivel de documento como el nombre del autor, el género, el año de publicación, etcétera. Estos datos suelen haber sido anotados manualmente por el editor o exportados desde alguna fuente como catálogos. En TEI, se codificarían dentro del <teiHeader>.

  4. Valores estadísticos textuales como la longitud media de párrafos u oraciones, medidas de legibilidad del texto, complejidad textual, etcétera. Estos pueden ser expresados en TEI mediante elementos <measure> dentro del elemento <extent> en <teiHeader>.

  5. Anotaciones de diferentes tipos, como lemas, categorías gramaticales o semánticas, rima o silabificación, análisis de sentimiento, etcétera. Estas pueden haber sido anotadas de manera manual por personas o de manera automática por herramientas. Además, son susceptibles de ser expresadas en TEI mediante soluciones in-line o utilizando estrategias stand-off, por ejemplo mediante el elemento <standOff> y referencias al elemento anotado.

22De estos cinco tipos de datos, consideramos que el único protegido por los derechos de explotación del autor y que no puede ser publicado es el primero, los datos del texto (tokens y tipografía). Sin embargo, es importante no olvidar los otros cuatro tipos de datos y dar soluciones que los integren siguiendo los criterios FAIR.

5.2 Ejemplo original

23Todos los ejemplos y pasajes que mostramos han sido publicados como documentos TEI y publicados en el repositorio GitLab.21 Aunque la idea de representar datos derivados en TEI no obliga a que los datos originalmente se encuentren en TEI, en esta sección partimos de ese caso. En concreto, utilizamos las primeras oraciones de la novela La Tribuna de Emilia Pardo Bazán (con el identificador ne0075) que ya ha sido publicada en TEI como parte del mencionado corpus CoNSSA. CoNSSA contiene una versión anotada en la que, entre otros aspectos, las oraciones están marcadas mediante el elemento <seg>, especificando si ese segmento es narrativo o contiene estilo directo. En ellos están anotadas las oraciones mediante el elemento <s>. Para este artículo hemos añadido identificadores mediante el atributo @xml:id en cada elemento.

Ejemplo 2. Comienzo de La Tribuna, con elementos para párrafos, pasajes narrativos y oraciones.

<div n="1" type="chapter" xml:id="ne0075_chap1">
  <head xml:id="ne0075_chap1_head0">- I - : Barquillos </head>
  <p xml:id="ne0075_chap1_p1">
    <seg type="narrative" xml:id="ne0075_chap1_seg2">
      <s xml:id="ne0075_chap1_s3">Comenzaba a amanecer, pero las primeras y vagas luces del alba a duras penas lograban colarse por las tortuosas curvas de la calle de los Gastros, cuando el señor Rosendo, el barquillero que disfrutaba de más parroquia y popularidad en Marineda, se asomó, abriendo a bostezos, a la puerta de su mezquino cuarto bajo.</s>
      <!-- ... -->
    </seg>
    <!-- ... -->
  </p>
  <!-- ... -->
</div>

5.3 Bolsa de palabras en TEI a diferentes niveles textuales

24Una manera de publicar datos derivados sobre el texto es seguir la estrategia del CORDE, es decir, tokenizar el texto y dar la frecuencia de cada token en el volumen completo. De esta manera estamos representando en TEI los valores que estarían contenidos en una matriz de bolsa de palabras (bag of words). Para ello, podemos utilizar el elemento <measure> y sus atributos @commodity y @quantity.

Ejemplo 3. Frecuencias de tokens de todo el volumen en <measureGrp>.

<extent>
  <measureGrp type="form">
    <measureGrp corresp="#ne0075">
      <measure commodity="," quantity="5727"/>
      <measure commodity="de" quantity="4121"/>
      <measure commodity="la" quantity="2699"/>
      <measure commodity="el" quantity="2631"/>
      <measure commodity="y" quantity="2243"/>
      <!-- ... -->
    </measureGrp>
    <!-- ... -->
  </measureGrp>
  <!-- ... -->
</extent>

25Sin embargo, si el documento ya se encuentra estructurado en capítulos, podríamos utilizar un <measureGrp> para cada capítulo y referenciar mediante el atributo @corresp el capítulo correspondiente del que proceden los datos de frecuencia.

Ejemplo 4. Frecuencias de tokens del primer capítulo en <measureGrp>.

<extent>
  <measureGrp type="form">
    <measureGrp corresp="#ne0075_chap1">
      <measure commodity="," quantity="142"/>
      <measure commodity="de" quantity="120"/>
      <measure commodity="el" quantity="91"/>
      <measure commodity="la" quantity="75"/>
      <measure commodity="y" quantity="71"/>
      <!-- ... -->
    </measureGrp>
    <!-- ... -->
  </measureGrp>
  <!-- ... -->
</extent>

26Esto puede ser llevado un paso más allá y dar las frecuencias en unidades más pequeñas, como párrafos (<p>) o estrofas (<lg>)

Ejemplo 5. Frecuencias de tokens del primer párrafo en <measureGrp>.

<extent>
  <measureGrp type="form">
    <measureGrp corresp="#ne0075_chap1_p1">
      <measure commodity="," quantity="18"/>
      <measure commodity="de" quantity="17"/>
      <measure commodity="el" quantity="11"/>
      <measure commodity="y" quantity="10"/>
      <!-- ... -->
    </measureGrp>
    <!-- ... -->
  </measureGrp>
  <!-- ... -->
</extent>

27Si el texto se encuentra estructurado en oraciones, como es el caso de la versión anotada de CoNSSA, las bolsas de palabras pueden representar cada oración:

Ejemplo 6. Frecuencias de tokens de la primera oración en <measureGrp>.

<extent>
  <measureGrp type="form">
    <measureGrp corresp="#ne0075_chap1_s3">
      <measure commodity="," quantity="6"/>
      <measure commodity="de" quantity="5"/>
      <measure commodity="a" quantity="4"/>
      <measure commodity="el" quantity="3"/>
      <measure commodity="las" quantity="2"/>
      <measure commodity="y" quantity="2"/>
      <!-- ... -->
    </measureGrp>
    <!-- ... -->
  </measureGrp>
  <!-- ... -->
</extent>

28En teoría, la oración no tiene que ser el elemento más profundo en la estructura textual al que se aplique este método, sino que puede trasladarse a los sintagmas. Sin embargo, esto podría acabar considerando los sintagmas que contengan una cantidad muy reducida de palabras o incluso una única palabra. De esta manera acabaríamos con bolsas con una o unas pocas palabras y reproducir el orden completo del texto sería sencillo. Incluso es cuestionable si las oraciones no son unidades demasiado breves para las que es posible reproducir el orden original. De esta manera, la estructura textual y sintáctica nos lleva a un área gris donde nos preguntamos hasta qué punto podemos publicar las frecuencias de los tokens.

29Los datos del HTRC Extracted Features Dataset presentados anteriormente constituyen una variante de este modelo con algunas diferencias a lo hasta ahora presentado. Por un lado, el nivel textual elegido en este conjunto de datos para crear las bolsas de palabras es la página, en coherencia con la digitalización que tiene lugar en bibliotecas que tradicionalmente tiene como objetivo producir PDFs. Por otro lado, este conjunto de datos ofrece también la anotación gramatical de los tokens, información que podría ser codificada en TEI de diferentes maneras.

5.4 Estructura textual vacía

30Muchas preguntas de investigación sobre el texto no pueden ser respondidas solo con bolsas de palabras del volumen o libro analizado, cómo la cantidad, longitud o distribución de párrafos y oraciones a lo largo de la obra. La versión anotada de CoNSSA contiene no solo la estructura de párrafos y oraciones, sino también qué segmentos del texto están en estilo directo (en inglés, direct speech) y cuáles son los segmentos narrativos. Toda esta información está estructurada mediante los elementos <p>, <seg> y <s> en TEI. Aunque cabría la opción de modelar estas etiquetas de tal manera que también fuesen recogidas sus frecuencias en la bolsa de palabras, esto traería desventajas como la pérdida de la estructura jerárquica.

31Por ello, nuestra propuesta es mantener las etiquetas pendiendo del elemento <text>, pero eliminar de ellas todo el contenido léxico y tipográfico. Es decir, mantener una estructura textual en TEI sin texto. El marcado TEI es un trabajo de los editores del texto, por lo que consideramos que no debe ser considerado como protegido por los derechos de explotación del autor, lo que conlleva que podamos publicarlo sin restricciones.

Ejemplo 7. Estructura textual en TEI sin texto en los elementos principales.

<div n="1" type="chapter" xml:id="ne0075_chap1">
  <head xml:id="ne0075_chap1_head0">- I - : Barquillos </head>
  <p xml:id="ne0075_chap1_p1">
    <seg type="narrative" xml:id="ne0075_chap1_seg2">
      <s xml:id="ne0075_chap1_s3"/>
      <s xml:id="ne0075_chap1_s4"/>
      <s xml:id="ne0075_chap1_s5"/>
      <s xml:id="ne0075_chap1_s6"/>
      <s xml:id="ne0075_chap1_s7"/>
      <s xml:id="ne0075_chap1_s8"/>
    </seg>
  </p>
  <!-- ... -->
</div>

32Como se observa, los elementos TEI vacíos de <p>, <seg> y <s> mantienen el atributo @xml:id. Si el mismo documento TEI contiene las frecuencias léxicas en los <measureGrp> explicados en sección 5.3, un investigador puede cruzar los datos de ambas secciones y obtener, por ejemplo, qué vocabulario aparece en oraciones de estilo directo y compararlo con el vocabulario de oraciones narrativas; este análisis no sería posible si los datos fuesen modelados solo en bolsas de palabras.

5.5 Alteración del orden de los tokens en elemento TEI

33Aunque la combinación de las estrategias de seccións 5.3 y 5.4 recogería buena parte de los datos, la desventaja para los usuarios es el hecho de que tengan que extraerlos de dos elementos del mismo archivo, y cruzarlos mediante los identificadores (en los atributos @xml:id y @corresp). Esto supone que los usuarios tengan ciertos conocimientos técnicos, como conocimientos sobre XPath y en alguna lengua de programación.

34Una alternativa más amigable para herramientas y usuarios consiste en desordenar las palabras dentro de cada elemento TEI descendiente de <text>. En ejemplo 8 se observa que el orden de los tokens de la primera oración de la novela de Bazán han sido desordenados, o dicho de otra manera, han sido ordenados aleatoriamente:

Ejemplo 8. Tokens en elemento de oración con el orden de los tokens desordenado de manera aleatoria.

<p xml:id="ne0075_chap1_p1">
  <seg type="narrative" xml:id="ne0075_chap1_seg2">
    <s xml:id="ne0075_chap1_s3">Comenzaba de el la a las Marineda asomó las a popularidad , Rosendo , tortuosas , , luces más Gastros bostezos de curvas . el lograban calle y la por mezquino el duras cuarto bajo , amanecer colar los su penas se y parroquia barquillero en de se señor a a puerta , primeras vagas pero cuando alba de que abriendo de disfrutaba</s>
    <!-- ... -->
  </seg>
  <!-- ... -->
</p>

35Una alternativa a este desorden u orden aleatorio es sustituirlo por otro orden, como el alfabético:

Ejemplo 9. Tokens en elemento de oración ordenados alfabéticamente.

<p xml:id="ne0075_chap1_p1">
  <seg type="narrative" xml:id="ne0075_chap1_seg2">
    <s xml:id="ne0075_chap1_s3">, , , , , , . Comenzaba Gastros Marineda Rosendo a a a a abriendo alba amanecer asomó bajo barquillero bostezos calle colar cuando cuarto curvas de de de de de disfrutaba duras el el el en la la las las lograban los luces mezquino más parroquia penas pero popularidad por primeras puerta que se se señor su tortuosas vagas y y</s>
    <!-- ... -->
  </seg>
  <!-- ... -->
</p>

36Otras opciones son posibles, como el orden alfabético inverso o el orden por frecuencia. El orden alfabético (y otros órdenes no aleatorios) resulta más llamativo que el aleatorio, en parte por la repetición de tokens o caracteres idénticos o similares (tipografía, palabras en mayúscula o minúscula). El orden aleatorio puede crear a primera vista una falsa sensación de naturalidad, especialmente en investigadores que no conozcan suficientemente el idioma del documento. Por eso, consideramos que puede ser una ventaja utilizar órdenes no aleatorios como el alfabético para recordar a la persona investigadora que trabaja con textos que han sido alterados de manera artificial.

37Independientemente del orden de los tokens, este documento con orden alterado contendría exactamente la misma información que un documento con la estructura textual vacía (sección 5.4) y las bolsas de palabras a nivel de oración (sección 5.3). La ventaja es que este documento podría enviarse a herramientas que procesan TEI, como Voyant Tools o Stylo. Sin embargo, al igual que cualquier otro basado en bolsas de palabras, produciría resultados erróneos si se utilizasen métodos inspirados en la semántica distribucional, entre ellos extracción de colocaciones, n-grams, topic modeling o word embeddings.

5.6 Muestra y xSample

38Otra posibilidad diferente a las que hasta ahora se han presentado es publicar solo una muestra del texto original. Esta muestra contendría una cantidad del texto original (por ejemplo, el 15%), incluido el orden de los tokens que hasta ahora se había perdido.

39Este procedimiento es el adoptado por proyectos como xSample22 de la Universidad de Stuttgart. El usuario puede crear muestras de corpus protegidos y controlar según una serie de parámetros las características de la muestra generada, por ejemplo, eligiendo que el 15% provenga del comienzo o del final del texto (Gärtner et al. 2021).

40Una versión más sencilla de este procedimiento podría ser la extracción de muestras aleatorias del 15% del total del documento. Más concretamente, podrían seleccionarse de manera aleatoria el 15% de las oraciones en cada uno de los capítulos. Del restante 85% de los elementos TEI se eliminaría su contenido léxico, manteniéndose como elementos vacíos (sección 5.4). Dependiendo del interés y del género analizado, podría elegirse otra unidad textual diferente a la oración, como la página, el párrafo o el verso.

41El proceso de selección podría realizarse mediante programas que lean el documento TEI, iteren por los capítulos (o elementos <div> que dependan directamente del elemento <body>), y cuenten la cantidad de oraciones (u otras unidades textuales) de ese capítulo. Una vez se tenga ese número, se calcularía qué número de oraciones representan el 15% de ese capítulo. Después, se generarían números aleatorios que designen cuáles son las oraciones que entran en el 15% que se mantiene y qué oraciones son parte del 85% cuyo contenido se elimina. Más detalles pueden encontrarse en el código del repositorio del artículo de Gärtner et al. (2021).

42En ejemplo 10 se muestra el resultado de este proceso en el comienzo de la novela de Bazán. El primer capítulo tiene 18 párrafos con un total de 71 oraciones; redondeando hacia abajo, el 15% de 71 oraciones son 10. El proceso aleatorio elige 10 oraciones para este capítulo cuyo contenido léxico se mantiene; del resto de 61 oraciones se borra su contenido, pero se mantienen sus elementos TEI. En el caso del primer párrafo, esto significa que el contenido de todas las oraciones se elimina excepto el de la segunda oración:

Ejemplo 10. Muestra de oraciones por párrafo.

<p xml:id="ne0075_chap1_p1">
  <seg type="narrative" xml:id="ne0075_chap1_seg2">
    <s xml:id="ne0075_chap1_s3"/>
    <s xml:id="ne0075_chap1_s4">Vestía el madrugador un desteñido pantalón grancé, reliquia bélica, y estaba en mangas de camisa.</s>
    <s xml:id="ne0075_chap1_s5"/>
    <s xml:id="ne0075_chap1_s6"/>
    <s xml:id="ne0075_chap1_s7"/>
    <s xml:id="ne0075_chap1_s8"/>
  </seg>
</p>

43Uno de los aspectos más débiles de este procedimiento es la falta de un marco legal claro que permita que los investigadores o las instituciones encargadas de infraestructuras de investigación como bibliotecas publiquen estas muestras de manera abierta. En el caso de xSample, el proyecto se basa en dos párrafos de leyes alemanas que permiten que ciertos datos que no pueden ser publicados sí puedan ser compartidos con otros investigadores que participan en un proyecto interdisciplinar o que participan en revisión por pares (Gärtner et al. 2021). Está todavía por aclarar qué criterios deben cumplir las personas que pueden recibir los datos generados de esta manera.

44Independientemente del marco legal, este procedimiento tiene claras ventajas y desventajas. Por un lado, se pierde la mayor parte del texto original. Por otro lado, la persona tendría acceso a los datos originales del 15% lo que ofrece mayor libertad a la hora de elegir método de análisis. En realidad, esta es la única posibilidad hasta ahora presentada que permitiría aplicar métodos como word embeddings sin restricciones (aunque con menos material). Si el muestreo se realizase de manera homogénea a lo largo de todos los capítulos y dentro de ellos se eligiesen las oraciones de manera aleatoria, el 15% debería ser representativo del conjunto de la obra, por lo que las conclusiones a las que se llegasen podrían ser generalizables para el resto de la obra siguiendo procedimientos de la estadística inferencial. Este conjunto de métodos estadísticos estándares en muchas áreas de la investigación inducen las características de una población estadística a partir de muestras (Evans 1996, 25–26). Aplicados a textos de la manera aquí presentada, podrían tomar las unidades lingüísticas que aparecen en las muestras y predecir qué frecuencia sería esperable en el texto completo. Esta manera de trabajar sería especialmente útil para analizar fenómenos basados en unidades con frecuencias relativamente altas; sin embargo, sería difícilmente aplicable a fenómenos o unidades que aparecen solo un par de veces en cada documento, como refranes, colocaciones específicas, o referencias a personajes, personas o lugares secundarios en la obra.

5.7 Texto enmascarado

45Una última posibilidad que queremos presentar consiste en sustituir cada una de las unidades léxicas por identificadores, como si cada token llevase una máscara que impidiese el reconocimiento de la unidad léxica original. El objetivo de este procedimiento es publicar tanto la frecuencia como el orden de las unidades léxicas para el texto completo, pero hacerlo de tal manera que se pierda la relación entre el token original y el token publicado. Para realizarlo, en primer lugar conviene crear un listado de todos los tokens presentes en el corpus. En segundo lugar, debe asignarse a cada token un identificador aleatorio de manera que la relación entre token e identificador quede guardada en una tabla de mapeo:

Tabla 1. Selección de tokens y sus identificadores.

token id
, id_2859
. id_1005
Comenzaba id_1941
a id_6603
de id_12350

46Posteriormente, cada token presente en el texto de los elementos TEI es sustituido por su identificador:

Ejemplo 11. Vocabulario enmascarado.

<p xml:id="ne0075_chap1_p1">
  <seg type="narrative" xml:id="ne0075_chap1_seg2">
    <s xml:id="ne0075_chap1_s3">id_1941 id_6603 id_12466 id_2859 id_2977 id_10836 id_12155 id_6531 id_7254 id_7892 id_12350 id_5108 id_2363 id_6603 id_3224 id_3725 id_9127 id_11417 id_9579 id_3246 id_10836 id_11477 id_9428 id_12350 id_8726 id_9707 id_12350 id_3152 id_4414 id_2859 id_7346 id_5108 id_11423 id_11406 id_2859 id_5108 id_7807 id_2327 id_1406 id_12350 id_1731 id_11045 id_6531 id_6895 id_8972 id_8819 id_2859 id_9579 id_756 id_2859 id_5384 id_6603 id_5296 id_2859 id_6603 id_8726 id_12399 id_12350 id_5671 id_6190 id_10418 id_4058 id_1005</s>
    <!-- ... -->
  </seg>
  <!-- ... -->
</p>

47El resultado es un texto incomprensible para el ser humano, pero potencialmente analizable por métodos estadísticos o computacionales. Este modelo representaría para cada corpus un mundo textual completo, contenido en sí mismo, con una lógica interna regulada por la tabla de mapeo entre tokens originales e identificadores. Muchos procedimientos computacionales podrían aplicarse a esta representación, tanto aquellos basados en bolsas de palabras como en colocaciones, por ejemplo para la clasificación de documentos. Sin embargo, no solamente la comprensión humana sería víctima del enmascaramiento de los tokens; un corpus con vocabulario enmascarado sirve solo para métodos computacionales como parte de una lengua sin hablantes ni recursos. La mayoría de herramientas de procesamiento de lenguaje natural no podrían aplicarse a este corpus, entre otras herramientas de anotación lingüística. Incluso tokenizadores que consideran dividir el texto en unidades más pequeñas, por ejemplo, WordPiece, el tokenizador estándar en algoritmos de BERT, (Tunstall, Werra, y Wolf 2022, 33) podrían realizar errores al procesar esta representación enmascarada. En otras palabras, un corpus con vocabulario enmascarado es un objeto hermético, un recurso que no se puede comparar con otros corpus, al que no se le pueden aplicar base de datos ni herramientas de procesamiento del lenguaje natural, ni anotar de manera manual, ya que no se puede comprender.

48Aunque no consideramos que esta opción sea aceptable para la enorme mayoría de los usos, no la descartamos completamente. Podría ser imaginable que una institución tenga un gran conjunto de documentos sensibles y que quiera realizar una tarea concreta con ellos, como clasificarlos según ciertas categorías. Las personas que programen ese procedimiento de clasificación no deben poder leer los textos originales, pero sí deben poder aplicar diferentes métodos computacionales.

6. Aplicación a diferentes ejemplos

49En estas secciones, queremos demostrar con tres recursos en español de qué manera podrían implementarse las posibilidades presentadas.

6.1 Corpus Diacrónico del Español (CORDE)

50En 2002 la Real Academia Española (RAE) publicó dos corpus complementarios: el Corpus de Referencia del Español Actual (CREA) con textos contemporáneos y el Corpus Diacrónico del Español (CORDE) con textos históricos. El plan era que el CREA contuviese siempre los textos de los últimos 25 años y que el CORDE fuese aumentando paulatinamente su alcance cronológico. El plan se modificó con el desarrollo de un nuevo corpus llamado Corpus del Español del Siglo XXI (CORPES) que contiene textos de este siglo.

51El CORDE es una de las mayores fuentes históricas de textos en español, con alrededor de 300 millones de tokens y 34.000 textos de las diferentes áreas donde se habla español (Sánchez Sánchez y Domínguez Cintas 2007). Este corpus es una herramienta estándar en diferentes áreas del estudio de la lengua y literatura en español, aunque también ha recibido críticas, principalmente en relación con que la falta de homogeneidad en cuanto a la modernización de sus textos (Rodríguez Molina y Octavio de Toledo y Huerta 2017).

52Como hemos explicado anteriormente, este corpus tiene publicadas en su web las frecuencias totales de cada token en el corpus completo. Esto ya puede considerarse como la publicación de datos derivados agrupados. Desde hace algunos años, la RAE ofrece también el acceso a las frecuencias totales de cada documento, junto con sus metadatos. La RAE ha publicado un ejemplo con el texto de El ingenioso hidalgo don Quijote de la Mancha:23

Ejemplo 12. Metadatos y datos derivados del Quijote en el CORDE.

<TITULO>El ingenioso hidalgo don Quijote de la Mancha</TITULO>
<AUTOR>Cervantes Saavedra, Miguel de</AUTOR>
<PAIS>España</PAIS>
<FECHACRE>  1605   	</FECHACRE>
<TEMA>Prosa narrativa extensa: Novela y otras formas similares</TEMA>
<MEDIO>Libro</MEDIO>
Número de formas ortográficas: 188175
Número de elementos (tokens): 215121
Número de elementos distintos (types): 15845
17324 ,
10661 que
8928 de
8164 y

53En este documento se observan tres tipos de datos. En primer lugar, metadatos sobre el autor y el texto, con sus valores en elementos XML. En segundo lugar, tres cuantificaciones sobre el contenido del texto: número de formas ortográficas, número de elementos y número de elementos distintos. Finalmente, la cuantificación de la frecuencia de cada token en el texto original a modo de tabla con dos columnas separadas por un espacio en blanco.

54En este trabajo, tomamos estos datos derivados y los modelamos en un archivo TEI. Debido a que nosotros consideramos como input datos que ya han sido derivados, nos vemos restringidos en cuanto a las opciones disponibles. De las opciones discutidas en la sección 5, solo tenemos a disposición hacer bolsas de palabras del volumen. Sin embargo, la RAE sí podría realizar datos derivados más ricos, como bolsas de palabras por frase, tokens desordenados o muestras del texto completo.

55Los tres tipos de datos publicados por la RAE como datos derivados podrían ser expresados de manera explícita y en un formato coherente en un único documento TEI. Los diferentes metadatos se colocarían en los diferentes elementos TEI (entre otros <title> y <author>). Las tres cuantificaciones sobre el texto podrían colocarse en un <measureGrp> con un @type que lo describa, y la frecuencia de tokens se encontraría en otro <measureGrp>.

Ejemplo 13. Propuesta de metadatos y datos derivados del CORDE en TEI.

<TEI>
  <teiHeader>
    <fileDesc>
      <titleStmt>
        <title>El ingenioso hidalgo don Quijote de la Mancha</title>
        <author>Cervantes Saavedra, Miguel de</author>
      </titleStmt>
      <extent>
        <measureGrp type="metrics">
          <measure commodity="ortographic_forms" quantity="188175"/>
          <measure unit="tokens" quantity="215121"/>
          <measure unit="types" quantity="215121"/>
        </measureGrp>
        <measureGrp type="tokens">
          <measure commodity="," quantity="17324"/>
          <measure commodity="que" quantity="10661"/>
          <measure commodity="de" quantity="8928"/>
          <measure commodity="y" quantity="8164"/>
          <!-- ... -->
        </measureGrp>
        <!-- ... -->
      </extent>
      <!-- ... -->
    </fileDesc>
    <!-- ... -->
  </teiHeader>
  <!-- ... -->
</TEI>

56Además, se podrían añadir referencias a los archivos de autoridad de recursos como la BNE, Virtual International Authority File (VIAF) o Wikidata a algunos de estos metadatos, como autor u obra, así como otros metadatos (como el lugar, tema o medio). De esta manera, los datos derivados del CORDE podrían ser enriquecidos con los datos de estos recursos o comparados con otros corpus o catálogos que también contengan identificadores de archivos de autoridad.

Ejemplo 14. Metadatos en TEI identificados con entidades en Wikidata.

<titleStmt>
  <title ref="https://www.wikidata.org/wiki/Q480">El ingenioso hidalgo don Quijote de la Mancha</title>
  <author ref="https://www.wikidata.org/​wiki/​Q5682">Cervantes Saavedra, Miguel de</author>
</titleStmt>

6.2 Corpus of the Novel in the Spanish Silver Age (CoNSSA)

57El CoNSSA contiene 358 obras narrativas de autoras y autores españoles publicadas por primera vez entre 1880 y 1939 (Calvo Tello 2021a; 2021b). Este corpus fue creado para el análisis de géneros de la novela. La mayor parte del corpus ha sido publicado en documentos TEI con el texto completo, junto con metadatos de diferentes tipos. En 2022, una nueva versión del corpus ha sido publicada en TextGrid Repository, con metadatos estructurados siguiendo principios y recursos bibliotecarios como sistemas de clasificación o archivos de autoridad, además de otros recursos de datos enlazados abiertos (Linked Open Data).24

58Sin embargo, muchos autores mantienen derechos de explotación sobre sus textos, por lo que sus textos no pueden ser publicados de manera abierta. Por ejemplo, los herederos de Pío Baroja mantendrán los derechos de explotación del autor hasta 2036. De todos los textos del corpus se publicaron tablas de metadatos y, dependiendo del origen de la digitalización de los textos y datos derivados en forma de tablas de bolsas de palabras y otros rasgos que permiten la reproducibilidad de los análisis realizados con el corpus.

59Para futuras publicaciones de datos derivados, metadatos y datos pueden integrarse en un único documento TEI, ya sea mediante bolsas de palabras de oración o párrafo (sección 5.3), o mediante oraciones con tokens desordenados u ordenados alfabéticamente (sección 5.5). En el ejemplo 15 hemos modelado mediante orden alfabético dentro de un elemento <s> los tokens de la primera oración de la novela de Pío Baroja El mayorazgo de Labraz.

Ejemplo 15. Metadatos en TEI identificados con entidades en Wikidata.

<div type="part">
  <head>LIBRO PRIMERO: LOS VIAJEROS</head>
  <div n="1" type="chapter" xml:id="ne0001_chap1">
    <head xml:id="ne0001_chap1_head0">I</head>
    <quote xml:id="ne0001_chap1_quote1">
      <p xml:id="ne0001_chap1_p2">
        <seg type="narrative" xml:id="ne0001_chap1_seg3">
          <s xml:id="ne0001_chap1_s4">, ? Estrella Occidente a asomas colina crepúsculo de de el el en entre faz follaje la las majestuosa miras nubes paseas por que que qué radiante resplandeces soberbia sobre te través tu y ¿ …</s>
        </seg>
      </p>
      <!-- ... -->
    </quote>
    <!-- ... -->
  </div>
  <!-- ... -->
</div>

60En este ejemplo se observa la ventaja de la alteración del orden, ya que la primera oración se encuentra dentro de un elemento <quote>, es decir, es parte de una cita textual. De esta manera se pueden realizar análisis textuales o estilísticos teniendo en cuenta esta categoría, información que se perdería en la mayoría de alternativas.

6.3 Picasso

61La obra de Pablo Picasso (pintura, textos, etc.) está protegida por derechos de explotación por lo menos hasta 2043. Su obra literaria consiste en más de 300 poemas en prosa, dos obras teatrales y por último un fragmento titulado “El Entierro del Conde de Orgaz” (escrito entre 1957 y 1959; Picasso 1989). Todos estos textos fueron publicados después de la muerte del autor en 1989, editados por Marie-Laure Bernadac y Christine Piot en la editorial de Gallimard, París. Hasta hoy se trata de la única edición de la obra escrita completa del artista con anotaciones sobre versiones, datos y materiales (incluidas ilustraciones) en el anexo. No existe ninguna versión digitalizada y aprobada por parte de la Fundación Pablo Picasso en Europa.25 Sin embargo, las investigadoras e investigadores tienen acceso a los textos en formato HTML mediante el portal “On-line Picasso project” dirigido por Enrique Mallén de la Sam Houston State University, en Texas. De este recurso se ha creado un corpus de textos para algunos análisis (Rißler-Pipka 2019a; 2019b; 2023). La edición digital fue comparada y verificada con la edición de Gallimard en una serie de pasajes. La publicación de este corpus analizado en estos trabajos no está permitida, por lo que es un buen ejemplo de cómo se pueden modelar datos derivados en TEI para su publicación.

62Con el objeto de comparar el uso de construcciones sintácticas y gramaticales de Picasso y sus contemporáneos, hemos anotado todos los textos con categorías gramaticales (en inglés, part of speech) con la herramienta Stanford POS tagger (tanto para los textos en español como en francés).26 El siguiente pasaje muestra la anotación realizada por la herramienta para el texto de Picasso “El Entierro del Conde de Orgaz”; más concretamente para la primera oración, que es “aquí no hay más que aceite y ropa vieja”:

Ejemplo 16. Etiquetas gramaticales anotadas por el Stanford POS tagger para la primera línea del poema “El Entierro del Conde de Orgaz.” .

​ ​ rg
​ ​ rn
​ ​ vaip
​ ​ rg
​ ​ cs
​ ​ ncs
​ ​ cc
​ ​ ncs
​ ​ aq
​ ​ fp

63Una peculiaridad de los textos de Picasso es que prácticamente no utiliza signos de puntuación, lo que aumenta la dificultad de reconocer las categorías gramaticales, por lo que en muchos casos es errónea. Sin embargo, analizar las categorías gramaticales es una posibilidad para comparar el uso y el estilo del autor en textos de diferentes idiomas (para este caso el francés y español, véase Rißler-Pipka 2023).

64Estas anotaciones gramaticales pueden ser representadas en TEI mediante bolsas de rasgos a nivel de volumen en un elemento <measureGrp>:

Ejemplo 17. Metadatos y frecuencia de las etiquetas gramaticales del poema “El Entierro del Conde de Orgaz,” en TEI.

<TEI>
  <teiHeader>
    <fileDesc>
      <titleStmt>
        <title>El Entierro del Conde de Orgaz</title>
        <author ref="https://www.wikidata.org/​wiki/​Q5593">Pablo Picasso</author>
      </titleStmt>
      <extent>
        <measureGrp type="partOfSpeech">
          <measure commodity="ncs" quantity="1040"/>
          <measure commodity="sp" quantity="1010"/>
          <measure commodity="da" quantity="645"/>
          <measure commodity="ncp" quantity="530"/>
          <measure commodity="aq" quantity="478"/>
          <!-- ... -->
        </measureGrp>
        <!-- ... -->
      </extent>
      <!-- ... -->
    </fileDesc>
    <!-- ... -->
  </teiHeader>
  <!-- ... -->
</TEI>

65La ventaja de publicar estos datos en TEI en comparación con tablas o texto plano es que en un único documento se integran documentados aquellos metadatos que el investigador considere necesarios para el análisis. De manera similar al caso del CORDE, hemos añadido la referencia al identificador de Wikidata del autor, no de la obra, ya que ni Wikidata ni Wikipedia contienen una instancia del poema con este título (aunque sí para la pintura del Greco,27 lo que representa un interesante caso de ambigüedad entre obras).

7. Conclusiones

66En este artículo hemos presentado diferentes opciones de publicación de datos relacionados con textos cuando los datos originales y completos no pueden publicarse. Sin embargo, todas estas opciones se basan en que las personas del proyecto quieran publicar ciertos datos y así hacer que tanto ellas mismas como el resto de la comunidad se beneficien de este paso.

67Ante este interés y los nuevos desarrollos y discusiones que están teniendo lugar en diferentes países, argumentamos a favor de TEI como un formato en el que publicar datos derivados. La ventaja de TEI en comparación con otros formatos reside en que TEI permite modelar en un único documento otros tipos de datos que también son relevantes para el análisis, como la estructura textual, metadatos, documentación o anotación generada tanto de manera manual como automática. Esto permite que diferentes puntos de los criterios FAIR puedan ser satisfechos.

68Hemos explorado diferentes maneras de modelar estos datos textuales derivados en TEI y los hemos aplicado a tres casos concretos y diferentes de los últimos años. Consideramos que la variante de alteración del orden en los elementos TEI (sección 5.5) es probablemente la que mejor equilibra el marco legal actual, la cantidad de datos y su usabilidad.

69En cualquier caso, las diferentes opciones tienen que ser discutidas con juristas teniendo en cuenta las leyes nacionales e internacionales, aspectos que en este artículo no hemos podido cubrir.

70La creación, publicación y reutilización de estos datos no debe ser un trabajo únicamente de las investigadoras e investigadores. Los proyectos y las instituciones responsables de las infraestructuras de investigación deberían facilitar su creación, publicación y reutilización. Un ejemplo sería que algunos de estos pasos estén integrados en repositorios, como el TextGrid Repository28 que ha sido explícitamente desarrollado para textos en TEI y donde la comunidad puede subir sus datos, generar otros derivados mediante opciones estandarizadas y posteriormente publicarlos en TEI.

71Como vemos, los datos derivados abren nuevas posibilidades y retos en diferentes áreas de la investigación. Por todo ello, un aspecto central de los siguientes años recae en la necesidad de que los proyectos para la creación de infraestructuras se comuniquen de manera activa con la comunidad investigadora sobre sus necesidades y preferencias.

SVN keywords: $Id: jtei-calvo-235-source.xml 1212 2023-07-16 18:56:47Z pietro.liuzzo $

Top of page

Bibliography

Burnard, Lou, Christof Schöch, y Carolin Odebrecht. 2021. “In search of comity: TEI for distant reading.” Journal of the Text Encoding Initiative 14. doi:10.4000/jtei.3500.

Calvo Tello, José. 2021a. The Novel in the Spanish Silver Age: A Digital Analysis of Genre Using Machine Learning. Digital Humanities Research 4. Bielefeld: transcript. https://​www.​transcript-verlag.​de/​978-3-8376-5925-2/​the-novel-in-the-spanish-silver-age/​?c=331025282.

———. 2021b. “Corpus de novelas de la Edad de Plata, en XML-TEI.” Signa: Revista de la Asociación Española de Semiótica 30(0): 83–107. doi:10.5944/signa.vol30.2021.29299.

Carroll, Stephanie Russo, Ibrahim Garba, Oscar L. Figueroa-Rodríguez, Jarita Holbrook, Raymond Lovett, Simeon Materechera, Mark Parsons, et al. 2020. “The CARE Principles for Indigenous Data Governance.” Data Science Journal 19(1): 43. doi:10.5334/dsj-2020-043.

Evans, James D. 1996. Straightforward statistics for the behavioral sciences. Pacific Grove: Brooks/Cole Pub. Co.

Gärtner, Markus, Felicitas Kleinkopf, Melanie Andresen, y Sibylle Hermann. 2021. “Corpus Reusability and Copyright - Challenges and Opportunities.” En Proceedings of the Workshop on Challenges in the Management of Large Corpora (CMLC-9), 10–19. Limerick: Leibniz-Institut für Deutsche Sprache. doi:10.14618/IDS-PUB-10470.

Henny-Krahmer, Ulrike. 2018. “Exploration of Sentiments and Genre in Spanish American Novels.” En Puentes/Bridges. México DF: ADHO. https://​dh2018.​adho.​org/​exploration-of-sentiments-and-genre-in-spanish-american-novels/.

Jett, Jacob, Boris Capitanu, Deren Kudeki, Timothy Cole, Yuerong Hu, Peter Organisciak, Ted Underwood, Eleanor Dickson Koehl, Ryan Dubnicek, y J. Stephen Downie. 2020. “The HathiTrust Research Center Extracted Features Dataset.” HathiTrust Research Center. doi:10.13012/R2TE-C227.

Navarro Colorado, Borja. 2018. “A Metrical Scansion System for Fixed-Metre Spanish Poetry.” Digital Scholarship in the Humanities 33(1): 112–27. doi:10.1093/llc/fqx009.

Picasso, Pablo. 1989. Picasso: Collected Writings. Editado por Marie-Laure Bernadac. 1. publ. London: Aurum.

Rißler-Pipka, Nanette. 2019a. “L’esthétique numérique de Picasso.” Philologie im Netz 2019(16): 39–59.

———. 2019b. “In Search of a New Language: Measuring Style of Góngora and Picasso.” Romanische Studien 0(0): 117–50.

———. 2023 (en prensa). “Cross-language Stylometry: Picasso’s Writings in Spanish and French.” En Digital Stylistics in Romance Studies and Beyond, editado por Jose Calvo Tello, Ulrike Henny-Krahmer, Robert Hesselbach, y Christof Schöch. Heidelberg.

Rodríguez Molina, Javier, y Álvaro Sebastián Octavio de Toledo y Huerta. 2017. “La imprescindible distinción entre texto y testimonio: el CORDE y los criterios de fiabilidad lingüística.” Scriptum digital: revista de corpus diacrònics i edició digital en llengües iberoromàniques 6: 5–68.

Ruiz Fabo, Pablo, Helena Bermúdez Sabel, Clara Martínez Cantón, Elena González-Blanco, y Borja Navarro Colorado. 2018. “The Diachronic Spanish Sonnet Corpus (DISCO): TEI and Linked Open Data Encoding, Data Distribution and Metrical Findings – DH 2018.” En Puentes/Bridges. México DF: ADHO. https://​dh2018.​adho.​org/​the-diachronic-spanish-sonnet-corpus-disco-tei-and-linked-open-data-encoding-data-distribution-and-metrical-findings/.

Sánchez Sánchez, Mercedes, y Carlos Domínguez Cintas. 2007. “El banco de datos de la RAE: CREA y CORDE.” Per Abbat: boletín filológico de actualización académica y didáctica 2: 137–48.

Santa María Fernández, Teresa, José Calvo Tello, y Concepción María Jiménez Fernández. 2020. “¿Existe correlación entre importancia y centralidad? Evaluación de personajes con redes sociales en obras teatrales de la Edad de Plata.” Digital Scholarship in the Humanities 36(Supplement_1): i81–88. doi:10.1093/llc/fqaa015.

Schöch, Christof, Frédéric Döhl, Achim Rettinger, Evelyn Gius, Peer Trilcke, Peter Leinen, Fotis Jannidis, Maria Hinzmann, y Jörg Röpke. 2020. “Abgeleitete Textformate: Text und Data Mining mit urheberrechtlich geschützten Textbeständen.” Zeitschrift für digitale Geisteswissenschaften. doi:10.17175/2020_006.

Schöch, Christof, Tomaz Erjavec, Roxana Patras, y Diana Santos. 2021. “Creating the European Literary Text Collection (ELTeC): Challenges and Perspectives.” Modern Languages Open 1: 25. doi:10.3828/mlo.v0i0.364.

Schöch, Christof, José Calvo Tello, Ulrike Henny-Krahmer, y Stefanie Popp. 2019. “The CLiGS Textbox: Building and Using Collections of Literary Texts in Romance Languages Encoded in TEI XML.” Journal of the Text Encoding Initiative. doi:10.4000/jtei.2085.

Tunstall, Lewis, Leandro von Werra, y Thomas Wolf. 2022. Natural Language Processing with Transformers: Building Language Applications with Hugging Face. Sebastopol: O’Reilly Media.

Wilkinson, Mark D., Michel Dumontier, IJsbrand Jan Aalbersberg, Gabrielle Appleton, Myles Axton, Arie Baak, Niklas Blomberg, et al. 2016. “The FAIR Guiding Principles for Scientific Data Management and Stewardship.” Scientific Data 3: 160018. doi:10.1038/sdata.2016.18.

Top of page

Attachment

Top of page

Notes

1 Fecha de consulta 16 de julio de 2023, https://​textgrid.​de/​en/​digitale-bibliothek.

2 Fecha de consulta 16 de julio de 2023, https://​dracor.​org/.

3 Proyecto de digitalización y publicación de textos relevantes para el hispanismo, entre ellos obras literarias: fecha de consulta 16 de julio de 2023, https://​www.​cervantesvirtual.​com/.

4 Corpus de 60 obras canónicas de diferentes tradiciones europeas: fecha de consulta 16 de julio de 2023, https://​www.​cervantesvirtual.​com/​obra/​canon-60-la-coleccion-esencial-del-tc12-teatro-clasico-espanol/.

5 Corpus literarios de obras escritas por o atribuidas a Lope de Vega: fecha de consulta 16 de julio de 2023, https://​artelope.​uv.​es/​biblioteca/.

6 Fecha de consulta 16 de julio de 2023, https://​github.​com/​pruizf/​disco.

7 Fecha de consulta 16 de julio de 2023, https://​github.​com/​bncolorado/​CorpusSonetosSigloDeOro.

8 Fecha de consulta 16 de julio de 2023, ​​https://​github.​com/​HDAUNIR/​BETTE.

9 Fecha de consulta 16 de julio de 2023, https://​github.​com/​cligs/​textbox.

10 Fecha de consulta 16 de julio de 2023, https://​github.​com/​cligs/​conssa/​tree/​v1.​0.​0.

11 Fecha de consulta 16 de julio de 2023, https://​github.​com/​eeditiones/​eltec.

12 Fecha de consulta 16 de julio de 2023, http://​corpus.​rae.​es/​frecCORDE/​lfrecuencias.​html.

13 Fecha de consulta 16 de julio de 2023, http://​corpus.​rae.​es/​frecCORDE/​Otros.​html.

14 Fecha de consulta 16 de julio de 2023, http://​corpus.​rae.​es/​frecCORDE/​quijote1.​TXT.

15 Fecha de consulta 16 de julio de 2023, https://​datos.​gob.​es/​es/​noticia/​principios-fair-buenas-practicas-para-la-gestion-y-administracion-de-datos-cientificos.

16 Para una descripción detallada, véase: fecha de consulta 16 de julio de 2023, https://​blogs.​tib.​eu/​wp/​tib/​2017/​09/​12/​the-fair-data-principles-for-research-data/.

17 Fecha de consulta 16 de julio de 2023, https://​www.​text-plus.​org/​en/.

18 Véase, por ejemplo, el asesoramiento en CESSDA (Consortium of European Social Science Data Archives): fecha de consulta 16 de julio de 2023, https://​www.​cessda.​eu/​Training/​Training-Resources/​Library/​Data-Management-Expert-Guide/​6.​-Archive-Publish/​Publishing-with-CESSDA-archives/​Access-categories y https://​www.​cessda.​eu/​Training/​Training-Resources/​Library/​Data-Management-Expert-Guide/​6.​-Archive-Publish/​Publishing-with-CESSDA-archives.

19 El documento de HTRC también se encuentra en el repositorio con los datos y código de este artículo: fecha de consulta 16 de julio de 2023, https://​gitlab.​gwdg.​de/​jose.​calvotello/​derived_data_tei_sp/​-/​tree/​main/​data/​HTRC-extracted-features.

20 Fecha de consulta 16 de julio de 2023, https://​www.​text-plus.​org/​en.

21 Fecha de consulta 16 de julio de 2023, https://​gitlab.​gwdg.​de/​jose.​calvotello/​derived_data_tei_sp.

22 Fecha de consulta 16 de julio de 2023, https://​www.​izus.​uni-stuttgart.​de/​fokus/​fdm-projekte/​xsample/.

23 Fecha de consulta 16 de julio de 2023, http://​corpus.​rae.​es/​frecCORDE/​quijote1.​TXT.

24 Fecha de consulta 16 de julio de 2023, https://​textgridrep.​org/​project/​TGPR-8b44ca41-6fa1-9b49-67b7-6374d97e29eb.

25 Fecha de consulta 16 de julio de 2023, https://​www.​picasso.​fr/​les-droits-qu-est-ce-que-picasso-administration.

26 Fecha de consulta 16 de julio de 2023, https://​nlp.​stanford.​edu/​software/​tagger.​shtml#Download.

27 Fecha de consulta 16 de julio de 2023, https://​www.​wikidata.​org/​wiki/​Q94802.

28 Fecha de consulta 16 de julio de 2023, https://​textgridrep.​org/​?lang=en.

Top of page

References

Electronic reference

José Calvo Tello and Nanette Rißler-Pipka, ¿Qué hacer con textos que no se pueden publicar? Datos derivados, criterios FAIR y TEIJournal of the Text Encoding Initiative [Online], Issue 16 | 2023, Online since 01 August 2023, connection on 13 September 2024. URL: http://journals.openedition.org/jtei/4720; DOI: https://doi.org/10.4000/jtei.4720

Top of page

About the authors

José Calvo Tello

José Calvo Tello trabaja como investigador y bibliotecario en la Göttingen State and University Library (Alemania). Se doctoró en Humanidades por la Universidad de Würzburg (Alemania) con el trabajo The Novel in the Spanish Silver Age: A Digital Analysis of Genre Using Machine Learning (2021). Ha impartido cursos de Estudios Románicos y Humanidades Digitales en varias universidades (Eichstätt-Ingolstadt, Kassel, Würzburg). Su investigación se centra en la aplicación y el desarrollo de métodos estadísticos y computacionales como el aprendizaje automático aplicados a las literaturas románicas y a datos bibliotecarios.

By this author

Nanette Rißler-Pipka

Nanette Rißler-Pipka trabaja como investigadora y co-directora de DARIAH-DE en la GWDG (Gesellschaft für wissenschaftliche Datenverarbeitung mbH Göttingen, en Alemania). En su tesis de habilitación analiza los escritos de Pablo Picasso (Picassos schriftstellerisches Werk: Passagen zwischen Bild und Text, 2015) y su tesis doctoral trata sobre la literatura francesa del siglo XIX y la descripción de la mujer como víctima del arte (Das Frauenopfer in der Kunst und seine Dekonstruktion, Fink 2005). En los últimos años ha trabajado en la intersección entre las Humanidades Digitales y los Estudios Románicos.

Top of page

Copyright

The text only may be used under licence For this publication a Creative Commons Attribution 4.0 International license has been granted by the author(s) who retain full copyright.. All other elements (illustrations, imported files) are “All rights reserved”, unless otherwise stated.

Top of page
Search OpenEdition Search

You will be redirected to OpenEdition Search