Navigation – Plan du site

AccueilNuméros20-1Identification d’occurrences de c...

Identification d’occurrences de candidats termes dans des articles scientifiques

Laurence Kister et Evelyne Jacquey

Résumés

Cet article compare deux campagnes d’annotation successives visant l’identification manuelle des occurrences de candidats termes relevant de la discipline scientifique dans laquelle s’inscrit l’article. Les deux campagnes se distinguent par leurs objectifs. La première visait l’enrichissement de terminologies existantes. La seconde avait le double objectif de comparer plusieurs environnements d’annotation (BRAT, GATE, GLOZZ) et de mesurer la difficulté de la tâche d’annotation en sciences humaines et sociales (SHS) par rapport aux sciences dites exactes. Les corpus produits ne permettant pas de comparer les deux campagnes directement, nous les exploitons comme corpus d’apprentissage dans une tâche test qui consiste à automatiser l’annotation manuelle. L’objectif est de savoir si le corpus de la seconde campagne permet d’augmenter les performances de la tâche test par rapport à celui de la première campagne.

Haut de page

Texte intégral

1. Introduction

1Cet article décrit et analyse deux campagnes d’annotation d’occurrences de candidats termes dont l’objectif premier est d’identifier les occurrences (occurrences disciplinaires, par la suite) qui relèvent de la langue de spécialité à laquelle appartient le document annoté. Ces travaux s’inscrivent dans le champ de l’extraction terminologique automatique, thématique très active depuis les années 1990 qui constitue un des accès possibles au contenu des documents numériques dont la quantité et la diversité s’accroissent régulièrement. Un extracteur terminologique produit des listes de candidats termes dont on peut détecter les occurrences dans les articles scientifiques. Cependant, comme ces occurrences sont détectées sur la base de critères morphosyntaxiques et non grâce à une sélection d’ordre sémantique, il est nécessaire de les désambiguïser. De plus, plusieurs auteurs ont souligné que si un terme, en tant qu’étiquette de concept, est non ambigu à l’intérieur d’une terminologie et pour une application donnée, ses réalisations linguistiques en contexte peuvent l’être (L’Homme (2004) et Rastier (2005)). Autrement dit, les occurrences de candidats termes peuvent être ambiguës entre une acception relevant de la langue de spécialité (occurrence disciplinaire) et d’autres acceptions n’en relevant pas (langue générale, vocabulaire savant, lexique scientifique, etc.). Dans l’exemple (1) ci-dessous, issu d’un article de chimie, les occurrences des candidats espèce et réaction sont faciles à identifier comme relevant de la langue de spécialité.

(1) Au cours de la nitration des noyaux aromatiques par le N 2 0 4 en milieu aprotonique, la présence d’un nitrate métallique tel que Zn (N0 3) 2, Cu (N0 3) 2 ou U0 2 (N0 3) 2, génère l’espèce[+disciplinaire] catalytique NO + selon la réaction[+disciplinaire] N 2 0 4 + M (N0 3) 2 <= t NO + + M (N0 3).

2À l’inverse, le candidat contexte ci-dessous, issu d’un article de linguistique, est plus difficile à arbitrer. Dans l’exemple (2.a), il peut être considéré comme ayant une acception disciplinaire ou comme étant une précision du sens général de l’occurrence du même candidat dans le second exemple (2.b).

(2.a) La morpholexicalité, la structuration syntaxique, l’effet paronomastique et le contexte[+disciplinaire] participent, conjointement ou non, à (re)former l’expression figée et à en actualiser le sens.
(2.b) Le second touche à des développements de recherche récents sur l’interaction exo-lingue dans une diversité de contextes[−disciplinaire] à partir de 1980.

3Pour les deux campagnes, les documents annotés sont extraits d’un corpus d’articles scientifiques français en libre accès pour la communauté scientifique1 (corpus-source, par la suite). Bien que les données proviennent de la même source, les deux campagnes se différencient en fonction de leur finalité globale. La première campagne (C1) visait l’enrichissement de terminologies existantes dans trois disciplines de SHS (archéologie, linguistique et psychologie). La seconde campagne (C2) avait un triple objectif :

4- tester différents environnements d’annotation,
- comparer des disciplines de SHS (archéologie et linguistique) avec une discipline de sciences dites exactes (chimie)
- mettre à l’épreuve un protocole d’annotation fondé sur les bonnes pratiques (Bonneau-Maynard et al. (2005) et Fort (2016), entre autres).

5Elles se différencient aussi sur le plan de leur protocole. La campagne C1 n’a pas fait l’objet d’une annotation multiple étant donné la quantité d’occurrences à désambiguïser (un peu plus de 145 000 occurrences issues de 70 articles intégraux). La campagne C2, d’un volume plus réduit (un peu plus de 2 500 occurrences de candidats termes dans 89 résumés), a bénéficié d’une annotation multiple et de la mise en œuvre des bonnes pratiques en matière d’annotation manuelle et de constitution de corpus de référence.

6La dernière différence entre les deux campagnes concerne les disciplines. La campagne C1 porte sur trois disciplines SHS : l’archéologie, la linguistique et la psychologie. La campagne C2 porte sur deux disciplines SHS (archéologie et linguistique) et une discipline de sciences exactes pour comparaison (la chimie). Pour comparer ces deux campagnes, il n’est pas possible d’utiliser les mesures courantes d’accord inter-annotateurs. La qualité de l’annotation produite est mesurée par une évaluation dite par la tâche. La tâche servant de cadre d’évaluation consiste à automatiser l’identification manuelle des occurrences disciplinaires en utilisant les deux corpus annotés comme corpus d’apprentissage.

7Cet article s’organise de la manière suivante : la section 2 résume les raisons qui nous ont conduits à mener ces expériences d’annotation en occurrences disciplinaires de candidats termes, la section 3 est consacrée à la description des données annotées et des protocoles d’annotation, la section 4 détaille l’évaluation de la campagne C2 et la section 5 compare les résultats de l’évaluation par la tâche des deux campagnes.

2. Contexte de l’étude et motivations

2.1. Contribution à la création d’un corpus de référence

  • 1

8L’inventaire des ressources textuelles annotées2 réalisé par le groupe de travail n°8 (GT8) « Annotation du plus haut niveau » du consortium « Corpus, Langues et Interactions » (CORLI) ne recense aucun corpus de référence annoté en occurrences disciplinaires de candidats termes pour le français. Comme signalé dans l’introduction, ce type d’annotation est comparable à une tâche de désambiguïsation lexicale. Dans ce domaine, le GT8 identifie deux ressources diffusées par ELRA : le corpus ROMANSEVAL (Véronis 2001) et le corpus ESTER2 (Galliano et al. 2009). Ces deux corpus de référence peuvent servir de guides méthodologiques et de point de comparaison mais ils ne sont pas l’équivalent de corpus enrichis en occurrences disciplinaires de candidats termes.

9Des corpus de référence de ce type permettent d’examiner les candidats termes sur des bases linguistiques dans leur contexte effectif d’utilisation et d’observer les interactions entre le lexique disciplinaire d’un domaine scientifique et d’autres types de lexiques comme celui de la langue générale, par exemple. Ces interactions peuvent se présenter sous la forme de concurrences lexicales ou sémantiques et peuvent être étudiées du point de vue des dépendances syntaxiques apparaissant entre les différents lexiques ou du point de vue des phénomènes phraséologiques à l’œuvre. Les travaux de Constant et al. (2017) sont un appui majeur dans de telles études. De plus, ce type de corpus permet d’enrichir les terminologies existantes en étant au plus près de l’utilisation effective des langues de spécialité par les chercheurs.

2.2. Une méthode alternative de validation de candidats termes.

10Les méthodologies employées dans l’extraction terminologique peuvent se fonder sur des critères statistiques, linguistiques ou faire interagir ces deux approches (Cabré Castellvi et al. 2001), Jacquemin (2003) et Daille et al. 2004). Quelle que soit leur dominante, ces outils nécessitent l’intervention d’experts du domaine de spécialité, ce qui est coûteux et peu reproductible (Vàsquez et Oliver 2018). Ces dix dernières années, la problématique de l’évaluation des méthodes d’extraction terminologique s’est tournée vers l’utilisation de corpus. Nazarenko et al. (2009) souligne la nécessité de disposer de corpus de référence annotés. Il est alors nécessaire de disposer d’un corpus par discipline. En effet, le candidat patient, par exemple, désigne deux concepts différents en linguistique et en psychologie. Dans la même perspective, Bernier-Colborne et Drouin (2014) ont développé un corpus annoté (224 159 tokens issus de trois ouvrages consacrés à l’ingénierie automobile) qui n’est pas libre de droit et qui ne peut être diffusé. Les travaux présentés dans cet article visent à contribuer à de telles réalisations de manière complémentaire aux différentes méthodes de filtrage terminologique automatique exploitant les occurrences de candidats termes en corpus, en particulier (Trosten et Gurevych (2009), Nazar (2016), Bougouin et al. (2016), Vàsquez et Oliver 2018).

2.3. Comparaison d’environnements d’annotation.

11L’un des objectifs de la seconde campagne part du constat que peu d’analyses comparatives ont été réalisées pour appréhender la grande diversité d’environnements d’annotation existants. L’étude que nous présentons s’inscrit dans la lignée de l’inventaire réalisé par Fort (2012). À l’issue de différents tests, nous avons sélectionné trois environnements : BRAT, GATE et GLOZZ. BRAT (Stenetorp et al. 2012) a été choisi pour son utilisation en ligne et sa prise en main très facile, GATE (Cunningham et al. 2013) pour son intégration aisée avec des chaînes de traitement TAL et GLOZZ (Mathet et Widlöcher (2011), Widlöcher et Mathet 2012) pour son ergonomie et ses nombreuses utilisations dans des campagnes d’annotation complexes. Les trois sont libres de droits et proposent un code ouvert.

3. Données et protocoles d’annotation

3.1. Pré-annotation

12Les données du corpus-source sont encodées selon un même format XML inspiré des recommandations internationales TEI3, TBX (Lommel et al. (2014), Melby 2015) et Stand-Off (Ide et Romary (2006) et Romary 2014). Dans ce format (figure 1), le texte est un flux linéaire de tokens dotés d’un identifiant unique (les valeurs de l’attribut «xml:id» dans l’élément <text>. Ces identifiants permettent de positionner de manière fiable tout enrichissement du texte sous la forme d’annotations déportées. Les identifiants de tokens dans l’élément <text> sont préfixés par « # » lorsqu’ils sont utilisés dans les couches d’annotations. Deux types d’annotation sont utilisés dans le corpus-source :

13- la segmentation lexicale et l’étiquetage morphosyntaxique (<ns : standOff type=’wordForms’>)

14- l’identification des occurrences de candidats termes (<ns : standOff type=’candidatsTerme >).

Figure 1. Illustration du format XML des articles

  • 4 Le silence lors de la détection des candidats termes n’a pas été évalué car aucun test de ce type n (...)

15La segmentation lexicale et l’étiquetage morphosyntaxique sont réalisés avec TreeTagger (Schmid 1994), nativement intégré à la plateforme multilingue TTC-TermSuite (Rocheteau et Daille 2011). L’extraction des candidats termes et la détection de leurs occurrences sont réalisées avec l’application TermSuite. Cet extracteur utilise les variations linguistiques courantes des candidats termes (orthographiques, flexionnelles, syntaxiques) ainsi que des critères statistiques, en particulier la fréquence relative d’un candidat et sa spécificité (termhood) par rapport à un corpus de langue générale (pour le français, 82 millions de tokens issus du journal Le Monde, (Daille et al. 2016). À l’issue du calcul de la liste de tous les candidats potentiels, les formes variantes des candidats sont regroupées autour de ceux qui sont considérés comme les meilleurs pivots. Parmi les choix de paramétrage possibles dans TermSuite, nous avons fixé trois paramètres : la catégorie des candidats (noms ou adjectifs), un seuil de fréquence absolue (minimum de 5 occurrences) et un seuil de taille de liste (les 10 000 premiers candidats dans la liste triée par spécificité décroissante)4. L’enrichissement automatique des données textuelles est réalisé par une chaîne de traitement dédiée qui intègre ces outils afin de produire le corpus-source enrichi. Dans les deux campagnes, les annotateurs sont intervenus sur des données pré-annotées et n’ont pas eu à identifier les annotables, l’unitizing au sens de Krippendorff (1995).

3.2. Campagne C1

3.2.1. Corpus, protocole et environnement de l’annotation

16La première campagne porte sur le texte intégral de documents de trois disciplines de SHS (11 articles en archéologie, 29 en linguistique et 30 en psychologie). Le corpus comporte 568 646 tokens pour 145 420 occurrences de candidats termes identifiées automatiquement puis annotées manuellement. Le protocole de la campagne C1, similaire à celui appliqué dans (Delavigne, 2001), consiste à subdiviser la prise de décision en deux étapes successives recevant une réponse binaire. Pour la première étape (validité linguistique), les annotateurs sont des linguistes expérimentés qui se sont appuyés sur leur compétence linguistique en français et sur un guide d’annotation accessible en ligne5 dont les recommandations principales sont :

17- dans les candidats de type groupe nominal étendu, le candidat maximal et les candidats inclus de plus petite taille autonomes sont conservés
- les candidats correspondant à des noms ou à des adjectifs substantivés sont conservés (palatale, occlusive)
- les candidats, simples ou complexes, correspondant à des verbes, des conjonctions et tout adjectif isolé sont rejetés

18Ainsi dans « Hommes du Paléolithique supérieur », six candidats sont détectés selon le découpage suivant :

19[C1 [C2 [C3HommesC3] du [C4 [C5PaléolithiqueC5] C2] [C6supérieurC6] C4] C1].

  • 6 Lent, R. W. (2008). Une conception sociale cognitive de l’orientation scolaire et professionnelle : (...)

20Parmi ces candidats, C1 (Hommes du Paléolithique supérieur), C3 (Hommes), C4 (paléolithique supérieur) et C5 (Paléolithique) sont jugés valides tandis que C2 (Hommes du Paléolithique) et C6 (supérieur) sont jugés invalides. La seconde étape d’annotation (appartenance disciplinaire) est réalisée sur le sous-ensemble d’occurrences jugées linguistiquement correctes. Les annotateurs, en tant que spécialistes des domaines traités, se sont appuyés sur leur expertise et sur les recommandations du guide d’annotation. Les occurrences des candidats sont jugées disciplinaires si elles désignent des concepts du domaine scientifique traité (définition circulaire, dictionnaire, schwa, variation graphique en linguistique), des concepts d’un autre domaine suffisamment intégrés dans le domaine scientifique traité (apprentissage, communication, récit en linguistique) ou des concepts propres au discours du domaine (construction, forme, usage pour les monolexicaux en linguistique ou polarité négative et positive, terme affectif français, syllabe initiale pour les complexes). Les occurrences de candidats sont jugées non disciplinaires si elles dénotent des concepts relevant d’autres domaines scientifiques qui ne sont pas suffisamment intégrés dans le domaine scientifique traité (carte conceptuelle et élève, par exemple, en linguistique) ou si ces occurrences désignent des notions relevant du discours scientifique en général ou de la langue générale (application, hypothèse et processus, par exemple, en linguistique). Du point de vue de l’environnement d’annotation, les textes sont annotés dans un environnement HTML dédié. Chaque occurrence à annoter est précédée d’une pastille cliquable. Au départ, toutes les occurrences sont affichées comme valides par défaut (pastilles de couleur verte). Au fur et à mesure de la lecture du document, l’annotateur fait passer au rouge les pastilles des occurrences qu’il rejette. Dans la première étape, l’annotateur rejette les occurrences invalides linguistiquement. La figure 2 reproduit un extrait d’un article en psychologie6. Dans la seconde étape, l’annotateur fait passer au rouge toutes les occurrences qu’il juge non disciplinaires (figure 2). En ce qui concerne le déroulement de la campagne, la sélection des occurrences linguistiquement correctes a été effectuée par deux linguistes expérimentés : chacun a traité 35 des 70 fichiers. La sélection des occurrences disciplinaires a été réalisée par un ou deux ingénieurs documentalistes spécialistes des disciplines traitées ainsi que par les deux annotateurs linguistes. Six annotateurs ont été mobilisés : trois en linguistique, deux en psychologie et un en archéologie. Pour les disciplines traitées par plusieurs annotateurs experts, les fichiers ont été répartis entre eux. Le temps d’annotation n’a pas été mesuré : chaque annotateur était autonome et travaillait à son rythme après appropriation de l’environnement et du guide d’annotation.

Figure 2. Validité linguistique et appartenance disciplinaire, campagne C1

3.2.2. Bilan de la campagne C1

  • 7 Dans le tableau, seuls les pourcentages d’occurrences sont reproduits faute de place mais les pourc (...)

21Le tableau 1 synthétise le bilan quantitatif des occurrences disciplinaires sélectionnées dans les trois disciplines. La campagne C1 a concerné 16 948 candidats pour 145 420 occurrences, soit 25,57% du corpus avec des proportions différentes dans les trois disciplines : 29,97% en archéologie, 15,91% en linguistique et 33,28% en psychologie. Les candidats les plus fréquents sont site en archéologie (274 occurrences), langue en linguistique (514 occurrences) et scolaire en psychologie (832 occurrences). En moyenne, les candidats complexes contiennent deux éléments avec un écart de plus ou moins un élément supplémentaire. Parmi les occurrences de candidats pré-annotées automatiquement, 60,07% sont monolexicaux (CTS dans le tableau) pour 84,67% des occurrences. Ces proportions sont inversées pour les candidats complexes (CTC dans le tableau)7. À l’issue de la première étape d’annotation (validité linguistique), 28,42% des occurrences de candidats termes sont rejetées (37,46% en archéologie, 34,03% en linguistique, 23,65% en psychologie). À l’issue de la seconde étape d’annotation, 48,34% des occurrences sont considérées comme disciplinaires, soit 70 289 sur les 145 420 occurrences initiales.

3.3. Campagne C2

3.3.1. Corpus

22La campagne C2 porte sur 89 résumés d’articles (11 368 tokens) au sein desquels 2 512 occurrences de candidats termes (1 491 candidats) sont pré-annotées (tableau 2). La proportion de candidats termes est comparable à celle de la campagne C1 sur l’ensemble du corpus (22,10% en C2 contre 25,57% en C1) mais des différences apparaissent pour les disciplines communes entre les deux campagnes : 13,13% en C2 contre 26,97% en C1 en archéologie, 21,66% en C2 contre 15,91% en C1 en linguistique. Dans la campagne C2, les candidats les plus fréquents sont funéraire et sépulture en archéologie (13 occurrences) et article en linguistique (25 occurrences). Comme en C1, les candidats complexes en C2 comportent en moyenne deux éléments plus ou moins un élément supplémentaire. Parmi l’ensemble des candidats de C2, 70,09% sont monolexicaux pour 78,46% des occurrences (CTS dans le tableau) avec des proportions inverses pour les candidats complexes (CTC dans le tableau). Enfin, la proportion d’occurrences jugées disciplinaires est plus élevée en C2 : 57,09% des occurrences sur l’ensemble du corpus contre 48,34% en C1. Cette augmentation globale se traduit aussi au niveau des disciplines communes : 61,71% en C2 contre 51,87% en C1 en archéologie et 50,19% en C2 contre 44,71% en C1 en linguistique.

Tableau 1. Distribution des occurrences de candidats termes dans la campagne C1

23Plusieurs différences supplémentaires résultent de causes qualitatives. La première concerne le taux de répétition qui est plus faible en C2 (1,3 en moyenne avec une variation de +/- 8) qu’en C1 (3 en moyenne avec une variation de +/- 65). Ceci s’explique par le fait que le corpus de la campagne C1 est composé d’articles intégraux alors qu’il est composé de résumés d’articles dans la campagne C2. Pour la même raison, la taille maximale des candidats est plus petite dans la campagne C2 (4 éléments au plus) que dans la campagne C1 (8 éléments au plus). Une dernière différence concerne les occurrences linguistiquement incorrectes : elles sont beaucoup moins nombreuses dans la campagne C2 que dans la campagne C1. Cela s’explique par l’élimination d’une consigne d’annotation qui s’est révélée contre-intuitive pour les annotateurs lors de la première campagne (rejet de tous les adjectifs isolés, voir section 3.3.2) et par la résolution d’une partie des erreurs de tokenisation et d’analyse morphosyntaxique produites par TermSuite grâce à l’externalisation et l’intégration de ces étapes dans la chaîne de traitement des données pré-annotées.

Tableau 2. Distribution des occurrences de candidats termes dans la campagne C2

3.3.2. Protocole d’annotation de la campagne C2

24L’annotation est réalisée en une seule étape au moyen d’un jeu contenant trois étiquettes (tableau 3).

Tableau 3. Valeurs attribuées aux occurrences de candidats termes

25Concernant les recommandations d’annotation, la principale différence entre les deux campagnes se situe au niveau des critères de validité linguistique : la recommandation du rejet des adjectifs isolés a été supprimée si ces éléments étaient bien formés. De plus, les conditions de rejet ont été affinées :

26- rejet systématique des occurrences en langue étrangère sauf si le candidat correspond à un terme du domaine dans cette langue
- rejet des découpages syntaxiques incorrects dus à des erreurs d’étiquetage restantes : résonance dans le candidat plus étendu résonance de spin, par exemple, ou éléments appartenant à une unité phraséologique comme objet dans l’expression faire l’objet de.

27Les critères de choix entre les valeurs 1 (linguistiquement correct mais non disciplinaire) et 2 (disciplinaire) s’appuient sur la consultation de ressources terminologiques de référence car, dans cette seconde campagne, les annotateurs ne sont pas forcément des experts des domaines scientifiques traités. L’ordre de consultation des ressources tient compte des difficultés qu’elles posent ou des lacunes que ces ressources comportent par rapport à l’utilisation qui en est faite dans cette campagne :

28- les ressources terminologiques de référence fournies par l’un des participants de la campagne : absence de définitions pour les termes
- le Grand Dictionnaire Terminologique (GDT) : couverture incomplète des disciplines de la campagne et variations diatopiques possibles du français québécois
-  la base de données multilingue Inter Active Terminology for Europe (IATE) : orientation vers la traduction dans des domaines non aisément compatibles avec les disciplines de la campagne.

29Lorsque l’occurrence à annoter correspond à un terme dans l’une des ressources terminologiques de référence, l’annotateur doit vérifier si le sens de l’occurrence est conforme à celui du terme correspondant tel qu’il peut l’inférer à partir de la ressource terminologique consultée. Si aucun terme ne correspond à l’occurrence à annoter quelle que soit la ressource terminologique de référence consultée, l’annotateur est autorisé à consulter Wikipédia et à faire une recherche au moyen de Google bien que ces deux solutions doivent rester des stratégies exceptionnelles car le guide n’indique pas de méthodologie contrôlée. Un dernier point sur les recommandations données aux annotateurs concerne les travaux de L’Homme (2005) qui fournissent une synthèse des règles à suivre pour identifier des occurrences de termes au sein d’une terminologie candidate ou en corpus. Elles n’ont pas été utilisées ici car seules des occurrences disciplinaires devaient être identifiées, et non des occurrences terminologiques. Ce choix est motivé par les difficultés constatées lors de la campagne C1 même lorsque l’annotation était réalisée par des experts du domaine scientifique traité et par la difficulté d’arbitrage disciplinaire et terminologique car celui-ci est fortement contraint par l’exploitation envisagée de l’annotation. Dans le cas de la campagne C2, l’objectif n’est pas d’enrichir des terminologies existantes mais de tester une méthodologie de constitution de corpus de référence annotés manuellement. L’arbitrage entre disciplinaire et terminologique pourrait effectivement intervenir dans le cadre d’une troisième campagne fondée sur les mêmes objectifs que la campagne C1.

3.3.3. Gestion de la campagne C2

30Comme l’objectif de la campagne C2 est de comparer les SHS et les sciences dites exactes du point de vue de l’annotation manuelle en occurrences disciplinaires de candidats termes et de comparer les trois environnements d’annotation BRAT, GATE et GLOZZ, les 89 résumés d’articles sont répartis en trois ensembles de dix documents par discipline dans chacun des trois environnements d’annotation excepté pour la chimie où l’un des résumés a été supprimé en raison d’erreurs de segmentation constatées après le démarrage de la campagne. Les dix documents par discipline sont pris dans leur ordre d’apparition dans l’archive qui contient les fichiers de l’ensemble du corpus.

31La campagne C2 a été gérée selon les recommandations de Fort (2016). Une pré-campagne a eu lieu avec les futurs arbitres de la campagne effective en vue de mettre sur pied les différents guides (guide d’annotation, guides d’utilisation des différents environnements et des différentes ressources externes). Cette pré-campagne a permis d’estimer à une demi-heure le temps de traitement d’un résumé et de planifier le recrutement des annotateurs. À l’issue de la pré-campagne, les données ont été réparties en quatre phases pour chacune des trois disciplines. Les objectifs de la première phase étaient de vérifier la bonne compréhension des recommandations d’annotation et l’utilisation adéquate des environnements d’annotation : elle a porté sur trois textes par discipline, soit un texte par environnement. Les trois autres phases sont des phases de production : elles ont porté sur neuf textes par discipline, soit trois par environnement, sauf pour la phase 3 en chimie où deux textes seulement ont été traités sous GLOZZ du fait d’erreurs de segmentation signalées ci-dessus. Entre chaque phase, un temps d’arrêt a été prévu afin de réaliser plusieurs tâches :

32- arbitrage collégial des annotations réalisées
- corrections des recommandations d’annotation, mise à jour de l’annotation de référence antérieure et interactions avec les annotateurs (explications et discussion autour des confusions fréquentes, etc.)
- calcul des accords inter-annotateurs

33L’arbitrage est préparé par des scripts créés pour la campagne qui fusionnent les annotations réalisées dans un tableau. Chaque cas de désaccord entre les annotateurs est accompagné du contexte de l’occurrence. Lors de la première phase de la campagne, les arbitres ont procédé à une vérification de la totalité des annotations réalisées. Dans les trois phases suivantes, seuls les cas de désaccord ont été analysés en détail mais une vérification rapide de toutes les annotations a été faite. L’environnement d’annotation et de gestion de campagne WebAnno (Yimam et al. (2013)) a été testé lors de la pré-campagne. Il a été rejeté pour des raisons d’ergonomie et de recours beaucoup trop massif au clic, tant pour les annotateurs que les arbitres.

3.3.4. Environnements d’annotation de la campagne C2

34Afin de constituer le corpus d’annotation pour chacun des environnements, les 89 résumés extraits du corpus-source sont convertis à l’aide de scripts dédiés vers les formats d’entrée de chaque environnement. La figure 3 donne un aperçu des interfaces de chaque environnement. BRAT est un environnement d’annotation qui fonctionne en ligne. L’annotateur traite les occurrences pré-étiquetées CT dans leur ordre d’apparition dans le document. GATE et GLOZZ sont des environnements de type bureau. Le modèle commun d’annotation est traduit dans chacun de ces environnements de manière à ce que l’annotateur saisisse la valeur du trait filtrage disciplinaire. Le trait degré de certitude permet, si l’annotateur le juge nécessaire, d’indiquer un doute dans sa prise de décision.

Figure 3. Les environnements d’annotation, BRAT, GATE et GLOZZ

4. Évaluation de la campagne C2

4.1. Comparaison des disciplines

  • 8 Nous n’avons trouvé ces mesures dans aucune publication des auteurs de la campagne.

35La campagne C2 s’est déroulée dans un cadre d’annotation multiple. La qualité intrinsèque des annotations produites est calculée selon les mesures d’accord inter-annotateurs appropriées. À la suite de (Artstein et Poesio (2008), Fort (2016), Mathet et Widlöcher (2016)) notamment, nous utilisons un Kappa de Cohen en chimie et en linguistique qui sont annotées par deux annotateurs (Cohen (1960)) et un Kappa de Fleiss en archéologie, discipline pour laquelle il y a trois annotateurs (Davies et Fleiss 1982). Les mesures de Kappa sont une manière de pondérer l’accord observé entre les différents annotateurs en fonction d’un accord attendu. Mathet et Widlöcher (2016) parlent de correction par la chance. L’idée est de calculer l’accord attendu à partir de la distribution observée des annotations réalisées par les annotateurs. La différence entre les Kappa de Cohen et de Fleiss repose sur le fait qu’avec le Kappa de Cohen, la distribution des annotations par annotateur est prise en compte. Ce n’est pas le cas avec le Kappa de Fleiss où les distributions des annotations de tous les annotateurs sont fusionnées. Mais le Kappa de Cohen ne peut être utilisé que pour deux annotateurs. Les Kappa ont été établis pour chaque phase de l’annotation. Nous avons comparé les scores obtenus à ceux de l’annotation en entités nommées de la campagne ESTER2 car celle-ci semble plus proche de l’annotation menée dans la campagne C2 que ne l’est la désambiguïsation lexicale réalisée dans la campagne ROMANSEVAL à partir des sens lexicographiques du dictionnaire Le Larousse. Le Kappa de Cohen pour le premier niveau d’annotation d’ESTER2 (identification des entités nommées et catégorisation selon sept catégories de haut niveau) est de 0,71300 (Fort (2012))8. Selon Artstein et Poesio (2008), les échelles d’interprétation des mesures d’accord convergent vers le fait qu’un taux d’accord de 0,8 caractérise une bonne qualité des données annotées et qu’on est dans un entre-deux à partir de 0,6. Afin de comparer la campagne C2 avec ESTER2, les accords inter-annotateurs par phase sont combinés de deux manières. Nous utilisons, d’une part, une courbe de tendance pour déterminer si l’annotation s’améliore au fur et à mesure des phases et, d’autre part, deux moyennes, l’une sur les quatre phases, l’autre sur les trois dernières phases, considérées comme des phases de production. Les diagrammes par discipline pour les SHS montrent tout d’abord que l’accord en archéologie est comparable à celui d’ESTER2 contrairement à l’accord en linguistique qui est en deçà (figure 4, archéologie en gris clair et linguistique en gris moyen). En archéologie, la moyenne est de 0,62 pour l’ensemble des phases et 0,72 pour les phases 2 à 4. En linguistique, la moyenne est 0,65 pour l’ensemble des phases et 0,67 pour les phases 2 à 4. En ce qui concerne les courbes de tendance, l’accord tend à augmenter fortement en archéologie (+0,35 points) alors qu’il est assez stable en linguistique (+0,13). La chimie testée à titre de comparaison affiche des valeurs d’accord nettement supérieures (figure 4, chimie en noir) : 0,80 en moyenne sur l’ensemble des phases, 0,92 pour les trois dernières phases et une augmentation forte au fur et à mesure des phases (+0,45).

Figure 4. Accords inter-annotateurs par disciplines.

36Les différences constatées entre SHS et chimie d’une part, et entre les deux disciplines de SHS d’autre part, pourraient s’expliquer par le caractère plus ou moins disjoint du lexique de la discipline et du lexique de la langue générale. Le lexique de la chimie semble nettement plus disjoint que celui de l’archéologie ou celui de la linguistique comme le montrent les exemples fournis dans l’introduction. Cependant, les particularités de la langue de spécialité de la chimie ne sont pas la seule piste d’explication. Une autre piste possible est le profil des annotateurs. On observe, en effet, que le taux d’accord inter-annotateurs décroît en même temps qu’augmente le nombre d’annotateurs experts du domaine scientifique. La linguistique est annotée par deux linguistes exclusivement, l’archéologie par une archéologue et deux étudiants en terminologie et traduction que nous assimilons à des terminologues dans la suite de notre propos. La chimie est exclusivement annotée par les terminologues qui ne sont pas des experts du domaine au sens de Fort (2015). Cette observation nous incite à faire l’hypothèse que la formation initiale des annotateurs experts du domaine scientifique des résumés fait obstacle à l’utilisation des recommandations fournies dans le guide d’annotation. Nous avons testé cette hypothèse sur l’archéologie qui est la seule discipline qui comportait les deux types d’annotateurs, experts et non-experts du domaine. Pour comparer les accords obtenus entre experts et non-experts, nous avons calculé l’accord entre annotateurs et l’annotation issue de l’arbitrage par consensus. La figure 5 montre une tendance à la diminution du taux d’accord avec l’annotateur archéologue (courbe de tendance en gris moyen) et une augmentation du taux d’accord entre les annotateurs non experts (terminologues, courbe de tendance en gris clair).

Figure 5. Accord à la référence : terminologues et archéologue

37L’hypothèse que les annotateurs terminologues deviennent progressivement experts de la tâche d’annotation est renforcée par l’évolution des taux d’accord par phase et par discipline entre les arbitres avant l’étape du consensus permettant d’arrêter une annotation de référence pour chaque résumé (figure 6). Les arbitres linguistes ont traité les trois disciplines dans leur intégralité et ils ont été épaulés par une arbitre spécialiste de la chimie pour cette discipline. Comme les deux arbitres linguistes ont traité la totalité du corpus de la campagne C2, on peut légitimement considérer que leur expertise dans la tâche d’annotation s’est accrue au fur et à mesure de la campagne. Le diagramme montre d’ailleurs que le taux d’accord entre les arbitres s’accroît régulièrement pour les trois disciplines indépendamment du domaine de spécialité des arbitres (archéologie en gris clair, linguistique en gris moyen, chimie en noir). Les tendances des taux d’accord finissent même par converger : les courbes des trois disciplines se rejoignent au niveau de la phase 4. L’influence de l’expertise dans la tâche semble donc prendre le pas sur l’expertise disciplinaire. Ainsi, si un grand nombre de données avaient été annotées par les annotateurs spécialisés en linguistique et en archéologie, il est probable que l’évolution de leurs taux d’accord aurait été similaire à celle qu’on constate avec les arbitres.

Figure 6. Évolution des taux d’accord entre arbitres par phase et par discipline

4.2. Comparaison des environnements de la campagne C2

38L’un des objectifs de la campagne C2 est la comparaison des environnements d’annotation utilisés. Dans cette perspective, nous avons étudié l’évolution des accords inter-annotateurs au fur et à mesure des phases pour chaque environnement. Nous avons utilisé la pente des courbes de tendance ainsi que les moyennes des accords sur les trois dernières phases. Nous utilisons aussi l’accord obtenu sur la première phase qui est assimilé à un indice de la difficulté d’appropriation de l’environnement. Ces comparaisons sont réalisées par discipline du fait des différences constatées et commentées entre les trois disciplines de la campagne. En archéologie, l’évolution des courbes de tendance est à la hausse pour les trois environnements (tableau 4) : de 0,45 à 0,75 avec BRAT, de 0,33 à 0,85 avec GATE et de 0,55 à 0,75 avec GLOZZ. Les moyennes des accords obtenus sur les phases 2 à 4 sont de 0,70 avec BRAT, de 0,76 avec GATE et de 0,71 avec GLOZZ. L’accord obtenu sur la phase 1 est de 0,36 avec BRAT, de 0,10 avec GATE et de 0,49 avec GLOZZ. Si on réunit ces trois observations en affectant le plus petit rang à l’environnement le plus performant pour chaque axe d’observation, GATE est l’environnement le plus performant avec une somme des rangs égale à 5. Mais si on tient compte du fait que l’accord catastrophique en phase 1 (0,10) a un impact sur la pente de la courbe de tendance, alors un seul de ces deux éléments est nécessaire. L’accord en phase 1 est l’indice qui nous semble le plus révélateur de l’adéquation de l’outil à la tâche d’annotation. Sur la base de l’accord en phase 1 et de l’accord moyen en phases 2 à 4, c’est l’environnement GLOZZ qui se révèle le plus performant avec une somme des rangs égale à 3, suivi de GATE (somme égale à 4) et de BRAT (somme égale à 5). Dans la suite, nous ne conserverons que les deux derniers axes d’observation des accords, la moyenne des accords des phases 2 à 4 et l’accord en phase 1.

Tableau 4. Comparaison des environnements en archéologie

39En linguistique, c’est l’environnement BRAT qui semble le plus performant. En chimie, les trois environnements obtiennent des résultats égaux avec une somme des rangs égale à 4 (tableau 5).

Tableau 5. Comparaison des environnements en linguistique et en chimie

40En conclusion, GLOZZ semble être l’environnement le plus adapté pour l’archéologie, BRAT pour la linguistique et les trois environnements semblent équivalents pour la chimie. Cette conclusion doit cependant être nuancée car le mode de comparaison employé comporte un biais : les difficultés constatées peuvent venir d’un document et non de l’environnement examiné. Idéalement, les environnements auraient dû être comparés sur les mêmes documents à annoter avec des groupes d’annotateurs différents afin d’éviter la mémorisation des choix sur un environnement avant de passer à l’environnement suivant. Un tel protocole n’a pas pu être mis en œuvre faute d’un financement suffisant.

5. Comparaison des deux campagnes : évaluation par la tâche

  • 9 Le calcul de spécificité utilisé, mis au point par Lafon (1980), est repris dans TXM (Heiden et al.(...)

41La campagne C1 n’a pas été évaluée par des mesures d’accords inter-annotateurs puisqu’elle n’a pas été réalisée dans un contexte d’annotation multiple. La campagne C2, plus réduite, plus ciblée et fondée sur un protocole d’annotation inspiré des bonnes pratiques, a été évaluée de cette manière. De ce fait, les deux campagnes ne sont pas directement comparables. Pour réaliser cette comparaison et ainsi évaluer la qualité du protocole d’annotation de la campagne C2 par rapport à celui de la campagne C1, nous mesurons les performances d’une même application qui utilise un apprentissage sur corpus. La comparaison entre les deux campagnes peut alors se faire en utilisant les corpus produits par chacune des campagnes. En cela, nous appliquons la stratégie courante utilisée dans les campagnes d’évaluation mais en changeant d’objectif. L’enjeu n’est pas de comparer des systèmes mais de comparer les corpus d’apprentissage et d’en déduire une évaluation de leur qualité en tant que corpus de référence ainsi qu’une évaluation des protocoles d’annotation sous-jacents. L’application utilisée ici consiste à automatiser l’identification des occurrences disciplinaires de candidats termes. La procédure est décrite dans le tableau 69. Préalablement à l’application de la tâche utilisée, une sélection des données parmi les corpus produits lors des deux campagnes est nécessaire afin de réaliser les tests sur des données comparables :

42- choix de l’archéologie et de la linguistique, les deux disciplines communes aux deux campagnes
- restriction aux résumés des articles scientifiques afin de disposer du même type d’écrit
- homogénéisation du nombre d’articles pour disposer de volumes de données similaires (11 articles communs en archéologie et 30 en linguistique pour les deux campagnes)
- choix des candidats communs à tester dans les deux campagnes

Tableau 6. Procédure du système d’annotation automatique

43Suite à cette sélection, l’évaluation par les performances du système porte sur un échantillon très restreint par rapport au nombre de candidats dans chacune des campagnes (tableau 7).

Tableau 7. Distribution des candidats termes communs entre les deux campagnes

44On observe une différence du nombre d’occurrences jugées disciplinaires pour chacune des campagnes. Cette différence concerne 2 candidats en archéologie et 19 candidats en linguistique. En archéologie, la différence de cinq occurrences vient entièrement du changement des recommandations d’annotation pour la validité linguistique entre les deux campagnes. On rappelle que pour la campagne C2, la recommandation de rejeter tout élément isolé et notamment les adjectifs a été supprimée. De ce fait, cinq occurrences adjectivales (archéologique et magdalénien) ont été conservées en tant qu’occurrences disciplinaires linguistiquement correctes. En linguistique, huit adjectifs, correspondant à 18 occurrences supplémentaires sur les 25, sont concernés par cette modification des consignes d’annotation. Les sept occurrences disciplinaires supplémentaires en linguistique sont dues à des choix différents des arbitres de la campagne C2 et des annotateurs de la campagne C1. L’évaluation des performances du système suit l’approche de Daille et al. (2016) qui utilise une évaluation endogène par lots pour éviter une nouvelle phase de validation manuelle des résultats du système. Le principe de cette évaluation consiste à subdiviser les données testées en deux sous-corpus : 90% du corpus initial est assimilé à un corpus d’apprentissage et 10% à un corpus de validation. Dans le cas de l’archéologie, cette subdivision est approchée en prenant 10 résumés comme corpus d’apprentissage et 1 résumé comme corpus de validation. En linguistique, le corpus d’apprentissage comporte 27 résumés et le corpus de validation 3 résumés. Afin que toutes les occurrences de candidats termes de l’ensemble des fichiers puissent être évaluées, la méthode consiste à créer autant de lots qu’il y a de subdivisions possibles, soit 11 lots en archéologie et 10 en linguistique. Les résultats pour chaque lot sont ensuite fusionnés pour chaque candidat afin d’obtenir un F-score par candidat sur l’ensemble des lots. Les diagrammes ci-dessous (figure 7) synthétisent les performances du système mesurées par discipline et pour chacun des corpus d’apprentissage. Dans les diagrammes, une série de données est représentée par type d’évolution du F-score. Une série de données est représentée par trois barres verticales et est composée du F-score obtenu avec le corpus de la campagne C1 (F-score C1, en gris clair), du F-score obtenu avec le corpus de la campagne C2 (F-score C2, en gris moyen) et de leur différence (Évolution, en noir). Lorsque l’une de ces trois valeurs est égale à 0, aucune barre verticale correspondante n’apparaît. En archéologie, l’utilisation du corpus de la campagne C2 améliore les performances du système pour 4 candidats (biostratigraphie, magdalénien, paléolithique et sépulture). Le F-score passe de 0,00 avec le corpus de la campagne C1 à 1,00 avec le corpus de la campagne C2 pour trois candidats (biostratigraphie, paléolithique et sépulture) et il passe de 0,67 à 1,00 pour le dernier candidat (magdalénien). Pour les quatre autres candidats (archéologique, cours, méthodologie et paléolithique supérieur), le F-score reste à 1,00 quel que soit le corpus utilisé pour l’apprentissage. Le F-score moyen pour l’ensemble des candidats passe de 0,58 avec le corpus de la campagne C1 à 1,00 avec le corpus de la campagne C2. En linguistique, les résultats, en augmentation dans la majorité des cas, sont moins nets. Le F-score moyen pour l’ensemble des candidats passe de 0,80 avec le corpus de la campagne C1 à 0,87 avec le corpus de la campagne C2. Sur les 47 candidats communs, les performances du système varient pour 17 d’entre eux (69 occurrences soit 44%). Parmi ces 17 candidats, 4 connaissent une dégradation. Il s’agit de candidats très ambigus en linguistique : construction (0,75 à 0,67), contexte (0,50 à 0,00), expression et signification (1,00 à 0,00). Les 13 candidats restants connaissent une amélioration. Leur F-score moyen de 0,41 avec le corpus de la campagne C1 passe à 0,85 avec le corpus de la campagne C2. Pour le candidat adjectival anglais de même que pour le candidat nominal langue, le F-score de 0,75 avec le corpus de la campagne C1 passe à 1,00 avec le corpus de la campagne C2.

Figure 7. F-scores comparés par candidat commun utilisant les corpus des deux campagnes

45Une évolution similaire, avec un résultat final plus faible, apparaît avec les candidats communication et exemple qui atteignent respectivement les scores de 0,33 (contre 0,00) et 0,67 (contre 0,33) alors que ces deux candidats sont difficiles à annoter automatiquement car très variables. En ce qui concerne les 30 candidats restants en linguistique, leur F-score reste stable à 1,00 quel que soit le corpus d’apprentissage utilisé. Dans le diagramme 7 de la linguistique, le candidat définition est un exemple typique de ce cas de figure. Au vu des résultats obtenus pour l’archéologie et la linguistique, le corpus de la campagne C2 apparaît comme de meilleure qualité pour le système d’annotation automatique car il apporte pour les deux disciplines une amélioration du F-score. Cependant, nous ne pouvons établir de conclusion générale car le nombre de candidats communs aux deux campagnes est très réduit. Pour valider cette première conclusion, il serait nécessaire de réaliser un corpus annoté d’une étendue comparable à celui de la campagne C1.

6. Conclusion

46Dans cet article, nous avons décrit et analysé deux campagnes d’annotation manuelle en occurrences disciplinaires de candidats termes. Ces deux campagnes ont été réalisées sur des corpus issus d’un même corpus-source pré-annoté : segmentation lexicale, étiquetage morphosyntaxique et identification des occurrences de candidats termes. L’annotation manuelle avait pour objectif l’identification des occurrences disciplinaires des candidats mais s’inscrivait dans des enjeux globaux différents : enrichissement de terminologies existantes pour la campagne C1 et comparaison entre disciplines, entre environnements d’annotation et validation d’un protocole d’annotation conforme aux bonnes pratiques pour la campagne C2. Les deux campagnes portant sur des volumes de données très différents, il n’a pas été possible d’évaluer la qualité des annotations réalisées dans la campagne C1 à l’aide de mesures d’accord inter-annotateurs. Pour la campagne C2, en regard de la campagne ESTER2 qui nous semble la plus proche en termes de tâche d’annotation, les taux d’accord obtenus sont comparables pour l’archéologie (0,72 pour les trois dernières phases, considérées comme les phases de production contre 0,71 pour ESTER2), inférieurs en linguistique (0,67 pour les trois dernières phases) et supérieurs en chimie (0,92 pour les trois dernières phases). Outre les différences connues en matière de spécificité du vocabulaire disciplinaire entre la science dite exacte de la campagne C2 (chimie), et les deux disciplines SHS (archéologie et linguistique), le profil des annotateurs apparaît comme une piste d’explication complémentaire. Cette piste est renforcée par l’observation de l’évolution des accords entre arbitres. La comparaison des environnements d’annotation conduit à la conclusion que GLOZZ apparaît comme l’environnement le plus adéquat pour l’archéologie et BRAT pour la linguistique. Pour la chimie, les trois environnements semblent équivalents. Cette conclusion devrait être vérifiée par une expérimentation non biaisée par le manque de moyens financiers. Les conditions de réalisation des deux campagnes ne permettant pas la comparaison des taux d’accord inter-annotateurs, nous avons mis en œuvre une évaluation par la tâche à l’aide d’un système consistant à automatiser l’identification des occurrences disciplinaires de candidats termes. Lorsque le corpus annoté au cours de la seconde campagne est utilisé comme corpus d’apprentissage, les résultats augmentent globalement pour les deux disciplines communes aux deux campagnes, l’archéologie et la linguistique. L’augmentation est nette lorsqu’on ne prend en compte que les cas d’évolution positive. Le F-score passe de 0,58 à 1,00 avec le corpus C2 en archéologie et 0,41 à 0,85 en linguistique. Cette augmentation est pondérée en linguistique par 4 candidats pour lesquels l’utilisation du corpus C2 produit une évolution négative. À l’issue de cette expérience, il apparaît que le protocole d’annotation de la seconde campagne peut être poursuivi et développé. Le contexte d’annotation multiple permet l’évaluation par les mesures d’accord inter-annotateurs, ceci rendant les résultats plus aisément comparables. L’amélioration constatée dans le cadre d’une évaluation par la tâche lors de l’utilisation du corpus annoté dans la campagne C2 est sensible. Pour développer cette première expérience visant la production de corpus français annotés libres de droits, il sera cependant nécessaire de veiller à éviter le caractère fastidieux de la première campagne : étendue des données à annoter, répétition des mêmes choix un grand nombre de fois pour les occurrences d’un même candidat dans des contextes sémantiquement similaires. Pour cela, une piste possible pourrait être d’annoter des ensembles d’occurrences jugées similaires en fonction de leur contexte plutôt que d’annoter occurrence par occurrence. Une seconde piste serait d’exploiter le système d’identification automatique afin de pré-annoter les occurrences avec l’objectif de limiter au maximum l’effort de prise de décision demandé à l’annotateur. Le dernier axe de développement possible serait d’exploiter des corpus bilingues français-anglais afin de mettre en œuvre des méthodes de désambiguïsation contextuelle bilingue, (Morin et al. (2010)) parmi d’autres.

Haut de page

Bibliographie

Artstein, R. et M. Poesio (2008) « Inter-coder agreement for computational linguistics », Computational Linguistics, vol. 34, n°4, pp 555-596.

Bernier-Colborne, G. et P. Drouin (2014) « Reating a test corpus for term extractors through term annotation », Terminology, vol. 20, n°1, pp 50-73.

Bonneau-Maynard H., S. Rosset, C. Ayache, A. Kuhn et D. Mostefa D. (2016) « Semantic annotation of the French Media dialog corpus », Proceedings of the Inter Speech, Lisbonne, Portugal.

Bougouin A., F. Boudin et B. Daille (2016) « Modélisation unifiée du document et de son domaine pour une indexation par termes-clés libre et contrôlée », TALN, Paris, France.

Cabré Castellvi M., R. Estopà et J.V. Palatresi (2001) « Automatic Term Detection: A Review of Current Systems », D. Bourigault, C. Jacqueminet M.C. L’homme (eds), Recent Advances in Computational Terminology, John Benjamins Publishing Compagny, chapter 3, pp 53-87.

Cohen J. (1960) « A coefficient of agreement for nominal scales », Educational and Psychological Measurement, vol. 20, n°1, pp 37-46.

Constant M., G. Eryi ̆git, J. Monti, L. Plas (van der), C. Ramisch, M. Rosner et A. Todirascu (2017) « Multiword Expression Processing: A Survey », Computational Linguistics, vol. 43, n°4, pp 837-892.

Cunningham H., V. Tablan, A. Roberts et K Bontcheva (2013) « Getting More Out of Biomedical Documents with GATE’s Full Lifecycle Open Source Text Analytics », PLOS Computational Biology.

Daille B., E. Jacquey, G. Lejeune, L.F. Melo et Y. Toussaint (2013) « Ambiguity Diagnosis for Terms in Digital Humanities », Proceedings of Language Resources and Evaluation Conference, Portoroz, Slovénie, Mai.

Daille B., K. Kageura, H. Nakagawa et L.F. Chien (2004) Terminology. Special Issue on Recent Trend sin Computational Terminology, vol. 10, John Benjamins Publishing Compagny.

Davies M. et J. Fleiss (1982) Measuring agreement for multinominal data. Biometrics, vol. 34, n°4, pp 1047-1051.

Delavigne V. (2001) « Repérage de termes dans un corpus de vulgarisation : aspects méthodologiques », Actes de TIA, pp 33-43.

Fort K. (2012) Les ressources annotées, un enjeu pour l’analyse de contenu : vers une méthodologie de l’annotation manuelle de corpus, Thèse, Université Paris-Nord - Paris XIII, 263p.

Fort K. (2015) « Experts ou (foule de) non-experts ? La question de l’expertise des annotateurs vue de la myriadisation (crowdsourcing) », Journées Internationales de Linguistique de Corpus, Orléans, France, septembre.

Fort K. (2016) « Collaborative Annotation for Reliable Natural Languag e », Processing: Technical and Sociological Aspects, Wiley-ISTE, July.

Galliano S., G. Gravier et L. Chaubard (2009) « The ESTER 2 evaluation campaign for the rich transcription of French radio broadcasts », Proceedings of the Inter Speech, Brighton, Angleterre.

Heiden S., J.P. et B. Pincement (2012) « TXM : Une plateforme logicielle open-source pour la textométrie – conception et développement », Actes de la conférence JADT 2010 : 10th International Conference on the Statistical Analysis of Textual Data, 12p.

Ide N. et L. Romary (2006) « Representing linguistic corpora and their annotations», Proceedings of the International Conference on Language Resources and Evaluation (LREC), Gênes, Italie.

Jacquemin B. (2003) French document base and text information : structuring, rephrasing, questioning , Thèse, Université de la Sorbonne nouvelle - Paris III, décembre.

Krippendorff K. (1995) « On the reliability of unitizing continuous data ». Sociological Methodology, vol. 25, pp 47-76.

Lafon P. (1980) « Sur la variabilité de la fréquence des formes dans un corpus », Mots, vol. 1, pp 127-165.

L’Homme M.C. (2004) La terminologie : principes et techniques. Presses de l’Université de Montréal.

L’Homme M.C. (2005) « Sur la notion de terme », Meta : journal des traducteurs/Meta : Translators’ Journal, vol. 50, n°4, pp 1112-1132.

Lommel A., A.K. Melby, N. Glenn, J. Hayes et T. Snow (2014) « TBX-Min: A Simplified TBX-Based Approach to Representing Bilingual Glossaries », Terminology and Knowledge Engineering 2014, Berlin, Germany. p. 10

Mathet Y. et A. Widlöcher (2011) « Une approche holiste et unifiée de l’alignement et de la mesure d’accord inter-annotateurs », M. Lafourcade, V. Prince (eds), Actes de la 18e Conférence Traitement Automatique des Langues Naturelles (TALN’11), Montpellier, France. pp 247-258, juin.

Mathet Y. et A. Widlöcher (2016) « Evaluation des annotations : ses principes et ses pièges », Traitement Automatique des Langues, vol. 57, n°2, pp 73-98, décembre.

Melby A. (2015) « TBX : A terminology exchange format for the translation and localization industry », Kockaert H.J. and F. Steurs (eds.), Handbook of Terminology, vol. 1. John Benjamins Publishing Company, III-6.

Morin E., B. Daille, K. Takeuchi et K. Kageura (2010) « Brains, not brawn: The use of ’smart’ comparable corpora in bilingual terminology mining », TSLP 7, vol. 1, ACM DL.

Nazar R. (2016) « Distributional analysis applied to terminology acquisition », Terminology, vol. 22, n°2, pp 141-170.

Nazarenko A., H. Zargayouna, O. Hamon et J. Van Puymbrouck (2009) « Evaluation des outils terminologiques : enjeux, difficultés et propositions », Traitement Automatique des Langues, vol.50, n°1 varia, pp 257-281.

Rastier F. (2005) « Pour une sémantique des textes théoriques », Revue de sémantique et de pragmatique, vol. 17, pp 151-180.

Rocheteau J. et B. Daille B (2011) « TTC TermSuite: A UIMA Application for Multilingual Terminology Extraction from Comparable Corpora », 5th International Joint Conference on Natural Language Processing (IJCNLP): System Demonstrations. Chiang Mai, Thailand, pp 9-12.

Romary L. (2014) « TBX goes TEI – Implementing a TBX basic extension for the Text Encoding Initiative guidelines », Terminology and Knowledge Engineering 2014, Terminology and Knowledge Engineering, TKE 2014, Berlin, Germany, June.

Schmid H. (1994) « Probabilistic Part-of-Speech Tagging Using Decision Trees », Proceedings of International Conference on New Methods in Language Processing, pp 154-164.

Stenetorp P., S. Pyysalo, G. Topi ́c, T. Ohta, S. Ananiadou, et J. Tsujii (2012) « BRAT: A Web-based Tool for NLP-assisted Text Annotation », Proceedings of the Demonstrations at the 13th Conference of the European Chapter of the Association for Computational Linguistics, EACL’12, Association for Computational Linguistics, Stroudsburg, PA, USA, pp 102-107.

Trosten Z. et I. Gurevych (2009) « Approximate Matching for Evaluation Keyphrase Extraction », Proceedings of the I nternational Conference RANLP, pp 484-489.

Vàsquez M. et A. Olivier (2018) « Improving term candidates selection using terminological tokens », Terminology, vol. 24, n°1, pp 122-147.

Véronis J. (2001) « Sense tagging: does it make sense ? », Proceedings of the Corpus Linguistics Conference, vol. 13.

Widlöcher A. et Y. Mathet (2012) « The GLOZZ platform: a corpus annotation and mining tool». C. Concolato, P. Schmitz (eds), Proceedings of the ACM Symposium on Document Engineering (DocEng’12), Paris, France, pp 171-180, septembre.

Yimam S. M., I. Gurevych , R. Eckart de Castilho et C. Biemann (2013) « WebAnno: A Flexible, Web-based and Visually Supported System for Distributed Annotations », Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics: System Demonstrations, Association for Computational Linguistics, Sofia, Bulgaria, pp 1-6, August.

Haut de page

Notes

1 https://www.ortolang.fr/market/corpora/termith/v1 https://www.ortolang.fr/market/corpora/termith/v1?path=%2Fdonnees (pour les données) [Page consultée le 13 juin 2022]

2

Inventaire du GT8 (co-animé par Amalia Todirascu et Agnès Tutin), https://listes.cru.fr/wiki/corpus-ecrits/public/groupe-8. [Page consultée le 13 juin 2022]

3 http://www.tei-c.org/Guidelines/ [Pages consultées le 13 juin 2022]

4 Le silence lors de la détection des candidats termes n’a pas été évalué car aucun test de ce type n’a été réalisé avant le lancement de la campagne C1. Pour la campagne C2, une partie des erreurs de segmentation du prétraitement réalisé par TermSuite a été résolue grâce à l’externalisation de ce prétraitement.

5 Guide d’annotation mise à disposition des annotateurs, http://www.tei-c.org/Guidelines/ [Pages consultées le 13 juin 2022]

6 Lent, R. W. (2008). Une conception sociale cognitive de l’orientation scolaire et professionnelle : considérations théoriques et pratiques. In L’Orientation Scolaire et Professionnelle, 37(1), 57-90.

7 Dans le tableau, seuls les pourcentages d’occurrences sont reproduits faute de place mais les pourcentages par types peuvent être déduits des effectifs.

8 Nous n’avons trouvé ces mesures dans aucune publication des auteurs de la campagne.

9 Le calcul de spécificité utilisé, mis au point par Lafon (1980), est repris dans TXM (Heiden et al. (2010)). Le coefficient de spécificité est calculé en comparant la distribution observée d’un élément dans un échantillon du corpus avec la distribution théorique de cet élément. Cette distribution théorique dans l’échantillon est proportionnelle à la distribution observée dans l’ensemble du corpus (loi hypergéométrique). La valeur du coefficient de spécificité de l’élément se déduit de la probabilité d’obtenir la fréquence observée.

Haut de page

Table des illustrations

Légende Figure 1. Illustration du format XML des articles
URL http://journals.openedition.org/corela/docannexe/image/14874/img-1.png
Fichier image/png, 113k
Légende Figure 2. Validité linguistique et appartenance disciplinaire, campagne C1
URL http://journals.openedition.org/corela/docannexe/image/14874/img-2.png
Fichier image/png, 809k
Légende Tableau 1. Distribution des occurrences de candidats termes dans la campagne C1
URL http://journals.openedition.org/corela/docannexe/image/14874/img-3.jpg
Fichier image/jpeg, 264k
Légende Tableau 2. Distribution des occurrences de candidats termes dans la campagne C2
URL http://journals.openedition.org/corela/docannexe/image/14874/img-4.jpg
Fichier image/jpeg, 247k
Légende Tableau 3. Valeurs attribuées aux occurrences de candidats termes
URL http://journals.openedition.org/corela/docannexe/image/14874/img-5.jpg
Fichier image/jpeg, 122k
Légende Figure 3. Les environnements d’annotation, BRAT, GATE et GLOZZ
URL http://journals.openedition.org/corela/docannexe/image/14874/img-6.png
Fichier image/png, 127k
Légende Figure 4. Accords inter-annotateurs par disciplines.
URL http://journals.openedition.org/corela/docannexe/image/14874/img-8.png
Fichier image/png, 102k
Légende Figure 5. Accord à la référence : terminologues et archéologue
URL http://journals.openedition.org/corela/docannexe/image/14874/img-9.png
Fichier image/png, 22k
Légende Figure 6. Évolution des taux d’accord entre arbitres par phase et par discipline
URL http://journals.openedition.org/corela/docannexe/image/14874/img-10.png
Fichier image/png, 22k
Légende Tableau 4. Comparaison des environnements en archéologie
URL http://journals.openedition.org/corela/docannexe/image/14874/img-11.jpg
Fichier image/jpeg, 99k
Légende Tableau 5. Comparaison des environnements en linguistique et en chimie
URL http://journals.openedition.org/corela/docannexe/image/14874/img-12.jpg
Fichier image/jpeg, 122k
Légende Tableau 6. Procédure du système d’annotation automatique
URL http://journals.openedition.org/corela/docannexe/image/14874/img-13.jpg
Fichier image/jpeg, 434k
Légende Tableau 7. Distribution des candidats termes communs entre les deux campagnes
URL http://journals.openedition.org/corela/docannexe/image/14874/img-14.jpg
Fichier image/jpeg, 77k
Légende Figure 7. F-scores comparés par candidat commun utilisant les corpus des deux campagnes
URL http://journals.openedition.org/corela/docannexe/image/14874/img-15.png
Fichier image/png, 70k
Haut de page

Pour citer cet article

Référence électronique

Laurence Kister et Evelyne Jacquey, « Identification d’occurrences de candidats termes dans des articles scientifiques »Corela [En ligne], 20-1 | 2022, mis en ligne le 28 juin 2022, consulté le 11 décembre 2025. URL : http://journals.openedition.org/corela/14874 ; DOI : https://doi.org/10.4000/corela.14874

Haut de page

Droits d’auteur

CC-BY-NC-SA-4.0

Le texte seul est utilisable sous licence CC BY-NC-SA 4.0. Les autres éléments (illustrations, fichiers annexes importés) sont susceptibles d’être soumis à des autorisations d’usage spécifiques.

Haut de page
Rechercher dans OpenEdition Search

Vous allez être redirigé vers OpenEdition Search