1Tout comme McEnery et Hardie (2012 : 37-37) ont noté une multitude d’outils permettant d’analyser des corpus linguistiques, un foisonnement similaire s’est produit au niveau des systèmes de TAL, système étant pris au sens large, comprenant logiciels, applications, analyseurs, parseurs, ou chaînes de traitement qui permettent d’annoter des textes, quelle que soit l’architecture du système. Par exemple, depuis la création de BERT (Devlin et al. 2018), l’engouement pour les modèles transformer impliquant BERT ou un BERT-like element (désormais BLE) se montre par la présence de plus de 500 modèles dérivés de BERT dans l’inventaire de HuggingFace et plus de 5 800 dans celui de John Snow Labs1. Confronté à ce foisonnement de systèmes, le choix de celui à retenir n’est pas évident pour un projet s’intéressant aux annotations, car les systèmes se distinguent sur deux plans fondamentaux.
2Le premier plan est linguistique et concerne la langue en général (les textes à annoter sont en français, allemand, japonais, etc.), plus précisément le registre, le type de texte (romans de chevalerie en prose, romans de genres hétérogènes en vers, chansons de geste, etc.) et l’état de langue historique du texte, entre autres. Si les spécificités des textes à annoter correspondent précisément à celles des textes utilisés dans l’entraînement d’un système existant, le choix du système est facile : l’annotation de tweets en anglais américain de 2022 peut se faire aisément à l’aide d’un système entraîné sur des tweets en anglais américain de la même année, par exemple, car toutes les spécificités des textes d’entraînement correspondent exactement à celles des textes à analyser.
3Puisqu’on n’a pas toujours une telle correspondance entre les spécificités des textes d’entraînement et les textes à analyser, le choix du système à retenir revient à identifier celui qui minimise les dissimilarités entre les textes à analyser et ceux utilisés pour l’entraînement du système. Identifier le système le plus adéquat devient plus complexe encore lorsqu’on tient compte de l’hétérogénéité des annotations proposées par les systèmes (est-ce que la lemmatisation est prise en charge ? qu’en est-il de l’étiquetage morphosyntaxique, de l’analyse en dépendances, de la reconnaissance d’entités nommées ?) et de la prise en charge des états de langue historiques.
4Le deuxième plan sur lequel les systèmes d’annotation se distinguent est informatique. Il comprend non seulement la manière dont l’humain interagit avec le système (site web, application autonome, API, entre autres) mais aussi sa simplicité d’utilisation, la vitesse du traitement, la charge sur le CPU/GPU, ou si le système permet une certaine modularité, en permettant par exemple un choix entre différents tokeniseurs ou treebanks ou BLE. Les facteurs informatiques participent aussi au choix du système d’annotation, car faute de système adéquat, pour certains projets, il est possible de créer un système d’annotation s’appuyant sur les systèmes et ressources existants du fait de la similarité entre langues proches (par ex. Bernhard 2022 ; Bernhard et al. 2018 ; Rosa & Mareček 2018 ; Duong et al. 2015) pour faire l’entraînement ou le fine-tuning nécessaire. Dans d’autres cas, il peut être question de création de BLE tels que FlauBERT (Le et al. 2020), CamemBERT (Martin et al. 2020), BERTrade (Grobol et al. 2022) ou de systèmes d’annotation, tels que le modèle ancien français de Deucalion (Clérice, Camps & Pinche 2019), son modèle français moderne (Gabay et al. 2019), ou le parseur HOPS (Grobol & Crabbé 2021), voire de rendre disponible à la fois corpus, annotations et système d’annotation entraîné sur un état de langue historique spécifique (Camps et al. 2019).
5Si les moyens informatiques nécessaires à la création de ces systèmes et ressources ne sont pas à la portée de tout projet de recherche, ces traitements informatiques supposent l’existence de corpus avec les annotations requises, et ces ressources linguistiques manquent souvent à l’appel (Agic 2017 : 1 ; Duong et al. 2015 : 845). Même dans le cas d’une langue relativement bien dotée comme le français, les treebanks se limitent à deux états de langue historiques : le SRCMF (Prévost & Stein 2013) pour l’ancien français, et le français moderne, pour lequel sept treebanks font partie du répertoire du projet Universal Dependencies2.
6Dans le cadre du projet PhraséoRoChe, qui a pour but de créer un corpus de textes de genre homogène en diachronie longue, quatre cas de figure ont été délimités pour évaluer l’annotation du corpus obtenue à l’aide d’un système automatique. Le premier est le cas où ce système apporterait réellement les annotations correctes dans 100 % des cas, jugé fort peu probable compte tenu de la précision des systèmes, de l’impact des dissimilarités entre textes d’entraînement et textes analysés, de la présence de mots rares et des variations orthographiques. Le deuxième cas de figure est celui où la précision de l’annotation est supposée similaire à celle du système lors de sa phase de test, cette supposition se combinant avec la reconnaissance qu’il existe un certain taux d’erreur dans les annotations, sans qu’il soit possible d’identifier les annotations fausses. Dans le troisième cas, la précision réelle des annotations peut être appréciée en procédant à l’analyse d’échantillons d’annotations, en les comparant à un gold standard, pour déterminer la précision réelle au sein des échantillons et permet de mieux estimer la précision des annotations au niveau global. Enfin, dans le quatrième cas, une vérification manuelle des annotations se fait sur les textes in extenso, permettant à la fois de calculer la précision réelle du système et de corriger les erreurs. Cependant, comme souvent, une telle démarche n’a pas été réalisable dans le cadre des moyens modestes de notre projet, le corpus comprenant plusieurs millions de mots.
7Dans le cadre de cette étude, nous nous intéressons au troisième cas de figure. Nous proposons donc d’étudier des stratégies permettant d’arriver à des textes dont les annotations sont aussi précises que possible, tout en minimisant à la fois le travail manuel (l’annotation et la vérification manuelles des textes) et en nous limitant aux traitements informatiques de prédiction, c’est-à-dire en excluant le recours à l’entraînement ou au fine tuning. Notre but est d’évaluer à quel point il est possible de se fier aux annotations fournies par une gamme de systèmes d’annotation complémentaires, et de confronter leurs analyses sur une série d’annotations sur un corpus de romans de chevalerie en prose, couvrant la période 1200-1650. Nous essayons de déterminer s’il y a une convergence généralisée des analyses vers la bonne annotation, en comparant les annotations à un gold standard, nos hypothèses de travail étant que (1) les cas d’analyses convergentes constitueront la plupart des tokens du corpus et que (2) l’identification de ces analyses convergentes et le calcul de la précision de ces convergences permettront d’établir une hiérarchie qui pourra être utilisée pour mieux cibler les cas où une intervention humaine s’impose pour corriger l’annotation. Nous testerons par ailleurs une baseline, à considérer comme ressource plancher, consistant à moderniser superficiellement l’orthographe pour appliquer directement un modèle adapté au français moderne. Nous pourrons alors comparer les performances relatives de ces approches pour déterminer quelle précision peut être atteinte en recourant uniquement aux méthodes de prédiction d’annotation en se basant sur les systèmes existants, à l’aide d’échantillons de corpus de taille très réduite, et en minimisant le travail humain et informatique.
- 3 Voir Denoyelle et al. dans ce même numéro.
8Suivant les lignes directrices du projet PhraséoRoche3, trois périodes historiques ont été identifiées pour notre corpus : l’ancien français (désormais AF, compris comme couvrant la période 1200-1299), le moyen français (MF), pour la période 1300-1549 et enfin le français préclassique (FP), pour la période 1550-1650. Nous nous sommes intéressés à quatre annotations de base : les étiquettes morphosyntaxiques, les lemmes et les deux éléments clés des dépendances syntaxiques : l’identification de la tête ou gouverneur dont dépend chaque token et le type de relation entre gouverneur et dépendant.
Tableau 1. Systèmes retenus
- 4 Preview du modèle UD_Old_French-SRCMF-2.9-flaubert+fro d’avril 2021, pour HOPS version 0.3.3
- 5 Grobol 2022 (a, b)
Nom du système
|
Treebank
|
BLE
|
États des corpus d’entraînement
|
Annotations
|
Configs.
|
LGERM
|
—
|
—
|
AF
|
POS, Lemmes
|
1
|
HOPS v 0.3.34
|
SRCMF
|
FlauBERT
|
AF
|
POS, Dépendances
|
1
|
HOPS v. 0.55
|
SRCMF
|
FlauBERT
CamemBERT
BERTradeBase
BERTradePetit
|
AF
|
POS, Dépendances
|
4
|
FTB, GSD,
Rhapsodie, Sequoia
|
CamemBERT
FlauBERT
NoBERT
|
FM
|
POS, Dépendances
|
12
|
Deucalion
|
—
|
—
|
AF, FREEM, FM
|
POS, Lemmes
|
3
|
TT
|
—
|
—
|
AF
|
POS, Lemmes
|
1
|
UDPipe 2.10
|
SRCMF
|
mBERT
|
AF
|
POS, Dépendances
|
1
|
GSD, ParisStories, Partut, Rhapsodie, Sequoia
|
mBERT
|
FM
|
POS, Lemmes,
Dépendances
|
5
|
UDP_Spacy
|
SRCMF
|
—
|
AF
|
POS, Dépendances
|
1
|
GSD, ParisStories, Partut, Sequoia
|
—
|
FM
|
POS, Lemmes,
Dépendances
|
4
|
Stanza
|
SRCMF
|
—
|
AF
|
POS, Dépendances
|
1
|
GSD
|
—
|
FM
|
POS, Dépendances
|
1
|
CLTK
|
—
|
—
|
AF
|
POS, Lemmes
Dépendances
|
1
|
spaCyFRlg
|
—
|
—
|
FM
|
POS, Lemmes, Dépendances
|
1
|
RNN
|
—
|
—
|
AF, FM
|
POS, Lemmes
|
2
|
9Le Tableau 1 ci-dessus récapitule les points clés des systèmes identifiés comme pouvant être utiles à notre projet, en nous limitant aux systèmes ayant une configuration qui prend en charge l’annotation de l’ancien français. Dans la continuité de Coavoux et al. (2022), nous avons utilisé les versions 0.4 puis 0.5 de HOPS (Grobol & Crabbé, 2021) et les 17 combinaisons de BLE et treebank proposées6 pour fournir les étiquettes morphosyntaxiques et les dépendances syntaxiques. Trois modèles de Deucalion ont été retenus pour la lemmatisation et l’étiquetage morphosyntaxique : le modèle Ancien français (Clérice, Camps & Pinche 2019) qui correspond à notre période AF, le modèle Early-Modern French (Camps et al. 2020), qui correspond approximativement à notre FP, et enfin le modèle Modern French (Gabay et al. 2019), entraîné sur le français moderne, désormais FM. Sont également examinées les configurations en ligne du système UDPipe 2.10 (Straka 2018), qui exploitent six treebanks et un même BLE entraîné sur un corpus multilingue. Les résultats de ces configurations implémentées en ligne sont comparés à ceux des implémentations de UDPipe dans spacy-udpipe (TAKE Lab 2021a), pour contextualiser la performance de ces « slightly less accurate models that are in turn much faster » (TAKE Lab 2021b) et à ceux d’un autre modèle, spaCyFRlg (Explosion.ai 2023 ; Honnibal et al. 2022), pour mieux situer les performances de ces implémentations plus légères. Enfin, nous comparons les résultats des modèles AF et FM de Stanza (Qi et al. 2020), le modèle AF du CLTK (Johnson et al. 2021), et nous analysons également les performances de LGeRM (Souvay & Pierrel 2010) ainsi que de TreeTagger (Schmid 1994) via son modèle AF, pour comparer ses résultats avec ceux de RNNTagger (Schmid 2019), dont les modèles AF et FM proposent également des étiquettes morphosyntaxiques et des lemmes. Bien que non exhaustive, cette sélection d’outils regroupe 39 outils proposant des étiquettes morphosyntaxiques, 18 fournissant des lemmes, et 31 analysant les dépendances.
- 7 Disponible sur https://gitlab.huma-num.fr/profiterole/srcmf-ud.
- 8 La liste des textes et les annotations utilisés sont présentées dans l’Annexe 2.
- 9 Nous retenons BF pour dénommer ce corpus de référence et au lieu de PR par simple priorité d’ordre (...)
- 10 Il sera ainsi possible de distinguer les sous-ensembles selon l’origine des annotations ou l’état d (...)
10Après avoir identifié cette gamme de systèmes d’annotation, nous avons construit un corpus de référence gold à partir de textes dont les annotations sont définies comme étant correctes, avant de soumettre chaque texte à chaque système et de confronter les annotations pour identifier les convergences entre systèmes, et calculer les scores de précision. Pour ce faire, nous avons rassemblé deux corpus de référence, dont le premier reprend des textes disponibles dans la Base de français médiéval 2022 (Guillot-Barbance, Heiden & Lavrentiev 2017) et dans la version UD du corpus SRCMF publiée par le projet PROFITEROLES7. Nous avons retenu des textes de ces corpus car ils sont assortis d’étiquettes morphosyntaxiques, de lemmes, ou de relations et dépendances vérifiées manuellement par des experts, en nous limitant aux textes complètement annotés8. Les textes AF de la période 1100-1299, comptant quelque 400 000 tokens, font partie du sous-corpus de référence AF_BF9, l’extension d’un siècle permettant la création d’un corpus plus important sans trop s’éloigner de l’état de langue historique de 1200-1299 qui fait l’objet du corpus PhraséoRoChe. Les textes de la période 1300-1550, que nous dénommons moyen français dans le cadre de notre projet, comptant environ 100 000 tokens, constituent le sous-corpus de référence MF_BF. La comparaison de ces annotations avec celles fournies par nos outils permet alors de jauger de la fiabilité des analyseurs en se fondant sur des corpus de taille importante. Comme il nous fallait également un corpus pour évaluer le FP, nous avons constitué un deuxième sous-corpus de référence de taille beaucoup plus réduite, comptant environ 1 200 tokens, divisés en 38 phrases, comptant environ 600 mots pour chacun des sous-ensembles MF et FP, que nous noterons MF_PH et FP_PH10. La confection de ce deuxième corpus donne la possibilité de tester l’hypothèse que les résultats d’un sous-corpus important (MF_BF compte quelque 100 000 tokens) seront comparables à ceux d’un sous-corpus bien plus petit (MF_PH compte quelques 600 tokens) et ainsi déterminer si la confection d’un corpus de référence de grande taille est indispensable, et nous permettra aussi d’apprécier les éventuelles évolutions entre les périodes MF et FP en ce qui concerne la fiabilité des analyses.
11Une stratégie des plus simples serait de se fier à l’annotation proposée par le plus grand nombre d’outils. Comme le notent Mathet et Widlöcher (2019 : 120-121), cette stratégie identifie les cas d’annotations convergentes, et non pas d’annotations correctes, et ne tient pas compte non plus du rôle du hasard dans ces convergences. L’identification des cas de consensus constituera ainsi la première partie de notre stratégie, car à l’aide de nos corpus de référence, nous pourrons quantifier la précision des cas de consensus entre systèmes d’annotations, et si cette précision peut participer à une hiérarchisation des annotations nécessitant une intervention manuelle.
12Cette stratégie de se fier au consensus nécessite d’aller au-delà d’une simple analyse fréquentielle des annotations en considérant les outils comme des « boites noires » parce que les systèmes ne sont pas entièrement homogènes. Par exemple, le fait que la treebank SRCMF est exploitée par huit systèmes alors que la treebank ParisStories est exploitée à deux reprises, fait que les annotations influencées par la première sont quatre fois plus nombreuses que celles de la deuxième, alors que cette dernière pourrait fournir des analyses correctes, mais moins nombreuses en raison de notre sélection de systèmes. Nous adopterons donc la stratégie qui consiste à analyser les performances des systèmes individuellement, avant d’identifier les plus performants en privilégiant l’hétérogénéité des systèmes et des configurations, pour éviter de se fier à un seul système, treebank ou BLE pour chaque état de langue historique. Par exemple, si les trois meilleurs résultats sont fournis par un premier système employant treebank T1 et LLM L1, un deuxième employant T1 et L2, et le troisième T2 et L2, nous ne retiendrons pas le deuxième système, pour déterminer si le consensus est plus général. Après avoir identifié les outils dont les analyses convergent, nous analyserons quantitativement la part des annotations divergentes, et si ce croisement de données permet de gagner en précision par rapport au recours à un seul système.
13Considérant les dissimilarités qui peuvent exister entre les textes à analyser et ceux employés dans l’entraînement d’un outil d’annotation, nous nous sommes intéressés à la précision des annotations en fonction des états de langue historiques, et nous présentons les résultats dans le Tableau 1 ci-dessous. Comme attendu, la précision des annotations est élevée lorsque l’état de langue historique des textes annotés correspond à celui utilisé pour entraîner le système, les scores avoisinant, voire dépassant les 90 % de précision. La similarité des scores attribués aux textes MF et FP par des systèmes entraînés sur des textes en FM signale que ces deux états de langue peuvent être traités par un même outil. Notons aussi que la précision des systèmes entraînés sur l’AF varie très peu entre états de langue pour les lemmes et les étiquettes morphosyntaxiques, indiquant que même si les textes d’entraînement et à analyser relèvent d’états de langue historiques bien différents, les systèmes peuvent toujours se montrer très performants.
- 11 Considérant les cas d’absence de prédiction correcte comme Faux, nous avons affaire uniquement aux (...)
Tableau 2. Meilleurs scores de précision11 pour chaque tâche d’annotation pour les combinaisons état de langue d’entraînement du système – état de langue des textes
Textes d'entraînement
|
Textes analysés
|
Étiquette morphosyntaxique
|
Lemme
|
Tête
|
Relation
|
AF
|
AF
|
95,3
|
87,5
|
96,2
|
90,1
|
AF
|
MF
|
96,0
|
98,0
|
75,7
|
81,7
|
AF
|
FP
|
94,5
|
89,2
|
72,2
|
79,4
|
FREEM
|
AF
|
69,9
|
64,4
|
—
|
—
|
FREEM
|
MF
|
84,9
|
87,0
|
—
|
—
|
FREEM
|
FP
|
89,3
|
90,2
|
—
|
—
|
FM
|
AF
|
92,2
|
61,4
|
85,3
|
80,7
|
FM
|
MF
|
91,1
|
74,3
|
78,1
|
80,7
|
FM
|
FP
|
94,0
|
77,9
|
79,3
|
81,7
|
Chaque case correspond au score d’un système pour une tâche, indépendamment des autres scores en ligne ou en colonne. FM : français moderne. FREEM : Early Modern French. AF : ancien français. FP : français préclassique. MF : moyen français.
14La précision de l’étiquetage morphosyntaxique a été analysée en employant le jeu d’étiquettes UPOS12 retenu dans le cadre du projet PhraséoRoChe, avec deux modifications : les auxiliaires sont traités comme des verbes et les PART sont convertis en ADP, réduisant le jeu à 15 étiquettes distinctes. Puisque TreeTagger, LGERM, les modèles de Deucalion et RNNTagger (dans sa configuration entraînée sur l’AF) emploient le jeu d’étiquettes Cattex pour l’étiquetage morphosyntaxique, nous avons converti ces étiquettes vers les celles du jeu UPOS à l’aide du référentiel (Prévost et al. 2013) et d’un dictionnaire Python qui renvoie chaque étiquette Cattex à son équivalent en UPOS. Les étiquettes Cattex étant plus granulaires, la conversion en UPOS regroupe plusieurs sous-catégories en une catégorie générique. Par exemple, les différents types d’adjectif ADJind, ADJord, ADJpos et ADJqua, deviennent tous ADJ en UPOS. Dans le cas des annotations du RNNTagger entraîné sur le FP, nous avons également converti les étiquettes morphosyntaxiques en UPOS à l’aide du référentiel du jeu d’étiquettes utilisé pour le français (Abeillé & Clément 2003) et d’un dictionnaire Python, regroupant, par exemple, les 24 sous-types d’adjectifs sous le générique ADJ.
Tableau 3. Scores de précision de l’étiquetage morphosyntaxique, configurations des systèmes retenus
Nom du système
|
Treebank
|
BLE
|
État d’entraînement
|
Sous-corpus
|
|
|
|
|
AF_BF
|
MF_BF
|
MF_PH
|
FP_PH
|
HOPS
|
SRCMF
|
CamemBERT
|
AF
|
95,3
|
94,9
|
94,3
|
94,5
|
RNN
|
-
|
-
|
AF
|
89,2
|
96,0
|
90,5
|
93,1
|
UDPipe 2.10
|
Sequoia
|
MultiBERT
|
FM
|
92,1
|
91,1
|
90,1
|
94,0
|
Deucalion
|
-
|
-
|
FREEM
|
69,9
|
84,9
|
83,2
|
89,3
|
Le meilleur score pour chaque sous-corpus est en gras.
- 13 Voir tableau complet en Annexe 3.
- 14 Si une certaine prudence est nécessaire en analysant les résultats des sous-corpus AF_BF et MF_BF, (...)
- 15 Nous n’avons pas compris LGERM dans cette sélection d’étiqueteurs morphosyntaxiques les plus perfor (...)
15Le Tableau 313 présente un résumé des scores de précision de l’étiquetage morphosyntaxique ainsi que les informations sur la configuration du système14. Le système le plus performant est le parseur HOPS en combinant CamemBERT avec la treebank SRCMF. Cette configuration obtient les meilleurs scores dans les sous-corpus AF_BF, MF_PH et FP_PH, et la moyenne de ses quatre scores de précision atteint 94,75. RNNTagger se montre plus précis dans l’annotation des textes MF_BF, ce constat confirmant la performance de ce système sur les textes en français par rapport à TreeTagger (Schmid 2019 : 4). Nous retenons alors ces deux systèmes comme étant les plus performants dans l’annotation des différents sous-corpus. La plus performante des configurations de UDPipe 2.10 était la combinaison SRCMF-mBERT (moyenne = 92,0), mais ayant déjà retenu une configuration de HOPS impliquant la treebank SRCMF, nous retenons la configuration de UDPipe 2.10 impliquant la treebank Sequoia et mBERT, (moyenne de précision de 91,8), pour favoriser l’hétérogénéité des treebanks et des BLE. Le score de cette configuration de UDPipe 2.10 étant supérieur à ceux de toutes les configurations UDpipeSpacy et du modèle fr-core-news-large3.5.0 de Spacy, ces derniers n’ont pas été retenus. Enfin, le meilleur score des modèles de Deucalion est celui de AF, mais pour privilégier une hétérogénéité des états de langue historiques, nous préférerons la deuxième configuration, FREEM. Ainsi, les systèmes retenus15 pour leur performance en étiquetage morphosyntaxique impliquent trois états de langue, deux BLE (CamemBERT et mBERT) et deux treebanks, Sequoia et SRCMF.
Tableau 4. Scores de précision des lemmatiseurs retenus
Nom du système
|
Etat d’entraînement
|
Sous-corpus
|
AF_BF
|
MF_BF
|
MF_PH
|
FP_PH
|
LGERM
|
AF
|
|
|
81,7
|
88,2
|
RNN
|
AF
|
87,45
|
98,02
|
83,67
|
89,24
|
Deucalion
|
FREEM
|
64,61
|
86,95
|
82,10
|
90,15
|
TT
|
AF
|
78,82
|
74,89
|
60,85
|
64,85
|
Le meilleur score de chaque sous-corpus est en caractères gras.
16Nous présentons un récapitulatif des scores de précision de la lemmatisation de nos textes dans le Tableau 4 ci-dessus. Les propositions de LGERM, réputé pour ses performances en lemmatisation (Holgado et al. 2021 : 157), sont considérées comme une baseline, et ses performances sont très similaires à celles des plus performants des systèmes plus récents. Encore une fois, ne disposant pas de la sortie brute de la lemmatisation de LGERM des textes _BF, nous ne pouvons afficher que partiellement les performances de ce système. Le système le plus performant est le RNNTagger sous sa configuration AF. Nous retiendrons également la configuration FREEM de Deucalion, pour ne pas privilégier uniquement l’état de langue AF, mais aussi pour tenir compte du fait que le score du modèle Deucalion AF est pénalisé par son emploi de l’orthographe ancienne dans les lemmes qu’il propose, alors que nos corpus gold utilisent une orthographe moderne. Il aurait été possible de normaliser l’orthographe des lemmes, mais cette conversion comportait le risque d’ajouter une nouvelle source de bruit à l’appréciation de l’utilité du système dans notre cas. Vu que les autres lemmatiseurs recourent tous à l’orthographe moderne et que leurs résultats sont satisfaisants et qu’un autre système se montre très performant pour la lemmatisation en AF, nous nous sommes contentés de retenir la configuration FREEM de Deucalion. Si les systèmes impliquant des BLE et les treebanks ne sont pas parmi les plus performants ici, c’est au moins en partie le signe que moins de systèmes prennent en charge la lemmatisation (18 des 39 systèmes analysés). Nous nous sommes limités à trois systèmes dans ce cas précis, les configurations de UDPipe 2.10, recourant toutes à mBERT, affichant des scores globalement similaires à ceux de TreeTagger AF, mais restant toujours inférieurs aux scores de RNNTagger AF et Deucalion FREEM.
17Pour l’analyse en dépendances, nous nous sommes limités au premier niveau de l’étiquetage des relations en dépendance du jeu UD. Dans les cas nécessaires, les relations proposées par les systèmes ont été simplifiées pour ne retenir que le premier niveau de l’étiquetage, rassemblant, par exemple quatre sous-types de la relation oblique, obl:advmod, obl:agent, obl:arg et obl:mod sous le générique obl. Vu que notre but est de déterminer si notre approche est valable, nous nous limitons à ce niveau de précision pour déterminer si l’étiquette générique peut être identifiée, supposant que si cela n’est pas le cas, la probabilité que les bonnes étiquettes générique et spécifique seront identifiées simultanément sera encore plus basse.
Tableau 5. Systèmes d’analyse en dépendances retenus
|
|
|
Tete
|
Tete
|
Tete
|
REL
|
REL
|
REL
|
Système
|
Treebank
|
BLE
|
AF_BF
|
MF_PH
|
FP_PH
|
AF_BF
|
MF_PH
|
FP_PH
|
HOPS v 0.6.0
|
SRCMF
|
FlauBERT
|
96,2
|
75,7
|
72,2
|
90,1
|
81,7
|
79,4
|
UDPipe 2.10
|
GSD
|
mBERT
|
85,3
|
78,1
|
77,8
|
79,7
|
80,7
|
81,4
|
HOPS v 0.6.0
|
SRCMF
|
CamemBERT
|
96,2
|
72,8
|
71,3
|
90,1
|
80,1
|
78,4
|
HOPS v 0.6.0
|
GSD
|
CamemBERT
|
59,6
|
75,4
|
79,3
|
54,8
|
77,2
|
79,5
|
18Le Tableau 5 ci-dessus détaille les performances des systèmes d’analyse en dépendance retenus, présentant les scores de précision de l’identification des gouverneurs/têtes sémantiques, ainsi que du type de relation entre gouverneur et dépendant. Si le score que nous dénommons Tête correspond au Unlabelled attachment score (UAS), nous préférerons REL à LAS (Labelled attachment score), car nous analysons un seul niveau des annotations et déterminons uniquement si l’étiquette de relation est correcte, contrairement au LAS. Pour ne pas induire en erreur, nous retenons ces noms pour nos scores. Les configurations les plus performantes sont le parseur HOPS impliquant le SRCMF et le modèle FlauBERT (meilleurs scores d’identification de la tête en AF et de la relation en AF et en MF), UDPipe 2.10 impliquant la treebank GSD et mBERT (meilleurs scores d’identification de la relation en FP et de la tête en MF) et la configuration HOPS impliquant la GSD et CamemBERT (meilleur score d’identification de la tête en FP). Nous recrutons également le système HOPS-SRCMF–CamemBERT, car sa précision en AF avoisine celle de ce parseur avec SRCMF–FlauBERT. Cela permettra de constituer un panel équilibré de deux configurations qui exploitent la treebank SRCMF et de deux autres qui exploitent la treebank GSD.
19Ayant identifié les systèmes les plus performants, nous avons dans un premier temps comparé les annotations qu’ils proposent, pour déterminer s’il y a une convergence entre celles-ci. Dans un deuxième temps, à l’aide de nos corpus de référence, nous avons calculé la précision des éventuels consensus. Comme le montre la Figure 1 ci-dessous, qui présente la précision des annotations en fonction des schémas de consensus entre les annotations proposées, dans les cas d’unanimité (4-0, ou 3-0 dans le cas des lemmes), le taux de précision de ces convergences unanimes dépasse les 95 % pour tous les états de langue historique pour la lemmatisation et l’étiquetage morphosyntaxique, et avoisine les 90 % pour chacune des composantes de l’analyse en dépendances. C’est alors une validation de notre hypothèse qu’il y aura une convergence des annotations proposées par une gamme de systèmes performants et que le taux de précision de ces convergences sera suffisamment élevé pour être utile. Dans les cas où un seul système propose une annotation discordante – les cas où trois systèmes (ou deux dans le cas des lemmes), s’accordent pour une annotation mais que le dernier système propose une annotation différente – le taux de précision reste élevé, avoisinant les 80 % dans la plupart des cas, mais supérieur à 90 % pour les étiquettes morphosyntaxiques. Par ailleurs, nos résultats indiquent que c’est le seul type de cas de discordance pour lequel le taux de précision reste élevé : dans les cas de répartition égale (deux systèmes s’accordant pour une annotation, alors que deux autres s’accordent pour une annotation différente) ou inégale (deux systèmes s’accordant pour une annotation, alors que les autres systèmes proposent deux autres annotations distinctes) ou enfin les cas où le dissensus est total, le taux de précision varie de manière considérable mais avec certains scores bien en dessous de 50 % de précision. Dans ces cas une intervention humaine pour contrôler ces annotations permettra bien d’en améliorer la précision.
Figure 1. Précision des annotations en fonction des schémas de convergence
20Ces analyses confortent l’hypothèse que l’annotation d’un corpus peut être contrôlée par le recours à une gamme de systèmes pour identifier, dans un premier temps, les cas où une intervention manuelle apportera peu de gains pour l’effort consenti, et dans un deuxième temps, les cas où une intervention humaine s’impose : avec des scores de précision déjà élevés, une intervention humaine donnera peu de fruits lors de la vérification manuelle des annotations lorsque tous les systèmes s’accordent, mais sera bien utile dans les cas de fort dissensus.
21L’utilité de ces analyses convergentes se voit aussi à l’aide de la Figure 2 qui détaille la part des tokens concernés en fonction des schémas de convergence. Pour toutes les annotations, les cas de forte discordance entre annotations sont très rares : de l’ordre de quelques pourcents. Si ces fortes discordances sont plus nombreuses au sein des lemmes, dépassant les 10 % dans le sous-corpus AF_BF, le fait que seulement trois lemmatiseurs sont impliqués a aussi une influence sur la manière dont les annotations sont réparties, tout comme le fait que la lemmatisation se fait sur une classe ouverte, là où les autres annotations se font sur des jeux d’étiquettes prédéfinis.
Figure 2. Répartition des tokens en fonction des schémas de convergence
- 16 Cronique et histoire faicte et composée par le reverend pere en dieu Turpin, f. 6 r. Notons que cet (...)
- 17 Cronique et histoire faicte et composée par le reverend pere en dieu Turpin, f 6 r.
22Malgré les fortes disparités en nombre de tokens dans nos sous-corpus, les cas de fort dissensus sont très rares : nous n’attestons qu’un cas dans nos sous-corpus _PH où nos quatre étiqueteurs morphosyntaxiques proposent quatre étiquettes distinctes, puis étant analysé comme adverbe, verbe, conjonction de coordination et nom dans « Auquel puis apres l’esglise des bieneureux sainctz et glorieux faconde et primitif fut bastie […] »16. Ces types de dissensus constituent une petite minorité des tokens, ne dépassant les 10 % des tokens de nos sous-corpus que dans le cas de la lemmatisation des textes en AF, alors que les annotations sont unanimes pour 60 à 85 % des tokens de chaque corpus, pour chaque annotation et chaque état de langue, sauf celui de la lemmatisation en AF. Comme nous l’avons vu plus haut, le taux de précision des cas d’annotation unanime est très élevé : la plus grande part du corpus est ainsi constituée de tokens assortis d’annotations qui sont globalement correctes, et ne sera pas prioritaire pour une vérification manuelle. Dans ces cas, il est le plus souvent question d’analyses qui ne sont pas complexes, car impliquant des phrases courtes, telles que « En laquelle esglise les corps d’iceux martyrs reposent maintenant »17, avec des mots peu ambigus dans leur contexte et surtout des formes qui ne peuvent relever que d’une catégorie grammaticale, comme elle, il, lui qui ne peuvent être que des pronoms.
23Disposant de corpus, d’annotations alignées et des différents degrés de consensus entre les annotations et d’une appréciation de leur précision réelle, il sera possible de cibler, par exemple, une intervention manuelle sur les cas où quatre annotations distinctes sont proposées (moins de 1 % du corpus), avant de passer aux environ 3 % des tokens pour lesquels trois annotations distinctes sont proposées, et ainsi de suite. Bien que cette confrontation des annotations n’aplanisse pas entièrement les difficultés de la vérification des annotations, elle permet néanmoins d’identifier les cas d’annotations discordantes de manière bien plus rapide qu’une intervention manuelle, et d’établir un ordre de priorité pour le contrôle manuel des annotations qui s’impose. Ces constats s’appliquant à la fois aux sous-corpus MF_BF et MF_PH, la création d’un corpus de référence de petite taille s’est révélée utile pour valider notre stratégie de hiérarchisation sur l’ensemble des états de langue.
24Nous avons mis en œuvre une dernière expérimentation afin d’évaluer la possibilité d’utiliser un analyseur entraîné seulement sur du français moderne, potentiellement plus performant que les analyseurs entraînés sur les états de langue historique, en passant par une étape de modernisation orthographique. Cette méthode doit être considérée comme une baseline, à laquelle on pourra recourir en première approximation en l’absence de modèle adapté. Elle nous permet par ailleurs de convoquer un autre modèle voisin, cette fois-ci entraîné sur le français moderne.
25Pour la modernisation orthographique, nous avons utilisé un dictionnaire de formes modernes (morphalou-2.018, ATILF 2006) et un dictionnaire de formes anciennes, comptant 142 000 entrées19 et donnant des équivalences entre forme ancienne et forme moderne. Nous avons également développé quelques règles de réécriture à partir d’un petit corpus de MF (un extrait de L’histoire de Charlemagne) et de FP (un extrait de Les alarmes d’amour). Le script appliquant ces règles (au nombre de 20) est reproduit en annexe. Enfin, nous avons appliqué un modèle de langage adapté au français moderne, FlauBERT (Le et al. 2020), en vue de désambiguïser les formes ambiguës et de prédire des formes modernes voisines des formes anciennes inconnues.
26En nous appuyant sur ces ressources, nous avons appliqué une heuristique en plusieurs étapes :
-
1. Si une forme est présente dans le dictionnaire ancien et n’a qu’un seul équivalent moderne, cet équivalent est retenu comme forme modernisée ;
-
2. sinon, si la forme transformée avec nos règles existe dans le dictionnaire moderne, cette forme modernisée est retenue.
- 20 Il s’agit du Masked Language Model, qui a été entraîné à prédire les mots masqués en fonction de le (...)
27À ce stade, il reste à traiter les cas de figure où l’on n’a aucun ou plusieurs candidats issus du dictionnaire ancien et des règles de transformation. On lance alors le modèle de langage FlauBERT MLM20 en masquant la forme à moderniser, et l’on enregistre les n premiers candidats prédits (triés par ordre de probabilité). Avec cette liste de candidats prédits, on applique les deux étapes suivantes :
-
3.a. Les candidats prédits sont comparés aux candidats obtenus aux étapes 1 et 2, et l’on retient le candidat le plus probable lorsqu’il y a une intersection non vide.
-
- 21 Il s’agit de la distance d’édition, dans son implémentation Python, documentée ici : https://maxbac (...)
3.b. Si l’intersection est vide, on compare les candidats prédits à la forme d’origine, et l’on retient la première forme qui dépasse un certain seuil de similarité graphique (cette similarité est atteinte lorsque, les mots partageant la première lettre, ont une distance de Levenshtein21 inférieure à 0.4 fois la moyenne de leur longueur ; ou une distance inférieure ou égale à 2 lorsqu’ils commencent par des lettres différentes). Dans le cas où aucun candidat prédit ne satisfait ce seuil de similarité, on conserve la forme d’origine.
28En appliquant cette stratégie sur nos sous-corpus de référence MF_PH et FP_PH, on obtient les résultats suivants :
Étape 1 : 173 occurrences modernisées grâce au dictionnaire
Étape 2 : 12 occurrences modernisées grâce aux règles de transformations
Étape 3.a : 10 occurrences modernisées désambiguïsées grâce au MLM
Étape 3.b : 27 occurrences prédites grâce au MLM
29Au total 1 095 occurrences restent inchangées, parmi lesquelles 19 sont absentes du dictionnaire moderne (par ex. avecque, ceste, adoncq, etc.). La modernisation reste donc modeste et ne concerne que 16,8 % des occurrences.
- 22 Dans cette évaluation, on ignore les noms propres qui n’ont pas été modernisés (comme Vulcan, Grece (...)
30D’après une évaluation manuelle des sorties de la modernisation, effectuée par nos soins, celle-ci atteint 90,22 % de précision et 86,01 % de rappel sur les sous-corpus de référence MF_PH et FP_PH22. Notons que 50 % du bruit est lié à l’étape 3.b, qui produit 11 erreurs pour 16 modernisations correctes. On pourra donc comparer la modernisation avec et sans modèle de langage, afin d’évaluer le gain éventuel lié à celui-ci.
31Nous avons ensuite évalué les annotations de Stanza, en utilisant le modèle gsd, sur 3 corpus (cet analyseur représentant l’état de l’art pour le français moderne) : le corpus original (orig), le corpus modernisé sans l’étape 3 (mod, sans modèle de langage) et le corpus modernisé avec toutes les étapes (mod+). Pour l’évaluation, nous avons utilisé le script conll18_ud_eval.py23 fourni lors de la campagne CONLL 2018. Nous ne donnons ci-dessous que la F-mesure pour les tokens alignés (AligndAcc), afin de négliger les différences uniquement liées à des divergences de tokenisation).
Tableau 6. Résultat de Stanza sur les 3 versions des sous-corpus de référence MF_PH et FP_PH
|
Token
F1 score
|
Étiquette morpho-syntaxique
|
Lemme
|
Tête
|
Relation et Tete
|
orig
|
97,0
|
78,4
|
79,5
|
65,0
|
57,1
|
mod
|
97,0
|
81,9
|
90,0
|
71,8
|
64,2
|
mod+
|
97,2
|
81,9
|
90,9
|
73,6
|
65,8
|
- 24 En appliquant tous les systèmes sur notre référence, on constate que dans 108 cas moins de 2 systèm (...)
32Ces résultats montrent que l’étape de modernisation permet d’obtenir une nette amélioration au niveau de la lemmatisation, ainsi qu’au niveau de l’extraction des dépendances, le gain au niveau des étiquettes étant plus modeste. Si ce gain en performance est certes utile, ces performances en lemmatisation sont à un niveau similaire à ceux constatés plus haut par nos meilleurs lemmatiseurs. L’utilisation d’un modèle de langage aboutit à une légère amélioration des dépendances syntaxiques (environ 1,5) mais pas des étiquettes : rappelons que les scores de nos meilleurs étiqueteurs dépassaient les 90 % de précision en étiquetage morphosyntaxiques. Si on considère que les scores de tête et de relation sont sans doute sous-évalués du fait de nos choix d’annotation24, on constate que cette stratégie de modernisation peut offrir une baseline utile pour fournir une première annotation grossière du corpus en recourant à un seul système d’annotation.
33Les systèmes d’annotation récents issus du deep learning sont puissants et robustes, et du fait de cette robustesse, ils sont capables de couvrir relativement bien différents états de langue historiques même assez éloignés. C’est notamment ce que montre notre expérience de modernisation de l’orthographe, ce qui nous a permis de réinvestir un modèle du français moderne, moyennant un prétraitement purement surfacique. Ces possibilités de redéploiement sont précieuses quand les ressources font défaut, afin de créer une première annotation grossière, dans une perspective de bootstrapping. Ces possibilités sont encore plus précieuses considérant qu’il n’est pas nécessaire de disposer de matériel de pointe pour utiliser ces systèmes à des fins de prédiction, soit à l’aide des systèmes hébergés sur serveur distant, soit en local à une moindre vitesse, ce qui permet leur exploitation par le plus grand nombre. Les systèmes récents peuvent également être utilisés pour faciliter la vérification des annotations, car même si l’exploitation d’un système d’annotation ne garantit pas des analyses correctes, la robustesse des systèmes individuels et le croisement des analyses d’une gamme de systèmes performants rend possible l’identification des zones de convergence et de divergence des annotations apportées aux textes de notre corpus en diachronie longue, permettant ainsi de pointer des cas où une intervention manuelle sera le plus bénéfique.