Navigation – Plan du site

AccueilNuméros26À pas de loup dans la bergerie… L...

À pas de loup dans la bergerie… La problématique du silence et du bruit dans l’étiquetage automatique du Subjonctif Présent en français parlé

Christian Surcouf

Résumés

La linguistique de corpus tire largement profit des avancées de l’informatique dans le traitement des données. Toutefois, pour le linguiste ordinaire le recours aux étiqueteurs morphosyntaxiques comporte toujours une part de mystère et de magie. Si, muni de cet outil, il peut travailler sur des données massives, il ignore cependant comment ont été attribuées les étiquettes, et plus fondamentalement quelles erreurs peuvent avoir surgi durant l’étiquetage. Pourtant, de la qualité de cet étiquetage va dépendre en aval celle des résultats exploités pour les analyses. S’il est relativement aisé de repérer le bruit dans les résultats des requêtes, le silence qui en découle ailleurs est quant à lui beaucoup plus insidieux, difficile à pister, et pour cette raison potentiellement plus dommageable pour les analyses linguistiques. Dans notre étude, sur la base d’un corpus de dix heures de français parlé (surveillé et ordinaire), nous avons comparé l’étiquetage manuel des occurrences du Subjonctif Présent avec l’étiquetage fourni par TreeTagger, TreeTagger-TCOF et Dismo. Nous montrerons que le bruit dans l’étiquetage de l’Indicatif Présent est l’origine principale de l’important taux de silence dans l’étiquetage du Subjonctif Présent, les confusions étant dues  comme le révèle notre examen exhaustif de la conjugaison du Subjonctif Présent parmi les 6 500 verbes du Petit Robert  à des formes orthographiques communes avec l’Indicatif Présent. Pourtant la « précision » des étiqueteurs est souvent présentée comme atteignant des scores autour de 95 % (y compris pour le français parlé). Si les taux de « précision » oscillent ici entre 70 % et 99 %, les taux de « rappel », eux, sont beaucoup plus faibles : de 44 % à 61 %. En définitive, malgré sa dénomination avantageuse, le taux dit de « précision », calculé sur l’ensemble des étiquettes, constitue un indicateur médiocre de la qualité de l’étiquetage quand il s’agit d’une étiquette particulière comme celle du SubjPr.

Haut de page

Texte intégral

1. L’intérêt et les limites de la linguistique de corpus

1En dehors de son fondement empirique consistant à ne travailler que sur des exemples attestés, la linguistique de corpus permet d’appréhender frontalement la diversité des usages langagiers. Il est important de rappeler que les innovations de la linguistique de corpus reposent en grande partie sur les avancées considérables de l’outil informatique et le traitement massif et rapide des données langagières numérisées qu’il autorise. Toutefois, comme le rappelle Tanguy (2012 : 73) : « un outil n’étant qu’un outil, il possède quelle que soit sa sophistication un ensemble de limitations que l’on doit accepter et prendre en compte lors de son utilisation ». Se pose cependant la question de savoir si le linguiste ordinaire1 est toujours conscient de ces « limitations ». À défaut, comment pourrait-il les « prendre en compte » et parvenir à les contourner, les atténuer ou les pondérer dans l’analyse de ses données ? Dans cet article, nous aborderons l’une de ces limitations, provenant en l’occurrence de l’étiquetage automatique du Subjonctif Présent (SubjPr) au sein d’un corpus de dix heures de français parlé. Seront ainsi examinés le bruit et le silence dans les annotations fournies par trois étiqueteurs : TreeTagger (Schmid 1999), TreeTagger-TCOF – sa version basée sur TCOF-POS2 (Benzitoun et al. 2012) –, et Dismo (Christodoulides et al. 2014). Au travers de nos analyses, nous montrerons que le bruit dans l’étiquetage de l’Indicatif Présent (IndPr) constitue la cause principale du silence dans celui du SubjPr. L’analyse exhaustive des conjugaisons orthographiques du SubjPr des 6 500 verbes du Petit Robert permettra d’établir que le SubjPr et l’IndPr partagent un grand nombre de formes, probablement à l’origine de ces confusions. Enfin, nous discuterons les problèmes qu’est susceptible de poser au linguiste ordinaire l’usage des termes « précision » et « rappel », que nous éviterons donc à dessein dans nos premières analyses.

2Qu’entend-on par bruit et silence ? L’annotation (manuelle ou automatique) d’un item à l’aide d’une étiquette X peut donner lieu aux quatre configurations suivantes :

Tableau 1. Le bruit et le silence dans l’attribution d’une étiquette X donnée

Tableau 1. Le bruit et le silence dans l’attribution d’une étiquette X donnée

3Les configurations (i) et (ii) sont justes dans la mesure où elles répondent à l’objectif poursuivi par tout étiqueteur. En (i), l’item ciblé est étiqueté X à juste titre (vrai positif, VP) et ne l’est pas, toujours à juste titre, en (ii) (vrai négatif, VN). Les configurations (iii) et (iv) constituent les deux cas de figure parasites, incarnés par le bruit en (iii) et le silence en (iv). En (iii), l’étiquette X est attribuée à tort (faux positif, FP), et en (iv) omise à tort (faux négatif, FN). Le code de couleurs signale le degré de difficulté de repérage de ces problèmes d’étiquetage dans les résultats des requêtes, le vert étant synonyme de succès, dont seul (i) nous intéressera ici. Bien que parasite, le bruit (orange) est en général relativement facile à détecter, alors que le silence (rouge, le plus ‘dangereux’) peut passer totalement inaperçu, l’un comme l’autre engendrant des problèmes dans le résultat des requêtes en aval.

4Même si l’étiquetage du SubjPr n’est pas nécessairement affecté par les spécificités du traitement informatique de la langue parlée, afin de mieux identifier les zones d’émergence possible du bruit et du silence, rappelons schématiquement les six étapes indispensables à la compilation et l’exploitation d’un corpus oral.

Tableau 2. L’altération cumulative des données brutes initiales lors de la compilation et l’exploitation d’un corpus oral

  • 3 L’orthographe est en soi porteuse d’une conception préthéorique sur la langue, susceptible d’avoir (...)

Étapes

Les données langagières brutes sont altérées par :

sélection

l’échantillonnage (problème de représentativité)

enregistrement

a) la perte des informations personnelles et situationnelles

b) la transformation engendrée par le dispositif technologique

transcription

a) la perte de la dimension acoustique

b) les contraintes des conventions du système d’écriture3 et de transcription

étiquetage

a) la qualité de la transcription

b) les choix théoriques et technologiques

requêtage

a) le dispositif technologique de requêtage

b) la qualité de l’étiquetage

affichage des résultats

a) le bruit

b) le silence

5Chaque étape tend à altérer, et ce de manière cumulative, les données brutes initiales de la langue orale, objet de nos analyses. La technologie joue un rôle ambivalent à cet égard puisqu’elle rend à la fois possibles les étapes ❷ à ❻, tout en introduisant des biais inhérents à son propre fonctionnement. Ici, il s’agira pour nous de mesurer le bruit et le silence dans les résultats en ❻ d’une requête des formes de SubjPr en ❺, en les comparant à ceux de l’annotation manuelle de notre corpus.

  • 4 Voir également §6 pour des estimations très proches portant explicitement sur l’étiquetage de corpu (...)

6D’une manière générale, la littérature qui aborde la question de la précision des étiqueteurs automatiques fournit des estimations supérieures à 95 %4, ce qui laisserait supposer que les résultats peuvent être exploités avec une confiance relativement élevée :

The state-of-the-art in POS tagging accuracy (number of correctly tagged word tokens over all word tokens) is about 96%-97% for most Indo-European languages (English, French, etc.). (Güngör 2010 : 207)

7Pourtant, comme nous le verrons, l’étiquetage automatique du SubjPr en français parlé est loin d’atteindre des taux aussi élevés. De telles estimations générales demanderaient à être nuancées, dans la mesure où elles occultent en partie les performances propres à chacune des étiquettes. En d’autres termes, dans l’évaluation des performances, un taux général risque de surreprésenter les phénomènes fréquents et faciles à étiqueter au détriment des phénomènes plus rares et plus difficiles à étiqueter. Le SubjPr relève de cette deuxième catégorie. Quels sont les défis que soulève son étiquetage ?

2. L’ambigüité et les défis de l’étiquetage du SubjPr

8Imaginons les exemples suivants, où la forme verbale orale à étiqueter apparait en gras en phonétique :

[1] il faut que tu /paʁt/

[2] il faut que tu /mãʒ/

[3] on cherche quelqu’un qui /suʁi/ beaucoup

[4] on cherche quelqu’un qui /paʁl/ bien

  • 5 Les graphies des verbes apparaitront entre chevrons.

9L’identification de la nature de chacune de ces formes soulève des difficultés plus ou moins importantes. En [1], prise isolément la forme orale /paʁt/ est ambigüe mais sa transcription orthographique <partes>5 – indispensable pour l’étiquetage automatique – renvoie univoquement à un SubjPr. Toutefois, ce cas de figure est minoritaire dans la morphologie verbale du français, où les cas d’homophonie homographe sont très nombreux (voir l’analyse quantitative détaillée en §3). En [2], la forme /mãʒ/, considérée isolément, est ambigüe (Indicatif ? Subjonctif ? Impératif ?) ; sa transcription <manges> évacue normalement l’Impératif (sauf dans le cas de ‘manges-en’). La prise en compte du cotexte – il faut que – permet de lever cette ambigüité et d’envisager <manges> (et /mãʒ/) comme un SubjPr. Le statut des formes /suʁi/ ([3]) et /paʁl/ ([4]) est quant à lui indécidable (voir §4.2). En [3], lors de la transcription, un choix – délibéré ou non – peut être opéré par le transcripteur entre les graphies <sourit> ou <sourie> : la première sera étiquetée IndPr, la seconde SubjPr, bien que l’oral ne permette jamais de trancher (voir note 3). Enfin, la forme /paʁl/ en [4] donne lieu à une transcription unique <parle> au statut indécidable, même en tenant compte du cotexte. Le tableau ci-dessous synthétise ces quatre cas de figure, et l’éventuelle résolution des cas d’ambigüité.

Tableau 3. L’ambigüité et la désambigüisation éventuelle des formes verbales prises isolément

forme orale

ambigüe ?

transcription

ambigüe ?

prise en compte du cotexte ?

[1]

/paʁt/

oui

<partes>

non

inutile

[2]

/mãʒ/

oui

<manges>

oui

indispensable

[3]

/suʁi/

oui

<sourit> ou <sourie>

non

insuffisante

[4]

/paʁl/

oui

<parle>

oui

insuffisante

10D’un point de vue informatique, même quand elle permet la désambigüisation, comme en [2], la prise en compte du cotexte est nécessairement plus complexe à implémenter que le traitement de la forme graphique seule.

3. Les graphies du Subjonctif Présent des 6 461 verbes du Petit Robert

  • 6 Les personnes sont numérotées selon l’ordre traditionnel de leur présentation, je=1, tu=2, etc.
  • 7 Sont ici considérées comme idiosyncrasiques les graphies au sein de la conjugaison d’un même verbe, (...)
  • 8 Pour les personnes 1/2 et 4-6 des verbes du 2e groupe, il existe en théorie une ambigüité avec l’Im (...)

11Notre analyse des 6 461 verbes du Petit Robert (2009) révèle que près de 90 % d’entre eux conduisent à des ambigüités dans la mesure où leur conjugaison graphique du SubjPr est identique à celles de IndPr1-3/66 et de l’Imparfait de l’Indicatif (IndImp) 4-5 (voir ⑦, Tableau 4). Seuls les dix verbes de ①, avoir, être, pouvoir, savoir, faire (et ses dérivés, défaire, satisfaire, etc.) et le défectif falloir ont une graphie spécifique, immédiatement détectable comme SubjPr par l’étiqueteur automatique. En ②, six verbes (aller, vouloir, valoir et ses dérivés) ont pour nous/vous les mêmes conjugaisons graphiques qu’à l’IndImp, les autres personnes étant idiosyncrasiques7. En ③, 52 verbes de type prendre, tenir, venir, devoir, recevoir, etc. comportent une graphie idiosyncrasique pour SubjPr1-3, <prenne|s>, <vienne|s>, <doive|s>, etc. C’est également le cas pour les 546 verbes de ④, incluant tous les verbes du 2e groupe de type finir (<finisse|s>)8, et ceux du 3e de type lire, plaire, tendre, craindre, dire, etc. (<lise|s>, <plaise|s>, <tende|s>, etc.). En ⑤ et ⑥, nous avons affaire à des formes homophones de l’IndPr1-3 mais hétérographes, soit 23 verbes de type assoir, voir, abstraire, acquérir, mourir, etc., <assoie|s>, <voie|s>, <abstraie|s>, etc., et 16 verbes de type conclure, courir, rire, etc. <conclue|s>, <coure|s>, <rie|s>, etc. Enfin, en ⑦, les 5 808 verbes du 1er groupe (89,9 % du total), de type passer, manger, ou lever, appeler, etc. et quelques-uns du 3e, ouvrir, couvrir, offrir, etc., ont tous des formes de SubjPr indiscernables de celles de l’IndPr1-3/6 et de l’IndImp4-5.

  • 9 Nous faisons abstraction ici de l’Impératif, dont l’usage reste relativement rare en français parlé (...)

12En somme, dans le tableau suivant, les formes apparaissant en gras sont très minoritaires mais faciles à étiqueter informatiquement. Toutes les autres se confondent avec celles de l’IndPr9 et de l’IndImp, et sont par conséquent susceptibles de générer du bruit dans l’étiquetage et du silence dans la requête du SubjPr.

Tableau 4. La graphie du SubjPr est-elle spécifique par rapport à celle de l’Indicatif ?

1-3

4-5

6

Total

 %

Exemple 1-3

Exemple 4-5

Exemple 6

oui

oui

oui

10

0,15

que

je sache

vous sachiez

ils sachent

oui

non

oui

6

0,09

je veuille

vous vouliez

ils veuillent

oui

non

non

52

0,8

je prenne

vous preniez

ils prennent

oui

non

non

546

8,45

je finisse

vous finissiez

ils finissent

oui

non

non

23

0,36

je voie

vous voyiez

ils voient

oui

non

non

16

0,25

je coure

vous couriez

ils courent

non

non

non

5 808

89,9

je passe

vous passiez

ils passent

Total

6 461

100 %

13Dans la réalité de l’usage, les dix verbes les plus fréquents du français ont une morphologie complexe (dans l’ordre : être, avoir, faire, dire, aller, voir, savoir, pouvoir, le défectif falloir et vouloir), et s’ils sont correctement identifiés comme verbes, six d’entre eux relèvent de la configuration ①, idéale pour l’étiqueteur en vertu de formes graphiques propres au SubjPr. Cependant, en dépit de cette facilitation circonstancielle, toute requête du SubjPr risque de générer du silence, en raison du bruit dans l’étiquetage, essentiellement au profit de l’IndPr.

4. L’annotation manuelle des SubjPr de notre corpus d’émissions de France Culture

4.1. Présentation du corpus de français parlé utilisé

  • 10 C’est-à-dire la « langue de tous les jours » (Gadet 1996 : V).
  • 11 Oral produit à partir de notes préparatoires, pratique professionnelle habituelle des animateurs de (...)

14Tous nos enregistrements de français parlé spontané proviennent de la station de radio France Culture. Afin de neutraliser un éventuel effet du niveau de langue sur l’usage du SubjPr, notre corpus se répartit de manière à peu près équilibrée entre 5h12’ de parler surveillé (issu d’émissions culturelles) et 4h59’ de parler ordinaire10, provenant d’épisodes des Pieds sur Terre. Une fois les émissions transcrites à l’aide du logiciel Elan (Brugman & Russel 2004), leur transcription a été exportée sous format txt dans Word pour en corriger l’orthographe et en éliminer les parties d’écrit oralisé11 ou de lecture de texte. L’annotation manuelle de tous les SubjPr a été réalisée par nos soins dans ce fichier.

15Le premier sous-corpus, de 5h12’, correspond à du français parlé spontané surveillé pratiqué par des intellectuels (enseignants-chercheurs, essayistes, écrivains, journalistes) lors d’émissions culturelles autour d’un thème en lien étroit avec les recherches des intervenants (‘N-Loc’ renvoie au nombre de locuteurs).

Tableau 5. Les émissions culturelles de France Culture (français parlé surveillé)

Émission

Date

N-Loc

Durée

La Suite dans les idées

04/07/2015

2

28’06’’

Tout un monde

30/01/2016

2

26’17’’

Continent sciences

01/02/2016

3

53’44’’

Répliques

27/02/2016

3

49’33’’

Concordances des temps

13/08/2016

2

46’15’’

La Méthode scientifique

21/09/2016

7

53’54’’

Le Sens des choses

29/01/2017

4

53’57’’

5h12’

16Le second sous-corpus, de 4h59’, correspond quant à lui à du français parlé spontané ordinaire, provenant de l’émission de reportage Les Pieds sur Terre, où des locuteurs de différentes classes sociales s’expriment librement, la plupart du temps en lien avec leur expérience personnelle.

Tableau 6. Les épisodes des Pieds sur Terre de français (français parlé ordinaire)

Titre de l’épisode

Date

N-Loc

Durée

La perle rare

23/12/2014

3

22’49’’

Hugo sur la corde raide

08/05/2015

4

21’26’’

Retour sur le casse du siècle

14/10/2015

3

20’45’’

Mariages blancs

27/04/2016

1

12’51’’

Le Courage des femmes - Nathalie

09/05/2016

3

8’53’’

Laetitia, médecin reconvertie

14/06/2016

2

20’20’’

Cas d’école

20/06/2016

3

18’38’’

Robinsonnades

01/09/2016

3

20’58’’

Photo de classe 1

22/12/2016

6

20’37’’

Photo de classe 2

25/01/2017

5

21’10’’

Photo de classe 3

14/02/2017

5

20’49’’

Photo de classe 4

15/03/2017

4

20’46’’

Photo de classe 5

30/06/2017

8

21’31’’

Le monde des escargots

06/09/2017

2

8’20’’

Secrets et mensonges

09/11/2018

3

12’28’’

Cohabiter – Elsa

12/06/2019

1

4’31’’

Petites voleuses

25/03/2019

4

22’30’’

Durée

4h59’

4.2. Les défis de l’annotation manuelle du SubjPr

17Il serait naïf de penser qu’il est toujours simple d’annoter manuellement le SubjPr en français. Prenons l’exemple suivant, extrait de notre corpus :

[5] la troisième étape c'est de garantir statistiquement que euh l'algorithme qu'on a proposé réalise en effet euh les performances qu'on avait prévues et et et soigne effectivement un un nombre un nombre raisonnable de patients (Méthode scientifique, 21/09/2016 : 55’55)

18Les deux options sont possibles, il peut aussi bien s’agir d’un Indicatif que d’un Subjonctif. La reformulation suivante, à l’aide du verbe pouvoir, rend compte de cette ambigüité :

[6] la troisième étape c'est de garantir statistiquement que l'algorithme […] peut/puisse réaliser les performances […] et peut/puisse soigner effectivement un nombre raisonnable de patients

19Scientifiquement indécidables, de tels exemples n’ont pas été comptabilisés dans nos analyses. Seuls les cas indiscutables ont été retenus :

[7] il faut que vous nous expliquiez également Antoine Bordes pourquoi euh euh ce deep learning a eu mauvaise presse pendant si longtemps (Méthode scientifique, 21/09/2016 : 10’41)

[8] ils veulent plus que je sèche et j’ai séché un cours encore (Les Pieds sur Terre, 08/05/2015 : 22’51)

20Inversement, pour cette même raison, lors de la comparaison, nous n’avons pas pris en compte les cas où les étiqueteurs automatiques annotaient comme SubjPr un cas foncièrement indécidable :

[9] maintenant imaginez que dans que le traitement A malheureusement il était mal calibré je ne sais pas mais en tout cas imaginez qu'il tue vos patients systématiquement dans ce cas vous avez sacrifié deux-cent-cinquante personnes pour le test (La Méthode scientifique, 21/09/2016 : 54’)

21Comme en témoigne la reformulation suivante, il est impossible de décider si <tue> est un SubjPr ou un IndPr :

[10] en tout cas imaginez qu'il peut/puisse tuer vos patients systématiquement

22Enfin, pour le décompte des formes à prendre en considération, signalons qu’en cas de répétition involontaire, phénomène propre à la langue parlée spontanée, une seule occurrence a été comptabilisée :

[11] ‘Je suis Charlie’ ça voulait juste dire euh je suis contre le fait que des caricaturistes euh soient soient tués euh en plein Paris (Répliques 27/06/2016 : 24’11)

4.3. Les résultats des étiqueteurs automatiques

  • 12 Le pourcentage de la partie en vert correspond à ce qui est généralement appelé « rappel » (« recal (...)

23Les tableaux suivants récapitulent les données par étiqueteur et type de français parlé : surveillé (Tableau 7) ou ordinaire (Tableau 8). Les résultats justes (c’est-à-dire les SubjPr ciblés et étiquetés comme tels, ou vrais positifs) apparaissent en vert, le bruit en orange et le silence en rouge12.

Tableau 7. Bruit (Br) et silence (Sil) dans l’étiquetage de TreeTagger (TTg), TreeTagger-TCOF (TTgT) et Dismo (Dis) pour les 133 SubPr ciblés du français parlé surveillé

Tableau 7. Bruit (Br) et silence (Sil) dans l’étiquetage de TreeTagger (TTg), TreeTagger-TCOF (TTgT) et Dismo (Dis) pour les 133 SubPr ciblés du français parlé surveillé

24Les 133 occurrences que nous avons étiquetées manuellement servent d’étalon pour l’évaluation des étiqueteurs. Le taux le plus élevé de résultats justes est obtenu par TreeTagger avec 75,2 % (100/133), suivi de TreeTagger-TCOF avec 59,4 % (79/133) et enfin Dismo avec 47,4 % (63/133), même si ce dernier affiche de loin le bruit le plus faible (voir les commentaires du Tableau 9).

Tableau 8. Bruit (Br), silence (Sil) dans l’étiquetage de TreeTagger (TTg), TreeTagger-TCOF (TTgT) et Dismo (Dis) pour les 166 SubPr ciblés du français ordinaire

Tableau 8. Bruit (Br), silence (Sil) dans l’étiquetage de TreeTagger (TTg), TreeTagger-TCOF (TTgT) et Dismo (Dis) pour les 166 SubPr ciblés du français ordinaire
  • 13 La différence considérable des pourcentages de silence entre français parlé surveillé et ordinaire (...)

25Comme dans le cas du français surveillé, avec 49,4 % (82/166), TreeTagger affiche le taux le plus élevé de résultats justes, suivi de près par TreeTagger-TCOF (48,8 % ; 81/166), et enfin Dismo (41,6 % ; 69/166)13, dont le bruit est à 0 %.

26Le tableau suivant fournit la synthèse de l’étiquetage des 299 occurrences de SubjPr ciblées de notre corpus :

Tableau 9. Synthèse des 299 SubjPr ciblés de nos corpus de français parlé surveillé et ordinaire

Tableau 9. Synthèse des 299 SubjPr ciblés de nos corpus de français parlé surveillé et ordinaire

5. Le bruit à l’origine du silence

27Comme le laissait supposer la confrontation des graphies des formes verbales selon les types ① à ⑦ exposés dans le Tableau 4, le SubjPr est le plus souvent mal étiqueté au profit du Présent et de l’Imparfait de l’Indicatif. À elles seules, sur l’ensemble de notre corpus (surveillé + ordinaire), ces deux étiquettes constituent 88,9 % des erreurs dans TreeTagger (Tableau 10), 65,5 % dans TreeTagger-TCOF (Tableau 11) et 59,9 % dans Dismo (Tableau 12).

5.1. TreeTagger

28Dans TreeTagger, sur les 299 SubjPr ciblés, 117 (soit 39,1 %) ne sont pas étiquetés comme tels, majoritairement en raison de 82,1 % de confusion avec l’IndPr :

Tableau 10. L’origine des 117 cas de silence dans l’étiquetage du SubjPr dans TreeTagger

TTg

Glose

N

 %

VER:pres

Indicatif Présent

96

82,1 %

VER:impf

Indicatif Imparfait

8

6,8 %

KON

Conjonction

7

6 %

NOM

5

4,3 %

VER:subi

Subjonctif Imparfait

1

0,9 %

Total

117

29Les exemples suivants donnent un aperçu du silence généré par la confusion avec l’IndPr en français surveillé (S) ou ordinaire (O) :

[12] (S) je me battrai pour qu'elles continuent à s’exprimer (⑦)

[13] (O) on va continuer à prospecter en attendant qu'on trouve une solution (⑦)

[14] (S) il est fort probable que on ait ces algorithmes euh on on que ces algorithmes doivent faire face à des prises de décisions dans l'incertain (③)

[15] (O) […] pour pas que les animaux ils viennent manger mon jardin (③)

[16] (S) il il va falloir pour ça qu'elles euh construisent une mobilisation (④)

[17] (O) je veux pas que mes enfants ils grandissent (④)

30En raison d’une lemmatisation fausse rattachée au verbe ailler (‘assaisonner d’ail’) – pourtant très rare –, les sept graphies <aille> ont été étiquetées VER:pres :

[18] (S) il faudra qu’un jour j’aille au bout de ce trouble (②)

  • 14 Nous tenons à signaler qu’aucun bébé n’a été maltraité durant la rédaction de cet article.

[19] (O) il va falloir que j'aille voir mon bébé (②)14

31Pour les personnes 4 et 5, la confusion a lieu avec l’Imparfait dans huit cas (6,8 %) :

[20] (S) je voudrais que nous évoquions aussi euh un cas qui euh est fort différent (⑦)

[21] (O) faut que vous me trouviez quelque chose (⑦)

32Étiquetée ‘KON’ (conjonction), la graphie <soit> du SubjPr génère sept cas de silence (6 %) sans pour autant être systématique (7 erreurs sur 40 occurrences). Remarquons que l’expression « quel(le) que soit » est également affectée par ce problème :

[22] (S) je pense pas que ça soit euh effectivement lié aux recherches en intelligence artificielle (①)

[23] (S) quelle que soit l’approche on va très vite tomber sur un critère réflexif (①)

[24] (O) on attendait que ma copine soit titulaire (①)

33Enfin, cinq cas de silence (4,3 %) proviennent d’une confusion de la forme de SubjPr avec un nom :

[25] (O) fallait que je m’en sorte (④)

[26] (S) quelqu'un qui est éveillé qui a les yeux ouverts sans qu'on le sans qu'on le stimule (⑦)

34Un cas de confusion avec l’Imparfait du Subjonctif apparait également :

[27] (O) j'avais peur que vous ne réussissiez pas (④)

5.2. TreeTagger-TCOF

35Dans TreeTagger-TCOF, le silence affecte 139 occurrences, soit 46,5 % des 299 résultats ciblés. Bien que, ici aussi, l’étiquette VER:pres reste majoritaire, elle est cependant moins dominante puisqu’elle concentre 58,3 % des erreurs contre 82,1 % dans TreeTagger.

Tableau 11. L’origine des 139 cas de silence dans l’étiquetage du SubjPr dans TreeTagger-TCOF

TTgT

Glose

N

 %

VER:pres

Indicatif Présent

81

58,3 %

AUX:subp

Auxiliaire au Subj. Présent

19

13,7 %

KON

Conjonction

15

10,8 %

VER:impf

Imparfait

10

7,2 %

VER:impe

Impératif

7

5 %

NOM

6

4,3 %

ADJ

Adjectif

1

0,7 %

Total

139

36L’étiquette Aux:Subp génère dix-neuf cas de silence (13,7 %) en libellant erronément certaines formes de SubjPr des verbes être et avoir dans leur sens plein :

[28] (S) pour que les choses soient plus claires

[29] (O) du coup il faut euh attendre que le mec ait le temps de faire les trucs

37Sept occurrences de SubjPr (5 %) ont été détectées comme Impératif :

[30] (O) il faut que j’aille la voir avant

5.3. Dismo

38En dépit d’un bruit proche de zéro (0,8 %), Dismo (utilisé dans Ofrom) est l’étiqueteur comportant le plus de silence, avec 167 occurrences sur 299 (55,9 %). Si, là encore, c’est la confusion avec l’IndPr qui engendre le plus de silence (55,1 %), Dismo comporte quelques spécificités probablement en partie générées par la prise en compte des disfluences : « When simple disfluencies are identified at step (4) of processing, they are excluded from the data submitted to final POS tagging » (Christodoulides et al. 2014 : 3904). Ainsi s’expliquerait la présence des ‘0’ en lieu et place d’une étiquette dans 18,6 % des cas.

Tableau 12. L’origine des 167 cas de silence dans l’étiquetage du SubjPr dans Dismo

Dismo

Glose

N

 %

VER:pres

Indicatif Présent

92

55,1 %

0

(disfluence ?)

31

18,6 %

VER:impe

Impératif

11

6,6 %

VER:impf

Indicatif Imparfait

8

4,8 %

VER:subi

Subjonctif Imparfait

7

4,2 %

CON:sub

Conjonction de subordination

6

3,6 %

ADV

Adverbe

4

2,4 %

VER:subp:aux

Auxiliaire au Subjonctif Présent

3

1,8 %

ADJ

Adjectif

2

1,2 %

NOM

1

0,6 %

NOM:com

Nom commun

1

0,6 %

vide

(disfluence ?)

1

0,6 %

Total

167

39Onze occurrences de SubjPr (6,6 %) ont été étiquetées Impératif :

[31] (S) on peut montrer que votre cerveau va traiter des informations sans que vous vous soyez capable de vous les rapporter d'en prendre conscience

[32] (O) fallait que je sache gérer un peu tout

40Dismo recense erronément sept occurrences d’Imparfait du Subjonctif (4,8 %), temps verbal pourtant presque inusité à l’oral, même surveillé :

[33] (S) je je doute quand même qu'il s'agisse vraiment du bien

[34] (O) qu'est-ce que tu veux que je choisisse

41Quatre occurrences de SubjPr (2,4 %) ont été considérées comme adverbes et deux comme adjectifs (1,2 %) :

[35] (S) […] quel que soit le contenu de la conscience à avoir des des postures subjectives (ADV)

[36] (O) il y a plus d'endroit sur la Terre à l'heure actuelle qui soit préservé (ADV)

[37] (S) […] selon les cas pour essayer que la relation continue de fonctionner (ADJ)

[38] (O) il m'a demandé euh le couvert donc je lui ai donné à seize heures l'après-midi qu'on lui serve à manger (ADJ)

42Comme le montre ce bilan rapide du silence dans l’étiquetage du SubjPr, la principale source d’erreur provient, sans surprise, de la confusion avec l’IndPr.

6. Discussion et conclusion générale

  • 15 Stefanowitsch (2020 : 112, note 1) interroge néanmoins l’utilité du score F1 : « There are also var (...)

43Nous avons jusqu’ici délibérément évité de recourir aux concepts de « rappel » et de « précision » souvent convoqués dans la littérature spécialisée, éventuellement agrémentés du calcul de leur moyenne harmonique. Ainsi, dans son chapitre « Mesurer la qualité et la fiabilité d'une annotation », Zufferey (2020 : 169) évoque la prise en compte de « deux critères distincts », « d'une part, le rappel [qui] mesure le nombre d'occurrences de chaque catégorie qui ont été correctement trouvées par le système » et de l’autre « la précision [qui] mesure le nombre d'occurrences d'une catégorie qui ont été correctement labélisées […], parmi toutes celles que le système a labélisées comme telles ». Ces deux valeurs permettent alors le calcul de « leur moyenne harmonique (appelée score F1) », qui « exprim[e] la qualité globale de l'annotation automatique » notamment « en moyennant les scores F1 par catégorie, en pondérant ou non chaque catégorie par son nombre d'occurrences dans la référence »15 (2020 : 169).

44Dans notre corpus, la moyenne harmonique (Score F1) confirme la hiérarchie des résultats calculés auparavant, mais réduit considérablement les écarts entre les trois concurrents :

Tableau 13. Rappel, précision et moyenne harmonique (Score F1) dans l’étiquetage des 299 SubjPr ciblés

TTg

TTgT

Dismo

Rappel

60,9 %

53,5 %

44,1 %

Précision

75,5 %

72,1 %

99,2 %

Score F1

67,4 %

61,4 %

61,1 %

45Dismo est l’étiqueteur qui bénéficie le plus du calcul du score F1, en raison d’une « précision » proche de 100 %, faisant écho à l’argumentaire développé par le concepteur de Dismo :

L’amélioration de la performance de l’annotation morphosyntaxique initiale se stabilise progressivement, ce qui nous amène à la conclusion que la taille du corpus d’entrainement est suffisante. […] Après le traitement des disfluences simples et notamment des répétitions, la précision de l’annotation morphosyntaxique finale atteint 97 % (pour le jeu d’étiquettes complet). (Christodoulides & Barreca 2017 : §38)

  • 16 Rappelons que les occurrences de bruit sont relativement faciles à identifier et à comptabiliser, a (...)

46Pour le linguiste ordinaire, se pose toutefois la question de l’interprétation à donner à l’affirmation selon laquelle « la précision de l’annotation morphosyntaxique finale atteint 97 % », ou, de manière encore plus flatteuse ici, 99,2 % dans le cas du SubjPr. L’augmentation du taux de « précision » s’offre-t-elle comme garantie de « l’amélioration de la performance de l’annotation morphosyntaxique initiale » ? À fortiori si l’on envisage le terme « précision », dans son acception courante, c’est-à-dire comme « caractère de ce qui est précis » (Petit Robert). Avec ici une « précision » de 99,2 %, Dismo surclasse largement ses deux concurrents, 74,3 % pour TreeTagger et 72,1 % TreeTagger-TCOF. Toutefois, en dépit de sa facilité de calcul16, le taux de « précision » – souvent mis en avant par les développeurs comme indice de performance – ne constitue qu’un indicateur médiocre de la qualité de l’annotation, dont dépendront pourtant les analyses linguistiques en aval. Rien ne garantit que les données correctement étiquetées soient représentatives de l’ensemble du corpus, à fortiori s’il s’agit de collecter et d’analyser, comme ici, les occurrences d’un phénomène langagier particulier. En effet, ici, TreeTagger – le plus performant des trois – rate deux occurrences de SubjPr sur cinq (39,1 %), TreeTagger-TCOF près de la moitié (46,5 %) et Dismo encore davantage (55,9 %). Or, l’un des intérêts fondamentaux de la linguistique de corpus réside dans son recours à « une méthodologie quantitative » lui permettant idéalement de « généraliser les conclusions observées sur la base d'un échantillon linguistique à l'ensemble de la langue ou d'un registre de langue particulier » (Zufferey 2020 : 4). Dès lors, d’un point de vue scientifique, seul un examen exhaustif des occurrences serait en mesure de garantir la robustesse (éventuelle) d’une telle généralisation. Stefanowitsch en fait d’ailleurs l’un des critères définitoires de la linguistique de corpus :

Corpus linguistics is the investigation of linguistic research questions based on the complete and systematic analysis of the distribution of linguistic phenomena in a linguistic corpus. (Stefanowitsch 2020 : 55)

In […] the definition of corpus linguistics adopted in this book, we stressed the need to investigate linguistic phenomena exhaustively, which we took to mean “taking into account all examples of the phenomenon in question”. (2020 : 111)

  • 17 Pour TreeTagger-TCOF, nous mentionnons le taux présenté sur le site de téléchargement de Perceo : « (...)
  • 18 Nous n’avons pas cherché à vérifier le bruit éventuel (et encore moins le silence) au sein de ces 1 (...)

47À moins de présumer – ce qu’aucun linguiste ne ferait – un fonctionnement de la langue parfaitement homogène quelle que soit l’étendue du corpus analysé, se posera donc la question de la représentativité des données correctement étiquetées. La présence importante de silence altère inévitablement la qualité des résultats obtenus et ce en dépit des taux élevés de « précision », pris comme critères d’évaluation de « la performance de l’annotation morphosyntaxique » (Christodoulides & Barreca 2017 : §38). Sur l’ensemble des étiquettes, Dismo revendique ainsi un taux de 97 % de « précision » et TreeTagger-TCOF 95,2 %17. Même si, globalement, silence et bruit se compensent, l’indication d’un taux de « précision » général tend à noyer les phénomènes rares et difficiles à étiqueter dans la masse, surreprésentée, des phénomènes fréquents dont l’étiquetage est facile. Par exemple, dans le cas de l’étiquetage du SubjPr avec TreeTagger, le silence provient majoritairement de la confusion avec l’IndPr (voir Tableau 10), générant donc du bruit dans l’étiquetage de 96 des 13 213 occurrences d’IndPr du corpus18. En d’autres termes, les 96 occurrences de silence dans le SubjPr ne correspondent qu’à 0,7 % de bruit dans l’IndPr, équivalant à une « précision » de 99,3 % pour l’étiquetage de l’IndPr. En l’absence du taux de rappel – beaucoup plus difficile à calculer –, de tels pourcentages avantageux (toujours proches de 100 %) ne peuvent que conduire le linguiste ordinaire à imaginer avoir collecté des données d’une grande fiabilité.

48Un autre problème demeure, lié à la nature même du fonctionnement de l’informatique. Les ratages ne seront jamais véritablement aléatoires mais systématiques (Stefanowitsch 2020 : 88-89). Par exemple, dans notre corpus, TreeTagger a systématiquement étiqueté les graphies <aille> (7/7) comme étant des ‘VER:pres’ du verbe ailler. L’aléatoire est exclu. Les mêmes causes engendrent les mêmes effets. Et en aval, l’analyse du linguiste risque, à son insu, de pâtir de l’ampleur et de la teneur du biais systématique introduit par l’algorithme d’étiquetage. En effet, d’un point de vue épistémologique, quelle que soit la langue, comme on l’a déjà évoqué, il semble difficile de partir du principe que les résultats collectés grâce à l’étiqueteur automatique sont en tous points représentatifs des données manquantes. Or, pour les phénomènes dont le taux de silence est important, la question de la représentativité est loin d’être anecdotique, d’autant plus qu’elle amplifie la problématique initiale de la représentativité du corpus lui-même, à fortiori si l’on considère que « la représentativité des données est une question primordiale pour la linguistique de corpus » (Jacques 2005 : 26).

  • 19 Traduction de l’anglais « recall », de par son opacité, ce terme tend à masquer l’importance de sa (...)
  • 20 « for most taggers the precision and recall fluctuate rather a lot from tag to tag » (van Halteren (...)

49Idéalement, pour permettre un usage éclairé des étiqueteurs automatiques, le linguiste devrait toujours disposer des taux de silence ou de « rappel »19 propres à chaque étiquette20, l’un des intérêts de la linguistique de corpus résidant notamment dans le fait que l’analyse d’un nombre important d’occurrences attestées permet de compléter l’examen ponctuel d’exemples fabriqués ou relevés à la volée. L’affichage du taux de « précision » et de « rappel » de chaque étiquette permettrait alors aux linguistes recourant à ce type d’outil de pondérer les résultats de leurs analyses ou, mieux encore, d’aller rechercher le silence. Par ailleurs, la publication des performances contraindrait les développeurs à les tester de manière rigoureuse si possible en collaboration avec des linguistes experts de chaque étiquette ou série d’étiquettes, ce qui permettrait de mieux évaluer les limites de l’étiquetage et, idéalement, d’en améliorer les performances. Nous nous inscrivons ici dans la lignée des suggestions d’Anthony (2013 : 156) :

[…] researchers in corpus linguistics should […] work more closely with members of the science and engineering community, such as computer scientists and software engineers, in order to design and build the next generation of corpus tools.

50Dans le cas du SubjPr examiné ici, il est tout d’abord fondamental de reconnaitre l’ambigüité d’un nombre majoritaire de formes graphiques (voir Tableau 4), rendant par conséquent déterminante la prise en compte des indices fournis par le cotexte antérieur, comme la présence de falloir, vouloir, etc. pour que, avant que, en attendant que, etc. (voir Blanche-Benveniste 2010 : 143-145). Au sein de notre corpus, à elle seule la détection du verbe falloir (<faut>, <fallait>, <faudra>, etc.) aurait permis à TreeTagger de repérer 42 SubjPr sur les 117 occurrences ratées, aboutissant à l’élimination de 36 % du silence. Abstraction faite de l’apostrophe, l’empan typique en amont de l’occurrence du SubjPr est de trois items, soit de type « faut-3 que-2 je-1 bouge0 » (voir annexe).

  • 21 Egbert et al. (2020 : 33) invitent les linguistes à poser un regard critique sur les logiciels qu’i (...)
  • 22 « TreeTagger is one of the most established and accessible tools relevant to annotation, including (...)

51Notre étude ne portant que sur le SubjPr, elle passe sous silence la grande fiabilité de l’étiquetage d’autres phénomènes, fiabilité qui explique les taux élevés de précision globale mis en avant par les développeurs. Toutefois se pose la question des usages concrets de ces étiqueteurs et des analyses linguistiques auxquelles ils sont susceptibles de donner lieu dans les cas les moins favorables21. En effet, TreeTagger22 est utilisé dans plusieurs logiciels (TXM, Anatext, Lancsbox, etc.), et, sans prise de conscience du taux parfois élevé de silence dans les résultats, les linguistes risquent à leur insu de fonder leurs analyses sur des données biaisées à l’identique lors de l’étiquetage, les conclusions des uns renforçant alors, peut-être à tort, celles des autres. En définitive, bien que dans la lignée de Rastier (2005 : 41), on puisse idéalement imaginer que « pour la linguistique de corpus, l’informatique n’est qu’un instrument, non un modèle théorique », un biais systématique introduit par l’étiqueteur est toujours susceptible d’influencer les descriptions et les modèles théoriques…

Haut de page

Bibliographie

Anthony L. (2013). « A critical look at software tools in corpus linguistics », Linguistic Research 30(2) : 141-161.

Avanzi M., Béguelin M.-J. & Diémoz F. (2016). « De l’archive de parole au corpus de référence : la base de données orales du français de Suisse romande (OFROM) », Corpus 15 : en ligne. doi : 10.4000/corpus.3060.

Benzitoun C., Fort K. & Sagot B. (2012). « TCOF-POS : un corpus libre de français parlé annoté en morphosyntaxe », JEP-TALN 2012 - Journées d’Études sur la Parole et conférence annuelle du Traitement Automatique des Langues Naturelles. Grenoble, 99-112.

Blanche-Benveniste C. (2010). Le français. Usages de la langue parlée. Leuven/Paris : Peeters.

Brugman H. & Russel A. (2004). « Annotating Multi-media/Multi-modal Resources with ELAN », LREC 2004. Fourth International Conference on Language Resources and Evaluation. Lisbonne : European Language Resources Association, 1-4.

Christodoulides G. & Barreca G. (2017). « Expériences sur l’analyse morphosyntaxique des corpus oraux avec l’annotateur multi-niveaux DisMo », Corela HS-21 : 1-16. doi: 10.4000/corela.4867.

Christodoulides G., Avanzi M. & Goldman J.-P. (2014). « DisMo : A morphosyntactic, disfluency and multi-word unit annotator. An evaluation on a corpus of French spontaneous and read speech », 9th International Conference on Language Resources and Evaluation (LREC). Reykjavik, 3902-3907.

Egbert J., Larsson T. & Biber D. (2020). Doing Linguistics with a Corpus. Cambridge : Cambridge University Press. doi: 10.1017/9781108888790.

Gadet F. (1996). Le français ordinaire. Paris : Armand Colin.

Güngör T. (2010). « Part-of-Speech Tagging », in Indurkhya N. & Damerau F. J. (éd.) Handbook of natural language processing. Boca Raton : Chapman & Hall/CRC, 205-235.

Heiden S., Magué J.-P. & Pincemin B. (2010). « TXM : Une plateforme logicielle open-source pour la textométrie - conception et développement », 10th International Conference on the Statistical Analysis of Textual Data - JADT 2010. Rome, 1021-1032.

Jacques M.-P. (2005). « Pourquoi une linguistique de corpus ? », in Williams G. (éd.) La linguistique de corpus. Rennes : Presses universitaires de Rennes, 21-30.

Kent A., Berry M. M., Luehrs F. U. & Perry J. W. (1955). « Machine literature searching VIII. Operational criteria for designing information retrieval systems », American Documentation 6-2 : 93-101. doi : 10.1002/asi.5090060209.

Newman J. & Cox C. (2020). « Corpus Annotation », in Paquot M. & Gries S. T. (éd.) A Practical Handbook of Corpus Linguistics. Berlin : Springer, 25-48. doi: 10.1007/978-3-030-46216-1_2.

Rastier F. (2005). « Enjeux épistémologiques de la linguistique de corpus », in Williams G. (éd.) La linguistique de corpus. Rennes : Presses universitaires de Rennes, 31-45.

Schmid H. (1999). « Improvements in part-of-speech tagging with an application to German », in Armstrong S. et al. (éd.) Natural language processing using very large corpora. Dordrecht : Springer Netherlands, 13-25.

Stefanowitsch A. (2020). Corpus Linguistics. A Guide to the Methodology. Berlin : Language Science Press.

Swanson D. R. (1988). « Historical note : Information retrieval and the future of an illusion », Journal of the American Society for Information Science 39(2) : 92-98. doi : 10.1002/(sici)1097-4571(198803)39:2<92::Aid-asi4>3.0.Co;2-p.

Tanguy L. (2012). Complexification des données et des techniques en linguistique : contributions du TAL aux solutions et aux problèmes, Université de Toulouse II-Le Mirail, 257.

van Halteren H. (1999). « Performance of taggers », in van Halteren H. (éd.) Syntactic Wordclass Tagging. Dordrecht : Springer, 81-94. doi : 10.1007/978-94-015-9273-4.

Zufferey S. (2020). Introduction à la linguistique de corpus. London : ISTE.

Haut de page

Annexe

Répartition par émission du Tableau 7. Bruit (Br) et silence (Sil) dans l’étiquetage de TreeTagger (TTg), TreeTagger-TCOF (TTgT) et Dismo (Dis) pour les 133 SubPr ciblés du français parlé surveillé

 

Répartition par émission du Tableau 8. Bruit (Br), silence (Sil) dans l’étiquetage de TreeTagger (TTg), TreeTagger-TCOF (TTgT) et Dismo (Dis) pour les 166 SubPr ciblés du français ordinaire

 

Quelques exemples d’empan dans l’usage de falloir au sein de notre corpus

Sur les 42 occurrences de SubjPr avec falloir, l’empan moyen est de 3,7.

-3

-2

-1

SubjPr

faut

que

je

bouge

il

faut

que

ça

avance

il

faut

que

nous

terminions

cette conversation

il

fallait

que

je

sauve

le monde

il

va

falloir

que

j’

aille

voir mon bébé

faudrait

qu’

on

vérifie

L’empan le plus long est de 8 :

-8

-7

-6

-5

-4

-3

-2

-1

SubjPr

il

faut

que

ce

soit

toujours

l’

homme

qui

donne

les consignes au robot

Haut de page

Notes

1 L’adjectif « ordinaire » renvoie ici au statut des connaissances informatiques de la plupart des linguistes, pour qui les étiqueteurs automatiques fonctionnent de manière opaque. En effet : « the tools used in corpus linguistics are software based, and thus, abstract in nature. To develop a tool for corpus linguistics requires an understanding of not only human languages but also programming languages, computer algorithms, data storage methods, character encodings, and user-interface visual designs. Without a deep knowledge of these different aspects of software design and their impact on data analyses, it is easy to forget the crucial role that tools play » (Anthony 2013 : 144).

2 https://www.ortolang.fr/market/corpora/perceo# (accédé le 02/04/2024).

3 L’orthographe est en soi porteuse d’une conception préthéorique sur la langue, susceptible d’avoir des répercussions en ❹. Par exemple, dans l’énoncé « par contre en maths je pense pas que j'[e] le niveau » (TCOF, Apprendreaulycee, 2000 : 12’25’’), l’orthographe impose de choisir entre <ai> ou <aie> pour transcrire [e]. Or, ce choix affectera nécessairement l’étiquetage en aval : Présent de l’Indicatif pour <ai>, du Subjonctif pour <aie>. Pourtant, le statut de [e] est objectivement indécidable ; c’est uniquement l’orthographe qui contraint le transcripteur à opter pour l’une ou l’autre des solutions.

4 Voir également §6 pour des estimations très proches portant explicitement sur l’étiquetage de corpus oraux.

5 Les graphies des verbes apparaitront entre chevrons.

6 Les personnes sont numérotées selon l’ordre traditionnel de leur présentation, je=1, tu=2, etc.

7 Sont ici considérées comme idiosyncrasiques les graphies au sein de la conjugaison d’un même verbe, soit, ici, celles d’aller – <aille>, <ailles>, <aillent>.

8 Pour les personnes 1/2 et 4-6 des verbes du 2e groupe, il existe en théorie une ambigüité avec l’Imparfait du Subjonctif.

9 Nous faisons abstraction ici de l’Impératif, dont l’usage reste relativement rare en français parlé dans les interactions entre adultes, à fortiori dans des entretiens radiophoniques ou des reportages.

10 C’est-à-dire la « langue de tous les jours » (Gadet 1996 : V).

11 Oral produit à partir de notes préparatoires, pratique professionnelle habituelle des animateurs de radio, qui ne correspond pas à du français parlé spontané, qu’il soit surveillé ou ordinaire, puisqu’il répond aux normes de l’écrit.

12 Le pourcentage de la partie en vert correspond à ce qui est généralement appelé « rappel » (« recall » en anglais ; voir §6). Le calcul des pourcentages est le suivant :
Image 100002010000024D00000012DA6BAEF868356CC4.png

13 La différence considérable des pourcentages de silence entre français parlé surveillé et ordinaire provient essentiellement de la plus grande proportion de verbes de type ⑦ (1er groupe et deux verbes du 3e, découvrir, ouvrir, voir Tableau 4) dans ce second sous-corpus. Dans le cas de TreeTagger, en raison de leurs graphies ambigües avec l’Indicatif, les verbes de type ⑦ sont responsables de 60 % (20/33) du silence dans la variété surveillée et de 85 % (71/84) dans la variété ordinaire.

14 Nous tenons à signaler qu’aucun bébé n’a été maltraité durant la rédaction de cet article.

15 Stefanowitsch (2020 : 112, note 1) interroge néanmoins l’utilité du score F1 : « There are also various scores that combine individual measures to give us an overall idea of the accuracy of a test, for example, the F1 score, defined as the harmonic mean of precision and recall. Such scores are useful in information retrieval or machine learning, but less so in corpus-linguistic research projects, where precision and recall must typically be assessed independently of, and weighed against, each other. »

16 Rappelons que les occurrences de bruit sont relativement faciles à identifier et à comptabiliser, alors que le repérage du silence s’avère toujours malaisé.

17 Pour TreeTagger-TCOF, nous mentionnons le taux présenté sur le site de téléchargement de Perceo : « La version de Tree Tagger ré-entrainée permet d'obtenir un taux de précision respectivement de 95,2 % (POS + lemme) et de 96,4 % (POS uniquement) ».

18 Nous n’avons pas cherché à vérifier le bruit éventuel (et encore moins le silence) au sein de ces 13 213 occurrences étiquetées ‘VER:pres’ par TreeTagger sur l’intégralité de notre corpus.

19 Traduction de l’anglais « recall », de par son opacité, ce terme tend à masquer l’importance de sa prise en compte, et ajoute au caractère quelque peu magique et mystérieux de la linguistique informatique. Tout comme le terme « précision », « rappel » provient du champ de la recherche documentaire comme en témoigne l’article inaugural de Kent et al. (1955) où sont proposés les termes de « recall » et « pertinency factor », lequel deviendra « relevance ratio » puis « precision ratio » vers 1965 (Swanson 1988 : 93). La problématique de la recherche documentaire diffère en de nombreux points de celle de l’étiquetage automatique. L’usager d’une bibliothèque en quête de documents sur le comportement des fourmis rouges n’a pas besoin de les trouver tous. Le silence n’est ici qu’une problématique annexe, même si dans l’absolu il peut paraitre souhaitable de l’éliminer. Par ailleurs, un document peut comporter dans de plus ou moins grandes proportions les informations recherchées. D’ailleurs Kent et al. (1955 : 97) considèrent le cas de figure d’un silence important et d’un rappel suffisant comme possiblement satisfaisant pour l’usager : « Such a situation may, however, be satisfactory if a small fraction of the pertinent documents contains sufficient information to satisfy the user of the system ». Comme le montre notre bref aperçu, évaluer les performances des étiqueteurs automatiques des parties de discours en recourant à des concepts issus de la recherche documentaire ne va pas de soi, les enjeux étant en partie différents.

20 « for most taggers the precision and recall fluctuate rather a lot from tag to tag » (van Halteren 1999 : 84).

21 Egbert et al. (2020 : 33) invitent les linguistes à poser un regard critique sur les logiciels qu’ils utilisent : « In general, the field tends to rely heavily on pre-existing software tools. These tools thus have a strong influence on current research practices in quantitative corpus linguistics, which means that it is of the utmost importance that we critically examine the results they provide. […] we should make sure to test (and report) the precision and recall and not just accept results at face value ». Si, ne serait-ce que pour des raisons épistémologiques, un tel regard critique parait toujours souhaitable, sans avertissement explicite de la part des développeurs, il n’est pas sûr que le linguiste ordinaire ait pleinement conscience des limites des logiciels qu’il utilise. Ainsi les développeurs devraient-ils systématiquement expliciter les taux de bruit et de silence, par étiquette.

22 « TreeTagger is one of the most established and accessible tools relevant to annotation, including lemma and POS tagging, available for Windows, Mac, and Unix systems » (Newman & Cox 2020 : 45).

Haut de page

Table des illustrations

Titre Tableau 1. Le bruit et le silence dans l’attribution d’une étiquette X donnée
URL http://journals.openedition.org/corpus/docannexe/image/9607/img-1.png
Fichier image/png, 53k
Titre Tableau 7. Bruit (Br) et silence (Sil) dans l’étiquetage de TreeTagger (TTg), TreeTagger-TCOF (TTgT) et Dismo (Dis) pour les 133 SubPr ciblés du français parlé surveillé
URL http://journals.openedition.org/corpus/docannexe/image/9607/img-2.png
Fichier image/png, 29k
Titre Tableau 8. Bruit (Br), silence (Sil) dans l’étiquetage de TreeTagger (TTg), TreeTagger-TCOF (TTgT) et Dismo (Dis) pour les 166 SubPr ciblés du français ordinaire
URL http://journals.openedition.org/corpus/docannexe/image/9607/img-3.png
Fichier image/png, 29k
Titre Tableau 9. Synthèse des 299 SubjPr ciblés de nos corpus de français parlé surveillé et ordinaire
URL http://journals.openedition.org/corpus/docannexe/image/9607/img-4.png
Fichier image/png, 37k
URL http://journals.openedition.org/corpus/docannexe/image/9607/img-6.png
Fichier image/png, 46k
URL http://journals.openedition.org/corpus/docannexe/image/9607/img-7.png
Fichier image/png, 91k
Haut de page

Pour citer cet article

Référence électronique

Christian Surcouf, « À pas de loup dans la bergerie… La problématique du silence et du bruit dans l’étiquetage automatique du Subjonctif Présent en français parlé »Corpus [En ligne], 26 | 2025, mis en ligne le 16 janvier 2025, consulté le 09 février 2025. URL : http://journals.openedition.org/corpus/9607 ; DOI : https://doi.org/10.4000/1364w

Haut de page

Auteur

Christian Surcouf

Université de Lausanne (Suisse)

Haut de page

Droits d’auteur

Le texte et les autres éléments (illustrations, fichiers annexes importés), sont « Tous droits réservés », sauf mention contraire.

Haut de page
Rechercher dans OpenEdition Search

Vous allez être redirigé vers OpenEdition Search