- 1 Je remercie les amis de Jean Dubois et Françoise Dubois-Charlier de m’avoir donné une place dans ce (...)
- 2 Cf. Dacos, Mounier (2015).
1Les chercheurs en sciences humaines et sociales (SHS) utilisent de plus en plus l’ordinateur pour analyser leurs corpus de textes : les historiens travaillent quotidiennement sur des textes anciens, les littéraires effectuent des études lexico-métriques et thématiques sur des romans, les psychologues recherchent des marqueurs dans des entretiens, les sociologues analysent les opinions exprimées dans des sondages, les politologues examinent des thèmes spécifiques dans les discours de campagne, etc.2. Dans tous les cas, il s’agit de trouver des informations « intéressantes » présentes dans les textes : classer des notions, des entités ou des relations, détecter des concepts caractéristiques de sous-corpus, mettre à jour des relations entre entités, trouver des oppositions entre thèmes, des similarités ou des collocations de termes, etc.
- 3 Cf. les logiciels Hyperbase (Brunet, 2010), Iramuteq (Ratinaud, 2009), Lexico (Lamalle et alii, 200 (...)
- 4 Ce que nous savons depuis Martinet (1966).
- 5 Cf. Leeman, Silberztein (2020).
2Les logiciels d’analyse utilisés aujourd’hui par les chercheurs en sciences sociales pour retrouver des informations dans les textes fonctionnent tous sur le même principe3 : ils traitent les textes à analyser comme étant constitués par des séquences de mots, puis effectuent des calculs afin de détecter des fréquences de mots anormales. Mais l'unité traditionnelle et intuitive qu'est le mot est définie par tous ces logiciels comme une forme graphique séparée des autres par une espace. Or cette entité ne correspond presque jamais à une unité de sens4. Aucune chance qu’un logiciel d’analyse de textes retrouve des informations de façon fiable dans un texte s’il confond et unifie par exemple les occurrences du mot chambre dans les contextes chambre à coucher, chambre froide, chambre des députés ou chambre noire5.
3Pour fournir aux chercheurs en SHS les informations dont ils ont besoin, il faut donc construire une passerelle entre les formes graphiques présentes dans les textes et les unités de sens qui les intéressent. Dans cette présentation, nous montrons à partir d’exemples concrets comment les ressources linguistiques compilées par Dubois et Dubois-Charlier peuvent être utilisées pour construire cette passerelle.
4Les logiciels d’analyse de textes qui basent tous leurs calculs (indexation, comptage des occurrences, détection des collocations, etc.) sur les formes orthographiques traitent indépendamment les formes suivantes :
manger, mange, mangera, mangeur, immangeable, remangerait, etc.
5Les auteurs de certains de ces logiciels revendiquent ces distinctions ; ainsi par exemple, pour le logiciel Lexico, André Salem remarque que dans les textes de gauche des années 1970, on parle des libertés dans le cadre de la défense des droits au logement, à l’éducation, etc. tandis que le terme singulier la liberté apparaît dans des textes de droite pour désigner les concepts plus traditionnels de liberté démocratique, et de liberté d’entreprendre, cf. Lamalle et al. (2002). Il s’agit donc de deux concepts différents, effectivement il ne faut pas unifier leurs occurrences.
6La remarque est pertinente car en effet, certains noms abstraits ne se mettent pas au pluriel de façon sémantiquement transparente, par exemple les termes horreur (vs. les horreurs de la guerre), amour (vs. les amours de jeunesse), etc. Mais la très grande majorité des noms abstraits, non-animés, animés et humains se mettent au pluriel de façon totalement transparente, sans différence de sens autre que la mise au pluriel ; ainsi :
Une manifestation → des manifestations
Une table → des tables
Une girafe → des girafes
Un boulanger → des boulangers
7Pratiquement, la mise au pluriel une manifestation → des manifestations n’est pas pertinente lorsqu’un historien ou un politologue cherche à évaluer l’état de la paix dans la société en analysant des journaux. En ne rassemblant pas les occurrences singulières et plurielles des termes, on minimise leur fréquence, et donc leur importance, ce qui fausse tous les résultats liés à la spécificité d’un terme par rapport à un corpus (parle-t-on plus de manifestations dans les quotidiens régionaux ou les magazines hebdomadaires ?), aux collocations (parle-t-on plus des manifestations dans des phrases à connotation positive ou négative ?), etc.
- 6 NooJ est une plateforme de développement utilisée pour formaliser des phénomènes linguistiques sous (...)
8Une meilleure solution, proposée par Dubois et Dubois-Charlier dans le dictionnaire Dictionnaire Electronique des Mots (DEM), est de découpler les termes singuliers de leurs formes plurielles lorsque leur sens est différent, ce qui est représenté de la façon suivante6 :
liberté,N+f+Nanime+CONT="adhér à N"+DOM="SOC"+OP="syst" +SENS="indépendance"+OP1="C1g-"+FLX=F_S
libertés,N+FLX=F_PL+f+Nanime+Emp=01+CONT="f preu p N"+DOM="SOC" +OP="car"+SENS="actes très libres av qn"+OP1="H2a1"
libertés,N+FLX=F_PL+f+Nanime+Emp=02+CONT="rli qc p N"+DOM="DRO" +OP="grp"+SENS="droits sociaux"+OP1="U3b2"
9Ces trois entrées décrivent trois sens : la première entrée correspond au nom inanimé synonyme de indépendance ; ce mot possède une forme au singulier et au pluriel. Les deux entrées suivantes correspondent à deux noms obligatoirement pluriels : le premier emploi (+Emp=1) correspond à l’expression prendre des libertés avec qqun tandis que le second (+Emp=2) est synonyme de droits sociaux.
10Un argument plus général pour ne pas remplacer les formes par leur lemme consiste à dire qu’on ne veut pas perdre l’information morphologique lorsqu’on effectue des analyses. Par exemple, on pourrait vouloir étudier le passage du tutoiement au vouvoiement dans des pièces de théâtre. Mais dans ce cas, pourquoi fusionner les occurrences des cinq formes homographes mange suivantes :
(1) première personne du singulier, présent de l’indicatif, (2) première personne du singulier, présent du subjonctif, (3) deuxième personne du singulier, impératif, (4) troisième personne du singulier, présent de l’indicatif, (5) troisième personne du singulier, présent du subjonctif
11En fait, il serait bien plus raisonnable de rassembler les deux occurrences mange (4) et mangeons puisqu’elles sont souvent synonymes, comme on le voit dans la phrase :
On mange ensemble demain = Nous mangeons ensemble demain
12et à l’inverse de distinguer la forme à l’impératif (ex. Luc, mange ta soupe !) des formes à l’indicatif (ex. Elle mange ta soupe) qui correspondent à des contextes discursifs différents.
13Un système fondé exclusivement sur des formes orthographiques n’est pas cohérent d’un point de vue sémantique puisqu’il traite comme différentes des occurrences synonymes (on mange = nous mangeons) tandis qu’il unifie des occurrences de sens différents (Mange ta soupe vs. Elle mange ta soupe). Ces incohérences systématiques ont forcément pour conséquence que les résultats produits par ces logiciels ne sont pas fiables, alors que leur but avoué est justement d’aider les utilisateurs à extraire du sens de leur corpus de façon fiable.
- 7 La requête NooJ « <manger> » permet d’unifier toutes les formes de l’unité manger ; la requête « <manger+PR+3+s> »</manger+PR+3+s> (...)
14En pratique, il n’y a aucune raison de sacrifier la reconnaissance des unités de sens (en ne regroupant pas les variantes morphologiques d’un même sème) au profit de la distinction des formes morphologiques (en distinguant les formes orthographiques différentes) : le dictionnaire DEM nous donne accès aussi bien aux unités de sens qu’aux informations flexionnelles, à volonté7.
- 8 Cf. Loubère, Ratinaud (2014).
- 9 Cf. Heiden (2010).
- 10 Cf. Schmid (1994).
- 11 Mais les étiqueteurs de texte stochastiques (probabilistes, statistiques ou fondés sur des réseaux (...)
15Certains analyseurs de texte utilisent des lemmatiseurs. Par exemple, on peut connecter le logiciel Iramuteq8 à un dictionnaire de formes fléchies, tandis que le logiciel TXM9 utilise le logiciel de lemmatisation TreeTagger10 pour lemmatiser les formes11. Mais si un sociologue cherche à étudier les mouvements sociaux, la simple lemmatisation ne suffit pas : il devra aussi tenir compte des dérivations dans son corpus, sinon les trois phrases suivantes ne seront par décomptées ensemble :
... Voici les grèves, les manifestations et les rassemblements qui se tiennent à Paris... (www.evous.fr/Les-Manifestations-a-Paris-la-semaine-1176044.html)
...Les manifestantes ont rendu hommage à ces femmes tuées... (www.leparisien.fr/societe/paris-rassemblement-au-trocadero-pour-denoncer-le-100e-feminicide-de-l-annee-01-09-2019-8143560.php)
... Brest : les lycéens et les étudiants remanifesteront demain, vendredi... (rennes.maville.com/actu/actudet_-Brest-les-lyceens-et-les-etudiants-remanifesteront-demain-vendredi_-1548674_actu.Htm)
16Plus généralement, les phrases suivantes étant parfaitement synonymes, les occurrences des formes immangeable, manger, mangent, mangeurs et remange doivent être rassemblées :
Cette tarte est immangeable = On ne peut pas manger cette tarte
Luc mange beaucoup de fromage = Luc est un gros mangeur de fromage
Léa remange de la viande = Léa s’est remise à manger de la viande
17En français comme dans de nombreuses langues, la dérivation est un phénomène massif : ignorer les formes dérivées d’un concept a pour conséquence que la fréquence de ce concept va être systématiquement sous-estimée dans les calculs statistiques de pertinence, de spécificité, etc.
- 12 Le logiciel Alceste calcule la « forme réduite » (ou racine) des mots d’un texte à l’aide de simple (...)
18Certains auteurs de logiciels d’analyse ont bien conscience de l’importance des formes dérivées, et leurs logiciels12 proposent de calculer des « formes réduites » (grosso modo des sortes de racines) grâce à des manipulations purement orthographiques, comme par exemple supprimer les suffixes « euses » et « erons » pour unifier sous la racine « mang » les occurrences de mangeuses et mangerons. Mais des calculs purement orthographiques ne peuvent pas être fiables :
19— d’une part, la « racine » mang serait tout aussi présente dans les termes manga, manganèse, manglier, mangrove, mangue, etc. Unifier manger et toutes ces formes pour effectuer des calculs statistiques ne peut que produire des résultats aléatoires. Ainsi par exemple, le logiciel Hyperbase propose pour le mot amour les formes amours, amouracher, amoureuse et amoureusement... et aussi amphigourique, amphithéâtre, ampleur et amusait... mais aucune des formes du verbe aimer :
Figure 1. Les formes du mot amour proposées par Hyperbase
20— d’autre part, l’approche purement orthographique ne permet pas de traiter correctement les formes superficiellement dérivées mais qui ont acquis une autonomie sémantique, par ex. global/globalisation, ouvrage/ouvragé, social/socialisme, etc.
- 13 Cf. Dubois & Dubois-Charlier (1997). Le dictionnaire est présenté par Leeman & Sabatier (2010).
- 14 Le verbe manger correspond à 16 emplois, et donc à 16 entrées dans le dictionnaire LVF. Ces entrées (...)
21La bonne approche est linguistique : il faut décrire précisément, pour chaque emploi (chaque sens), l’ensemble de ses formes dérivées associées, tout en écartant les formes superficiellement dérivées mais qui sont en fait des unités linguistiques indépendantes. C’est ce que propose le dictionnaire Les Verbes Français13 (LVF). Ainsi par exemple, voici la description de la seconde des seize entrées manger14 dans LVF :
manger,V+Emploi=02+AUX=AVOIR+FLX=MANGER+CONS=T1300 +CONS=N1i+CONS=A10+DRV=ABLE7:ARTISTE+ DRV=EUR:VOLEUR+DOM=CUI+CLASS=S3j+OPER="grp alim"+LEXI=1
22La propriété « FLX=MANGER » décrit la conjugaison de ce verbe ; la propriété « DRV=ABLE7:ARTISTE » permet de dériver l’entrée lexicale manger en mangeable et immangeable, puis de fléchir celles-ci en mangeables et immangeables ; la propriété « DRV=EUR:VOLEUR » permet de dériver le verbe en mangeur, puis de fléchir cette dernière forme en mangeurs, mangeuse et mangeuses. Noter que les différentes entrées du verbe manger (i.e. ses différents sens) ne sont pas toutes associées aux mêmes ensembles de formes dérivées ; par exemple, la forme dérivée « mangeoire » n’est pas associée à l’emploi n° 2 ci-dessus ; en revanche, elle existe bien pour l’emploi n° 4 qui décrit un emploi de manger dans un contexte collectif.
23En regroupant les formes conjuguées et aussi dérivées de l’unité sémantique manger, on peut retrouver toutes les occurrences de cette unité — quelle que soit sa forme superficielle — et donc compter ses occurrences, par exemple pour détecter si elle est corrélée avec d’autres unités sémantiques (ex. réunion de travail, signature de contrat), détecter si elle apparaît dans des phrases à connotation positive ou négative (ex. chez les patients des établissements d’hébergement pour personnes âgées dépendantes), si elle est plus présente dans des quotidiens régionaux que nationaux, etc. de façon bien plus complète que si l’on avait dissocié toutes ses formes.
24Pour aider les chercheurs en SHS à analyser leurs corpus de textes, la plupart des logiciels d’analyse statistique offrent aux utilisateurs la possibilité de calculer des termes proches sémantiquement, sous la forme de « nuages » lexico-sémantiques. Par exemple, voici une copie d’écran du logiciel Sketch Engine15 :
Figure 2. Le champ lexico-sémantique tristesse dans Sketch Engine
25Malheureusement, les champs lexico-sémantiques calculés par ces logiciels ne sont pas fiables ; par exemple, dans la figure précédente, Sketch Engine propose dans le champ lexical « tristesse » les termes admiration, bonhomie, dignité, douceur, ainsi que des mots quasi-grammaticaux comme expression et livrée. Quelle que soit la raison pour laquelle Sketch Engine a décidé de relier ces mots à tristesse, il faudrait absolument se garder de les sélectionner lorsqu’on voudra analyser les archives d’un quotidien pour estimer l’évolution du moral des Français ou retrouver des indices de dépression dans des entretiens psychologiques, sous peine d’obtenir des résultats totalement aléatoires.
26Pour identifier les domaines sémantiques, Dubois & Dubois-Charlier proposent une solution dans le Dictionnaire Electronique des Mots (DEM) et le dictionnaire Les Verbes Français (LVF). Chaque entrée de ces dictionnaires (c’est-à-dire chaque unité de sens) est associée à un code qui représente son domaine d’utilisation, parmi 122 :
Tableau 1. Les domaines dans DEM et LVF
27Ainsi par exemple, le code « ANA » correspond aux termes d’anatomie (ex. abdomen, muscler), le code « CHM » correspond aux termes de chimie (ex. acétate, oxyder), etc. En intégrant ces deux dictionnaires dans le logiciel NooJ, on peut alors construire des requêtes simples comme par exemple <N+CHM> pour retrouver dans une revue scientifique tous les articles qui mentionnent des termes de chimie, ou pour évaluer la proportion d’articles de chimie dans un corpus de revues scientifiques, etc.
- 16 Le père de Gustave Flaubert était médecin.
28La figure suivante représente une concordance obtenue très simplement, en sélectionnant les termes de chirurgie, de médecine, de pathologie et de pharmacie du dictionnaire DEM, puis en les appliquant aux romans de Gustave Flaubert16.
Figure 3. Termes médicaux dans les œuvres de Gustave Flaubert
29On pourra aussi construire des requêtes encore plus complètes, comme par exemple :
<N+AER> | <N+AST> | <N+BIO> | <N+BOT> | <N+CHM> | <N+ELT> | <N+HYD> | <N+INF> | <N+MAT> | <N+MEC> | <N+MEN> | <N+MES> | <N+MIN> | <N+MTR> | <N+PAP> | <N+PAT> | <N+PHA> | <N+PHY> | <N+TEC> | <N+TEL> | <N+VEH>
30Cette requête rassemble les termes de tous les domaines techniques (de « Aéronautique » à « Véhicule ») recensés dans le dictionnaire DEM, et pourrait être utilisée par exemple pour évaluer la proportion de termes techniques et scientifiques dans des magazines ou quotidiens, son évolution, etc.
- 17 Cf. François et alii (2007) pour une description complète du dictionnaire LVF.
31Dans le dictionnaire LVF, chaque emploi verbal est associé à une classe sémantique parmi quatorze17.
Tableau 2. Les classes sémantiques dans LVF
Code
|
Classe
|
Code
|
Classe
|
C
|
Communication
|
N
|
Munir, démunir
|
D
|
Don, privation
|
P
|
Psychologique
|
E
|
Entrée, sortie
|
R
|
Réalisation, mise en état
|
F
|
Frapper, toucher
|
S
|
Saisir, serrer, posséder
|
H
|
Etat physique
|
T
|
Transformation
|
L
|
Locatif
|
U
|
Union, réunion
|
M
|
Mouvement sur place
|
X
|
Verbes auxiliaires
|
32Les classes sont elles-mêmes subdivisées selon la nature de leurs arguments. Par exemple, la classe C1 contient les verbes de communication dont le sujet est humain ou animal (ex. crier, parler) ; la classe D2 contient les verbes de don ou de privation dont l’objet non-animé est employé au sens propre (ex. Luc offre un cadeau à ses enfants), tandis que la classe D3 recense les verbes datifs employés au sens figuré (ex. Cette solution offre des avantages à Luc), etc.
33En utilisant cette classification, on pourrait envisager de retrouver tous les verbes d’une classe donnée, par exemple tous les verbes de la classe D3, simplement en rassemblant tous les verbes de cette classe sous la forme d’une requête NooJ comme la suivante :
<V+D3> = <abandonner> | <accepter> | <accorder> | <acheter> | <acquérir> | <adjuger> | <administrer> | <adopter> | <adresser> | <affecter> | <agréer> | <ajouter> | <aliéner> | <aligner> | <aller> | <allouer> | <amener> | <appliquer> | <apporter> | <apprécier> | <approuver> | <appuyer> | <asservir> | <assigner> | <attacher> | <attester> | <attirer> | <attribuer> | <autoriser> | <avaliser> | <avoir> | <bénéficier> ...
34Malheureusement, une telle requête produirait des résultats très bruités, car la plupart des verbes ont des homographes qui appartiennent aussi à d’autres classes sémantiques : par exemple, même si le verbe abandonner a bien un emploi D3 (ex. Luc abandonne sa barque à un fort courant), il a en fait aussi 12 autres emplois qui ont des sens bien différents (ex. Ses forces l’ont abandonné).
35Pour retrouver l’emploi figuré (D3) du verbe offrir tout en écartant tous ses autres emplois (dont l’emploi propre D2), il faut prendre en compte le contexte syntaxique et distributionnel des occurrences de chaque emploi de ce verbe. A cette fin, chaque entrée verbale du dictionnaire LVF est associée à un ou plusieurs contextes syntaxiques et distributionnels. Par exemple, le verbe offrir D3 est associé au contexte codé « T33a0 » qui signifie : construction transitive directe (« T »), sujet et objet inanimés (« 3 »), préposition à (« a »), deuxième complément humain (« 0 »). En sélectionnant ce contexte, on peut retrouver les occurrences du verbe offrir dans son sens figuré (D3) tout en écartant les occurrences du verbe offrir dans son sens propre (D2).
- 18 Le bruit correspond à des résultats non souhaités, tandis que le silence correspond à des résultats (...)
36Le logiciel NooJ offre la possibilité de décrire chacun de ces contextes sous la forme d’une grammaire ; en pratique, pour retrouver toutes les occurrences du verbe offrir dans son sens figuré (D3), on construit la grammaire « T33a0 » qui caractérise le bon contexte ; en appliquant cette grammaire à un corpus de textes, on obtient une concordance qui ne contient quasiment aucun bruit18.
Figure 4. Grammaire T33a0
37Peut-être plus spectaculaire est l’expérience décrite dans Silberztein (2010) qui montre comment la formalisation des constructions syntaxiques et distributionnelles a permis de construire un système qui distingue les cinq sens du verbe abriter :
abriter1 (T11b8, P10b8) : Luc abrite Léa de la pluie avec un parapluie
abriter2 (T1101, P1001) : Luc abrite des réfugiés chez lui
abriter3 (T3100) : Cet immeuble abrite le service juridique
abriter4 (P10b1) : Luc s’abrite des ennuis derrière son chef
abriter5 (T13b8) : On abrite le port des vagues avec des digues
Figure 5. Concordance du verbe abriter4 produite avec la grammaire P10b1
Le Monde Diplomatique38La possibilité de distinguer (et donc de compter, traiter, et caractériser) des unités de sens bien déterminés plutôt que des formes orthographiques est une fonctionnalité cruciale pour les SHS. Par exemple, lorsqu’on analyse des entretiens psychologiques, des sondages ou même les discours des personnalités politiques, il est important de distinguer les occurrences de termes à connotation négative, par exemple :
... Bayrou s'abrite derrière l'indépendance des juges pour ne pas commenter... (www.lefigaro.fr/politique/2017/06/01/01002-20170601ARTFIG00224-bayrou-s-abrite-derriere-l-independance-de-la-justice-pour-ne-pas-commenter-l-affaire-ferrand.php)
39Pour l’emploi n° 4 du verbe abriter, on trouve des occurrences à connotation plus positive, par exemple :
Elle abrite des personnes traquées dans son appartement... (fr.wikipedia.org/wiki/Odette_Pilpoul)
40La figure suivante montre que les analyses factorielles sont très différentes, selon qu’on traite des formes orthographiques ou des champs lexico-sémantiques.
Figure 6. Différence entre les analyses factorielles de formes et de champs lexicaux.
41L’analyse factorielle sur les champs lexicaux (figure ci-dessus) montre clairement les corrélations entre le thème « Religion » et le texte « La conquête de Plassans », entre le thème « Argent » et les textes « L’argent » et « Au bonheur des dames » et entre le thème « Mort » et le texte « La débâcle », ce que ne permet pas de détecter l’analyse factorielle sur les formes orthographiques (première figure).
42D’un côté, les chercheurs en SHS (historiens, littéraires, psychologues, sociologues, etc.) utilisent des logiciels pour analyser leurs corpus de textes afin d’y détecter des informations intéressantes : spécificité de termes par rapport à un sous-ensemble de textes dans un corpus, oppositions ou collocations de concepts, relations entre entités, etc.
43De l’autre, les logiciels d’analyse de textes ne peuvent accéder à ces textes qu’en lisant des séquences de caractères rangés dans un fichier informatique : ils ne voient donc que des formes orthographiques. Or l’orthographe n’a un lien que très indirect avec le sens porté par les énoncés et elle n’est même pas fiable. Établir le lien entre les formes orthographiques apparaissant dans les fichiers-textes et les unités de sens (concepts, entités, prédicats et relations) qui constituent les informations qui intéressent les chercheurs en SHS nécessite un logiciel capable de prendre en compte :
44(1) la morphologie flexionnelle, par exemple pour fusionner les occurrences de « On mangera ensemble demain » et « Nous mangerons ensemble demain » ;
45(2) la morphologie dérivationnelle, par exemple pour fusionner les occurrences de « Qui mange le plus de fromage dans le monde ? » et « les dix plus grands mangeurs de fromage » ;
46(3) les champs lexico-sémantiques et les domaines pour les termes afin de classer des romans ou journaux selon leur contenu ;
47(5) les homographes, par exemple pour distinguer les termes à polarité négative « s’abriter derrière une excuse... » des termes à polarité positive, ex. « abriter des sans-abris ».
48Ces fonctionnalités nécessitent des ressources linguistiques qui sont disponibles dans les dictionnaires DEM et LVF de Dubois & Dubois-Charlier et accessibles par le logiciel d’analyse de textes NooJ. Nous espérons que les chercheurs en sciences sociales qui ont besoin d’explorer et d’analyser leur corpus sauront apprécier le gain qualitatif obtenu lorsqu’on analyse un texte à partir de ses unités linguistiques (concepts, entités, prédicats et relations) plutôt que de ses simples formes graphiques.