1. Introduction

1.1 Prolégomènes à la constitution et l’enrichissement des corpus

1La linguistique de corpus se donne pour objectif d’étudier la langue dans ses diverses manifestations en s’appuyant sur un éventail de données le plus large et le plus représentatif possible (écrit, oral, genres, régions, etc.), en appliquant des méthodes quantitatives pour l’essentiel. C’est dans ce cadre qu’ont donc émergé les projets de constitution de corpus de référence pour les différentes langues (cf. quelques corpus au niveau international dont de nombreux en langue anglaise, The Santa Barbara Corpus of Spoken American English, la Maptask, le Français Parlé du GARS (Aix-en-Provence), le corpus Valibel (Louvain), le PFC pour la phonologie, son corollaire PAC pour la langue anglaise, etc.). Ces projets de constitution de corpus se sont accompagnés d’un travail relatif à leur enrichissement, lequel a nécessité de mener une vraie réflexion sur la nature et les objectifs de cet enrichissement. Ce dernier se présente comme un jeu d’annotations spécifiques qui constitue un préalable à toute analyse linguistique. L’augmentation de la taille des corpus a par ailleurs nécessité le développement d’outils automatiques. Enfin, simultanément, une réflexion autour de l’archivage et de la mutualisation de ces corpus enrichis a été conduite et mise en œuvre au niveau national et international. Ceci permet de disposer de normes et de conventions relatives au bon usage autour de la création et de l’annotation des corpus (LDC, Ortolang, etc.).

2Au LPL, les corpus ont toujours été au cœur des recherches menées sur la parole. Mais le projet de constituer des ressources orales enrichies a réellement débuté au début des années 2000 (projet OTIM Blache et al., 2010a ; Blache et al., 2017) notamment sur le CID (Bertrand et al., 2008). L’objectif est alors de développer des corpus comportant des annotations sur les différents domaines de la linguistique (du niveau le plus fin de la phonétique jusqu’au niveau interactionnel, en passant par la prosodie, la morphologie, la syntaxe, le discours ainsi que le niveau mimo-gestuel). L’intérêt de disposer de tels corpus est de permettre l’analyse de chacun des domaines concernés mais aussi et surtout des liens entre chacun d’eux. Mais l’une des difficultés principales quand on cherche à rendre compte de la multimodalité de la parole concerne l’hétérogénéité des données considérées, qui requiert de penser l’annotation en amont, au niveau même de la représentation des informations. Une étape cruciale est donc l’élaboration d’un schéma d’annotation global permettant de considérer tous ces niveaux dans une seule et même approche formelle qui favorisera leur interrogation ultérieure.

4Des années de travail autour de la constitution et de l’enrichissement des corpus au LPL ont permis de mettre en œuvre des procédures désormais partagées au laboratoire et généralisables à tous les domaines de l’annotation linguistique. Ceci permet aux nouveaux concepteurs de corpus ou de nouvelles annotations de disposer d’un cadre et de suivre quelques étapes importantes facilitant l’analyse ultérieure d’interrogation des données enrichies. Simultanément, des outils, logiciels, ont été déployés pour faciliter ces différentes étapes.

1.2 Méthode générique de collecte et d’annotation proposée par le LPL

5Dans cette section, nous présentons la méthodologie déployée au LPL pour collecter et annoter les corpus de parole multimodaux. Elle est désormais suffisamment générale pour s’appliquer à une large gamme de problématique de recherche. La figure 1 ci-après en résume les points principaux.

6Cette figure illustre bien le fait que le processus de création d’un corpus et de ses annotations a lieu sous la forme d’une chaîne de traitements dont le point d’entrée sont les enregistrements. Bien que cet aspect ne soit pas le sujet de cet article, il est important de mentionner ici que la résolution et la qualité des appareils de capture (microphones, fréquence d’images, format de fichier, logiciel) vont exercer une influence déterminante sur la qualité du corpus, et donc sur les annotations à suivre. De même, le manque de normalisation des dits signaux impliquera que certaines annotations ne pourront pas être faîtes avec ces signaux, il est donc crucial d’apporter un très grand soin à ces aspects. Cependant, tous les corpus ne sont pas recueillis en laboratoire et pour les corpus de terrain (dits écologiques), la qualité des enregistrements entraîne parfois la perte d’une partie des données.

7À partir des données primaires (audio), une première étape de segmentation de la parole consiste à déterminer les IPUs - Inter-Pausal Units (c.f. section suivante). Nous effectuons ensuite la transcription orthographique au sein de ces IPUs, qui dans le même temps, sont corrigées manuellement. Dès lors que la transcription orthographique a été obtenue et vérifiée, les étapes ultérieures d’annotations proprement dites en mots, catégories syntaxiques, phonèmes, syllabes, unités prosodiques, etc, sont effectuées. Par ailleurs, les aspects mimo-gestuels sont annotés sur la base de la vidéo mais ils peuvent aussi s’ancrer sur certains niveaux de l’annotation (tels que les mots par exemple).

8Le procédé d’annotation est complexe et coûteux. Il nécessite donc une réflexion en amont et s’appuie quasiment toujours sur des modèles théoriques. Les choix opérés sont à la fois fondés sur les principes théoriques sous tendant l’objet et les questions de recherche, et doivent être suffisamment explicites et clairs pour que les annotateurs, qu’ils soient experts ou naïfs, puissent produire des annotations les plus fiables possibles. Les annotations semi-automatiques et automatiques sont le résultat de ce qui a été pensé en amont, ou annoté manuellement. Les annotations automatiques ne sont donc pas a-théoriques. Nous renvoyons le lecteur entre autres au développement du syllabeur (Bigi et al., 2010) ou encore à la détection automatique des hétéro-répétitions (Bigi et al., 2014). C’est donc bien le processus qui est automatique mais l’annotation quelle qu’elle soit dépend des présupposés théoriques du chercheur. Parmi les nombreux avantages de l’annotation automatique, la première consiste à permettre de traiter des corpus de grande taille, à la différence de l’annotation manuelle qui demeure extrêmement coûteuse en temps notamment. Grâce au développement d’outils automatiques, les experts peuvent produire une annotation manuelle sur un corpus assez réduit, traditionnellement appelé gold et utilisé comme référence dans le cas d’annotations multiples. Ce dernier sert notamment à évaluer le système automatique à la fois quantitativement (par exemple à évaluer le taux d’erreur) et qualitativement (le type d’erreur). Ceci est favorisé par le fait que les annotations automatiques sont consistantes. « Highly reliable manually annotated resources are, naturally, more expensive to construct, rarer and smaller in size than automatically annotated data, but they are essential for the development of automated annotation tools and are necessary whenever the desired annotation procedure either has not yet been automated or cannot be automated. » (The Clarin User Guide).

9L’enrichissement des corpus peut donc être totalement manuel ou totalement automatique. Le choix opéré au LPL (plus particulièrement avec le logiciel SPPAS présenté ci-après) est celui d’une annotation semi-automatique. Il est très irréaliste, selon nous, de penser que l’analyste humain peut être retiré du processus d’annotation. Généralement, ce type de système se construit de concert entre un expert linguiste et un informaticien spécialiste du traitement automatique de la parole et/ou du langage. L’annotation semi-automatique permet ainsi à l’humain d’inter-opérer, c’est-à-dire d’intervenir dans le processus d’annotation (notamment en termes de correction), ce qui favorise l’adaptation constante de l’outil utilisé.

10Dans cet article, nous présentons donc la chaîne de traitement déployée sur nos différents corpus depuis la segmentation du flux de parole en blocs (IPU) bornés par des pauses silencieuses au sein desquels est effectuée la transcription à partir de laquelle les différents niveaux d’annotation seront déclinés. Chacune des sections présentées dans cet article tente de résumer les motivations, méthodes et outils (parmi eux SPPAS, Marsatag et HMAD) associés à chaque dimension considérée (phonétique, lexique, morphosyntaxe, interaction) ou à un phénomène étudié en particulier (transitions thématiques, sourires, feedbacks, humour, gestes manuels).

2. IPUs et Transcription

11En raison de la taille des corpus de plus en plus importante, il s’avère nécessaire de préalablement segmenter le signal de parole. Le choix opéré au LPL, similairement à d’autres travaux existants tels que Koiso et al. (1998), a consisté à pré-découper automatiquement le signal en unités inter-pausales (IPUs). L’IPU est un bloc de parole borné par des pauses silencieuses, dont la durée varie selon les langues (durée minimale de 200 ms pour le français, dans le cas du CID). L’IPU présente plusieurs avantages dont ceux d’être une unité objective, formelle et repérable automatiquement. Elle permet notamment de disposer de petits blocs de parole au sein desquels l’étape de transcription ultérieure sera facilitée. L’IPU peut en outre être assimilée parfois aux tours de parole, lesquels sont encore très difficiles à déterminer puisqu’ils sont le résultat d’une conjonction d’indices syntaxique, prosodique et pragmatique (Ford et Thompson, 1996 ; Degand & Simon, 2009) qu’il reste encore aujourd’hui à caractériser.

12Une fois segmenté en IPU, le corpus est transcrit selon des conventions très précises. Pour certains corpus au LPL tels que le CID, nous avons adopté une transcription orthographique enrichie (TOE) (Bertrand et al. 2008). La motivation initiale de cette transcription est liée au manque encore important de travaux sur la parole spontanée dans les années 2000. Nous n’avons pas de certitudes sur le niveau de variabilité de cette parole, et donc de l’écart à la norme d’un tel jeu de données. Afin de ne pas rater des phénomènes, mais surtout pour optimiser les outils automatiques utilisés ultérieurement, nous avons donc privilégié cette TOE, qui comporte des éléments tels que les élisions, les prononciations ou liaisons non attendues, etc. (voir Bigi et al. 2012 pour plus de détails sur les bénéfices d’une telle TOE sur la phonétisation et l’alignement sur le signal audio).

13Les conventions de transcription de la TOE sont inspirées de celles du GARS (Benveniste & Jeanjean, 1987). Cet ensemble de règles d’annotations peut être utilisé depuis n’importe quel logiciel d’annotation (Praat, Elan,...). La TOE constitue le point d’entrée de logiciels d’annotations automatiques développés au LPL ; nous avons constaté qu’elle en améliore les performances (Bigi et al., 2012), en particulier en parole spontanée.

14Ci-après, l’exemple d’une IPU issue d’un extrait de discours à l’Assemblée Nationale (Bigi et al., 2013) :

euh les apiculteurs + et notamment b- on n(e) sait pas très bien + quelle est la cause de mortalité des abeilles m(ais) enfin il y a quand même + euh peut-êt(r)e des attaques systémiques

avec les conventions de TOE suivantes :

+ : pause silencieuse inférieure à 200 ms
b- : amorce
(xxx) : élision

15À partir de cette TOE, nous avons donc pu dériver automatiquement deux transcriptions, temporellement synchrones, l’une destinée aux domaines de l’organisation textuelle (morpho-syntaxe, syntaxe, discours) (cf. Marsatag section 5) et l’autre destinée aux domaines de l’organisation de la parole (phonétique, prosodie) (cf. SPPAS section 3) :

tr1. euh les apiculteurs + et notamment b on n sait pas très bien + quelle est la cause de mortalité des abeilles m enfin il y a quand même + euh peut-ête des attaques systémiques

tr2. les apiculteurs et notamment on ne sait pas très bien quelle est la cause de mortalité des abeilles mais enfin il y a quand même peut-être des attaques systémiques

16Désormais, la question relative à la pertinence de recourir à la TOE se pose dans la mesure où les dictionnaires peuvent recenser de plus en plus de formes de l’oral grâce notamment aux nombreuses études menées durant ces dernières années. Il s’avère donc indispensable de repenser son usage, et de limiter l’enrichissement éventuel de l’orthographe standard à des phénomènes qu’il n’est pas encore possible de retrouver automatiquement. En revanche, cet enrichissement s’avère pertinent pour les langues dont les dictionnaires ne recensent que les formes standard. Cette convention a également permis des études spécifiques, notamment en ce qui concerne la fréquence des phénomènes transcrits. Nous avons par exemple comparé la fréquence des rires, des hésitations et des bruits dans différents corpus français (Bigi & Meunier, 2018). Par ailleurs, la transcription étant réalisée dans les IPUs, nous avons pu observer que ces trois phénomènes sont présents dans 3,3 % des IPUs en parole lue contre 20 % à 36 % dans les divers corpus de parole spontanée.

3. Annoter automatiquement avec SPPAS

19La réponse privilégiée lors de la conception d’une nouvelle annotation place les compétences et les connaissances des experts linguistes au cœur du système. Il combine ou utilise alternativement l’approche connexionniste ou l’approche symbolique de l’I.A. L’approche symbolique repose sur la logique formelle et l’exploitation de connaissances existantes pour résoudre des problèmes, elle s’appuie notamment sur des moteurs de règles et de faits. Elle permet notamment, mais pas seulement, de créer des systèmes experts, intégrés dans les systèmes d’aide à la décision. L’I.A. connexionniste utilise des méthodes plus empiriques basées sur l’observation et l’exploitation d’exemples, sur des méthodes statistiques, sur la reconnaissance de formes et ce qui est devenu le machine learning puis le deep learning. Les solutions d’I.A. connexionnistes exploitant de gros volumes de données cherchent notamment à découvrir les règles implicites contenues dans les données. Ses solutions s’expriment sous la forme d’un pourcentage de véracité, qui est jugé acceptable lorsqu’il est proche des erreurs humaines. Les annotations automatiques de SPPAS tentent de minimiser la quantité de données à observer pour apprendre un modèle/une représentation et concevoir une approche méthodologique de l’annotation automatique qui intègre les besoins des chercheurs linguistes. L’autre aspect majeur des annotations de SPPAS réside dans son approche multilingue : les connaissances linguistiques sont externalisées dans des bases de connaissances que l’on appelle « ressources linguistiques ». Ces deux aspects conceptuels permettent d’une part de pouvoir traiter rapidement des langues peu dotées informatiquement (Bigi et al., 2017), d’autre part d’ajouter de nouvelles langues ou variantes dans le système sans le modifier (Lancien et al., 2020).

20Quelle que soit l’annotation, lors de l’élaboration de l’annotation automatique, plusieurs questions se posent : d’une part, celle des étiquettes utilisées (décomposition, typologie, fonction, nature graduelle/catégorielle, etc.) ; d’autre part, celle de l’ancrage temporel de ces étiquettes (localisation et frontières). Ces questions doivent être pensées en fonction des objectifs de recherche. La figure 2 illustre certaines des annotations produites par SPPAS ainsi que celles produites par MarsaTag (section 5). À l’image du LPL, SPPAS est donc interdisciplinaire puisqu’il s’inscrit dans le domaine de la linguistique computationnelle appliquée (Intelligence Artificielle) et qu’il est utilisé par des chercheurs du domaine de la linguistique de corpus. Il s’intègre dans leur processus d’annotation de corpus comme en témoignent Ide et al. (2017 : 148) : « New developments in providing automatic annotation for linguistic purposes are also appearing, and will lead to the development of new and more efficient workflow practices in this area (e.g. SPPAS [5]). »

21À titre d’exemple, nous présentons succinctement l’annotation automatique « Search for IPUs » qui recherche les segments audibles d’un signal audio selon deux paramètres qui sont fixés par l’utilisateur :

• la durée minimale des silences, qui dépend essentiellement de la langue. Nous avons observé qu’une durée de 200 ms (Bertrand et al. 2008) donne de bons résultats pour le français ;

• la durée minimale des IPUs, qui dépend essentiellement du type de corpus. En parole lue, une durée de 300 à 400 ms donne de bons résultats, tandis qu’en parole spontanée, une durée de 100 ms est plus appropriée afin d’assigner à des IPUs les « mh », « ouais » et autres feedbacks.

22L’automatisation de notre système relève essentiellement de l’analyse des valeurs d’intensité observées afin de fixer un seuil de catégorisation silence/son optimal pour chaque fichier. Cette analyse s’effectue sur des segments de 10 à 20 ms qui sont ensuite regroupés soit en silences, soit en IPUs, puis filtrés avec les deux critères de durées mentionnés ci‑dessus.

23Nous avons évalué les performances de ce système sur 5 dialogues du corpus conversationnel Cheese (Priego-Valverde, Bigi, & Amoyal, 2020). Pour ce faire, nous avons estimé le nombre d’actions requises par un annotateur pour corriger a posteriori la segmentation automatique (Bigi & Priego-Valverde, 2019). Le système a été paramétré de sorte qu’il trouve le plus grand nombre possible d’IPUs, sans en oublier. Ce réglage permet à l’utilisateur de n’écouter du signal que les IPUs trouvées par le système, sans devoir écouter également les silences à la recherche de segments non détectés. En revanche, un certain nombre des IPUs proposées devront être supprimées car non pertinentes.

4. Segments phonétiques et lexicaux

4.1 Annotation en phonétique

24L’annotation de la parole de segments est indispensable pour (1) maîtriser le flux continu de la parole, difficile à appréhender et (2) faire des analyses (acoustiques, distributionnelles, quantitatives, etc.) sur ces segments. Sans un balisage, quel qu’il soit, il est difficile d’appréhender la parole pour en faire un produit interprétable. L’annotation/segmentation de la parole est également nécessaire pour de nombreuses expériences de perception dans lesquelles une partie du signal de parole doit être extraite. Enfin, ce balisage est également indispensable pour l’évaluation des outils d’alignement automatique.

25La notion d’annotation en phonétique n’est venue que tardivement sous forme d’emprunt à la terminologie employée dans les approches d’enrichissement de corpus (syntaxique, lexicale, gestuelle, etc.). La notion de « segmentation » est effectivement caractéristique des problématiques liées au niveau phonétique. Segmenter phonétiquement le signal revient à apposer sur le signal de parole des étiquettes temporelles représentant approximativement le début ou la fin d’un segment phonétique. C’est évidemment dans le terme « approximativement » que se trouve tout le débat sur la segmentation des unités phonétiques. L’ensemble de nos connaissances sur la coarticulation (Farnetani, 1997) et sur la propagation des traits phonétiques sur de longues séquences (Nguyen et al., 2004) a montré qu’il est illusoire de vouloir représenter les segments phonétiques comme une suite d’éléments contenus entre deux frontières. S’il est indéniable que la production des phonèmes est ordonnée dans le temps, les multiples articulateurs en jeu et leurs mécanismes complexes de synchronisation et d’anticipation suggèrent que la sortie acoustique observable comporte de multiples indices répartis au-delà de la manifestation saillante du phonème sur le signal de parole. Cette relation complexe entre niveaux linguistique, articulatoire et acoustique nous rappelle que les frontières de segments ne doivent pas être confondues avec des frontières de phonèmes (Fant, 1973). En effet, la notion abstraite de phonème ne peut être mise en relation directe avec des discontinuités du signal acoustique (Rossi, 1990). On admet donc que les étiquettes de début et de fin des unités phonétiques, qu’elles soient apposées automatiquement ou manuellement, ne représentent pas des frontières réelles de phonèmes. Il s’agit juste de repères permettant de procéder à des analyses sur le signal de parole. La segmentation est donc un outil qui doit répondre à des questions préalables.

26L’utilisation de grands corpus de parole ainsi que les outils développés pour leur exploitation ont rendu quasiment obsolète l’expertise manuelle pour ce qui concerne l’annotation des corpus dans des langues bien documentées. Le travail auparavant indispensable de segmentation manuelle du signal de parole (Meunier & Nguyen, 2013) évolue désormais vers un travail de correction manuelle de l’alignement automatique. Dans un avenir proche, il est donc probable que très peu (ou pas) de corpus seront encore segmentés manuellement dans leur ensemble, à l’exception peut-être de corpus très réduits. Toutefois, l’utilisation systématique d’outils du traitement automatique a pour conséquence que les phonéticiens n’appréhendent plus « manuellement » le signal de parole. Cette raréfaction de l’expertise humaine peut générer une vision incomplète des phénomènes spécifiques à la parole spontanée (omissions, réduction, fusion, métaplasmes, etc.) dans la mesure où nos hypothèses de recherche restent souvent fondées sur les phénomènes identifiés en parole plus contrôlée. Il reste donc nécessaire de « sonder » partiellement de façon manuelle le signal de parole même si les outils actuels peuvent nous en dispenser de façon très efficace. Les approches automatique et manuelle apparaissent ainsi comme complémentaires.

4.2 Segmentations automatiques

27L’alignement automatique texte-son s’opère en trois tâches qui se succèdent : normalisation de la transcription orthographique, phonétisation du texte normalisé puis alignement forcé de la grammaire des phonèmes.

28La normalisation de texte est le processus de segmentation d’un texte en unités lexicales. En principe, tout système qui traite des textes à des fins d’analyse requiert qu’ils soient normalisés. Cependant, la normalisation automatique de textes est d’une part principalement dédiée aux textes écrits dans la communauté du Traitement Automatique du Langage - TAL, d’autre part considérée comme une tâche qui dépend de la langue - donc un nouveau système est créé pour chaque nouvelle langue abordée. Il nous est apparu nécessaire de développer un nouveau système qui soit adapté aux divers corpus traités au LPL, à savoir des corpus de différents styles de parole (lue, conversationnelle, orientée tâche…) et de langues différentes. Ce système est intégré et distribué dans SPPAS (Bigi, 2014). Il supprime la ponctuation, passe le texte en minuscules, convertit les nombres dans leur forme textuelle (seul module interne qui dépend de la langue), remplace les symboles par leur forme écrite et effectue une segmentation en mots. Certaines de ces opérations s’appuient sur des listes de mots (externes au système) de la langue. En 2012, ce système automatique permettait de normaliser des transcriptions en français, anglais ou italien. Au fil du temps, d’autres langues ont été ajoutées ; en 2021, 17 langues peuvent être normalisées automatiquement avec ce système. À partir de la TOE, SPPAS peut ainsi dériver les deux annotations citées en exemple dans la section précédente.

29La conversion graphème-phonème que nous avons également développée dans SPPAS utilise le texte normalisé (tr1) pour produire une grammaire des prononciations possibles (Bigi, 2016) de chaque mot (tr2) d’une IPU. La transcription phonétique d’un texte est une composante indispensable des systèmes de synthèse de la parole ; elle est aussi utilisée dans la modélisation acoustique pour la reconnaissance automatique de la parole et dans d’autres applications de traitement du langage naturel. La transcription phonétique peut être mise en œuvre de nombreuses façons, selon des stratégies fondées sur des dictionnaires ou basées sur des règles, bien qu’il existe de nombreuses solutions intermédiaires. La solution que nous avons mise en œuvre utilise un dictionnaire de prononciation à la fois pour produire la prononciation des mots connus et celle des mots inconnus. Elle offre l’avantage de ne pas dépendre de la langue et donc de pouvoir être utilisée dès lors qu’un dictionnaire est disponible. En 2021, 16 dictionnaires sont disponibles sous licence libre et permettent à SPPAS d’effectuer la conversion graphème-phonème.

30La grammaire obtenue par la phonétisation constitue le point d’entrée du système d’alignement forcé décrit dans (Bigi & Meunier, 2018). L’alignement forcé, aussi appelé segmentation phonétique, est le processus d’alignement de la parole avec sa transcription correspondante au niveau du phonème. Le système fonctionne en deux étapes : le système détermine d’abord la prononciation la plus probable de l’IPU en cours de traitement à partir de la grammaire puis il aligne temporellement chacun des phonèmes de cette prononciation. Cet alignement nécessite un modèle acoustique : c’est un fichier qui contient des représentations statistiques de chacun des sons distincts d’une langue. Une des particularités de SPPAS réside dans le fait qu’il permet d’aligner automatiquement les rires, les bruits, et les pauses remplies (selon la langue). De plus, puisqu’il s’appuie sur les deux étapes précédentes, cet alignement obtient des résultats de qualité équivalente quel que soit le style de parole : lue ou spontanée. En plus de l’alignement en phonèmes, le système produit l’alignement en mots. En 2021, 16 modèles acoustiques sont disponibles.

31L’alignement temporel des phonèmes permet ensuite d’obtenir la segmentation en syllabes avec un système automatique à base de règles que nous avons développé (Bigi et al., 2010). La syllabe est une unité linguistique largement utilisée pour des études phonologiques, phonétiques et/ou prosodiques (par exemple, association air-texte, alternances rythmiques, etc). Bien que la structure phonologique de la syllabe soit similaire dans différentes langues, les règles phonologiques et phono-tactiques de syllabation sont spécifiques à chaque langue. Les approches automatiques de la détection des syllabes doivent donc incorporer de telles contraintes pour localiser précisément les limites des syllabes. Ce système peut être utilisé pour traiter différentes langues : l’ajout d’une nouvelle langue nécessite d’établir les règles de cette segmentation avec un expert phonéticien. Pour l’heure, ce système fonctionne pour le français (17 règles), l’italien (12 règles) et le polonais (489 règles).

4.3 Correction de la segmentation automatique

32L’annotation phonétique des corpus étant désormais essentiellement produite à l’aide d’outils d’alignement automatique, l’intervention de l’expert humain est-elle encore utile ? Il est possible de se passer complètement de l’expertise humaine pour ce qui concerne l’annotation phonétique. Lorsque les analyses phonétiques portent sur l’ensemble des segments et notamment sur leur durée globale ou sur des valeurs dont le positionnement peut rester approximatif (extraction de formants au centre d’une voyelle ou du bruit d’une fricative, par exemple), l’annotation fournie par l’annotation automatique (AA) semble satisfaisante et ne nécessite pas forcément de correction manuelle. En revanche, lorsque les analyses portent sur des zones transitoires dont les localisations doivent être précises (événements acoustiques tels que l’explosion d’une plosive, des zones d’assimilation de voisement ou des phénomènes de coarticulation), l’annotation fournie par l’AA est trop approximative. Nous avons élaboré des critères de segmentations entre macro-classes phonétiques de façon à rendre accessible cette tâche parfois ardue pour les non spécialistes. Ces critères sont décrits dans Meunier & Nguyen (2013). Il s’agit de fournir des indices utilisés très couramment pour caractériser des frontières de segments que chacun pourra utiliser selon leur pertinence avec les objectifs posés.

33Par ailleurs, la correction (ou l’adaptation) de l’annotation phonétique sera parfois indispensable dans les situations où la parole s’éloigne de sa production « typique ». Nous parlons ici des caractéristiques de la parole « pathologique » et notamment de la difficulté à annoter la parole lorsque les unités de production sont altérées. C’est le cas pour les différentes maladies caractérisées par une dysarthrie [voir l’article Phonétique Clinique dans ce numéro] impactant la motricité des gestes nécessaires à la production des sons de la parole. Si une attention particulière a été donnée depuis de nombreuses années au développement d’outils automatiques adaptés au traitement automatique de la parole pathologique (Fredouille & Pouchoulin, 2012 ; Laaridh et al., 2018), il n’en reste pas moins que l’AA de ce type de parole doit parfois être corrigé. Dans ce cas, les critères classiques de segmentation phonétique doivent être adaptés et il est nécessaire d’intégrer des classes de segments spécifiques à ce type de parole (voir Meunier, 2014, pour un développement de ces aspects).

5. Syntaxe et morphosyntaxe

5.1 Annotations automatiques

34Nous faisons ici le point sur la chaîne de traitement que nous avons développée au LPL dans le domaine de l’analyse de la syntaxe du français écrit ou parlé. Ces outils automatiques permettent d’annoter un texte ou une transcription en plusieurs étapes. L’entrée est tout d’abord segmentée en tokens (i.e. mot ou groupe de mots pouvant être considéré comme une unité syntaxique atomique), c’est la phase de segmentation (i.e. tokenization). La distribution hors contexte des catégories morphosyntaxiques possibles correspondant à la forme orthographique de chaque token est ensuite récupérée via un lexique morphosyntaxique. Une procédure de désambiguïsation est alors appliquée afin d’obtenir la catégorie morphosyntaxique associée au token en contexte dans l’énoncé, c’est l’étape d’étiquetage (i.e. part-of-speech tagging). L’étape finale consiste à structurer cette séquence de catégories en unités syntaxiques plus complexes, structures plates (i.e. chunking) ou structures d’arbres de constituants (i.e. parsing). Les relations liant ces différents constituants pourront aussi être décrites. Les ressources, la liste des catégories morphosyntaxiques ainsi que les constructions décrites dépendent de la langue analysée (ici le français) et du type de productions (e.g. écrit ou oral). Les raisons qui nous ont menés à développer notre propre système sont multiples. Nous avons notamment besoin dans d’autres champs d’étude d’avoir un accès direct et en temps réel à l’état du système pour, par exemple, réaliser une prédiction en temps réel des feedbacks d’un agent virtuel (Blache et al., 2020) ou pour calculer pas à pas la complexité syntaxique d’une production (Blache & Rauzy, 2011 ; Rauzy & Blache, 2012). La description de notre chaîne de traitement pour le français écrit est présentée dans Rauzy & Blache (2009), nous spécifions dans cette section les modifications apportées à notre système afin de traiter des transcriptions de l’oral spontané.

35Dans un premier temps les transcriptions du corpus CID (Bertrand et al., 2008), riche de 115 000 tokens, ont été traitées par l’étiqueteur du LPL (Rauzy & Blache, 2009). Il s’agit d’un étiqueteur de nature stochastique qui a été entraîné sur du français écrit. Il exécute trois opérations. La première consiste à segmenter le texte brut en entrée en une séquence de tokens correspondant à des unités syntaxiques atomiques (i.e. part-of-speech, POS). Un lexique morphosyntaxique permet ensuite de rechercher, compte tenu de la forme orthographique de chaque token, la distribution des catégories morphosyntaxiques associée à cette forme (voir tableau 1 pour un exemple). La dernière opération est la tâche de désambiguïsation. Il s’agit de sélectionner parmi la combinatoire des séquences de catégories générées par l’ambiguïté de chaque forme la séquence de probabilité maximum. La probabilité d’une séquence de catégorie est calculée en suivant un modèle stochastique dans le cadre du formalisme des Chaines de Markov Cachées (i.e. HMM). Le calcul est basé sur la distribution de probabilité des catégories conditionné par le contexte gauche (i.e. les catégories précédentes dans la séquence). Le modèle est en fait défini par une liste de « patrons morphosyntaxiques » définis par leur contexte gauche et la distribution de catégories qui leur est associée (voir un exemple tableau 2). Les patrons du modèle sont extraits du corpus GraceLPL, une version du corpus Grace/Multitag (Paroubek & Rajman, 2000) qui contient environ 700 000 tokens avec une étiquette morphosyntaxique qui suit le jeu de traits Multext (Ide & Véronis, 1994). La ressource GraceLPL est régulièrement corrigée et enrichie afin d’améliorer son étiquetage.

Tableau 1 : La distribution des catégories morphosyntaxiques pour la forme orthographique « bon » qui peut être utilisée comme un adjectif un adverbe ou un nom

Forme	Lemme	SAMPA	Catégorie	Traits morphosyntaxiques	Probabilité
bon	bon	bo~	Adjectif	Afpms	0.805
bon	bon	bo~	Adverbe	Rgp	0.190
bon	bon	bo~	Nom	Ncms	0.005

Les traits morphosyntaxiques rendent compte du codage précis de l’information morphosyntaxique, « Ncms » se lit « Nom commun masculin singulier ».

Tableau 2 : Le patron morphosyntaxique identifié par le contexte gauche

Séquence contexte gauche	Catégorie suivante	Probabilité conditionnelle
Verbe Adverbe Déterminant	Adjectif	0.09
	Adverbe	0.01
	Nom	0.9

Le patron morphosyntaxique identifié par le contexte gauche « Verbe Adverbe Déterminant » peut être suivi par un adjectif avec une probabilité de 0.09, un adverbe avec une probabilité de 0.01 ou un nom avec une probabilité de 0.9. Les autres catégories (e.g. pronom, déterminant, préposition,…) ont une probabilité nulle d’apparaître dans ce contexte.

36L’information morphosyntaxique a été organisée de manière ad-hoc en un jeu de 48 étiquettes : 2 types d’étiquettes pour les marqueurs de ponctuation, 1 pour les interjections, 2 pour les adjectifs, 2 pour les conjonctions, 1 pour les déterminants, 3 pour les noms, 8 pour les auxiliaires, 4 pour les verbes, 5 pour les prépositions, 3 pour les adverbes et 15 étiquettes pour les pronoms.

37Le modèle stochastique à la base de notre étiqueteur est composé de 2 841 patrons de taille variable (le contexte gauche le plus long compte 8 catégories). L’évaluation de l’étiqueteur a été conduite en comparant les sorties de l’étiqueteur avec la référence GraceLPL. Pour le jeu de 48 catégories mentionné plus haut, la performance de l’étiqueteur (version 2011) atteint un score de F-mesure de 0.974. Cette valeur correspond à un taux d’erreur d’étiquetage de 2.56 %. Pour comparaison, le taux d’erreur obtenu en utilisant uniquement l’information sur les fréquences du lexique morphosyntaxique est de 10.7 % (voir Blache & Rauzy, 2008).

38Nous avons opéré certaines modifications dans la chaîne de traitement afin d’étiqueter les transcriptions du corpus CID (Bertrand et al., 2008). Dans un premier lieu, les annotations de la transcription orthographique enrichie ne présentant pas de contenu syntaxique ont été filtrées (pause remplie, hésitation, troncation de mot, liaison, rire,…). L’étiqueteur a été aussi modifié afin de prendre en compte l’absence de marqueurs de ponctuation dans la transcription en entrée. D’une part la transcription a été fractionnée en segments de texte lorsqu’ils étaient séparés par des pauses d’une durée supérieure à 500 millisecondes. D’autre part, à l’intérieur de chacun de ces segments, nous laissons à l’étiqueteur la liberté d’insérer des marqueurs de ponctuation (ces marqueurs sont insérés lorsqu’ils augmentent la probabilité de la séquence en cours de traitement). Deux classes de marqueurs sont disponibles, les marqueurs de ponctuation forts qui correspondent à l’écrit aux ponctuations finales en fin de phrase et les marqueurs de ponctuation faibles associés aux virgules par exemple. Cette procédure permet de générer deux nouvelles unités définies uniquement sur la base de l’information syntaxique : des pseudo-phrases correspondant à des unités délimitées par deux marqueurs de ponctuation forts et des unités plus petites délimitées par les marqueurs de ponctuation faibles.

39Dans un deuxième temps, nous avons conduit une analyse des erreurs sur cet étiquetage en sortie. Deux causes principales d’erreurs ont été identifiées, liées à l’absence de la forme orthographique dans le lexique ou l’absence de la catégorie morphosyntaxique appropriée associée à la forme. Ces constatations nous ont amenées à modifier notre lexique. Pour ce faire nous avons créé le lexique propre au corpus CID pour le comparer à son pendant créé à partir de corpus composés de textes écrits. Le lexique du CID contient 6 600 formes orthographiques différentes présentant un nombre d’occurrences variant de 1 à 3 130. Pour chaque forme, le rapport entre la fréquence orale mesurée dans le CID et la fréquence à l’écrit a été calculée. Un extrait du lexique du CID est présenté dans le tableau 3.

Tableau 3 : Pour chaque forme orthographique du CID, le nombre d’occurrences et le rapport entre fréquence orale et fréquence écrite

Forme	Nb d’occurrences dans le CID	Rapport oral versus écrit	Type
ouais	2916	26035.715	DM
mais	1429	3.483	DM
quoi	1175	56.26	DM
bon	677	18.774	DM
tu sais	635	119.266	DM
…	…	…	…
beh	59	infini	manquante
appart	11	infini	manquante
…	…	…	…

Les formes ont été classifiées par type, DM pour « Marqueur de discours » et « manquante » lorsque la forme n’est pas dans le lexique de l’écrit.

40Les formes spécifiques au français parlé apparaissent dans cette table avec un rapport infini (i.e. leur fréquence dans le lexique de l’écrit est nulle). Nous avons listé ces formes et nous les avons ajoutées à notre lexique initial. Dans le corpus CID, les phénomènes les plus fréquents sont les réductions (e.g. « appart » pour « appartement », « exo » pour « exercice »,…), les versions régionales ou étrangères (e.g. « cagole », « strange »,…) et les onomatopées (e.g. « beh », « mh »,…).

41Les formes qui montrent un rapport de fréquence oral versus écrit important sont potentiellement intéressantes. Ceci pourrait indiquer que les locuteurs utilisent ces formes dans un but différent et complémentaire à celui utilisé lors des productions écrites. Parmi ces formes, les marqueurs de discours ressortent du lexique du CID. Les marqueurs de discours à l’oral occupent des fonctions variées à des niveaux différents de l’analyse linguistique. Le marqueur de discours « ouais » (voir tableau 3) est par exemple massivement produit dans le CID par le locuteur secondaire comme un backchannel pendant la production du locuteur principal. D’autres marqueurs de discours (e.g. « mais », « quoi », « bon »,…) peuvent être utilisés par le locuteur principal à l’intérieur des fillers avec une fonction de planification du discours. Dans ces exemples, ces marqueurs de discours n’occupent pas la fonction syntaxique qu’ils occupent habituellement dans les productions écrites. Au niveau de l’étiquetage, nous avons décidé de leur associer l’étiquette « Interjection » lorsqu’un tel usage est fait de ces marqueurs. Ce choix n’est pas guidé par des raisons linguistiques mais plutôt motivé par des raisons techniques. En effet, nous avions à proposer une étiquette déjà présente dans le jeu d’étiquettes existant et qui devait de plus présenter des propriétés syntaxiques relativement neutre, ce qui est le cas de l’étiquette « Interjection ». Nous avons ainsi modifié le lexique pour ajouter l’étiquette « Interjection » pour les formes orthographiques concernées et nous avons de plus modifié les distributions de probabilité associées à ces formes. Un exemple est proposé dans le tableau 4. Cette modification, si elle concerne moins de 40 formes du lexique, est d’une grande importance pour le traitement général. En effet, environ 10 % des tokens du corpus dans sa globalité sont impactés par cette modification.

Tableau 4 : La modification de la distribution des étiquettes pour la forme « bon »

Forme	Lemme	SAMPA	Catégorie	Traits morphosyntaxiques	Probabilité
bon	bon	bo~	Interjection	I	0.95
bon	bon	bo~	Adjectif	Afpms	0.04025
bon	bon	bo~	Adverbe	Rgp	0.00950
bon	bon	bo~	Nom	Ncms	0.00025

Une entrée additionnelle a été ajoutée avec l’étiquette Interjection correspondant à l’utilisation de cette forme comme marqueur de discours. Les probabilités ont donc été redéfinies en prenant en compte le rapport entre l’usage à l’oral et à l’écrit (voir tableau 1 pour une comparaison).

42Nous avons ensuite appliqué la nouvelle version de l’étiqueteur aux transcriptions en entrée. À partir de ce nouvel étiquetage automatique, une correction manuelle a été effectuée sur l’ensemble des 115 000 tokens du CID. Les données ont été partagées en 3 parties et chacune a été corrigée par un annotateur différent. Cette tâche a nécessité 200 heures de correction, en incluant le temps passé à se familiariser avec l’encodage du jeu de traits morphosyntaxiques et avec l’interface que nous avons développée pour effectuer cette opération (voir figure 3). Ceci équivaut à une durée de 25 heures d’annotation pour 1 heure de dialogue, soit une vitesse de traitement de 600 tokens à l’heure environ.

43La version corrigée manuellement a ensuite été utilisée pour évaluer les performances de notre étiqueteur adaptée au traitement des transcriptions du français parlé. Nous obtenons un score de F-mesure de 0.948, soit un taux d’erreur d’étiquetage de 5.2 %. Une analyse plus détaillée montre que 23 % des erreurs sont dues à une mauvaise classification des marqueurs de discours. Nous avons aussi examiné la localisation de ces erreurs pour une partie du corpus pour laquelle l’annotation des disfluences était disponible. Les données montrent que 20 % des erreurs d’étiquetage se produisent dans les zones de disfluences.

45Avec un score de F-mesure d’environ 0.95, les performances de notre étiqueteur sont acceptables. Ceci signifie en particulier que la sortie automatique de notre étiqueteur peut être utilisée par les études qui acceptent un taux d’erreur de 5 % sur l’information morphosyntaxique. C’est le cas par exemple lorsqu’il s’agit de faire la distinction entre mot outil et mot fonction comme dans Meunier & Espesser (2011) ou lorsqu’on utilise le compte de catégories morphosyntaxiques spécifiques comme indicateur de certaines propriétés comme dans Moreau et al. (2016) ou dans Bertrand & Espesser (2017). Pour d’autres études, et notamment pour proposer une analyse syntaxique en constituants de l’oral spontané, ce taux d’erreurs est trop important. Pour le CID par exemple, seul 40 % des structures sont identifiés par notre analyseur profond. L’amélioration de notre outil passe par la modélisation des phénomènes de disfluences (voir la section 5.2 sur les disfluences) et un traitement plus précis des marqueurs de discours. Ainsi nous sommes dans ce cas obligés d’abandonner la description sur un seul niveau linguistique et de combiner l’information provenant de plusieurs niveaux (ici disfluences, syntaxe et unité de discours) pour faire progresser notre modèle.

5.2 Les disfluences

46Lorsqu’on se propose d’étudier la syntaxe d’une langue dans ses performances orales, il est nécessaire d’avoir recours à une étape intermédiaire qui garde trace de ce qui est prononcé. Cet intermédiaire indispensable est la construction d’un texte écrit à partir du message oral, autrement dit il faut le transcrire. Dès 1987 Benveniste et Jeanjean décrivent les méthodes, les résultats et les perspectives de la transcription du Français parlé. Des recueils enregistrés et transcrits (Corpus de Référence pour le Français Parlé, CRFP puis Corpaix) sont constitués qui avaient pour objectif l’analyse syntaxique. Ces entretiens conduits dans la plupart des régions de France présentaient des particularités propres à l’oral qui, dans la grande majorité des cas, perturbent la linéarité du déroulement syntaxique standard (c’est-à-dire celui de l’écrit). Ces phénomènes qui sont également transcrits dans ces corpus sont nommés « disfluences », terme anglais retenu pour ce qu’il signifie sous forme abrégée : un dysfonctionnement de la fluence.

47Ainsi, la constitution de grands corpus oraux comme le CID, en nécessitant la transcription précise des enregistrements, a révélé l’importance des variations dans la fluence verbale et plus particulièrement l’apparition de phénomènes étrangers aux énoncés écrits. Il s’agit le plus souvent d’amorces de mots et de répétitions décrites dès 1984 par Jeanjean. Ces auto-interruptions provoquent des insertions d’éléments propres à l’oral et rompent le déroulement du texte de l’énoncé. De plus, elles sont à l’origine de ce que Blanche-Benveniste a nommé dès 1979, le piétinement syntaxique qui n’est autre qu’un entassement sur l’axe paradigmatique (cf. plus loin). L’auto-interruption définit, donc, un avant et un après la rupture dans l’énoncé, ce que Shriberg (1994) a décrit sous les termes : Reparandum et Reparans, l’Interregnum étant le lieu d’insertion de phénomènes non reliés syntaxiquement au reste de l’énoncé (c’est-à-dire au Reparandum et au Reparans) :

48Le Reparandum est le mot suivi d’une auto-interruption (//), il peut être prononcé complètement (ex.1) ou tronqué (ex.2)

1. YM_1506 un gosse j’en // j’en // moi j’en voulais pas

2. YM_1739 ça commençait fé- // en février ou un truc comme ça

49L’Interregnum est l’espace qui suit le Reparandum (il n’est pas lié syntaxiquement au Reparandum et au Reparans) ; il peut être vide comme dans les exemples précédents (ex. 1 et 2) ou rempli (ex. 3 et 4) :

3. YM_1977 quand il est parti il nous a laissé tous ses // euh tous ses épices

4. AP gpd_246 918.81 : un collèg- // enfin un mec

50Le Reparans est ce qui suit l’Interregnum et manifeste que le déroulement syntaxique se poursuit. Dans un certain nombre de cas, l’auto-interruption « provoque » l’arrêt définitif du déroulement syntaxique ; la phrase est alors laissée inachevée ; il n’y a pas de Reparans (ex.5)

5. AG_1540 normalement on a la cr-// enfin c’est c’est O- // septembre c’est OK

51Les données montrent que le locuteur a plusieurs possibilités pour poursuivre son énoncé. Elles correspondent à un entassement paradigmatique (Benveniste, 1979). Le Reparans prend alors plusieurs formes qu’il est possible de regrouper en trois catégories :

• 1. une simple complétude du lexique commencé et interrompu (autrement nommée : amorce de mot complétée)

• CM gpd_46 euh qui était complètement ah voilà + dés-euh + désynchronisé d’une situation en fait

• 3. une reprise plus ou moins partielle de l’énoncé déjà prononcé (ex. 8) Cela peut aller jusqu’à des éléments précédents le syntagme contenant l’auto-interruption (ex.7) :

6. EDF, 8,38 mais l’eau est de vingt mè- l’entrant est de vingt mètres cubes

7. CM gpd_33 oui où tu perds un peu euh + tu perds un peu

• 3. La reprise de l’énoncé prononcé peut aussi être l’occasion, non seulement de répéter mais également d’apporter des modifications lors de cette répétition (Ex. 9,10,11) :

8. AG_1493 j’ai ma belle-// il y a ma belle-mère qui

9. YM_1124 chaque fois tu ma-//tu devais marquer

10. EDF 12,5 ça serait vraiment un endet- un gros endettement pour la France

52Il est des cas où l’auto-interruption ne provoque ni inachèvement ni reprise de l’énoncé mais une simple poursuite de l’énoncé (ex. 12, 13, 14) :

12. Y M _2432 tu le fais avec // euh ce que tu veux

13. 1833 YM Bernard c’est vers là-bas // non qu’il habite

14. P gpd_242 907.934 le // euh mari

53Afin de rendre compte de la fluence des énoncés oraux à un niveau de granularité très fin, nous avons eu pour objectif d’examiner (de suivre « pas à pas ») comment, au niveau morphosyntaxique, l’énoncé se construit (Pallaud et Bertrand, 2020). Nous avons donc identifié toutes les auto-interruptions réalisées par des indices variés et de nature différente (prosodique, discursive, syntaxique). L’interruption n’est considérée comme disfluente que si, lors du Reparans, elle est suivie d’une perturbation morphosyntaxique (répétition d’items avec ou non des modifications, voire un syntagme laissé inachevé). Les autres interruptions sont considérées comme simplement poursuivies, donc sans reprise ou répétition d’items ; elles ne sont donc pas disfluentes (Tableau 5).

Tableau 5 : Structures des auto-interruptions disfluentes et suspensives

Interruption		Reparandum	Interregnum ou Break	Reparans
disfluente	Quant à elle	elle ne veut	euh ouais	elle ne veut	rien dire
suspensive	Quant à elle	elle ne veut	euh ouais	rien dire

54Une méthode de l’annotation de ces phénomènes a été publiée (Pallaud et al., 2019). Toutes les auto-interruptions (ainsi définies) et leurs effets morpho-syntaxiques ont été intégralement annotés dans les huit dilogues du CID (Pallaud, 2014) et sont à la disposition des membres du LPL. Ces études se sont attachées, d’une part à identifier de façon exhaustive toutes les auto-interruptions dans un énoncé et d’autre part à décrire les relations existant entre ces auto-interruptions, leurs indices et leurs effets morphosyntaxiques (en particulier le piétinement syntaxique sur l’axe syntagmatique), ce qui a conduit à préciser la notion de disfluence.

5.3. Le système d’annotation des auto‑interruptions et des disfluences morphosyntaxiques

55Dans l’étude de Pallaud (2014) qui porte sur les transcriptions des huit dilogues (16 locuteurs), l’alignement de l’oral sur les tokens (assimilables aux mots) a été requis. Afin de décrire la totalité des interruptions dans les énoncés, nous avons employé successivement deux méthodes de détection, l’une semi-automatique et l’autre manuelle. Les deux méthodes utilisent le logiciel Praat (Boersma & Weenink, 2001) comme outil d’identification, d’annotation et de description. La méthode semi-automatique a consisté à repérer systématiquement tous les indices d’interruptions, qui ont en commun de ne pas avoir de lien syntaxique avec le reste de l’énoncé : pauses silencieuses ou remplies, marqueurs de discours (ou marqueurs illocutoires, Lapointe, 2017), énoncé parenthétique. Cette méthode semi-automatique permet donc d’identifier au total 79 % de toutes les interruptions dans la fluence verbale soit la grande majorité. La méthode manuelle a consisté à faire une lecture-écoute sémantique des transcriptions qui, à l’aide de paramètres prosodiques, sémantiques et/ou syntaxiques, révèle les ruptures restantes.

56Chacun des espaces de la structure de l’auto-interruption varie quant à la quantité d’items (verbaux ou non) qu’il contient. Un codage a été établi (cf. la table 6 suivante) afin de décrire et préciser le plus finement possible les diverses catégories de ces auto-interruptions repérées :

• 1° le Reparandum (R ou I) le fragment de mot ou de syntagme qui précède le point de rupture et qui est simplement poursuivi, repris, répété, modifié (codage R) ou laissé inachevé (codage I).

• 2° l’Interregnum (ou Break interval codage B)

• 3° le Reparans (RA) est la partie potentielle de l’énoncé prononcé qui peut poursuivre, répéter ou modifier ce qui a été dit lors du Reparandum. Lorsque l’énoncé est définitivement interrompu, il n’y a pas de Reparans RA

EX : CM 46 euh qui était complètement R,P,tw ah voilà + B,dc,sp dés- RA,nr,co R,W,lw euh + B,fp,sp désynchronisé RA,wr,wc d’une situation en fait

57L’annotation peut donc se limiter à identifier les trois éléments de la structure (Reparandum, Interregnum et Reparans) ou décrire également chacun des types d’éléments qui les composent et dont la description peut se résumer par le tableau 6 suivant (Blache et al., 2010b).

Tableau 6 : Système d’annotation des interruptions dans la fluence verbale

Reparandum
Reparandum : Type	R	Interruption temporaire
	I	Interruption définitive
Reparandum : catégorie	W	Reparandum : mot
	P	Reparandum : syntagme, proposition
Type de lexique	tw	Mot outil
	lw	Mot lexical
Break_type B
	no	Pas d’intervalle
	sp	Pause silencieuse (> 200 ms)
	fp	Pause remplie
	dc	Marqueur de discours
	ps	Incise parenthétique
	rt	Répétition d’amorce de mot
Reparans RA
Reparans : localisation de la reprise	nr	Pas de reprise
	wr	Reprise d’un mot
	dr	Reprise jusqu’au déterminant
	pr	Reprise jusqu’au début du syntagme
	or	Reprise plus importante
Reparans : type	co	Achèvement de l’item
	wc	Reprise du mot sans modification
	rp	Reprise au-delà du mot sans modification
	rc	Reprise du mot avec modification
	rm	Reprise avec de multiples changements

59L’analyse des phénomènes de disfluence (interruptions et répétitions essentiellement) a porté sur des locuteurs standard n’ayant pas de troubles d’élocution. Une description fine des disfluences a été faite (Pallaud, 2005). Elle peut ainsi servir de document contrôle pour l’étude des ratages dans la prise de parole chez des sujets présentant des difficultés de langage. C’est ce qui a été fait sur les disfluences présentes dans des corpus de paroles chez des sujets bègues (Pallaud & Xuereb, 2008). Un des résultats de cette étude concerne l’élocution standard versus le bégaiement : chez un locuteur standard, un mot tronqué involontairement n’est complété qu’après une reprise au moins du début du mot (parfois du déterminant également, voire du début du syntagme, Pallaud, 2005). En revanche, des personnes bègues peuvent compléter sans reprise un mot tronqué (Pallaud & Xuereb, 2008).

6. Dimensions interactionnelles et multimodales

60Dans cette dernière partie, nous avons sélectionné quelques exemples d’annotation différents qui s’inscrivent cependant tous dans l’étude plus générale de l’interaction interindividuelle. Pour chaque annotation, nous décrivons les objectifs de recherche qui lui sont associés mais surtout la procédure spécifique de chacune qui, bien que spécifique, repose sur les mêmes principes (ancrage temporel des annotations, élaboration du schéma d’annotation, guide et campagne d’annotation, nombre et type d’annotateur expert/naïf). La première section concerne l’organisation thématique de la conversation, la seconde traite de l’annotation des sourires et du développement d’un outil pour en faciliter l’annotation, la troisième concerne les items multimodaux de feedbacks produits par celui qui ponctuellement est en position d’écoute, la quatrième concerne le phénomène de l’humour, et la dernière aborde l’annotation des gestes manuels.

6.1 L’organisation thématique des conversations

1. L’annotation des thèmes conversationnels,

2. L’annotation des transitions qui séparent ces thèmes,

3. Le découpage en phases des transitions,

4. Le contre-codage de l’ensemble de ces niveaux d’annotations.

62Étape 1 : Le thème est une notion pertinente pour analyser et décrire la collaboration des interactants. Le thème conversationnel ou segment thématique peut être défini comme « un bloc d’échanges reliés par un fort degré de cohérence sémantique et/ou pragmatique » (Kerbrat-Orecchioni, 1990 : 218). L’annotation des thèmes nécessite au préalable la transcription du signal de parole. À l’appui du signal audio ainsi que de la transcription, l’annotateur détermine les segments thématiques co-développés par les interlocuteurs. Un thème est défini par trois critères : il est le centre de l’attention partagée, il est spécifique aux participants et il est co‑construit (Riou, 2015).

63Étape 2 : Les transitions thématiques sont des portions d’interactions qui relient un segment thématique à un autre. Les transitions sont plus ou moins explicitement énoncées par les interlocuteurs, soit par un énoncé tel que (« je ne t’ai pas raconté l’interview » Extrait de AWCG dans Cheese) ou de manière moins explicite en abordant le prochain sujet de discussion sans « pre-act » (Crow, 1983). Selon la typologie de Crow (1983) qui a mené son étude sur des conversations écologiques entre couples, les transitions thématiques peuvent être décrites selon plusieurs catégories. Une transition peut être de type :

• Enchaînement : une transition qui connecte/relie le thème précédent au suivant,

• Initiation : la première occurrence d’un thème, sans lien avec le(s) précédent(s),

• Insertion : transition qui donne lieu à une digression,

• Renouveau : la transition convoque un thème déjà évoqué précédemment dans la conversation (au moins deux thèmes précédents).

65Étape 3 : Une fois les transitions systématiquement annotées, nous annotons les 3 phases qui les composent :

• La proposition : Le locuteur introduit le thème proposé,

• L’acceptation : L’interlocuteur accepte le thème proposé,

• La ratification : Le locuteur valide cette acceptation.

66Ce sous-découpage en phases permet une analyse fine des processus et ressources linguistiques mobilisés par les interlocuteurs dans la co-construction des transitions thématiques.

67Etape 4 : le contre-codage et l’évaluation de celui-ci pour validation de la fiabilité des annotations.

68L’étape cruciale de l’annotation manuelle (quel que soit le niveau) est le contre-codage et l’évaluation de celui-ci. En effet, toute annotation manuelle nécessite un contre-codage pour en vérifier la fiabilité et l’objectivité. Ainsi, dans notre cas, le signal audio ainsi que la transcription des interactions ont été donnés au contre-codeur afin de réaliser les étapes d’annotation des thèmes, des transitions et des phases décrites plus haut. Il est donc nécessaire d’avoir bien établi un schéma ainsi qu’un protocole d’annotation pour pouvoir reproduire fidèlement les annotations. L’ensemble des annotations est ensuite soumis à une évaluation à l’appui d’un calcul d’accord inter-annotateur (l’indice kappa de Cohen, 1960). Le taux d’accord permettra de juger de la fiabilité des annotations et de leur validité. Une vigilance doit être apportée à ce résultat obtenu puisqu’un bon kappa n’indique pas forcément une extrême fiabilité des annotations (i.e. cela peut dépendre du nombre de juges, généralement 2 pour les gestes et au moins 3 pour les niveaux qui concernent le signal de parole), tout comme un mauvais kappa n’indique pas forcément de mauvaises annotations (i.e. cela peut être dû à de mauvaises instructions dans le guide d’annotation).

6.2 Les sourires

70L’annotation des sourires à l’appui de cette échelle peut se réaliser selon plusieurs méthodes. La première méthode utilisée s’appuie sur une annotation manuelle des sourires sous le logiciel Elan (Brugman & Russel, 2004). Cette annotation perceptive a soulevé plusieurs problèmes. D’une part il parait difficile de poser une borne de début et de fin de sourire, d’autre part la comparaison des annotations par plusieurs codeurs s’est révélée difficile à réaliser du fait des bornes non stables. Nous avons donc décidé de découper en intervalles réguliers les corpus et d’attribuer ensuite une catégorie de sourire.

71L’annotation manuelle de l’intensité des sourires selon l’échelle SIS de Gironzetti et al. (2016) est chronophage (i.e. 60 heures en moyenne par un codeur expérimenté, pour 1 heure de vidéo). Comme c’est le cas pour la majorité des annotations concernant la gestualité, ce coût en temps limite en pratique la taille des corpus annotés et par conséquent le nombre de phénomènes linguistiques accessibles à l’analyse quantitative. Pour atteindre notre objectif (i.e. l’analyse et donc l’annotation des sourires des 8 h de conversations qui composent nos corpus), nous avons proposé une méthode alternative.

73L’annotation automatique est obtenue en deux temps. Dans un premier temps la vidéo est traitée par le logiciel OpenFace (Baltrusaitis et al., 2018) qui réalise la détection et le suivi des mouvements de tête du participant filmé. OpenFace mesure également les mouvements intra-faciaux comme la variation temporelle de la position de certains points de référence du visage (i.e. les landmarks) ainsi que la variation au cours du temps des unités d’action, nommées les Action Units (AU) du système FACS qui caractérisent l’état de certains muscles faciaux (Ekman & Friesen, 1978). La figure 7 présente la capture d’une image de la vidéo traitée par Open Face.

74Dans un deuxième temps, la sortie d’OpenFace (notamment la mesure de la variation des intensités des AUs) est traitée par le modèle de sourires implanté dans SMAD et fournit une annotation automatique selon l’échelle SIS. Le modèle statistique sous-jacent fait partie de la famille des HMMs. Il a été entraîné par apprentissage automatique sur un corpus d’environ 1 heure de vidéo annoté manuellement et contre-codée selon l’échelle SIS (4 extraits du corpus CHEESE !, 2 paires de participants en conversation pendant 15 minutes environ, annotés et contre-codés, correspondant à 1268 intervalles étiquetés de S0 à S4). Le modèle statistique capture les correspondances observées entre les mesures des intensités des AUs pour chacun des 5 niveaux de sourire de l’échelle SIS. La figure 8 illustre par exemple la corrélation temporelle entre la mesure OpenFace de l’intensité de l’AU12 (étirement des zygomatiques) et l’annotation manuelle selon l’échelle SIS. Le modèle implanté dans SMAD est dynamique : la prédiction du niveau de sourire à l’instant t dépend en effet de la mesure des AUs à cet instant et des états antérieurs du système.

76L’évaluation de notre outil automatique peut être réalisée en appliquant la technique de validation croisée à notre échantillon d’apprentissage. Sur une comparaison image à image, nous obtenons un taux de bonnes prédictions (i.e. accuracy factor) de 68 % sur les 5 niveaux de l’échelle. Nous avons aussi évalué la performance de SMAD en comparant le temps passé à corriger manuellement les sorties de SMAD avec le temps mis pour annoter de façon entièrement manuelle les mêmes données. Les résultats obtenus sur environ 1 heure de corpus (4 extraits du corpus CHEESE ! différents de notre corpus de référence) mettent en évidence un gain de temps d’un facteur 10 avec le recours à SMAD suivi d’une correction manuelle par rapport à une annotation entièrement manuelle.

77Nous avons réalisé cette procédure semi-automatique d’annotation des sourires sur les deux corpus étudiés : Cheese! (Priego-Valverde et al., 2020) et Paco (Amoyal et al., 2020) qui représentent en tout 8 h de conversations. La correction des sourires a été réalisée par deux codeurs entraînés à l’échelle du SIS. Le calcul de l’accord inter annotateur révèle un Kappa (Cohen, 1960) de 0.63 ce qui est très satisfaisant au regard des accords obtenus dans les études en gestuelle (Tellier et al., 2012 ; Tellier, 2014). Cela nous permet de valider la relative objectivité des catégories proposées pour le découpage des sourires ainsi que la fiabilité des annotations effectuées. Ces annotations nous ont permis de quantifier le sourire dans la conversation : cette expression faciale est présente dans 33 % de nos corpus, contre 56 % de visage neutre et 11 % de rire (Amoyal, Priego-Valverde et Prévot, 2021).

78La section suivante concerne les items de feedbacks, et parmi eux certains sourires, qui sont produits par l’interlocuteur en situation d’écoute pour montrer son écoute et sa participation au discours en cours.

6.3 Les Feedbacks

79L’interaction est une activité dynamique, élaborée par la collaboration entre le locuteur et l’interlocuteur. Si ces rôles changent activement au cours d’un échange, il est nécessaire pour le locuteur, quel qu’il soit, de recevoir des signaux d’écoute -appelés feedbacks (FB)- de la part de l’interlocuteur. Plus complexes que de simples réponses d’écoute, les feedbacks occupent différentes fonctions comme celle de montrer sa compréhension ou des réactions plus spécifiques étroitement liées au contexte sémantique et pragmatique. La notion de feedback a été introduite par Schegloff (1982) sous le terme de backchannel, basé sur les travaux de Ygnve (1970) et Duncan & Fiske (1977). Le rôle crucial des feedbacks a été mis en avant dans plusieurs modèles linguistiques et/ou psycholinguistiques du dialogue (Clark, 1996 ; Horton, 2017 ; Bavelas & al 2000 ; Pickering & Garrod, 2013), notamment via leur rôle dans l’établissement d’un savoir partagé et d’un alignement entre les participants. Depuis les travaux de Bavelas (2000), on distingue les FB génériques et spécifiques (proches des continuer/assessment de Schegloff 2000). Nous adoptons dans notre thèse (A. Boudin, Les feedbacks en conversation : modélisation et implantation) cette distinction : les FB génériques sont essentiellement composés de courtes interjections (e.g. mhmh, d’accord) et/ou de hochements de tête. Les FB spécifiques, quant à eux, peuvent renvoyer à des réactions variées (évaluation, amusement, joie, horreur, perplexité, etc.). Ils peuvent être produits dans des formes lexicalisées plus ou moins longues (e.g. « non c’est pas vrai »), mais aussi renvoyer à des mouvements de mains, de tête ou encore des mimiques faciales. Tous ces éléments pouvant être combinés, ce qui les rend plus variables et plus complexes à repérer que les FB génériques.

80Pour l’annotation des FB, nous avons donc adopté la typologie générique/spécifique à laquelle nous avons ajouté deux sous-niveaux pour les spécifiques, qui, comme vu précédemment, peuvent avoir des fonctions et réalisations très variées. Les deux niveaux hiérarchiques ajoutés aux FB spécifiques et définis ci-dessous sont la polarité (positive ou négative) et le caractère attendu ou inattendu de l’information à laquelle le FB répond. Nous avons donc cinq catégories possibles : générique, positif-attendu, positif-inattendu, négatif-attendu, négatif-inattendu. Ainsi, comme le montre la figure 9, notre schéma d’annotation couvre un large ensemble de comportements avec cinq catégories.

Générique VS Spécifique

81Les FB génériques sont des interventions « discrètes » de l’interlocuteur, généralement, ils prennent la forme d’une interjection, d’un hochement de tête, d’un sourire ou d’une combinaison/répétition de ces éléments (Stivers, 2008 ; Bertrand et al., 2017). L’intonation associée est monotone, et le débit faible ou moyen. Les feedbacks spécifiques se distinguent par leur dépendance au contenu sémantique et peuvent prendre différentes formes dans leurs réalisations (intonation plus ou moins marquée, intensité, gestuelle, lexicalisation…), tout en n’apportant pas réellement d’information nouvelle dans l’interaction.

Positif VS Négatif

82Les feedbacks spécifiques sont évalués en fonction de la polarité véhiculée dans le discours du locuteur. Les questions posées dans le guide d’annotation sont les suivantes :

Q1 : Est-ce que le feedback permet de réagir à quelque chose de positif ou quelque chose de négatif ?

Q2 : Le locuteur parle-t-il d’une expérience ou d’un événement qu’il évalue négativement en exprimant une critique, de la tristesse, de la colère, etc. ? Ou au contraire, son évaluation est-elle positive en exprimant de la joie, de l’humour, de l’enthousiasme, etc. ?

83Nous faisons l’hypothèse que si les deux participants sont pleinement engagés dans l’interaction, cette polarité sera partagée et influencera le choix du feedback produit.

Attendu VS Inattendu

84Le second niveau de classification concerne le caractère attendu ou inattendu de l’information pour l’interlocuteur (Prévot et al., 2008). Dans le cas d’un feedback « attendu », le locuteur connaissait déjà l’information ou s’attendait à recevoir cette information, elle ne le surprend pas. Dans le cas d’un feedback « inattendu », l’interlocuteur prend connaissance d’une information qu’il n’avait pas, comprend quelque chose après une clarification ou demande une clarification. Un feedback inattendu peut également répondre à une production du locuteur non prévisible.

85Les questions posées sont les suivantes :

Q1 : Est-ce que l’interlocuteur s’attendait à recevoir cette information à ce moment‑là ?

Q2 : L’interlocuteur avait-il déjà connaissance de l’information à laquelle il réagit ?

Q3 : La production de cette information par le locuteur à ce moment-là de l’interaction était-elle logique ou attendue ?

86Les feedbacks ont été annotés manuellement sur Paco [Amoyal & al., 2020] et Cheese ! [Priego-Valverde & al., 2020] par trois annotateurs (actuellement, 13 dyades ont été annotées pour un total de 2380 feedbacks) avec le logiciel ELAN.

87L’annotation manuelle étant une tâche chronophage, nous avons tenté de faciliter la tâche des annotateurs avec un niveau de pré-détection. Les éléments fréquemment utilisés pour produire les feedbacks (rires, sourires, répétitions, interjections) ont été sélectionnés automatiquement, sur la base des annotations existantes, par un script python et ajoutés sur une nouvelle tire d’annotation avec la mention « TODO ». La première étape pour les annotateurs était de changer le libellé « TODO » en « TRUE » si un feedback est bien réalisé ou en « FALSE » si l’élément ne correspond pas à un feedback. Le kappa obtenu pour cette tâche est de 0.78, ce qui correspond à un « accord fort ».

88La deuxième étape de l’annotation concerne le type de feedback réalisé. Lorsqu’un feedback a bien été produit, les annotateurs doivent indiquer le type de feedback produit sur la tier « type de feedback ». Cinq catégories sont donc possibles (générique ; positif-attendu ; positif-inattendu ; négatif-attendu ; négatif-inattendu). Lors de cette étape, les annotateurs doivent aussi ajouter les feedbacks non pré-détectés, essentiellement des hochements de tête (annotés en parallèle par les mêmes annotateurs) et du contenu lexical. Le kappa obtenu pour cette tâche est de 0,57 correspondant à un « accord modéré ».

89Le guide d’annotation a été détaillé et illustré d’exemples afin que les annotateurs puissent comprendre la distinction entre les différents types de feedbacks. Les annotateurs pouvaient également se référer à un ensemble de questions pour les cas ambigus. Afin de limiter les ambiguïtés lors de l’annotation, un ensemble de cas ont été décrits comme n’étant pas des feedbacks :

• Lorsque l’interlocuteur tente de prendre le tour de parole, il commence une phrase mais ne peut pas la produire entièrement car le locuteur garde le tour de parole/lui coupe la parole. L’interlocuteur semble vouloir réagir en apportant un élément nouveau, en donnant son avis, mais on n’a pas réellement accès à l’intention de son message. Exemples : « mais du coup… » ; « et la dernière fois… » ; « ouais et… ».

• Les interjections et les pauses pleines montrant une hésitation, par exemple lorsque le locuteur ou l’interlocuteur cherche ses mots, réfléchit à la formulation de son idée, tic de langage, etc.

• Les réponses à des questions. Parfois l’interlocuteur peut produire un « oui », il n’y a pas nécessairement de changement de tour de parole mais l’interlocuteur répond à une demande explicite du locuteur. Exemple :

Locuteur : « tu as une sœur toi non ? »
Interlocuteur : « oui »

• Les demandes de clarification de plus de 4 tokens, par exemple un « ah ouais ? » ou « quoi ? » sont considérée comme un feedback (inattendu), mais pas les exemples suivants :

« oui puis j’allais dire c’est quand ton anniversaire ? »
« celle qui se sacrifie là ? »

• Tour de parole de moins de 10 tokens. Il faut distinguer les tours de parole courts, avec une alternance rapide entre les deux locuteurs, des productions qui correspondent à du feedback.

• Les éléments de feedback qui sont suivis par un tour de parole (plus de 10 tokens) sans pause (noté # ou d’une durée minimale de 130 ms) entre les deux. Exemple : « ouais et tu sais les bruits aussi parce que comme c’était des enfants ».

90Pour plus de détails, nous reportons le lecteur à l’article qui présente les premiers résultats concernant les indices de prédiction des feedbacks (Boudin et al., 2021).

91La section suivante est consacrée aux difficultés que pose l’annotation de l’humour.

6.4 L’humour

92L’humour, lorsqu’il apparaît dans la conversation, est un phénomène non seulement protéiforme, mais également subjectif, tant pour les participants que pour les annotateurs (Priego-Valverde, 2003). À partir de là, un problème épineux apparaît : est-ce qu’une occurrence doit être annotée comme humoristique si elle est perçue comme telle par les participants mais ne fait pas rire les annotateurs ? Inversement, est-ce qu’une occurrence doit être annotée comme humoristique si elle est perçue comme telle par les annotateurs mais non par les participants ? Tout l’enjeu de l’annotation est alors de dépasser, autant que possible, cette subjectivité en dégageant des critères solides d’identification.

93Analyser l’humour dans une conversation ne se résume pas à analyser les procédés linguistiques de l’humour (comme les figures de style employées) qui, par ailleurs, peuvent être mobilisés quel que soit le cadre dans lequel il apparaît (cadre professionnel, thérapeutique… ou même un sketch). En revanche, analyser l’humour dans une conversation nécessite de prendre en compte à la fois le fonctionnement de l’humour lui-même, et le fonctionnement de la conversation en tant qu’activité hautement ordonnée (Sacks, Schegloff & Jefferson, 1974) pour montrer à quel point elle peut façonner à la fois la forme de l’humour qui y apparaît, et sa trajectoire interactionnelle.

94Ainsi, l’annotation de l’humour – nécessairement manuelle – peut s’élaborer en trois étapes. La première est une annotation du contexte dans lequel l’humour apparaît. Quatre niveaux peuvent être dégagés : un niveau séquentiel (ce qui a été dit avant l’occurrence humoristique), un niveau plus large qui permet d’identifier l’activité conversationnelle dans laquelle les participants sont engagés (narration, explication, argumentation…), un niveau qui permet de déterminer le registre de communication (le « frame » (Bateson, 1953), sérieux ou déjà humoristique) dans lequel l’occurrence annotée apparaît. Un quatrième niveau peut aussi avoir son importance à condition qu’il soit disponible pour les annotateurs : celui, plus macro, qui réfère à l’histoire conversationnelle des participants.

95La deuxième étape consiste à annoter les procédés et/ou marqueurs de l’humour comme les jeux sur différents niveaux linguistiques (prosodique, lexical, syntaxique…), ou discursifs (discours rapportés, discours référant à un savoir partagé…) (Haugh, 2014 ; Priego-Valverde, 2016 ; Mullan & Béal, 2018 ; Attardo, 2000).

96Enfin, la troisième étape d’annotation s’effectue en observant la ou les réactions à l’occurrence humoristique (Drew, 1987 ; Hay, 2001 ; Attardo, 2008 ; Bell, 2009a ; 2009b ; Priego-Valverde, 2009). Deux types de réactions sont alors annotées : les réactions positives (rires, commentaires évaluatifs, surenchère…), et les réactions négatives (ignorer l’humour, y répondre de manière sérieuse, ou le rejeter de manière explicite). Cette annotation permet de catégoriser l’humour en échec ou réussite.

98A ce jour, ces annotations portent sur les 11 interactions du corpus « Cheese! », ce qui représente 670 items humoristiques. L’ensemble de ces annotations ont été effectuées par une seule annotatrice.

6.5 Annoter les gestes

100Annoter les gestes manuels coverbaux (McNeill, 1992) pose les mêmes problématiques que les autres annotations évoquées précédemment, à savoir : la segmentation (des gestes), la création d’un schéma et d’un guide d’annotation détaillé et la création de catégories en fonction des questions de recherche. Les gestes dont il est question ici sont ceux qui accompagnent spontanément la parole et forment un seul et même système avec elle (McNeill, 1992). Dans la plupart des études sur la gestuelle menée au LPL, on écartera donc les gestes dits extra-communicatifs (Cosnier, 1982) c’est-à-dire les gestes nerveux ou d’auto-contact (bien que certaines études se soient penchées sur ces phénomènes y compris dans notre laboratoire).

101Tout d’abord, la question de la segmentation du geste se traite en regardant les vidéos du corpus image par image. On annote un geste depuis la préparation de celui-ci (les mains commencent à bouger, l’image devient floue) jusqu’à la rétraction du geste (retour des mains en position de repos ou immobilité) ou l’enchaînement sur un autre geste. Dans ce second cas, identifier le point de bascule lorsque les mains entament un nouveau geste sans passer par la position de repos peut s’avérer complexe (voir Tellier et al., 2012). Examiner le geste image par image permet cependant de repérer le changement d’orientation des mains, témoin d’une nouvelle unité gestuelle. À noter que lorsque l’on travaille sur des corpus écologiques avec des locuteurs qui se déplacent (comme dans des films de classe), la visibilité de certains gestes peut être occultée et nécessite une reconstitution interprétative (Azaoui 2014a).

102Ensuite, se pose la question de la constitution du schéma d’annotation et des catégories qui le composent.

103Il n’existe pas de schéma d’annotation universel pour la gestuelle (Calbris, 2011) et il convient donc de définir des catégories en fonction de ce que l’on cherche à explorer. Nous citerons ici différents exemples à partir de recherches effectuées au LPL pour indiquer ce qui a été annoté et comment cela répondait à des questions de recherche.

104Un premier exemple de type d’annotation concerne la manualité (handedness). On peut vouloir identifier si le locuteur gestualise avec une main et laquelle ou avec les deux mains de manière symétrique (en parallèle) ou asymétrique (les deux mains font des mouvements différents). Dans ce cas, on distinguera 4 étiquettes dans le schéma d’annotation : main gauche, main droite, deux mains symétriques, deux mains asymétriques. Ce schéma a été utilisé pour étudier les réponses faites par un député à l’Assemblée Nationale alors qu’il était interrompu pendant son discours (Bigi et al., 2012). Cette annotation nous a permis de constater que le député utilisait des gestes de la main gauche pour illustrer son discours préparé et que, lorsqu’il était interrompu, il maintenait sa main gauche suspendue et utilisait sa main droite pour répondre aux interruptions d’autres membres de l’hémicycle.

105Un deuxième type d’annotation que l’on retrouve dans de nombreuses études au LPL est basé sur les dimensions élaborées par David McNeill (1992, 2005) pour les gestes coverbaux, à savoir iconique, déictique, métaphorique et battement. Cette catégorisation a souvent été enrichie avec d’autres types comme les gestes emblèmes (gestes culturels), les gestes avortés (abandonnés), les Butterworth (gestes de recherche lexicale) ou encore les interactifs de Bavelas et al. (1995). À titre d’exemple, on peut citer les études de Azaoui (2014b), Bigi et al. (2012), Holt et al. (2015), Tan et al. (2010) ou encore Tellier et al. (2021).

107Dans cette même étude, l’espace gestuel a également été annoté afin de déterminer si les futurs enseignants produisaient des gestes plus grands avec des non natifs. Le schéma d’annotation de l’espace gestuel de McNeill (1992) a ainsi été adapté pour ce corpus (voir Figure 14). Ce genre d’annotation sur la taille du geste a également été utilisée par Bouget et Tellier (2015) pour déterminer si des aidants utilisaient des gestes plus grands lorsqu’ils s’adressaient à des personnes âgées.

108Un troisième type d’annotation gestuelle est l’annotation fonctionnelle qui consiste à déterminer ce que le geste permet de faire dans l’interaction. Par exemple, pour étudier le geste pédagogique (produit par des enseignants), on peut analyser la fonction pédagogique du geste en se basant sur la typologie de Tellier (2008) à savoir informer, animer et évaluer. Cela permet d’analyser la façon dont le geste sert l’action pédagogique. Cette typologie a par exemple été réemployée dans Azaoui (2014b) ou encore Tellier (2016). Une autre typologie fonctionnelle a été élaborée par Tellier et al. (2013) afin de déterminer et comparer les fonctions des gestes produits dans les pauses du discours dans des interactions natif/natif vs natif/non natif. Il nous semblait en effet que dans les interactions exolingues (natif/non natif), les pauses étaient fréquentes ainsi que les gestes produits dans ces moments de silence. Il nous a donc fallu créer un schéma d’annotation ad hoc pour étudier ce phénomène et son rôle dans l’interaction.

109Nous n’avons indiqué ici que quelques exemples afin de mettre au jour la diversité des annotations possibles en gestuelle et de montrer combien il est nécessaire de les relier aux questions de recherche. En guise de conclusion, il est nécessaire de rappeler qu’afin de réduire la subjectivité de ces annotations qui reposent parfois sur de l’interprétation, on peut mettre en place un certain nombre de filtres méthodologiques tels que la rédaction d’un guide d’annotation précis et le contre-codage des données en aveugle par plusieurs annotateurs (voir Tellier, 2014 pour des conseils méthodologiques sur ces aspects).

7. Conclusion et perspectives

110Si les premiers corpus étaient essentiellement constitués d’une langue très prototypique et dépourvue de contexte (principalement écrits), la nature des corpus s’étant modifiée, l’essor des recherches sur le langage en interaction a entraîné une vision plus complexe des éléments linguistiques à appréhender et, surtout, de la multiplicité des niveaux d’analyse du langage oral.

111L’objectif de cet article est de présenter les principes généraux de constitution et d’enrichissement de corpus multimodaux/conversationnels. Nous avons choisi de présenter ici différents types d’annotations possibles aux niveaux phonétique, morpho-syntaxique, discursif, interactionnel, posturo-mimo-gestuel qui font appel, malgré leur diversité, à un certain nombre d’éléments méthodologiques communs qui caractérisent les travaux sur corpus au LPL.

112Parmi ces éléments méthodologiques, l’élaboration de schémas d’annotations, commune à tous les niveaux, dépend des questions de recherche et se construit en se fondant sur la littérature, les modèles existants, et/ou des observations préliminaires du corpus. Par ailleurs, un schéma d’annotation, mis à l’épreuve du corpus, doit être souvent modifié et adapté. Ce processus montre ainsi que l’annotation est un préalable nécessaire à l’exploitation ultérieure des données, mais qu’elle est elle-même le résultat d’un processus d’analyse. Enfin, la rédaction d’un guide d’annotation et le contre-codage à plusieurs mains permettent de valider le schéma d’annotation élaboré, et sont nécessaires pour réduire la subjectivité des annotations. Cette procédure de constitution de schéma et de guide d’annotation est commune à tous les niveaux linguistiques et quel que ce soit le mode d’annotation (manuel, automatique, semi‑automatique).

113Enfin, l’ensemble des données annotées dans un même formalisme permet leur mise en relation ultérieure et favorise ainsi l’analyse multi-niveaux d’un phénomène donné.

114Les outils logiciels pour l’annotation que nous avons présentés dans cet article sont déposés sous des licences libres et sont facilement accessibles ; ils sont décrits plus en détails dans des fiches techniques de ce numéro. Les corpus et annotations mentionnés dans cet article sont également accessibles via la forge « ortolang » et font l’objet de fiches corpus de ce numéro.