L’auteur tient à remercier l’ensemble des personnes ayant participé aux projets DIASEMIE et RAVIOLI présentés dans cet essai.

Pour le LLL, François Nemo, Lotfi Abouda, Mélanie Petit, Flora Badin, Fanny Krimou, Camille Letang, Sarah Kalinowski

Pour PRISME, Philippe Ravier, Abdenour Hacine-Gharbi, Asma Bougrine, Hanane Ouachour, Fadila El Adlouni, Dylan Pimont

Pour le LIFO, Sylvie Billot, Anaïs Halftermeyer, Ilaine Wang

1Cet essai porte sur les apports respectifs entre la linguistique et le traitement du signal. Il se veut être un témoignage de l’interdisciplinarité, son contour est donc limité à l’expérience décrite ci-après. Ce témoignage s’intéresse plus précisément aux interactions entre la linguistique et le traitement du signal, exploité dans des systèmes automatiques de classification pour des corpus de données orales. Les systèmes créés et les techniques de traitement du signal utilisées sont détaillés dans les références de bas de page. L’essai est structuré en trois parties. Une première décrit les fondements du traitement du signal et ses liens naturels avec certains pans de la linguistique, notamment l’oral. Une deuxième introduit des travaux des linguistes visant à modéliser le rôle de l’intonation ou de la prosodie en sémantique de l’oral. Une troisième réunit les deux mondes, la prosodie pouvant être caractérisée grâce aux outils de traitement du signal et utilisée comme vecteur discriminant pour un traitement automatique du sens. Dans cette tâche délicate, nous avons mis en évidence un processus de navette entre les caractérisations prosodique (traiteurs de signaux) et sémantique (linguistes) dans l’idée de définir conjointement des catégories interprétatives qui sont prosodiquement pertinentes.

Traitement du signal et linguistique

3En linguistique interdisciplinaire, telle que le traitement automatique des langues, la reconnaissance vocale, la reconnaissance du locuteur, la synthèse vocale et, plus généralement, le traitement de la parole, le traitement du signal occupe une place essentielle, dès lors qu’il s’agit d’analyser un contenu ou d’automatiser une tâche. Pour le domaine de l’oral, le traitement du signal a un objectif d’analyse qualitative des sons, par une analyse scientifique des données orales et par l’extraction d’indicateurs à partir de ces données. Il a aussi un objectif d’analyse quantitative des sons oraux par la mise en place de traitements automatiques sur des corpus de grande taille.

4Nous nous intéresserons ici plus précisément aux apports du traitement du signal en linguistique de l’oral comme outil préliminaire visant à exploiter la richesse des ondes sonores par l’extraction d’indicateurs ou marqueurs ou encore indices, caractéristiques de la voie parlée (prosodie, timbre, hauteur, pitch, intensité…). Ces indicateurs propres à l’oral aident à la caractérisation sémantique mais une telle caractérisation reste bien souvent ponctuelle et manuelle. Repositionnée selon les objectifs qualitatifs et quantitatifs décrits ci-dessus, une exploitation automatique de ces indicateurs peut rendre l’analyse sémantique beaucoup plus fine que ce qui avait été envisagé jusque-là et peut surtout permettre une possible utilisation de ces systèmes d’aide à la caractérisation sémantique automatique dans les industries de la langue et du traitement automatique du langage. Dans un cadre de caractérisation sémantique, des travaux sur le rôle de l’intonation dans l’interprétation sémantique ont été menés largement en linguistique. Une courte description du rôle de la prosodie dans l’interprétation, empruntée aux linguistes du Laboratoire Ligérien de Linguistique (LLL) des Universités d’Orléans et de Tours, est fournie dans la partie suivante.

Linguistique et prosodie

6Ce bref état de l’art montre que la prosodie joue un rôle important dans l’interprétation mais que la linguistique n’a que très peu tenté de comprendre ce rôle de façon précise. Dans un premier temps parce qu’elle ne disposait d’aucune théorie sémantique digne de ce nom, ensuite parce que la sémantique linguistique, qui dès les années 70 s’était donné comme objectif de rendre compte de la polysémie, n’a commencé à aborder la question de la dimension prosodique de l’interprétation du sens des mots qu’à la fin des années 90.

Prosodie, traitement du signal et linguistique

9Les résultats de discrimination automatique en convaincu ou non convaincu restent cependant parcellaires car il y a des dizaines de façons de dire « oui », et autant d’interprétations possibles de ces emplois. Ce travail a surtout servi comme preuve de concept car la discrimination automatique a aussi été validée sur d’autres mots clé comme « enfin » avec trois classes de sens (soulagement, reformulation, résignation). Il montre aussi qu’il est possible de mettre au point des outils et des dispositifs de discrimination automatique du sens, à condition de faire travailler ensemble linguistes, informaticiens, mathématiciens et spécialistes du signal ou de reconnaissance de la parole, comme effectué dans DIASEMIE. Ce travail collaboratif a cependant montré, que « cartographier » l'ensemble des sens d'emploi d'un mot peut être appréhendé de façon itérative. En effet, pour parvenir à définir finement les différents sens d’emploi des mots, il est nécessaire de mettre au point des dispositifs de traitement automatique de corpus oraux pour leur discrimination et la mise au point de ces dispositifs exige une catégorisation des emplois qui ne peut être résolue de prime abord. C’est justement la confrontation entre les caractérisations prosodiques, réalisées d’un côté par les outils de traitement du signal et de classification automatique et les caractérisations sémantiques, réalisées d’un autre côté par les interprétations des linguistes, qui permet de progresser dans la quête d’une catégorisation sémantico/prosodique fine.

10En effet, il faut noter qu’un système de discrimination automatique n’est pas parfait car il génère des erreurs de décision qui lorsqu’elles sont en nombre important peuvent exprimer un caractère descriptif non homogène des indicateurs prosodiques sur les catégories. Autrement dit, les descripteurs prosodiques n’expliquent pas correctement les catégories sémantiques : l’objectivation des différences peut remettre en cause les interprétations et catégorisations sémantiques.

11En pratique, dans le cas de la classification automatique des « oui » convaincu et non convaincu du projet DIASEMIE, les avis erronés donnés par la machine ont permis de reconsidérer les cas mal classés par les experts linguistes chargés d’affecter chaque instance dans une classe sémantique, avec analyse sémantico-pragmatique de chaque cas erroné. Ce second travail d’expert a initié le processus de « navette » avec réaffectation ou suppression de certaines instances du corpus ce qui permet, au vu d’une nouvelle expertise, de reconstruire un système de discrimination automatique a priori plus performant ou au contraire, de tenir compte des « erreurs » fournies par la machine, qui donne un avis aveugle fondé sur les seuls indicateurs prosodiques, pour considérer de nouvelles morphologies de catégories ou encore définir des sous-catégories. La « navette » peut aussi s’exprimer en reconsidérant la configuration du système ou encore l’ensemble des indicateurs prosodiques.

12Ce processus de « navette » est au cœur des apports entre les deux disciplines, les résultats obtenus par l’une venant nourrir ceux obtenus par l’autre, par complémentarité.

13Les sources « d’erreur » données par la machine sont multiples. La machine apprend des exemples des deux classes au vu des seuls descripteurs prosodiques. Cette phase d’apprentissage machine est qualifiée de supervisée car elle s’effectue sur une partie étiquetée des exemples du corpus, c’est-à-dire pour lesquels l’appartenance de classe présentée à la machine est connue, cette connaissance provenant d’une labellisation effectuée par des linguistes (procédure d’étiquetage des données). La phase d’apprentissage permet à la machine de construire un modèle des données représentatif de chaque classe. La qualité des données présentées et l’équilibre des exemples dans chaque classe est essentielle pour un bon apprentissage. Une fois que la machine a appris les données d’entraînement, elle est capable de produire une décision d’appartenance à l’une ou l’autre classe pour tout nouvel exemple inconnu proposé en entrée. C’est la phase de test. Il est possible, ainsi, si l’on dispose de l’expertise sur l’appartenance de classe de tous les exemples testés, d’évaluer les erreurs du classifieur machine. On peut, avec un nombre suffisant d’exemples testés, typiquement entre 10% et 20% du nombre total d’exemples étiquetés de la base, chiffrer ainsi la qualité de discrimination des classes avec le classifieur créé. Ces statistiques dépendent de la qualité intrinsèque du classifieur mis en œuvre mais aussi de descripteurs utilisés. Il faut noter ici que chaque exemple d’apprentissage ou de test est obtenu après extraction de l’objet d’intérêt (un « oui » convaincu ou non) délimité dans le temps dans le corpus audio. La décision prise par la machine est par conséquent aveugle à toute considération cotextuelle ou contextuelle, que l’expertise humaine prend en compte. Par ailleurs, les exemples ne sont souvent appris puis testés que sur un seul corpus, ce qui entrave quelque peu son application à grande échelle sur un ensemble de corpus inconnus. Ensuite les systèmes de classification ne sont pas parfaits et souffrent des problèmes de surapprentissage ce qui correspond à un enfermement de la reconnaissance des exemples dans un cercle d’individus aux caractéristiques trop proches de celles des individus qui ont été appris. Paradoxalement, toutes ces imperfections constituent de précieuses informations qui viennent aider à la compréhension des individus mal classés par la machine, qui peuvent être prises en compte pour pouvoir affiner la catégorisation souhaitée par les linguistes.

14Ces difficultés sont propres à tout système de classification automatique. Les travaux préliminaires présentés dans cet essai trouvent cependant leur originalité dans le fait que les « erreurs » d’une tierce personne qu’est la machine, ayant appris des exemples, vient apporter un avis scientifique à la catégorisation sur la base des descripteurs calculés, source de remise en cause des catégories pour les linguistes, ce qui peut induire d’autres morphologies de catégorisation.

Conclusions et perspectives sur les apports entre disciplines

15Nous avons vu que, pour les tâches d’identification et de classification automatique, il convient de tester une population large d’usages annotés sémantiquement d’un phénomène donné et d’extraire les caractéristiques prosodiques sélectionnées des segments de parole en jeu. Ensuite, une comparaison systématique des caractéristiques prosodiques et sémantiques et une analyse des erreurs apparentes de classification conduit la plupart du temps à une amélioration induite par la prosodie de la description sémantique des données. Parfois, cette étape conduit à des erreurs de classification en nombre trop important, laissant penser à une absence d’association entre caractéristiques sémantiques et prosodiques. Dans certains cas, cela peut aussi conduire à une remise en cause des catégorisations sémantiques, une redéfinition ou une sous-catégorisation de celles qui existent. L’objectif commun poursuivi est de chercher à isoler les relations entre forme prosodique et interprétation, à l’aide du processus de « navette » en identifiant le rôle sémantique de la prosodie passant par une amélioration de la description sémantique.

17Les objectifs poursuivis par les deux communautés, linguistes et traiteurs de signaux, sont semblables : pour les linguistes, la prosodie ou tout autre trait oral qui permet de mettre en avant des strates qui étaient en arrière, peut ouvrir à de nouvelles catégorisations ; pour les traiteurs de signaux, la recherche de discriminants plus fins de catégorisation (prosodiques ou non) reste un défi conditionné par les exemples utilisées pour créer les systèmes d’apprentissage et de test automatique. La sélection de ces exemples ou sélection d’instances dans le corpus pour une bonne catégorisation, obtenue avec sens et pertinence, est donc au cœur de cette problématique, dans les deux communautés.