Introduction

1Dans notre contribution, nous allons aborder la notion de multimodalité dans les interactions humaines. Dans un premier temps, nous mettrons au jour les différentes définitions du concept de multimodalité actuellement utilisées dans les recherches en sciences du langage. Dans un deuxième temps, nous détaillerons certaines recherches actuelles sur la multimodalité menées au LPL en montrant la variété des cadres théoriques et méthodologiques mobilisés ainsi que des situations d’interaction considérées, allant du face à face présentiel aux interactions en ligne, de la conversation entre locuteurs d’une même langue à la communication exolingue. Enfin, dans une dernière partie, nous montrerons que cette variété n’empêche pas la complémentarité, ni des ressources langagières mobilisées par les participants, ni des cadres théoriques et méthodologiques qui en rendent compte. Nous conclurons cet article en proposant quelques pistes de recherche future notamment à partir du phénomène de défaillance interactionnelle.

1. Le concept de multimodalité

2La communication interpersonnelle (Goffman, 1974) est « multimodale » dans son acception la plus large, c’est-à-dire en prenant en compte aussi bien les travaux de recherche menés en sciences du langage sur l’oral (Colletta, 2004), sur la gestuelle (Cosnier et al. 1982, McNeill, 1992), en analyse conversationnelle (Mondada, 2005) que ceux de la sémiotique sociale (Kress & Van Leeuwen, 2001) ou encore de la communication médiée par ordinateur (Develotte et al., 2011) et de l’analyse du discours numérique (Paveau, 2017). Dans cette première partie, nous définissons nos différents ancrages théoriques principaux, l’un n’excluant pas l’autre.

1.1. Eclairages linguistiques

« La parole est multimodale. […] [Elle] est un comportement qui associe des sons articulés à des mouvements corporels, et lorsque vous percevez une conduite langagière, vous percevez celle-ci dans les différentes modalités sensorielles dont vous êtes équipés. Autrement dit, non seulement vous reconnaissez les mots prononcés, mais vous les entendez avec leur musique (ce qu’on appelle la prosodie), et vous percevez en même temps les gestes, les mimiques, les regards…l’ensemble des mouvements corporels produits par le locuteur. » Colletta (2004 : 15).

4Cette définition de la parole multimodale proposée par Colletta met en évidence les différentes modalités en présence dans la perception de la parole à l’oral, en face à face. Elle peut être complétée par la définition de Ferré (2011 : 74) :

 « L’analyse multimodale consiste à mettre en relation des informations linguistiques produites dans différentes modalités, chacune d’elle contribuant à l’élaboration et à la perception du message communiqué. Ainsi, l’on peut distinguer la modalité verbale qui comporte plusieurs niveaux — phonèmes, choix du lexique, organisation syntaxique, organisation discursive — de la modalité orale — prosodie, qualité de voix — et enfin de la modalité visuelle — gestualité et expressions faciales. »

5La définition de Ferré, quant à elle, se place du point de vue de l’analyse. Une linguistique multimodale prend donc en compte les différentes modalités et les analyse en les mettant en relation. Étudier la prosodie ou analyser le geste (ou d’autres aspects kinésiques tels que les postures, les regards et les mimiques faciales) sans le verbal isolerait les modalités et ne permettrait pas de montrer leur articulation.

6Les interactions en face à face impliquent l’utilisation de plusieurs modalités langagières parmi lesquelles la parole et les expressions faciales. Lorsque l’on considère la communication comme « un tout intégré » (Winkin, 1981) et non comme une opposition entre communication verbale et non verbale, une analyse multimodale est tout à fait pertinente. De nombreuses études se sont intéressées au rôle des « gestes faciaux » (Bavelas et al., 2014) en lien avec la parole produite telles que des études sur les regards (Kendrick & Holler, 2017), les mouvements de sourcils (Goujon, 2019), les clignements des yeux (Homke et al., 2018), les hochements de tête (Stivers, 2008). Parmi ces différentes expressions faciales, le sourire est un geste très peu étudié dans son rapport avec ce qui est dit par les interlocuteurs. Le sourire a principalement été étudié en perception (Aubergé & Cathiard, 2003 ; Fagel, 2010) ou en relation avec ses fonctions émotionnelles (Ekman, 1975 ; Tartter, 1980). Pourtant, le sourire est un comportement social destiné à la communication : il est déterminé et mieux prédit par le contexte social plutôt que par les émotions intérieures (Fridlund, 1994). Dans cet article nous présenterons la méthodologie utilisée pour décrire les liens entre sourire et discours produits dans des interactions en face à face.

1.2. Eclairage de la sémiotique sociale

7Une conception de la multimodalité par l’entrée des modalités sensorielles peut être complexifiée si l’on pense qu’une même modalité peut être le canal de plusieurs modes sémiotiques. Ainsi, à travers la modalité visuelle, parfois appelée canal de la vue, il est possible de percevoir plusieurs modes sémiotiques : expressions faciales, gestes et proxémique entre autres. Ainsi, la multimodalité peut être définie comme une caractérisation de l’interaction non seulement en termes de modalités à l’œuvre, mais aussi de modes sémiotiques.

8Le développement des technologies de l’audio-visuel et du numérique a fait émerger dans les années 1990, une autre vision du concept de multimodalité, ancrée dans le champ de la sémiotique sociale. Les travaux de Kress et van Leeuwen (2001) ont permis de définir de nouveaux contours de cette notion en intégrant les différentes modalités de la communication permise par les différents artefacts utilisés. Ainsi la multimodalité est définie comme le recours massif et conjoint à divers modes d’expression (verbal, visuel, audio, tactile, etc.) dans la communication. Dans le champ de la sémiotique sociale, d’autres concepts sont généralement associés à la multimodalité tel que le canal (qui est l’entrée sensorielle d’après les cinq sens humains - vue, ouïe, tact, goût, odorat) ; la modalité (qui est l’entrée d’après l’artefact utilisé - par exemple, pour la visioconférence, on compte principalement les modalités visuelle et auditive) et le mode (qui correspond à un régime sémiotique mobilisé dans des ressources sémiotiques et en fonction de leurs affordances, autrement dit les possibilités et contraintes d’un environnement pour un acteur engagé dans une action). Dans ce cadre, selon Bezemer et Kress (2016) une ressource sémiotique sera définie comme une entité mixte liant les moyens (matériels ou immatériels) et les modes sémiotiques. Des exemples de moyens matériels sont le papier comme support à l’écriture, au dessin, etc. Les moyens non matériels sont principalement les actions, les relations entre interlocuteurs, les genres discursifs.

1.3. Eclairages émergents dans la « multimodalité numérique »

10Présent donc, dès lors que deux modes se sont trouvé mêlés, comme le textuel et le graphique à travers les premiers émoticônes par exemple, le concept de « multimodalité » en contexte numérique est devenu de plus en plus central : ainsi, Herring (2015) parle désormais de « Communication interactive multimodale » (Interactive Multimodal Communication) comprenant la communication multimodale médiée par ordinateur (principalement sur les plateformes interactives multimodales) et la communication médiée par robot (Robot-Mediated Communication). Il est aussi devenu de plus en plus complexe. En effet, si originellement la CMO reposait sur des éléments textuels que l’on étudiait au sein des courriels, forums de discussion, groupes de diffusion, donjons multi-utilisateurs, blogues, microblogues et wikis, désormais le graphique, l’audio, la vidéo sont de plus en plus disponibles sur les plateformes du web 2.0 et les smartphones (Herring & Androutsopoulos, 2015). La CMO est considérée comme multimodale quand sa production ou sa réception implique un canal de communication autre ou en addition au textuel (Herring & Androutsopoulos, 2015). On peut citer les émoticônes, les dessins animés (emoji), les gifs animés, les avatars, les bannières, les tickers, les boutons de relationnalité, les mèmes internet, les pancartes numériques, les incrustations textuelles, les reprofilages par filtres, l’ensemble de ce que Paveau (2017) nomme « technographismes ». Les annotations vidéo collaboratives (CVA) sont des variantes dynamiques de la communication textuelle au sein de l’image ainsi que les commentaires faits dans un mode autre que textuel. Comme Herring et Androutsopoulos (2015) le soulignent la CMO exclusivement textuelle est en déclin, la multimodalité est de plus en plus forte (Develotte, Kern & Lamy, 2011), les frontières entre les codes s’estompent ou se reconfigurent dans les écosystèmes connectés (Paveau, 2017), on tend vers une « iconisation du texte » (Paveau, 2019) grandissante, le métissage des signes (scripturaux, sonores, iconiques et datas) devenant la norme.

11Parallèlement, du point de vue de la formation des individus et des compétences des citoyens à l’ère numérique, Lacelle, Boutin et Lebrun (2018 : 8) définissent la littératie médiatique multimodale appliquée en contexte numérique comme : « la capacité d’une personne à mobiliser adéquatement, en contexte communicationnel synchrone ou asynchrone, les ressources et les compétences sémiotiques modales (ex : mode linguistique seul) et multimodales (ex : combinaison des modes linguistique, visuel et sonore) les plus appropriées à la situation et au support de communication (traditionnel et (ou) numérique), à l’occasion de la réception (décodage, compréhension, interprétation et évaluation) et (ou) de la production (élaboration, création, diffusion) de tout type de message ».

12Ainsi, étudier la communication multimodale numérique consiste donc à mettre en relation des informations linguistiques, sémiotiques et technodiscursives produites dans différentes modalités chacune d’elle contribuant à l’élaboration et à la perception du message communiqué dans une communauté donnée. Le schéma ci-dessous synthétise l’ensemble des éléments que le chercheur peut prendre en compte dans son analyse de la multimodalité numérique dans la mesure où ceux-ci seront croisés.

13Sur le plan méthodologique, la transcription de la multimodalité numérique s’avère également un enjeu pour les chercheurs. Guichon (2013) propose un exemple de transcription multimodale à partir de la thèse de Drissi (2011) transcrivant l’ensemble des modalités présentes : l’audio, le tchat et la webcam. Par ailleurs, avec les possibilités multimodales qu’offre désormais l’édition numérique, la transcription de la communication multimodale numérique peut elle-même exploiter ce champ des possibles.

2. Les recherches sur la multimodalité au LPL

14Les chercheur.e.s du LPL qui s’intéressent à la question de la multimodalité étudient chacun des contextes différents comme les interactions en face-à-face, les interactions en ligne et les interactions hybrides.

2.1. Les interactions en face‑à‑face

15Les interactions en face-à face peuvent être de différentes nature (e.g. conversations, interaction médecin-patient, réunion de travail…). Dans cette section, nous présenterons certaines recherches qui portent sur la conversation en face-à-face. Nos travaux portent principalement sur la prosodie lors de disfluences et sur le sourire dans deux phases de la conversation : les transitions thématiques et les phases d’humour.

2.1.1. Interactions conversationnelles

16Les études actuelles menées au LPL s’inscrivent dans les cadres de l’Analyse Conversationnelle (Sacks, Schegloff, & Jefferson, 1974) et de la Linguistique Interactionnelle (Couper-Kuhlen & Selting, 1996). A ce titre, la conversation est perçue comme une « production collaborative » (Sacks, Schegloff, & Jefferson, 1974) pendant laquelle les interlocuteurs mobilisent plusieurs « ressources multimodales » (Birdwhistell, 1968).

Sourire et conversation

17Parmi les nombreuses ressources mobilisées, nous nous intéressons plus particulièrement aux sourires que les interlocuteurs déploient au cours d’une conversation. S’il est admis que les signes du visage sont particulièrement observés par l’interlocuteur (Barrier, 2013), il a également été montré que le sourire du locuteur contribue à maintenir l’attention de son interlocuteur (Theonas, Hobbs, & Rigas, 2008). Dès lors, nous appréhendons le sourire comme un « geste facial » (Bavelas et al., 2014) participant à la collaboration des interlocuteurs au cours d’une conversation. Quelques fonctions interactives du sourire ont déjà été analysées comme le sourire-feedback, le sourire de politesse ou le sourire de requête (Koop et al., 2008, Argyle, 1988). Au LPL, nous mettons l’accent sur le rôle du sourire dans deux moments-charnières de la conversation au cours desquels les interlocuteurs négocient un changement potentiel de trajectoire interactionnelle (Wooffitt, 2005) : la transition thématique (changement de thème conversationnel) et l’humour (changement de registre, ou de « frame », Priego-Valverde et al., 2018).

Sourire et transition thématique

20À l’appui de la transcription, une analyse interactionnelle est menée afin de décrire l’enchaînement thématique des conversations. Les transitions thématiques sont ensuite étudiées dans leur rapport avec les sourires des interlocuteurs. Une analyse mixte de nos données est menée mêlant d’une part des analyses descriptives et statistiques de nos données afin de dégager les tendances de configurations de sourires et, d’autre part, des analyses séquentielles des transitions de nos deux corpus qui, combinés avec les tendances dégagées, permettront de mettre en avant les processus linguistiques mis en place par les participants dans les différentes phases des transitions analysées.

21Cette analyse a montré plusieurs résultats intéressants.

1. La fin d’un thème est majoritairement associée à un sourire.

2. Les locuteurs changent systématiquement leur intensité de sourire lorsqu’ils effectuent une transition thématique.

3. Ce changement observé est une baisse du sourire des locuteurs qui présentent ainsi un visage neutre en rupture avec le sourire précédent la transition. Cette configuration (i.e. suppression du sourire) se retrouve dans 30 % des transitions vs 9 % dans le reste de la conversation.

4. Cette suppression du sourire pour changer de thème est d’autant plus fréquente pour des interlocuteurs qui ne se connaissent pas (PACO) vs. des interlocuteurs qui se connaissent bien (Cheese!).

23Cet extrait apparaît juste après que les interlocuteurs ont expliqué chacun la raison de leur présence mutuelle à l’expérience en cours. LB est le dernier à avoir exprimé la raison de sa présence donc à alimenter le thème précédent. A la L.1, il conclue cette séquence thématique en expliquant qu’il réalise le plus d’expérience que possible, puis il émet plusieurs marqueurs de clôture thématique « donc euh voilà » ponctué par un léger rire, ces éléments combinés étant des marqueurs de la fin de son explication. Puis il résume son intervention en L.3 en reformulant le thème abordé « je suis là pour ça ». Ces deux énoncés sont prononcés avec un S2 alors que LB ne souriait pas juste avant ces énoncés. Le FB en L.2 de LE permet à LB de poursuivre son énoncé en ayant la confirmation que son interlocutrice suit son discours et ainsi de conserver son rôle interactionnel de locuteur. En L.4, LE prend le tour de parole avec le feedback « ok » qui collabore en montrant qu’elle a compris ce qui a été dit avec un S2. LE propose un nouveau thème à l’appui d’une question fermée autour de leur lieu d’étude. Ce changement de thème introduit par la conjonction de coordination « mais » est de type « enchaînement » puisqu’il est lié au thème précédent dans la mesure où LE demande une précision sur son lieu d’étude pour mieux comprendre sa présence à l’expérience en cours. En effet, LE a expliqué la raison de sa présence à l’expérience par le fait que son lieu d’étude est identique au lieu de la passation et de ce fait projette cette raison sur son interlocuteur. Par ailleurs, cette proposition est une question ce qui permet à LE de conserver sa position d’interlocutrice en invitant LB à développer. Cette proposition est accompagnée par une suppression du sourire puisque le début de l’énoncé est réalisé avec un S2 puis un visage neutre. En L.5, LB répond à la question posée avec un visage neutre et accepte ainsi le nouveau thème qui sera co-développé pendant 35 secondes.

Sourire et humour

24A ce jour, peu de travaux analysent l’activité mimo-gestuelle des interlocuteurs comme une ressource parmi d’autres pour « faire de l’humour ». Parmi ces travaux, la manière dont le locuteur humoriste indique à son partenaire qu’il fait ou qu’il va faire de l’humour – autrement dit, qu’il change de registre – est la piste la plus explorée. Ainsi, Tabacaru et Lemmens (2014) ont montré le rôle des mouvements de sourcils pour indiquer ce passage à un registre humoristique. Les mouvements de sourcils fonctionneraient donc comme des « gestural triggers ». L’étude a été certes conduite sur des séries télévisées, mais elle offre des pistes de recherche intéressantes et mériterait d’être appliquée sur des corpus conversationnels. Par ailleurs, les travaux de Gironzetti (2017) et Gironzetti et al. (2016) sur l’activité mimo-gestuelle (plus spécifiquement le sourire et le regard) des interlocuteurs lors de séquences humoristiques sont probablement les plus aboutis. Ainsi, concernant le sourire, Gironzetti (2017) apporte les deux résultats suivants : (1) locuteur et interlocuteur sourient avec une intensité plus grande juste avant, pendant et juste après les moments humoristiques. (2) Les locuteurs et interlocuteurs produisent plus fréquemment des sourires réciproques, et de même intensité lors des séquences humoristiques.

25Dans la lignée des travaux menés par Gironzetti (2017) et Gironzetti et al. (2016), les recherches (encore en cours) du LPL sur l’implication du sourire dans un énoncé humoristique sont menées dans deux directions complémentaires. La première (Priego-Valverde et al., 2018) relève d’une comparaison interculturelle de la manière dont les interlocuteurs sourient. Sur la base d’un corpus en anglais-américain et d’un autre en français (« Cheese! »), il s’agissait ici d’observer l’utilisation du sourire par les interlocuteurs selon qu’ils produisent ou non de l’humour. Il a alors été montré le même impact de l’humour sur la présence de sourires dans les deux corpus : les interlocuteurs déploient davantage de sourires réciproques et de même intensité lors de moments d’humour. En revanche, ils déploient davantage de visages neutres, ou de sourires d’intensités différentes lors de moments sérieux.

26Une étude exploratoire plus récente (Priego-Valverde et al. 2020) conduite uniquement sur deux interactions du corpus « Cheese! » a confirmé le rôle du sourire comme ressource utilisée par le locuteur pour indiquer qu’il bascule dans l’humour. Par ailleurs, la présence vs. absence de sourire d’une part, et son niveau d’intensité d’autre part, ont été analysés dans deux conditions : selon que l’énoncé humoristique réussisse ou échoue. Les premières analyses permettent de dégager deux tendances : (1) l’intensité des sourires produits lors d’un énoncé humoristique qui réussit est plus élevée que lors d’un énoncé humoristique qui échoue, (2) même lorsque l’humour échoue, les interlocuteurs produisent davantage de sourires que lors des moments sérieux de la conversation. Il semblerait donc que le sourire n’empêche pas l’échec de l’humour.

Disfluences et conversation

27Des marqueurs de clôture thématique tels que « donc euh voilà » se trouvent impliqués dans les analyses de discours sur la transition thématique (changement de thème conversationnel) et les études sur l’humour (changement de registre, ou de « frame »). Or, ces marqueurs sont également, comme on va le voir, des marqueurs impliqués dans les nombreux cas de rupture de la fluence verbale lors des conversations, la transition thématique n’étant qu’un cas parmi d’autres.

Ex 1 ; AG-1027.260 je complèt-je suis complètement partagé

29Les espaces Interregnum, nommés ainsi parce qu’ils ne participent pas à la construction syntaxique interrompue, sont situés entre ce que Shriberg a nommé Reparandum (l’élément qui précède l’interruption et Reparans l’élément qui reprend la construction syntaxique interrompue). Comme on vient de le voir, les Interregnum peuvent être vides (//) ou contenir des éléments oraux (pauses remplies ou non, éléments discursifs, interjections, termes variés) qui sont insérés dans l’énoncé tels des incises non reliées syntaxiquement au texte oral. C’est le cas de l’exemple suivant :

Ex 2 ; AG-983.284 ça contribue à //à si tu veux à cette //à cette construction

30L’analyse morphosyntaxique de ces disfluences a montré que le Reparandum pouvait être un fragment de mot (Ex 1) ou un mot ou un syntagme (Ex 2). De plus, les disfluences se subdivisent en trois catégories selon que le Reparans répète ou complète l’élément interrompu sans modification (Ex 2 ; cas les plus fréquents), ou qu’il le modifie (Ex 3 ; un quart des disfluences). Plus rarement encore, le locuteur laisse le mot ou la construction syntaxique inachevés (Ex 4 ) :

Ex 3 ; AG-1047.381 J’ai euh moi j’ai lev- // j’ai lu un truc sur ça

Ex 4 ; AG-1425.850 Tu te trompes un peu de mot et c’est // l’expression elle veut plus rien dire

31Les disfluences sont donc parties intégrantes de l’élaboration de l’énoncé et sont si fréquentes qu’elles occupent en moyenne un tiers de la durée totale de l’énoncé (Pallaud & Bertrand, 2020). Plusieurs facteurs peuvent les favoriser :

• Le vieillissement : plus on avance en âge, plus on tend à produire des discours disfluents (Bolly et al, 2016) ;

• Le contexte de prise de parole (publique par rapport à la parole spontanée ) : les marqueurs de discours qui sont très liés aux disfluences, sont eux aussi très représentatifs d’une planification en élaboration. Leur présence peut varier fortement et montre une augmentation croissante avec la prise de parole spontanée et non préparée (par opposition à la prise de parole planifiée telle qu’elle peut l’être en public) (Beliao & Lacheret, 2013) ;

• Certaines pathologies semblent également plus sensibles à la situation de parole spontanée : dans les cas d’hyperactivité (Engelhardt, 2010) ou d’autisme (Lake et al., 2011), les disfluences dans les énoncés se révèlent être plus fréquentes.

32Les effets des disfluences ont été étudiés surtout dans le cadre d’apprentissage :

• Les disfluences signalent les hésitations du locuteur. Perçues par le récepteur, elles accroissent son attention et la mémorisation du mot contexte de cette disfluence (Collard et al., 2008) ;

• La situation d’apprentissage de langue seconde (Nivja de Jong, 2018 ) : dans une situation d’apprentissage de langues, la durée des pauses semble être plus révélatrice du style de l’apprenant qu’une spécificité de la situation d’apprentissage. Par contre, le débit de parole et son inverse (la durée moyenne de prononciation des syllabes) sont caractéristiques de l’apprenant L2.

33En somme, les études sur les disfluences effectuées au LPL se sont concentrées sur l’analyse du verbal et des paramètres acoustico-prosodiques. Il nous semblerait tout à fait pertinent d’intégrer les gestes co-verbaux dans cette analyse (cf. partie Perspectives).

2.1.2. Interactions exolingues

34Les interactions exolingues, que Porquier définit comme une communication établie « par des moyens autres qu’une langue maternelle éventuellement commune aux participants » (Porquier, 1994 : 18), sont particulièrement intéressantes à étudier d’un point de vue multimodal. La communication exolingue que nous étudions relève de deux types : les interactions dans un milieu institutionnel (la classe de langue ou l’enseignement en ligne synchrone, voir ci-dessous) et les interactions en contexte semi-contrôlé (dans une tâche proposée à des participants de langues différentes). Dans chacune des situations, il y a un expert de la langue (enseignant expérimenté ou en formation) et un apprenant. Pour reprendre Py, « l’apprentissage d’une langue, ainsi que la communication exolingue qu’elle permet se définissent tous deux par un effort vers la construction d’une sorte de rationalité et d’intelligibilité linguistique. » (2000 : 401). Bange (1992) a conceptualisé cette attention qui dans la communication exolingue est portée à la fois sur le contenu et sur l’intelligibilité du contenu par tous les interlocuteurs en termes de bi-focalisation. Bien entendu, des adaptations verbales et vocales sont mises en œuvre par l’enseignant ou le locuteur expert pour faciliter la compréhension et l’acquisition (entre autres, Ferguson, 1975 ; Long, 1983). En outre, bien que moins étudiée, l’utilisation du corps, et du geste en particulier, vient souvent servir de béquille voire même prendre le relais de la parole pour faciliter l’accès au sens (Tellier, 2008). En analysant comment les discours sont construits multimodalement en situation exolingue, nous avons mis au jour plusieurs phénomènes en interaction en face à face.

35Une première analyse concerne la façon dont le geste et la parole s’articulent. On observe trois différentes manières : 1) le geste peut désambiguïser le verbal en apportant un éclairage complémentaire notamment lorsqu’on utilise des mots polysémiques, 2) le geste et le verbal peuvent être redondants, notamment lorsque les mots sont difficiles à comprendre, le geste apporte des indices sur leur signification et 3) le geste peut compléter le verbal notamment lorsque l’enseignant veut éliciter une réponse de la part de l’apprenant tout en donnant un indice sur la réponse attendue via le geste (Tellier, 2016).

36Une deuxième observation concerne le niveau prosodique dans la modalité orale, spécifiquement l’usage des pauses du discours du locuteur expert. Dans le discours à visée pédagogique, l’expert segmente la chaîne parlée pour faciliter la compréhension des mots clés du discours par l’apprenant. Plusieurs études réalisées au LPL ont montré que dans ces pauses du discours, des gestes apparaissaient pour illustrer les mots-clés mis en valeur sémantiquement (Stam & Tellier, 2017 ; Tellier et al., 2013). Par exemple, en classe de langue, une enseignante de FLE explique ce qu’est « la bavette ». Elle dit que c’est un type de viande et que « [c’est des tranches] [(0.33) fines (0.65)] ». Les parties de l’énoncés entre crochets indiquent la production d’un geste et les chiffres entre parenthèses les pauses du discours en secondes. Ici, l’enseignante produit un geste pour illustrer « tranche » (un mot important dans l’explication et potentiellement inconnu) et un autre geste pour « fine ». On remarque que « fine » est encadré de deux pauses qui mettent en valeur ce mot. Le geste iconique qui l’accompagne commence et se termine dans ces pauses (Tellier, 2016). Ce phénomène a été observé à la fois en contexte écologique et semi‑contrôlé.

38

2.2. Les interactions en ligne

39Avec la diffusion des ordinateurs et de connexions internet de plus en plus performantes, plusieurs outils de communication médiatisée par ordinateur (CMO) se sont développés et diffusés au fil des années, à partir des premiers échanges de courriel jusqu’à la banalisation récente de la visioconférence et des appels vidéophoniques. Ces nouveaux outils ont, d’une part, fait l’objet d’une projection de la part des interactions de procédés interactionnels provenant des interactions en face à face présentiel, tout en faisant émerger des nouveaux phénomènes communicatifs liés à la multimodalité de différentes formes de CMO (que l’on pense par exemple aux émoticônes dans les clavardages). Certaines recherches au LPL se sont ainsi tournées vers l’émergence de techno-genres discursifs et leur caractérisation par exemple en termes d’ethos. D’autres se sont intéressées au potentiel pédagogique pour la didactique des langues, tant sur le versant de l’acquisition de langues secondes que sur celui de la formation de formateurs.

2.2.1. Interactions sur le Web 2.0

40Plusieurs études au LPL s’appuyant sur le cadre théorique de l’Analyse du Discours Numérique (Paveau, 2017) s’intéressent au fonctionnement des interactions dans les espaces du web 2.0. Elles visent notamment à décrire, caractériser et même typologiser les différents genres numériques émergents dans ces espaces en prenant davantage en compte l’écosystème du web (Paveau, 2013) car la question de la contrainte technologique dans le fonctionnement des genres en ligne est primordiale. Ainsi Combe (2019a) étudie l’énonciation numérique de deux genres prototypiques du web 2.0 que sont le blogue et le vlogue et observe comment le système de gestion de contenu (CMS) de Wordpress et la plateforme YouTube contraignent et inspirent l’écriture numérique. Les différents éléments de la multimodalité numérique (voir 1.3.) sont également étudiés et notamment comment ceux-ci s’articulent les uns avec les autres. On observe ainsi comment le scriptural, le graphisme et la vidéo tissent des liens les uns avec les autres sur un blogue de voyage ou comment des commentaires écrits multiples répondent à une vidéo initiale autocentrée dans le cas d’un vlogue. Toujours à travers l’étude de la mise en discours numérique, Combe (2019b) s’intéresse aussi plus particulièrement à la construction de l’ethos de vlogueurs et met en évidence comment des éléments verbo-oraux, posturo-mimo-gestuels, scripturaux et graphiques au sein d’une vidéo permettent la construction d’un ethos discursif multimodal et intermédial d’un pro-amateur qui se veut compétent, accessible et engageant et de quelle manière ils sont exploités pour tenter de reconfigurer l’éducation à la politique et le débat citoyen entre les internautes (Combe, 2019b). Dans l’exemple ci-dessous, on voit le vlogueur Ludo expliquer dans une vidéo l’affaire Sarkhozy-Kadhafi ; à son discours oral viennent s’ajouter des éléments visuels (comme le livre en fond « Avec les compliments du guide, Sarkhozy-Kadhafi l’histoire secrète »), l’incrustation de la photo de Choukri Ghanem, mais aussi mimo-gestuels puisqu’il mime des guillemets pour accompagner l’appellation argotique « Monsieur Tune numéro 2 » (qui désigne Choukri Ghanem).

41Enfin, en contexte didactique, on peut observer comment des apprentis tuteurs de français langue étrangère redéfinissent leur ethos numérique en étudiant différents genres discursifs multimodaux comme leur e-portfolio étudiant (Combe, 2020), leur selfie vidéo tutoral (une vidéo de présentation à destination de leurs apprenants de FLE), la rédaction de leur consignes en ligne sur une plateforme asynchrone et enfin au cours de séances de visioconférence que ces tuteurs animent (Combe & Cappellini, 2021).

2.2.2. Interactions exolingues

42Deux contextes d’interaction sont le focus de plusieurs études : les interactions télétandem et les interactions entre tuteurs et apprenants. Dans les interactions de tandem, deux étudiants de deux langues maternelles différentes et apprenant chacun la langue de l’autre interagissent pour s’entraider dans leur apprentissage. Chaque langue est parlée par les deux interlocuteurs la moitié du temps. Si le tandem se déroule en présentiel, le télétandem exploite les logiciels et plateformes de vidéoconférence poste à poste. Une des caractéristiques du télétandem est que les apprenants n’ont d’expertise que concernant l’usage de leur langue maternelle, donc sans avoir une expertise (méta)linguistique ni pédagogique. Néanmoins, l’étude de Cappellini (2014) montre que les usagers experts ont recours à la multimodalité de la visioconférence pour étayer l’apprentissage langagier et (inter)culturel des apprenants. Ainsi, par exemple le recours au clavardage apparaît notamment lors des séquences latérales d’étayage langagier, autrement dit des moments où l’interaction est, en quelque sorte, suspendue afin de traiter une panne lexicale ou une incompréhension et ainsi en faciliter l’apprentissage. D’autre part, l’étayage pour l’apprentissage d’éléments culturels s’appuie souvent sur un recours à des navigateurs internet servant à la recherche d’images, de musiques et plus largement d’informations à partager avec l’interlocuteur. L’exemple suivant montre deux étudiantes dans un télétandem franco-chinois aux prises avec une séquence latérale de recherche lexicale, ou séquence potentiellement acquisitionnelle lexicale.

43

44Dans cet extrait, on peut noter que dans la phase de sollicitations, l’étudiante chinoise produit des hésitations verbales/pauses remplies (euh) accompagnées par une mimique de doing thinking (Liebscher & Reichert, 2012) en déplaçant le regard en haut à droite, pour ensuite opérer une sollicitation avec une alternance codique. L’étudiante française propose une traduction française et, une fois cet élément lexical validé par l’apprenante, elle l’envoie également par le clavardage. L’extrait montre ainsi comment les différentes modalités de la visioconférence sont mobilisées pour une production transmodale de la communication articulant plusieurs modes : paraverbal (euh, ah), verbal en deux langues, mimique et écrit.

45Les interactions par visioconférence dans le cadre de l’apprentissage des langues et cultures impliquent des compétences qui ont été définies en termes de littéracies socio-interactionnelles (Ollivier & Puren, 2011), de compétence multimodale (Hauck, 2010) ou encore de compétence techno-sémio-pédagogique (Guichon, 2012). Bien que ces définitions impliquent des ancrages théoriques et éventuellement épistémologiques différents, un certain nombre de traits leur est commun. Le principal de ces traits est la relation qui s’instaure entre un locuteur et un interlocuteur à travers un environnement médiatisé, ce qui implique d’une part une conscience plus ou moins approfondie des fonctionnalités des interfaces et des artefacts techniques, d’autre part une capacité à traduire cette conscience en des plans d’action pendant l’interaction même.

46Les recherches dans le domaine de la didactique des langues et cultures ont souvent associé la théorisation de ces compétences en termes de conscience et de capacité à la nécessité d’une formation pour une réussite de la communication à des fins pédagogiques. Néanmoins, suite à l’étude de Cappellini (2014) force est de constater qu’un certain nombre de sous-compétences sont développées de manière informelle (autrement dit de manière incidentale et probablement inconsciente) par la pratique même de ce type d’interaction et d’environnement de communication. En particulier, l’étude de Cappellini et Azaoui (2017) a mis en place une comparaison entre des futurs enseignants de FLE engagés dans un tutorat avec des apprenants dans le cadre d’une formation aux compétences techno-sémio-pédagogiques d’une part, et des étudiants en télétandem qui n’ont pas de préparation en ce sens. En s’intéressant aux séquences d’évaluation normative (« SEN », i.e. des séquences latérales où l’expert « corrige » une formulation jugée erronée de l’apprenant), ils ont noté que les tuteurs considérés ne montraient pas forcément un plus grand degré de compétence dans leurs prises de parole. Plus particulièrement, le degré de densité multimodale (i.e. le nombre de modes mobilisés) était similaire entre les deux populations. De plus, bien qu’il y ait un plus grand nombre de SEN chez les tuteurs, le taux de reprises des corrections par les apprenants était majeur en télétandem.

47A partir de ce constat, une équipe du LPL a conçu le projet de recherche VAPVISIO (https://anr.fr/​Projet-ANR-18-CE28-0011), qui vise à déterminer : 1. quelles sont les compétences techno-sémio-pédagogiques nécessaires à l’enseignement - apprentissage des langues par visioconférence ; 2. lesquelles, parmi ces compétences, sont développées par la simple pratique de ces interactions pédagogiques ; 3. corrélativement, quelles compétences au contraire nécessitent une formation formelle pour être développées. De plus, dans la littérature existante, les compétences techno-sémio-pédagogiques ne sont étudiées que par l’observation d’enregistrements audio-visuels des interactions de visioconférence et/ou par des productions après-coup des apprenants explicitant leurs logiques d’action par des questionnaires ou des entretiens, par exemple d’auto-confrontation. Le projet Vapvisio a élaboré un cadre théorique et méthodologique intégrant l’exploitation de l’oculométrie afin d’élaborer des hypothèses d’analyse sur le processus d’action-perception-interprétation (Van Lier, 2004) pendant l’interaction même. En d’autres mots, en analysant les mouvements oculaires d’un interlocuteur, il est possible d’émettre des hypothèses sur sa connaissance des interfaces graphiques de visioconférence et sur la sélection des éléments pertinents pour accomplir une (inter)action, ainsi que leur mobilisation éventuelle (Cappellini, 2021 ; Cappellini & Hsu, 2022). Cette méthodologie permet ainsi de développer des analyses non seulement sur la mobilisation de plusieurs modes sémiotiques, mais aussi sur la conscience de certains modes et de leurs interactions mutuelles.

2.3. Les interactions hybrides

49Ces artefacts étaient au nombre de trois : 1) une tablette articulée sur un socle (le robot de télé-présence Kubi), 2) un robot à taille humaine mobile sur roulettes (le robot de télé-présence Beam) et 3) une plateforme multimodale interactive (Adobe Connect) qui présentait, entre autres modules, un espace de visioconférence, un espace de clavardage, une prise de notes collective et un partage de documents. Chaque artefact étant lui-même actionné au travers d’écrans multiples (d’ordinateurs, de tablettes, de smartphones, etc.).

50Un tel contexte de communication multimodale poly-artéfacté s’avère donc éminemment complexe tant à expérimenter pour les participants, qu’à étudier et retranscrire pour les chercheurs. En effet, une grande partie des éléments de la multimodalité numérique (voir partie 1.3) doit être pris en compte comme 1)  le verbo-oral et 2) le posturo-mimo-gestuel des participants en présence mais également par visioconférence et via l’écran des robots de télé-présence ; 3) le scriptural du clavardage, de la prise de notes collective, des documents partagés ; 4) les différents éléments d’audio et de vidéo des robots de télé-présence et de la visioconférence ; 5) la cinétique des robots de télé-présence mais aussi des locuteurs à l’écran et en présence physique, etc.

51En outre, la multimodalité concerne également le dispositif de captation des données puisque des données scripturales (questionnaires écrits), mais aussi des données audio (via des micros) et vidéo (par caméras externes, captures dynamiques d’écran, etc.) ont été recueillies.

3. Perspectives

53Au terme de cet article qui met en évidence les grandes directions de recherche effectuée au LPL sur la multimodalité, plusieurs perspectives ont été identifiées. A titre d’exemple, étudier le phénomène de défaillance interactionnelle semble particulièrement intéressant notamment pour montrer comment les locuteurs puisent dans leurs ressources multimodales pour surmonter ces défaillances. Des phénomènes différents les uns des autres sont à observer : disfluences, recherches lexicales, incompréhensions et réparations, explications et enfin anticipation de la défaillance à un travers un discours didactique multimodale.

54Une première piste de recherche qui pourrait être explorée est la nature multimodale des disfluences en interaction. Quelques études, dont celles de Dodane et al. (2019), Graziano et Gullberg (2018) Kosmala et al., (2019) concourent à établir que la disfluence est un phénomène multimodal et que les indices visuels sont intéressants à prendre en compte lors des études sur la parole spontanée. Par exemple, dans un contexte d’apprentissage de langue seconde, Graziano et Gullberg, (2018) ont mis en évidence une synchronisation forte entre la suspension de la parole et celle du geste. Esposito et Marinaro (2007) ont également montré une relation ente les pauses et les suspensions de la main (hold) aussi bien chez l’enfant que chez l’adulte. Les mêmes résultats ont été trouvés lors du bégaiement chez des sujets bègues (McNeill, 2005). Les études de Cook et al., (2009) montrent que lorsque les locuteurs choisissent des formes langagières moins habituelles, leurs gestes sont plus nombreux et le nombre de leurs disfluences augmente. Au contraire, les disfluences analysées par Karpinski et Jarnolowicz-Nowkow (2020) lors de dialogues au cours de tâches comme la dénomination d’image ne présentent pas cette même synchronisation avec le geste. La synchronisation de disfluences et de gestes ferait donc encore débat. La participation des disfluences morphosyntaxiques à l’élaboration de l’énoncé encourage donc à envisager le couplage au moins de certaines disfluences avec des paramètres verbaux et gestuels : observe-t-on seulement une synchronisation de la suspension du geste et de la parole ou existe-t-il des gestes spécifiques liés à la recherche lexicale ? Une perspective de recherche au LPL pourrait être de comparer l’apparition des disfluences dans les discours en L1 vs en langue étrangère pour voir si la maitrise de la langue affecte la façon dont ce phénomène s’exprime multimodalement. Les éléments à prendre en compte seraient les pauses (vides ou remplies), la morpho-syntaxe, les gestes co-verbaux, et l’orientation du regard. Ce dernier point semble particulièrement pertinent car lors de la disfluence (notamment pour recherche lexicale) le regard peut être dirigé soit vers l’interlocuteur pour solliciter son aide ou soit ailleurs pour se concentrer et couper de son champ de vision l’interlocuteur comme on peut le voir dans la figure ci‑dessous.

55Parmi les perspectives à explorer dans les recherches sur la multimodalité, on peut compter l’étude des alignements conversationnels. Dans le modèle proposé par Pickering et Garrod (2021), l’alignement est un phénomène psychologique concernant les représentations mentales d’interlocuteurs, phénomène qui se reflète dans l’articulation et souvent la reprise de comportements communicatifs. Si l’alignement a initialement été étudié par le phénomène du priming à différents niveaux langagiers (lexique, morphosyntaxe…), récemment on a pu constater un intérêt pour la communication dans sa multimodalité, incluant entre autres les gestes et les mimiques faciales. Un premier pas dans cette direction a été proposé par Cappellini, Holt et Hsu (2022), qui se proposent d’étudier comment, dans les interactions exolingues en ligne, l’alignement se concrétise aux niveaux lexicaux, morpho-syntaxique et mimique.

56En incluant l’étude des mimiques faciales, une étude du sourire des interlocuteurs en phase de réparation orale, pourrait permettre de mettre en exergue l’importance de cette expression faciale dans ce procédé interactionnel. Une piste de recherche serait également d’interroger la place du sourire dans la recherche lexicale (cf. extraits présélectionnés).

57Enfin, il semble que l’on pourrait aussi dans les recherches sur la multimodalité numérique étudier à partir de la complexité du schéma interactionnel de la plateforme YouTube (un discours vidéo auquel répondent des commentaires écrits en asynchronie) comment les vlogueurs anticipent la possible défaillance interactionnelle en recourant à un discours didactique (Moirand, 1993) qui sollicite différents éléments multimodaux.