- 1 Dans cet article, « langue seconde » est utilisé dans le sens « langue étrangère ».
1Écrire en langue seconde1 (L2) est une activité complexe et coûteuse sur le plan cognitif, ce qui est bien documenté par la littérature académique (Bialystok, 2001 ; Chenoweth & Hayes, 2001 ; Barbier, 2012). Cette activité exige de mettre en œuvre simultanément plusieurs processus, dont les trois principaux sont, comme en langue première (L1), la planification, la mise en texte et la révision (Hayes & Flower, 1980 ; Piolat & Roussey, 1992). L’apprentissage de la production écrite en L2 nécessite d’être accompagné et étayé. Plusieurs types d’aides à l’écriture, médiées ou non par les technologies, ont été décrites (O’Brien, 2004) : l’enseignement de stratégies, la vérification, la révision, l’auto-évaluation (Sethuraman & Radhakrishnan, 2020), l’écriture collaborative (Zhang et al., 2021), l’appui sur les corpus (Schaeffer-Lacroix, 2015) et plus récemment l’utilisation de l’intelligence artificielle (Warschauer et al., 2023 ; Pecorari, 2023a).
2Si les enseignants de langue ont leur lot d’inquiétudes et de frustrations lorsque des étudiants utilisent des outils de traduction ou d’intelligence artificielle (IA) pour réaliser leurs travaux d’écriture (Praphan & Praphan, 2023), l’émergence de ces outils invite désormais à réfléchir à leur intégration dans les pratiques d’enseignement de la production écrite. En contexte d’enseignement-apprentissage d’une langue seconde et en particulier dans un contexte de révision d’une production écrite, l’IA permet-elle aux apprenants d’améliorer leur écrit ? Quels sont les éléments qui retiennent alors l’attention des scripteurs et font l’objet d’une interaction avec l’intelligence artificielle pour être corrigés, reformulés, améliorés ? Comment les scripteurs intègrent-ils les feedbacks de l’IA ? Et quelles en sont finalement les conditions d’une utilisation pertinente ?
- 2 La version gratuite de ChatGPT a été utilisée.
3Pour apporter une contribution à ces questions émergentes et illustrer les interactions entre des apprenants de langue et l’IA, nous avons mené une expérimentation auprès de vingt-cinq étudiants volontaires de première, deuxième et troisième année de licence de droit de l’université de Bordeaux, apprenant l’allemand, langue pour spécialistes d’autres disciplines (Lansad). Les participants ont été invités à écrire en allemand un texte de deux cents mots (Tableau 1). Ils ont ensuite révisé cette première version, en utilisant la fonction conversationnelle de ChatGPT2 (Open AI, 2024), pour rédiger une deuxième version. Dans cette dernière, les passages modifiés, corrigés, rallongés ou améliorés avec l’IA ont été marqués en couleur par les étudiants, ce qui nous a permis de bien isoler les apports de l’IA.
Tableau 1 – Consignes données aux étudiants.
Expérimentation. Durée 1h30.
Vous avez :
20-25 minutes pour étudier la vidéo et son script puis 20-25 minutes pour rédiger en allemand un résumé de ce que vous avez compris : 200 mots. (Version 1).
25-30 minutes pour poser 10 questions à ChatGPT pour corriger/améliorer votre texte (Version 2).
Dans la version révisée avec CHAT GPT (Version 2), vous mettrez en couleur ou en gras ce que vous avez modifié par rapport à la Version 1.
Vous remettrez ensuite les 2 versions de votre texte.
|
4Nous avons ensuite mené des analyses quantitatives et qualitatives sur les deux versions des productions écrites et sur les interactions des étudiants avec ChatGPT. Avant de rendre compte des résultats de cette étude, nous présentons, tout d’abord, les recherches qui concernent l’activité de production de l’écrit en L2 et ses enjeux en allemand langue seconde, puis les questionnements émergents à propos de l’écriture en L2 avec l’intelligence artificielle.
5En allemand langue seconde, les difficultés rencontrées par les apprenants tiennent, d’une part, à la complexité de la tâche de production écrite en L2 et aux spécificités de la langue allemande du point de vue francophone, d’autre part.
6Complexe, dynamique, récursive, l’activité de production écrite, en langue première comme en langue seconde, a été qualifiée de multiples manières par les chercheurs (Li, 2023 ; O’Brien, 2004). Cette activité exige en effet de mettre en œuvre simultanément ou de manière successive et rétroactive trois processus principaux : la planification, la mise en texte et la révision (Hayes & Flower, 1980 ; Gathercole & Baddeley, 1993 ; Olive et Kellogg, 2002 ; Piolat & Roussey, 1992).
7Plusieurs études ont mis en évidence un certain nombre de particularités de la production écrite en langue étrangère (Johnson, 2020). Chez les individus plurilingues, les différentes langues sont actives simultanément (Bialystok, 2001). Lorsqu’ils ne maîtrisent pas encore suffisamment la langue cible, les rédacteurs passent plus de temps à traduire la L1 vers la L2, ce qui peut surcharger la mémoire de travail (Sasaki & Hirose, 1996). Les processus d’inhibition ou d’activation des informations en mémoire au moment de la rédaction sont rallongés, ce qui augmente le sentiment de difficulté lié à la réalisation d’une tâche (Kroll et al., 2015). De plus, le manque d’automatisation des processus de bas niveau nécessaires à la mise en texte augmente le coût cognitif associé à la rédaction (Barbier, 2012).
8Ces difficultés donnent lieu à des erreurs ou productions non conformes à une norme, qui ont plusieurs origines (Corder, 1967 ; Kleppin, 1998 ; Narcy-Combes, 2009 ; Rösler, 2023). En production écrite, les écarts avec la norme peuvent relever de phénomènes de surgénéralisation ou de régularisation, de stratégies de communication ou d’apprentissage, lorsque l’apprenant privilégie des contenus et des structures simples ou qu’il réinvestit de manière inappropriée des structures apprises. Elles peuvent également être liées à des interférences avec la langue première, c’est-à-dire à des transferts de la langue première vers la langue seconde, ou engendrer un mélange des codes. Parmi ces transferts, on peut distinguer les interférences et mélanges des codes involontaires, qui témoignent d’une difficulté, des stratégies volontaires à l’initiative de l’individu, qui peuvent relever du translanguaging (García & Li, 2014) et être considérées comme la manifestation d’une compétence bilingue à valoriser.
9Pour accompagner l’apprentissage de la production écrite en langue seconde, les aides envisagées sont souvent inspirées des recherches sur la production écrite en langue première (O’Brien, 2004). Le numérique est alors bien représenté, notamment dans les dispositifs d’écriture collaborative (Zhang et al., 2021), de clavardage (Gonthier et al., 2018) ou de traduction en ligne (Hellmich, 2021). Les outils d’intelligence artificielle font l’objet de nombreuses recherches émergentes (Barrot, 2023 ; Imran & Almusharraf, 2023 ; Warschauer et al., 2023 ; Pecorari, 2023a et b) et pourraient également, à certaines conditions, jouer le rôle de tuteurs ou de guides pour écrire en langue seconde (cf. 2.3.).
10Du point de vue francophone, la langue allemande se caractérise par une structure dite « régressive », par des phénomènes de marquage ou encore par la précision de l’expression. Si l’ordre des mots est fortement contraint, comme c’est le cas en français ou en anglais, on peut s’appuyer sur l’hypothèse d’une séquence Sujet-Verbe-Objet pour produire (ou comprendre) un énoncé (Bronckart, 1983). En revanche, dans les langues où l’ordre des mots est plus libre, comme en allemand (même si certaines règles sont à respecter, notamment concernant la partie conjuguée de la forme verbale), les facteurs sémantiques, morphologiques, pragmatiques et même culturels peuvent être prépondérants (Röder et al., 2000). Les erreurs de production (Tableau 2) ont été classifiées en fonction du niveau linguistique auquel elles surviennent (Luste-Chaâ, 2010). Dans le tableau 2, les exemples viennent soit du corpus de la présente expérimentation, soit de Mlakar Gračner (2018), en l’absence d’occurrences pertinentes dans nos données.
Tableau 2 – Exemples d’erreurs de production en allemand langue seconde.
Niveau linguistique
|
Exemple en allemand
|
Phonétique/phonologique
|
*fur (orthographe)
|
Morphologique
|
*die Staat ou *ich kanne (genre, cas ou conjugaison)
|
Syntaxique
|
*die Demonstranten dann schreien (position du verbe conjugué)
|
Lexico-sémantique
|
*trafen sie Leute kennen (utilisation du lexique impactant le sens)
|
Pragmatique
|
*Sehr geehrte Schmidt Frauke (méconnaissance des usages)
|
Contenu
|
*Berlin liegt in Frankreich (connaissance du monde)
|
11La catégorisation linguistique des erreurs des apprenants en production de l’écrit ne sert cependant la didactique des langues que lorsqu’on s’y intéresse dans l’objectif de constater une évolution du système linguistique des apprenants ou lorsqu’on cherche à analyser des différences entre des productions écrites, ce qui est le cas dans notre étude. Dans la littérature, on trouve plusieurs indicateurs de la complexité ou de la complexification d’une production. Pour Ellis et Yuan (2004), la variété des formes verbales utilisées (temps, modes et voix) ou le nombre de subordinations sont de bons indicateurs de la complexité syntaxique. La précision grammaticale, quant à elle, peut être mesurée en calculant le pourcentage de phrases sans erreur syntaxique, morphologique et lexicale, par rapport au nombre total de phrases produites (Skehan & Foster, 1999). Schaeffer-Lacroix (2010) observe, quant à elle, plus précisément l’usage et la déclinaison des adjectifs, comme un indicateur de l’évolution du système linguistique des apprenants de l’allemand. Concernant la cohérence, Rondelli (2010) reconnait, en s’appuyant sur Adam (2005), plusieurs indicateurs comme les connexions (connecteurs et organisateurs textuels), l’implicite (ellipses, présupposés, sous-entendus) ou les anaphores. Dans la présente étude, nous comparons deux versions d’une production écrite, l’une rédigée sans aide, l’autre révisée à l’aide de l’intelligence artificielle. En nous appuyant sur les recherches précédemment citées, nous avons donc choisi quatre indicateurs pour évaluer ces productions écrites : la variété lexicale, la complexité syntaxique, la cohérence et la pertinence du contenu.
12ChatGPT propose un modèle spécialisé de traitement naturel du langage, capable d’interagir avec les utilisateurs (Athanassopoulos et al. 2023 ; Kohnke et al. 2023). Développé par l’entreprise OpenAI et basé sur des technologies de deep learning (apprentissage profond), il s’appuie sur des réseaux neuronaux profonds, inspirés de ceux des humains pour produire de la langue. Dans le domaine de l’éducation, les implications éthiques de l’utilisation de ChatGPT (Baskara & Mukarto, 2023 ; Atlas, 2023), les enjeux sociaux et professionnels, la faible connaissance des politiques de traitement des données par OpenAI, ainsi que le risque de plagiat (Pecorari, 2023b ; Sallam, 2023) font l’objet de débats. Le caractère anthropomorphique des termes que l’on adopte pour parler de l’IA (Pélissier, 2020) retient également l’attention des chercheurs. Peut-on écrire « l’IA répond », « comprend », « tient un discours » ? Ou faudrait-il plutôt écrire que ce que l’agent conversationnel de l’IA produit est « le fruit d’un traitement statistique basé sur des algorithmes » ? Cette remarque est importante pour la présente analyse. Si en anglais on pronominalise l’IA par it, ce qui la rend instantanément moins humaine, le français contribue, comme l’allemand (die Künstliche Intelligenz est un féminin), en quelque sorte, à alimenter le mythe d’une IA personnifiée, dont il faut pourtant se distancer. Il reste que pour décrire ce que « fait l’IA », comme fournir des réponses, des feedbacks, des explications, il n’y a guère, pour l’instant, d’autres termes que ceux-là. Dans la présente étude, nous les adoptons donc, en gardant à l’esprit que le discours de l’IA est, comme son nom l’indique, artificiel.
13Malgré ces limites et zones d’incertitude, de plus en plus de travaux académiques étudient l’intérêt d’outils comme ChatGPT pour la production écrite en langue seconde, notamment en anglais (Zhai, 2022 ; Baidoo-Anu & Owusu Ansah, 2023 ; Imran & Almusharraf, 2023 ; Warschauer et al., 2023). Les chercheurs relèvent que certaines tâches sont, en quelque sorte, déléguées à l’IA lors du processus de rédaction. Ces différents apports pratiques peuvent alors être rapprochés des processus rédactionnels auxquels ils contribuent. La génération d’idées et la récupération d’informations nécessaires pour écrire (Chenoweth & Hayes, 2001) relèvent, par exemple, de la planification. La traduction, l’identification des erreurs linguistiques, les ajustements locaux (Imran & Almusharraf, 2023) ou l’obtention d’un feedback ou d’une explication (Lund & Wang, 2023) contribuent à la mise en texte. Lors de la révision, les scripteurs procèdent à une relecture critique de leur texte, à une autoévaluation (Athanassopoulos, 2023) et utilisent alors l’IA de manière récursive, pour accomplir (à nouveau) certaines tâches qui peuvent relever de la planification ou de la mise en texte. Enfin, l’IA permettrait, du point de vue de la répartition des ressources attentionnelles en mémoire de travail, de soulager l’ensemble des processus rédactionnels en réduisant le temps et l’effort nécessaires à la rédaction et en permettant un apprentissage personnalisé (Kohnke et al., 2023).
14Une autre dimension importante de la réflexion autour d’outils comme ChatGPT pour accompagner la production écrite en L2 concerne les conditions pour obtenir des réponses pertinentes. La qualité de ses réponses dépend, en effet, en partie de la précision des demandes (désormais prompts). Comme ChatGPT est un modèle d’apprentissage non supervisé, il peut générer des réponses incorrectes, que certains chercheurs ont même qualifiées de « troublantes » (Las-Vergnas & Rio-Jouet, 2023). Ces auteurs ont, par exemple, identifié dans un échange avec Bard-Google
des incohérences ou contradictions, un déni apparent (non prise en compte d’observations critiques), des hallucinations (invention de données fictives pour servir d’argument à un discours), un alignement d’allégeance (soumission à l’autorité de son interlocuteur), (…) une simulation de réflexivité de la part de l’IA (Las-Vergnas & Rio-Jouet, 2023, p. 34).
15Warschauer et ses collègues vérifient également, pour l’usage de l’IA, une apparente contradiction, somme toute courante, lorsqu’on s’intéresse aux technologies numériques : « The 'rich get richer' contradiction » (on ne prête qu’aux riches) (Warschauer et al., 2023, p. 2). Pour pouvoir utiliser l’IA pour écrire en langue seconde, une bonne maîtrise de la langue en question et la capacité à écrire efficacement seraient d’indispensables conditions. L’IA aide-t-elle alors à apprendre la langue, ou la maitrise de la L2 est-elle un prérequis pour apprendre encore davantage grâce à l’IA ? Dans cette perspective, les études de Barrot (2023) et de Koltovskaia (2020) montrent que plus les apprenants d’anglais ont un niveau de compétence élevé, plus ils intègrent les retours d’outils tels que Grammarly de manière pertinente et sélective. Les étudiants moins compétents, sont moins à même d’identifier et d’analyser eux-mêmes les faiblesses de leurs écrits, ils font trop confiance aux feedbacks automatiques, les incorporent souvent sans recul ou pratiquent ce qu’Howard (1992) a appelé le patchwriting : c’est-à-dire copier à partir d’un texte source, puis supprimer certains mots, les remplacer un à un par des synonymes ou modifier les structures grammaticales. Pour utiliser pleinement l’IA, les scripteurs semblent donc devoir repérer les faiblesses de leurs textes, fournir les bons stimuli, comprendre les limites, éditer et incorporer efficacement le texte généré par l’IA. En langue seconde, pour des raisons qui tiennent à la répartition des ressources attentionnelles et à la saturation de la mémoire de travail (Sweller et al., 2022), il nous semble qu’il y a de bonnes raisons de penser que ces conditions peuvent ne pas toujours être réunies.
1625 étudiants de première, deuxième et troisième année de licence de droit, entre 18 et 21 ans, de l’université de Bordeaux, apprenant l’allemand, langue pour spécialistes d’autres disciplines (Lansad), ont participé à cette étude sur la base du volontariat. Ces étudiants apprennent tous l’allemand depuis le lycée, soit depuis 5 à 10 ans. Il faut noter que l’allemand est une option à la faculté de droit et que les étudiants qui choisissent d’en poursuivre l’apprentissage sont motivés et assidus. Leur niveau moyen se situe autour du B2 du Cadre européen de référence pour les langues (Conseil de l’Europe, 2001). Douze étudiants ont un niveau A2-B1, huit étudiants ont un niveau B2 (ils ont été testés par des enseignants allemands de l’université de Bayreuth, car ils sont en licence franco-allemande en droit), cinq ont un niveau C1 (deux ont un Abibac, l’un a été scolarisé au Luxembourg, l’une a étudié le droit en Allemagne et l’autre a un père allemand).
17Si nous prenons comme référence leur score moyen à la première version de la production écrite réalisée pour cette expérimentation sans ChatGPT, nous pouvons distinguer deux groupes d’étudiants de deux niveaux moyens différents (Tableau 3).
Tableau 3 – Description des participants en fonction de leur score à la version 1.
|
N
|
Moyenne /20 (Écart-Type)
|
Groupe 1 – niveau A2-B1
|
12
|
9 (1.59)
|
Groupe 2 – Niveau B2-C1
|
13
|
13.54 (2.02)
|
18Ils ont été invités à rédiger en allemand un texte de 200 mots pour résumer un reportage vidéo, portant sur le groupe d’activistes écologistes Letzte Generation qui mène des actions parfois pénalement répréhensibles pour sensibiliser au changement climatique. Cette vidéo intitulée Geldstrafe für Unterstützer der „Letzten Generation“ (Sanction pécuniaire pour les partisans du groupe « Dernière Génération »), datée du 19 juillet 2023, est publiée en ligne par le journal allemand Die Frankfurter Allgemeine Zeitung (FAZ)3.
19Après la rédaction d’une première version de leur texte dans un traitement de texte, il a été demandé aux participants de copier-coller cette version, au-dessous, dans ce même traitement de texte. La version 1 copiée-collée devait alors être révisée, en utilisant de manière ciblée la fonction conversationnelle de ChatGPT. Les participants ont été autorisés à formuler dix prompts sans copier-coller leur texte dans son intégralité dans l’IA. L’objectif était, en effet, de savoir s’ils étaient capables de repérer les faiblesses de leur écrit et de s’appuyer sur l’IA pour y remédier. Dans la deuxième version, les passages modifiés, corrigés, rallongés ou améliorés avec l’IA ont été marqués en couleur.
20Mettre les étudiants en situation d’écrire d’abord, puis de réviser leur production avec l’IA ensuite, nous semble correspondre à ce que les chercheurs ont observé comme l’une des utilisations spontanées de l’IA. Kassorla (2024) a par exemple identifié trois stratégies : « Écrire d’abord », « IA d’abord », « IA sélective ». La première approche implique d’écrire une première version du texte, puis d’utiliser l’IA comme un tuteur pour l’améliorer. La stratégie « IA d’abord » implique d’utiliser l’IA pour générer des idées, établir un plan, affiner ou tester des arguments qui servent d’appui au texte. Enfin, lorsque les étudiants utilisent l’IA de manière « sélective » pour écrire, ils peuvent commencer par générer un plan, puis l’éditer ou le réorganiser avec l’IA, ou commencer par rédiger leur propre texte et utiliser l’IA pour affiner, préciser, ou encore écrire une partie et demander à l’IA de les aider à réviser ou réorganiser ces idées.
21Cette mise en situation présente également un avantage méthodologique de taille : elle permet de séparer nettement, puis de comparer ce qui est fait sans l’IA et ce qui est fait avec l’IA, ce qui n’est pas toujours aisé, lorsque les étudiants ont uniquement pour consigne « d’écrire en utilisant l’IA ». Nous faisons également l’hypothèse, puisque le processus d’écriture est récursif, qu’il sera possible par le biais de cette tâche de révision imposée, d’observer des traces, dans les écrits des étudiants et dans les échanges avec l’IA, des deux autres processus de production de l’écrit : la mise en texte et la planification.
22Pour notre analyse, nous disposons donc pour chacun des 25 participants de deux versions de leur production (N=50) et des échanges avec ChatGPT (N=25).
23Nous avons tout d’abord mené une analyse quantitative des écrits des étudiants pour mesurer l’effet de l’utilisation de ChatGPT sur la qualité de la production écrite, en l’occurrence sur les scores en production écrite. Une note globale sur 20 points a été attribuée à chacune des 50 productions. Comme nous l’avons annoncé plus haut, cette note est elle-même composée de quatre indicateurs évalués sur cinq points : la variété lexicale, la complexité syntaxique, la cohérence et la pertinence du contenu. Deux enseignants d’allemand ont relu et évalué les deux versions des productions écrites en double aveugle (indépendamment et de manière anonyme). Le coefficient kappa de Cohen entre les deux séries de notes des deux évaluateurs est de 0.285. Cette valeur suggère qu’il y a un léger accord au-delà de ce qui serait attendu par hasard entre les deux évaluateurs, mais qu’il existe également des différences dans leur notation. Les moyennes de leurs deux évaluations ont été utilisées pour cette étude.
24Nous avons ensuite mené une analyse qualitative conjointe des productions écrites et des échanges des participants avec ChatGPT en répertoriant les types de questions posées, leur objet et les éléments corrigés et intégrés par les étudiants à la deuxième version de leur production.
25Dans les deux tableaux suivants, nous présentons les notes globales moyennes (Tableau 4), puis les scores moyens aux quatre indicateurs qui la composent (Tableau 5).
Tableau 4 – Note globale - statistiques descriptives.
|
Moyenne
|
Écart type
|
Note globale (version 1, sans ChatGPT)
|
11, 27
|
2,74
|
Note globale (version 2, avec ChatGPT)
|
13,26
|
2,35
|
Tableau 5 – Indicateurs de la note globale - statistiques descriptives.
|
Moyenne /5
|
Écart type
|
Lexique (sans ChatGPT)
|
2,72
|
0,76
|
Lexique (avec ChatGPT)
|
3,62
|
0,56
|
Syntaxe (sans ChatGPT)
|
2,66
|
0,64
|
Syntaxe (avec ChatGPT)
|
3,38
|
0,73
|
Cohérence (sans ChatGPT)
|
2,88
|
0,72
|
Cohérence (avec ChatGPT)
|
3,00
|
0,61
|
Contenu (sans ChatGPT)
|
3,04
|
0,77
|
Contenu (avec ChatGPT)
|
3,28
|
0,67
|
- 4 Le test de Fisher-Snedecor est un test statistique qui compare les variances de deux échantillons s (...)
Tableau 6 – Test de Fisher sur chacun des indicateurs de la production écrite4.
Critère testé
|
Valeur de F
|
Lexique
|
97,2***
|
Syntaxe
|
51,49***
|
Cohérence
|
5,26**
|
Contenu
|
13,5***
|
26Les tests multivariés (Tableau 6) montrent que l’effet de l’utilisation de ChatGPT est positif et significatif sur chacun des quatre indicateurs qui composent la note globale et donc sur la note globale elle-même. Les valeurs de F et les coefficients de significativité montrent également que l’effet sur le lexique et sur la syntaxe semble plus fort que sur le contenu et la cohérence, lorsque les participants ont révisé leur texte avec l’IA. Autrement dit, le lexique et la syntaxe ont été plus fortement impactés par la révision avec l’IA que le contenu et la cohérence de leur écrit.
27Si nous considérons désormais la progression des deux groupes de participants construits en fonction de leur score à la première version de la production écrite (Tableaux 3 et 7), les tests de moyennes (test de t) montrent, premièrement, que chacun des deux groupes a un score en production écrite significativement meilleur avec ChatGPT (V2) que sans ChatGPT (V1). Deuxièmement, la comparaison des moyennes des gains du groupe 1 (2,52 points) et du groupe 2 (1,44 point) est également statistiquement significative (p <0,05), ce qui indique que les étudiants du groupe 1 (niveau A2-B1) semblent tirer davantage de profit de l’utilisation de l’IA que les étudiants du groupe 2 (niveau B2-C1).
Tableau 7 – Progression des deux groupes d’étudiants entre la version 1 et la version 2.
|
|
Version 1
|
Version 2
|
Progression
|
Significativité (valeur de p)
|
|
N
|
Moyenne /20 (Écart-Type)
|
Moyenne /20 (Écart-Type)
|
|
|
Groupe 1 – niveau A2-B1
|
12
|
9 (1.59)
|
11.52 (1.14)
|
2.52
|
<0,05
|
Groupe 2 – Niveau B2-C1
|
13
|
13.54 (2.02)
|
15 (1.93)
|
1.44
|
<0,05
|
28Les 25 échanges des étudiants avec ChatGPT, que nous avons collectés contiennent en tout 244 prompts, soit en moyenne 9,76 prompts par étudiant. Nous avons analysé ces prompts et les avons classés en fonction de leur objet (Tableau 8).
Tableau 8 – Objet des demandes à ChatGPT et nombre d’occurrences dans le corpus.
Objet des demandes
|
Nombre
|
Traduction (lexico-sémantique)
|
134
|
Correction (syntaxe, lexique, morphologie)
|
38
|
Grammaire (syntaxe, morphologie)
|
26
|
Contenu (connaissance du monde)
|
19
|
Style (pragmatique)
|
13
|
Explications ou précisions (syntaxe, lexique, morphologie)
|
9
|
Méthodologie
|
5
|
Total
|
244
|
- 5 Tous les extraits des échanges avec les apprenants sont donnés en version originale. Ils n’ont donc (...)
29Comme le montre le tableau 7, la majorité des demandes des étudiants concernent une traduction (55%). Parmi ces demandes, la plupart portent sur un mot et seulement 20% concernent un segment de texte plus long (groupe nominal, proposition, phrase, etc.). Ces demandes sont formulées (en français la plupart du temps) de manière assez peu variée par les étudiants. Ils écrivent par exemple : « Comment dit-on une convention citoyenne en allemand ? »5 ou « Comment dire en allemand "ils veulent une participation du peuple auprès du gouvernement sur les questions climatiques" ? ».
30La deuxième catégorie de prompts concerne des demandes de corrections directes ou de vérification de ce que les étudiants ont écrit en allemand (15%). Elles sont formulées de la manière suivante : « Corrige cette phrase (…) » ou « Peux-tu corriger mes fautes de déclinaisons en allemand dans le texte entre guillemets ? ».
31La troisième catégorie (11%) regroupe des questions ciblées sur le fonctionnement morphologique et syntaxique de la langue.
Quel est le pluriel de Straße en allemand ?
Quel est le genre des mots suivants en allemand (…) ?
Quelles sont les prépositions et le cas elles amènent en allemand ?
Quel est le cas en allemand après über, auf ?
Avec deswegen, où se place le verbe ?
32Les autres catégories de questions sont moins fréquentes dans notre corpus. Certains prompts (8%) portent sur le contenu de la production écrite, les étudiants cherchent alors des informations complémentaires sur les actions des activistes écologistes et sur les réactions politiques et judiciaires dans les différentes villes. Ils demandent alors :
Sais-tu ce qui s’est passé le 14 mars 2023 à Cologne ?
Les mesures du gouvernement ont-elles réduit les manifestations écologistes en Allemagne ?
Que répond le gouvernement allemand face aux blocages des routes par les activistes ?
Quelle est la politique de Köln concernant le blocage des routes pas les activistes ?
335% des questions concernent le style. Seuls les étudiants les plus avancés (groupe 2) posent ce type de question. En voici trois exemples :
As-tu une meilleure formulation en allemand pour la phrase suivante (…)
Est-ce que tu peux reformuler cette phrase de manière plus allemande ?
Peux-tu embellir cette phrase ?
34Quelques demandes (4%) peuvent également être rattachées à des demandes d’ordres lexical, syntaxique ou morphologique à ceci près que les étudiants demandent explicitement des précisions ou des explications à l’IA et non une simple résolution de leur difficulté :
« Peux-tu me dire si tous mes mots sont bien allemands et les corriger en m’expliquant ? Peux-tu corriger la place du verbe dans le texte suivant et m’expliquant pourquoi tu as changé de place le verbe si besoin ? Peux-tu corriger dans le texte suivant les fautes de grammaire (déclinaisons, prépositions…) en m’expliquant pourquoi ? »
35La dernière catégorie de questions porte sur des points généraux, d’ordre méthodologique (2%) : « Comment introduire une phrase en allemand pour montrer que l’on va argumenter notre propos ? Comment commencerais-tu un texte qui restitue un reportage, en allemand ? ».
36Si les demandes de traductions, de corrections, d’explications grammaticales ou de style relèvent de la mise en texte, les demandes qui portent sur le contenu et la méthodologie témoignent d’une volonté de certains étudiants de soigner la cohérence du texte et de revenir, pendant le processus de révision sur la planification de l’écrit. Comme le nombre de prompts était limité, cette priorité donnée aux modifications de surface peut relever d’une stratégie délibérée. Certains prompts contiennent aussi des imprécisions, voire des erreurs qui ont une influence sur la réponse de l’IA, comme nous allons le voir dans la section suivante.
37Les catégories de réponses (artificielles) de ChatGPT sont symétriques à celles des demandes des étudiants et il faut tout d’abord souligner que, dans la majorité des cas, ChatGPT fournit des réponses appropriées du point de vue lexico-sémantique, morphologique, syntaxique, pragmatique, méthodologique ou en ce qui concerne le contenu. Dans l’analyse des interactions, deux points ont particulièrement retenu notre attention.
38Premièrement, dans notre corpus, nous avons constaté plus haut que ChatGPT fournissait des explications, lorsque les étudiants le demandaient (dans 4% des prompts, cf. 4.2), mais il fournit également des explications de manière spontanée. Notre intérêt s’est donc porté, dans un premier temps, sur cette fonction d’étayage spontanée. Nous avons ensuite recensé les réponses que la littérature académique a qualifiées de « troublantes » (Las-Vergnas & Rio-Jouet, 2023), comme des incohérences et des contradictions.
39Notons tout d’abord que les questions de style, de contenu et de méthodologie n’ont pas occasionné de précisions spontanées de la part de ChatGPT. Dans le tableau 9, nous présentons donc la part des explications fournies par l’agent conversationnel, qui concernent uniquement les demandes de traduction, de correction et les questions sur le fonctionnement de la langue.
Tableau 9 – Représentation graphique de l’objet des demandes à l’IA.
Objet des demandes
|
Occurrences
|
Réponses GPT
|
Réponses GPT (%)
|
Traduction
|
134
|
78 (sans explication)
|
58,2%
|
58 (avec explication)
|
41,8%
|
Correction
|
38
|
9 (sans explication)
|
23,7%
|
29 (avec explication spontanée)
|
76,3%
|
Grammaire
|
26
|
5 (sans explication)
|
19,3%
|
21 (avec explication)
|
80,7%
|
40Concernant les questions de traduction, en début de conversation, elles engendrent des réponses basiques et succinctes, comme le montrent les deux interactions ci-après. Notons ici que nous présentons les échanges avec ChatGPT tels qu’ils ont été menés, sans corriger ni l’allemand ni le français des étudiants.
Étudiant : Comment traduis-tu "ordre public" en allemand ?
ChatGPT : "Ordre public" se traduit en allemand par "öffentliche Ordnung".
Étudiant : Comment dire "les activistes veulent exercer une pression sur le gouvernement" en allemand ?
ChatGPT : En allemand, vous pourriez dire : "Die Aktivisten möchten Druck auf die Regierung ausüben."
4141,8% des questions de traduction font l’objet d’une explication spontanée de la part de ChatGPT. Celle-ci survient majoritairement en milieu de conversation. L’IA s’adapte, en quelque sorte, aux demandes de ses interlocuteurs et précise ses réponses au fil de la conversation. Ces compléments ou explications lexicaux sont alors de plusieurs types.
42Les explications et compléments les plus fréquents apportés aux demandes lexicales des étudiants sont en rapport avec le contexte de la traduction. ChatGPT indique à l’étudiant que la traduction qu’il propose dépend du contexte, lui demande de le préciser ou émet une hypothèse et formule une proposition.
Étudiant : Comment dit-on "arrêté" en allemand ?
ChatGPT : En allemand, le mot "arrêté" se traduit par "gestoppt" ou "angehalten", en fonction du contexte. Si vous avez une phrase spécifique ou un contexte particulier, n’hésitez pas à le partager pour une traduction plus précise.
Étudiant : Comment parle-t-on d’une urgence en allemand ?
ChatGPT : En allemand, le terme "urgence" se traduit par "Notfall". Si vous voulez parler d’une situation d’urgence, vous pouvez dire "in einer Notfallsituation" ou simplement "im Notfall".
43ChatGPT fournit également des informations sur la formation de mots composés qui « constituent assurément la forme la plus spectaculaire, la plus diversifiée et la plus complexe de la création lexicale en allemand » (Kauffer, 2005, pp. 2-3). Ci-dessous, ChatGPT propose, sans raison apparente, une décomposition du terme proposé comme traduction.
Étudiant : Comment s’appellent en allemand des manifestants pour la cause écologique
ChatGPT : En allemand, les manifestants pour la cause écologique sont souvent appelés "Umweltaktivisten" ou "Umweltschützer". "Umwelt" signifie environnement, et "Aktivisten" ou "Schützer" signifient respectivement activistes ou protecteurs. Ainsi, le terme global serait quelque chose comme "activistes de l’environnement" en français
44Les demandes de corrections reçoivent une explication spontanée dans 76,3% des cas. Ces explications prennent principalement deux formes. ChatGPT peut, par exemple, fournir la liste des éléments modifiés, sans que l’étudiant le demande, comme le montre l’extrait suivant :
Étudiant : Peux-tu me dire si ma phrase est correcte et si j’ai bien accordé Auto au pluriel "Das hat kreiert vielen anderen Probleme. Die Menschen können nicht mehr die Auto fahren." ?
ChatGPT : Il y a quelques erreurs dans votre phrase. Voici la correction : "Das hat viele andere Probleme verursacht. Die Menschen können nicht mehr die Autos fahren."
Modifications apportées :
1. "kreiert" a été remplacé par "verursacht" pour exprimer correctement la création de problèmes.
2. "vielen anderen Probleme" a été changé en "viele andere Probleme" pour une meilleure concordance.
3. "die Auto" a été changé en "die Autos" pour accorder correctement le nom au pluriel "Autos" avec l’article défini "die".
45ChatGPT peut également traduire en français sa propre proposition de traduction en allemand.
Étudiant : Est-ce que la phrase Viele Menschen haben zu einige Monaten haft verurteilen est correcte ?
ChatGPT : La phrase "Viele Menschen haben vor einigen Monaten Haftstrafen erhalten" serait plus correcte en allemand. Elle signifie "Beaucoup de gens ont été condamnés à des peines de prison il y a quelques mois."
46Concernant les demandes qui portent sur le fonctionnement de la langue, certaines demandes grammaticales reçoivent des réponses brèves (19,3%).
Étudiant : Quel est le pluriel de Straße en allemand ?
ChatGPT : Le pluriel de Straße en allemand est Straßen.
47D’autres demandes (80,7%) reçoivent des explications complémentaires de différentes natures en fonction de la thématique de la question. Dans l’extrait suivant, ChatGPT, après avoir indiqué le genre du mot, fournit deux formes déclinées de l’article défini masculin.
Étudiant : Quel est le genre du mot Staat en allemand ?
ChatGPT : En allemand, le mot "Staat" est masculin. Ainsi, on utilise les articles définis "der" et "des" ainsi que les pronoms correspondants au masculin lorsqu’on se réfère à ce mot.
48ChatGPT peut également compenser les imprécisions des demandes des étudiants. Dans l’échange ci-dessous, l’étudiant confond, dans sa demande, « proposition » et « préposition » et orthographie mal la préposition für. ChatGPT rectifie et fournit une réponse adaptée.
Étudiant : Quelles sont les propositions en allemand comme "fur" et que veulent-elle dire ?
ChatGPT : Il semble qu’il y ait une petite erreur dans votre question. "Fur" n’est pas une préposition en allemand, mais plutôt une faute de frappe pour "für", qui signifie "pour" en allemand.
Voici quelques autres prépositions courantes en allemand avec leurs significations : (…)
49Dans notre corpus, nous avons repéré certains feedbacks qui troublent la pertinence du dialogue et remettent en question la possibilité d’un étayage didactique.
50Nous avons également relevé, comme les autres chercheurs qui s’intéressent aux réponses troublantes de l’IA (Las-Vergnas & Rio-Jouet, 2023), des incohérences, des marqueurs de subjectivité ou d’un alignement d’allégeance, comme : « je m’excuse pour la confusion », ou « de rien », lorsque les étudiants la remercient. Toujours pour ce qui concerne les « faiblesses » de l’IA, il faut relever l’impossibilité de fournir aux étudiants des détails factuels sur la situation évoquée dans le reportage vidéo, trop récente par rapport à la mise à jour de sa base de données, comme dans l’exemple qui suit.
Étudiant : Sais-tu ce qui s’est passé le 14 mars 2023 à Cologne ?
ChatGPT : Non, je n’ai pas accès à des informations en temps réel ni à des événements spécifiques après ma dernière mise à jour en janvier 2022. Pour obtenir des informations sur les événements survenus le 14 mars 2023 à Cologne, je vous recommande de consulter des sources d’actualités récentes, des sites web d’actualités ou d’utiliser un moteur de recherche pour trouver des articles pertinents.
51Enfin, et c’est là l’une de nos principales remarques, l’étayage grammatical (artificiel) est souvent lacunaire, voire erroné (dans environ 25% des cas). L’IA apporte des réponses fausses sur le genre des mots. Einfluss est masculin en allemand, or l’IA écrit qu’il est féminin, puis lui attribue, dans la deuxième partie de sa réponse l’article défini « der », faisant alors preuve, en même temps, d’incohérence.
Étudiant : et quel est le genre du mot ?
ChatGPT : Les mots "Auswirkung" et "Einfluss" sont féminins en allemand. Vous utiliserez les articles définis "die" et "der" ainsi que les pronoms correspondants au féminin pour ces mots.
52Concernant les cas régis par les prépositions, ChatGPT ne peut pas non plus être considéré comme une source fiable. En allemand auf est une préposition dite mixte suivie de l’accusatif (directif) ou du datif (locatif), mais l’IA n’en fait aucune mention. Dans l’exemple fourni par ChatGPT, "auf dem Tisch" (sur la table), "Tisch" (table) est au datif et non à l’accusatif, comme il l’indique pourtant.
Étudiant : Quel cas après auf ?
ChatGPT : La préposition "auf" en allemand est une préposition qui gouverne le cas accusatif. Cela signifie que le nom ou le pronom qui suit la préposition "auf" doit être au cas accusatif. Par exemple, si vous dites "auf dem Tisch" (sur la table), "Tisch" (table) est au cas accusatif. Si vous avez un pronom, comme dans "auf ihn" (sur lui), "ihn" est également au cas accusatif.
53Ce que nous appelons ici, faute de mieux, le « discours artificiel de l’IA sur la langue allemande » nécessiterait une analyse à part entière.
54Malgré cette importante limite, notre analyse quantitative (4.1) montre qu’en moyenne, l’utilisation de ChatGPT permet une amélioration du score en production écrite au moins en ce qui concerne le lexique et la syntaxe, ce qui signifie que dans la plupart des cas, ChatGPT fournit des réponses adéquates aux questions des étudiants et que ceux-ci les prennent en compte pour améliorer leur texte.
- 6 Ces intégrations à l’identique posent, en situation de rédaction, des problèmes éthiques qu’ont rel (...)
55La plupart du temps, les étudiants intègrent les éléments fournis par ChatGPT à l’identique. Ces intégrations concernent des éléments lexicaux, des extraits de phrases ou même plusieurs phrases. Ces intégrations à l’identique6 ont cependant des motifs différents et parfois aussi des conséquences différentes sur l’économie du texte, comme l’illustrent ces échanges d’étudiants du groupe 1 avec l’IA.
56Le premier objectif des étudiants lorsqu’ils intègrent le feedback de ChatGPT est de combler un besoin lexical. Ci-dessous, nous donnons un extrait des deux versions (avec et sans ChatGPT), rédigées par l’étudiante, nous indiquons en gras l’élément intégré suite à l’interaction.
V1 Es gibt in Deutschland mehrere Aktionen also mehrere arrestations gegen die Personen
V2 Es gibt in Deutschland mehrere Aktionen also mehrere Verhaftungen gegen die Personen
57Dans ce cas, l’étudiante avait laissé le mot « arrestation » en français dans la première version, puis interrogé ChatGPT sur sa traduction. L’intégration à l’identique fonctionne, sans qu’il soit pour autant possible de savoir si l’étudiante est consciente des raisons syntaxiques et morphologiques pour lesquelles cette intégration ne demande pas d’ajustement particulier, ce qui est d’ailleurs plutôt exceptionnel dans notre corpus.
58Dans l’exemple ci-après, ChatGPT donne la bonne traduction de « la pression », der Druck, mais l’étudiante ne tient pas compte du fait que dans sa phrase, le groupe nominal doit être décliné à l’accusatif après la préposition gegen. La compensation du manque lexical s’accompagne alors d’une erreur morphologique.
V1 gegen die pression der Regierung.
V2 gegen der Druck der Regierung.
59Dans un autre cas, ChatGPT fournit deux traductions possibles du verbe arrêter, gestoppt ou angehalten. Ces deux traductions sont tout à fait acceptables. Cependant, dans notre contexte, celui de l’arrestation de manifestants par la police, aucune de ces deux options ne convient. Malgré l’invitation de l’IA à préciser ce contexte, l’étudiante intègre l’une des deux propositions de ChatGPT, ce qui occasionne une erreur sémantique.
V1 Die Aktivisten sind arretés bei polizei und sie sont poursuivis weil sie die öffentliche Ordnung stören
V2 Die Aktivisten sind gestoppt bei polizei und sie werden verfolgt, weil sie die öffentliche Ordnung stören
60Dans le cas suivant, ChatGPT fournit, à la demande de l’étudiant, une expression à l’infinitif, auf die Demonstranten schreien, (l’expression die Demonstranten anschreien, serait cependant celle qui convient en allemand). Pour être parfaitement intégrée, cette expression nécessiterait d’être conjuguée et le verbe conjugué devrait apparaitre en deuxième position. Autant d’ajustements auxquels l’étudiant n’a pas procédé, en intégrant la réponse de ChatGPT à l’identique.
V1 Viele Menschen unterstütze die Aktion nicht, sie ziehen die Aktivisten aus der Straße und scheint.
V2 Viele Menschen unterstütze die Aktion nicht, sie ziehen die Aktivisten aus der Straße und auf die Demonstranten schreien.
61Les erreurs (artificielles) de ChatGPT sont également intégrées à l’identique par les étudiants, qui, apparemment, ne les identifient pas. Dans l’exemple suivant, l’étudiante interroge l’IA sur un article et sans doute implicitement sur sa déclinaison. ChatGPT indique bien le genre du nom, mais, sans contexte, en propose une déclinaison inadaptée au besoin de l’étudiante.
Étudiante : est-ce que "in den Reportage" c’est correct ?
ChatGPT : La phrase "in den Reportage" n’est pas tout à fait correcte en allemand. "Reportage" est un nom féminin en allemand, donc vous devriez utiliser l’article féminin "die". La préposition "in" demande également le cas accusatif, donc la phrase correcte serait "in die Reportage". Cependant, veuillez noter que "Reportage" prend une majuscule en allemand, donc la phrase complète serait "In die Reportage".
V1 In den Reportage gibt es auch mehrere Interviews.
V2 In die Reportage gibt es auch mehrere Interviews.
62Quand ils ne sont pas repris à l’identique, les feedbacks sont parfois adaptés, modifiés, coupés de manière pertinente, souvent par les étudiants les plus avancés (groupe 2). Dans cet exemple, l’étudiante sélectionne dans la phrase complexe corrigée par ChatGPT, uniquement ce dont elle a besoin et sans doute ce qu’elle comprend et ne retient finalement qu’un seul mot.
Étudiante : corrige cette phrase : Sie wollen eine Participation des Bevölkerung mit der Politik über die klimatischen Fragen.
ChatGPT : Die korrigierte Version der Phrase lautet : "Sie streben eine Beteiligung der Bevölkerung an politischen Diskussionen über klimatische Fragen an."
V1 Sie wollen eine Participation des Bevölkerung mit der Politik über die klimatischen Fragen.
V2 Sie wollen eine Beteiligung des Bevölkerung mit der Politik über die klimatischen Fragen.
63Plusieurs étudiants, notamment ceux qui ont le score le plus élevé à la première version de leur production écrite (groupe 2), ont été capables d’adapter les propositions de ChatGPT, de procéder à une sélection, pour les intégrer parfaitement à leur texte. Ils ont décliné correctement un groupe nominal lorsque ChatGPT donne le genre du mot, ou encore, comme ci-dessous, transformé une phrase proposée par l’IA en une proposition subordonnée, c’est-à-dire en allemand avec le verbe conjugué en position finale.
Étudiante : Traduis en allemand : il y a eu beaucoup de violence sur les manifestants
ChatGPT : En allemand, cela se traduirait par : "Es gab viel Gewalt gegen die Demonstranten."
V1 Es war viele Prozess, weil mehrere Personen schlagen wurden.
V2 Es war viele Prozesse, weil es viel Gewalt gegen die Aktivisten gab.
64Conformément aux résultats d’autres travaux (Barrot, 2023 ; Imran & Almusharraf, 2023 ; Warschauer et al. 2023), nos analyses montrent, malgré un nombre restreint de participants, que la production révisée avec ChatGPT est de meilleure qualité que la production initiale, notamment pour ce qui est de la richesse lexicale et de la correction syntaxique. Nous avons montré que la majorité des questions des étudiants avaient pour objectif de combler des besoins lexicaux. ChatGPT permet de répondre à ce besoin, en fournissant des réponses adaptées au contexte, à condition que les étudiants le lui indiquent, ce qui n’est pas toujours le cas. Même en cas de demande incomplète ou lacunaire, l’IA peut compenser et fournir une réponse pertinente, voire une explication spontanée, dès lors qu’elle s’est adaptée au contexte de l’échange. Si la qualité des productions s’améliore avec ChatGPT, c’est également parce que l’IA peut corriger ou améliorer des phrases (ou des passages plus longs) qui sont alors repris par les étudiants à l’identique. Dans notre étude, les étudiants ont donc utilisé ChatGPT comme un traducteur, ce qui ne nous a pas permis de faire apparaitre les apports propres de cette IA en comparaison à d’autres outils (DeepL par exemple). D’autres études pourraient comparer différents outils pour un même exercice pour mettre en évidence des fonctionnalités propres pour la production écrite.
65Dans notre contexte, les échanges avec l’IA ont été formulés dans le cadre de la révision d’une production écrite. Du point de vue des processus rédactionnels, la révision consiste à effectuer une relecture critique du texte pour procéder à une mise au point par des modifications globales ou locales. De ce point de vue, l’analyse des prompts permet de constater, en lien avec les travaux sur la production de l’écrit (Hayes & Flower, 1980 ; Piolat & Roussey, 1992), que les étudiants reviennent de manière récursive sur les processus de mise en texte et de planification. Les questions lexicales, sémantiques, syntaxiques, morphologiques ou stylistiques adressées à ChatGPT relèvent alors de la mise en texte et vont permettre les ajustements locaux ou globaux de la première version de leur écrit. Les questions qui portent sur le contenu ou sur la méthodologie d’écriture font partie de l’activité de planification, à son tour remise sur le métier dans l’échange avec l’IA.
66Nous avons également pointé des faiblesses dans la formulation des questions par les étudiants qui influencent fortement les réponses de l’IA. Comme le soulignent Las-Vergnas et Rio-Jouet (2023), il faut bien garder à l’esprit que dans l’interaction, les éléments troubles « ne sauraient être réduits à la seule responsabilité de l’agent conversationnel qui de fait ne produit rien sans demande humaine. L’ensemble du processus de production de ces ‘comportements’ informatiques doit se comprendre dans le cadre de ses interactions avec l’utilisateur humain. » (p. 33). Nous l’avons vu, l’IA ne saurait compenser complètement les imprécisions des étudiants lors de la formulation des questions ou de l’intégration des réponses artificielles.
67Nos analyses qualitatives permettent d’ailleurs de mettre en évidence les limitations générales de l’IA lors d’une tâche d’écriture pointées par d’autres chercheurs et que nous retrouvons dans notre étude, mais aussi les limitations spécifiques à l’écriture en L2, en particulier en allemand langue seconde. Nous avons illustré, par exemple, les incohérences, des marques de subjectivité et des marqueurs d’un alignement d’allégeance, une limitation des possibilités de réponses en raison de la date de mise à jour de la base de données, ou encore la sensibilité de ChatGPT à des ajustements mineurs du prompt qui peuvent déclencher une réponse plus ou moins pertinente (Barrot, 2023 ; Las-Vergnas & Rio-Jouet, 2023).
68L’un des principaux points de discussion concerne l’étayage grammatical. Si ChatGPT peut fournir une traduction ou même plusieurs traductions pertinentes ou reformuler une phrase stylistiquement plus élégante, dans pratiquement un quart des cas, les développements grammaticaux théoriques qu’il fournit sur le fonctionnement de la langue allemande sont erronés ou lacunaires. En d’autres termes, son « discours artificiel » pour décrire le fonctionnement de la langue allemande est très discutable. Par ailleurs, l’apparente certitude de l’IA peut induire les apprenants en erreur. Sans doute est-il simplement difficile de trouver en ligne des descriptions françaises pertinentes de la langue allemande, sur lesquelles l’IA pourrait s’appuyer pour répondre aux demandes des étudiants, ce qui pose la question du plurilinguisme. ChatGPT n’est donc pas fiable pour fournir un étayage dans ce domaine. Par ailleurs, ces étayages théoriques, s’ils sont demandés par certains étudiants, sont ensuite peu mobilisés pour la révision du texte ; nous n’en trouvons pratiquement aucune trace explicite dans les écrits, sauf lorsqu’ils contiennent des exemples, alors repris à l’identique.
69Cette remarque constitue une transition opportune vers le dernier élément que nous souhaitons discuter ici et qui concerne l’intégration des réponses et feedbacks de l’IA dans les écrits des étudiants. Sur ce point, la différence entre les étudiants les plus compétents (ici, groupe 2) et les moins compétents (groupe 1) dans ce type de tâche écrite nous semble assez marquée. Comme les étudiants les moins compétents sont moins capables de repérer les faiblesses de leurs écrits, les questions qu’ils posent à l’IA servent principalement à combler des manques lexicaux, ou à demander des corrections de phrases qu’ils intègrent ensuite à leur texte sans procéder aux ajustements locaux nécessaires. Les étudiants plus compétents opèrent non seulement une sélection dans les réponses de ChatGPT, mais aussi les ajustements nécessaires pour les intégrer, que ce soit au niveau syntaxique, morphologique ou dans une économie plus générale du texte. Ce résultat rejoint les conclusions de Koltovskaia (2020), ou encore de Barrot (2023) et enfin celle de Warschauer et ses collègues (2023, p. 2), à propos du paradoxe selon lequel on ne prête qu’aux riches (The rich get richer).
70Pour être intégrée de manière pertinente aux pratiques pédagogiques, dans le cadre de la révision d’un écrit en langue seconde et pour que les étudiants et les enseignants en tirent le meilleur parti possible, l’utilisation de l’IA mérite un accompagnement pédagogique sur plusieurs points. Cette utilisation requiert tout d’abord des étudiants qu’ils identifient les faiblesses de leurs écrits, puis qu’ils formulent des questions pertinentes et contextualisées sur les faiblesses repérées, qu’ils analysent ensuite les feedbacks de l’IA, opèrent une sélection, pour enfin les intégrer dans leurs écrits, en procédant à des ajustements syntaxiques, morphologiques ou sémantiques. Toutes ces tâches requièrent un guidage de la part des enseignants, notamment en L2, puisque les processus cognitifs les moins automatisés peuvent être particulièrement coûteux (Sweller et al., 2022). Le rôle de l’enseignant sera également crucial dans la rédaction des prompts, qui doivent être précis et contextualisés. L’IA présente l’intérêt de fournir instantanément aux étudiants des exemples de langue, et comme la théorie de la charge cognitive l’a bien montré, l’apprentissage humain repose sur le principe d’emprunt et de réorganisation des connaissances (Sweller et al., 2011). Il faut donc apprendre aux étudiants à emprunter à l’IA et à réorganiser la langue qu’elle produit pour améliorer sa propre production. Ce travail nécessite du temps et un accompagnement sérieux.
71La recherche sur l’intégration de l’intelligence artificielle dans les pratiques d’enseignement mérite, de notre point de vue, une attention particulière de la part des chercheurs et des enseignants, ne serait-ce que pour entrainer les étudiants à en faire un usage raisonné et informé. Les chercheurs peuvent par exemple étudier les caractéristiques linguistiques des textes produits par ChatGPT, les comparer à d’autres produits par des scripteurs humains ou continuer à explorer, les interactions avec les apprenants. Avec les développements que connait l’intelligence artificielle, l’agenda de recherche est à la fois ouvert et ambitieux (Barrot, 2023).