1Dès les années 1970, Krashen (1976) et d'Anglejan (1978) ont fait état et défendu le rôle des expériences informelles dans l'acquisition et l'apprentissage d'une deuxième langue. Ces études étaient suivies par le travail d’Ellis (1980 et 1982) au début des années 1980 (Dressmann & Randall, 2020). Il semble que la majorité des apprentissages se déroule généralement de manière informelle. En situation de travail, notamment, c’est surtout suite à de l’apprentissage informel (ou non formel), que se développent les compétences. Différentes études estiment qu’entre 70% et 80% de l’ensemble des activités d’apprentissage se révèlent être des activités d’apprentissage informel (Cross 2006). Comme évoqué par Schugurensky dans son étude phare sur l’apprentissage informel en 2007, « c’est dans la sphère informelle, source de si peu d’intérêt et de travail de recherche, que s’acquièrent la plupart des apprentissages significatifs dont on se sert dans la vie de tous les jours » (2007 : 14).
2Dans son article, Schugurensky explique que l’apprentissage informel semble simplement être une part normale et naturelle de l’activité humaine. Et c’est justement cette nature qui rend les apprentissages informels « si invisibles que les apprenants ne semblent pas être conscients de leurs propres apprentissages » (idem : 20). Les institutions éducatives n’en tiennent pas compte. Tough (1999 : 2) a estimé que les gens y passent quinze heures par semaine en moyenne et ne sont toutefois pas reconnus. Ces apprentissages sont comme « ignorés et invisibles ». Donc, en tant que chercheurs, comment pouvons-nous expliciter cet apprentissage « ni visible, ni conscient » (Schugurensky : 18) et, par la suite, comment pouvons-nous évaluer son véritable impact sur le développement des capacités langagières des apprenants ?
3Dans le cadre d’une étude que nous menons sur l’impact des apprentissages informels sur les capacités langagières des futurs ingénieurs lors de leurs séjours à l’étranger, nous avons dû examiner les méthodes d’évaluation à notre disposition afin de trouver la mieux adaptée aux contextes d'apprentissage de nos étudiants. Nous commencerons par une discussion sur « le difficile travail de mise à jour des apprentissages informels » (Schugurensky, 2007 : 17) et la difficulté qui s’ensuit pour évaluer cet apprentissage. Ensuite, nous aborderons le travail qui a déjà été mené en France sur l’apprentissage informel des langues, suivi par un bref état des lieux des recherches sur les séjours à l’étranger. Après, nous présenterons les deux outils d’évaluation : le Versant English Placement Test et la méthode d’analyse de la complexité, précision et aisance à communiquer. Enfin, les résultats de nos tests seront exposés et les implications pour des recherches futures seront mises en évidence.
4Selon Golding, Brown et Foley (2009), l'apprentissage informel des langues a été jusqu’à récemment moins étudié que l'apprentissage formel car il implique de nombreuses variables. Il n'est pas systématique, il n'est pas organisé par une institution et, comme il est déterminé par l'étudiant, il est plus difficile à identifier. La plupart des apprentissages informels sont fortuits ou font partie des « processus de socialisation avec un faible degré d’intentionnalité et de prise de conscience » (Schugurensky, 2007 : 16). Ces apprentissages sont souvent diffusés et désorganisés, particulièrement lorsqu’ils ne sont pas auto-dirigés mais lorsqu’ils le sont, environ 80 % des apprentissages sont « invisibles et cachés » pour l’apprenant (Tough 1999 cité dans Schugurensky, 2007 : 16).
5L'apprentissage informel des langues peut prendre de nombreuses formes. Selon Kusyk (2020 : 347), il s'agit d'un phénomène qui ne peut être caractérisé par un ensemble de pratiques ou d'activités et qui est essentiellement motivé par des raisons autres que l'intention explicite d'apprendre la langue. Cet apprentissage n'est pas immédiatement évident dans les dossiers et les programmes, et, étant donné que c’est l'apprenant, et non l'enseignant, qui contrôle l'apprentissage, il est difficile à évaluer (Golding, Brown & Foley 2009 ; Lai 2017). Pour cela, il incombe aux chercheurs en L2 informelle d'identifier des « méthodes robustes et fiables de mesure du changement en L2 informelle qui puissent être reproduites dans de futures études » (Kusyk, 2020 : 247).
6En France, la recherche sur l'apprentissage informel des langues s'est développée considérablement depuis 2010. Les questions de recherche les plus importantes dans ce domaine portent sur la nature et la portée de la participation des apprenants à des activités informelles et l'impact de cette participation sur le développement des langues étrangères (Kusyk, 2020 : 335). Les travaux plus récents visent à mieux cerner la place et le rôle de l’informel dans l’apprentissage de différentes langues en mettant l’accent sur les aspects numériques.
7Le premier article de Toffoli et Sockett (2010) sur l'apprentissage informel de l'anglais en ligne (AIAL) décrivait pour la première fois des phénomènes tels que la participation de locuteurs non natifs à un grande nombre d'activités de loisirs impliquant l'utilisation ou l'exposition à l'anglais. Les auteurs ont réalisé une enquête auprès d’étudiants universitaires français pour recueillir des informations sur les habitudes informelles en matière de L2 en ligne. À ce moment, on ignorait si l’apprentissage informel en ligne ne concernait qu'une poignée d'apprenants de L2 et de joueurs de jeux vidéo ou si sa portée s'étendait à une population étudiante plus générale. Les résultats ont révélé que plus de la moitié des participants (54 %) écoutait de l'anglais plus d'une fois par semaine (sous forme de musique, de films ou de séries), 18% lisaient en anglais plus d'une fois par semaine et 7% parlaient en anglais plus d'une fois par semaine.
8Dans son étude de corpus publiée en 2011, Sockett a ciblé l'apport des séries télévisées auxquelles les utilisateurs de langues informelles étaient exposés. Sockett a étudié des séquences ou « chunks » de cinq séries télévisées et a établi une liste de fréquence des 50 séquences les plus courantes (par exemple : what are you doing, I want you to, nothing to do with, I was trying to). Une étude de suivi a ensuite examiné les connaissances des étudiants français de ces séquences à quatre grammes (Kusyk & Sockett, 2012), ce qui a révélé que les étudiants qui regardaient la télévision en anglais avec une fréquence plus élevée avaient une meilleure connaissance de ces « chunks » que les étudiants qui regardaient la télévision moins souvent.
9Toffoli et Sockett (2013) ont également cherché à savoir comment les enseignants considéraient la participation de leurs étudiants à des activités informelles en anglais. Ils ont interrogé 30 enseignants d'anglais dans des universités françaises et ont constaté qu'ils sous-estimaient la fréquence à laquelle leurs étudiants participaient à des activités informelles en anglais ; que les opinions sur l'impact des activités informelles étaient généralement positives, notamment en ce qui concerne les compétences de compréhension orale ; et que certains enseignants intégraient des activités informelles dans leurs cours.
10Le rôle de l'apprentissage formel de l'anglais par rapport à son apprentissage informel a également été abordé par Toffoli et Sockett (2015). Cette étude a souligné en particulier la manière dont les centres de ressources langues (CRL) peuvent rester pertinents à une époque où les apprenants peuvent accéder à la L2 sous des formes à la fois authentiques et pédagogiques via leurs ordinateurs portables ou leurs smartphones. Afin de garder leur pertinence, ils ont suggéré que les CRL devraient élargir leur offre en ajoutant des services qui ne sont pas facilement accessibles dans la sphère informelle ; par exemple, l’accès à un « lieu de rencontre et de pratique de la production orale », l’accès à des enseignants pour de l’aide avec des questions sur les aspects de leur usage informel, etc.
11Kusyk (2017) a cherché à élargir la portée de l'enquête initiale de Toffoli et Sockett (2010) sur les habitudes de participation et a examiné l'impact de ces activités informelles dans une optique longitudinale. Son étude avait pour objectif d’examiner l’envergure de pratiques informelles et d’analyser le développement langagier des apprenants en termes de complexité, précision, aisance à communiquer et « chunks ». Un sondage a été mené auprès de 953 étudiants français et allemands sur leurs pratiques informelles en ligne en anglais. Les résultats montraient des habitudes similaires entre les deux cohortes, une préférence pour les activités de compréhension plutôt que de production, des taux bas d’apprentissage explicite et des raisons de participer liées au contenu des activités plutôt qu’à la langue. Ce sondage a été suivi par deux études de cas qui ont été réalisées sur 10 mois. Des données orales et écrites ont été analysées. Les résultats indiquent que chaque apprenant possédait son propre profil AIAL et que les trajectoires de développement sont individuelles et non linéaires.
12Dans la continuité de ces études sur la portée de l’apprentissage informel des langues dans les universités en France, nous nous sommes intéressés à l’apprentissage informel de l’anglais des étudiants français lors de leur séjour à l’étranger. L’étude que nous menons actuellement a pour objectif de mesurer l’impact de la situation d’immersion sur leurs gains linguistiques et également d’analyser leurs pratiques informelles.
13Dans le cadre de notre étude, l'expérience des séjours à l'étranger vient s'ajouter à la difficulté d’identifier et mesurer les impacts des apprentissages informels. Cet « écosystème social complexe avec un nombre infini de variables indépendantes » s'avère lui-même difficile à contrôler (Isabelli-García, Bown, Plews & Dewey, 2018 : 449).
14Les recherches menées sur l’impact des séjours à l’étranger sur l’apprentissage des langues sont passées d'un domaine qui se concentrait sur des constructions linguistiques isolées à des considérations multiples sur l'apprenant en langues. Ces recherches portent sur une variété de sujets, allant de la performance linguistique sur un seul aspect de la langue, comme les caractéristiques lexicales, morphologiques ou phonologiques, à des domaines non linguistiques tels que la formation d'identité fluctuante qui se produit à l'étranger et le développement de la compétence interculturelle. Comme on peut s'y attendre, bien que la participation à un séjour à l’étranger continue d'être perçue comme une expérience qui permet « des opportunités d'utilisation intensive, régulière et contextualisée de la L2 in situ [...]. Un examen plus approfondi [...] cependant, indique des résultats contradictoires » (Yang, 2016 : 67).
15Les chercheurs ont régulièrement remis en question l'idée répandue que l'expérience d'immersion va de pair avec le développement de la L2 (Cubillos, Chieffo, & Fan, 2008 ; Freed, 1995 ; Sanz, 2014 ; Freed, Segalowitz & Dewey, 2004). Au milieu des années 90, la principale objection résidait dans le nombre limité d'études empiriques « soigneusement contrôlées » et « approfondies » qui avaient étudié son impact linguistique réel (Freed, 1995). Freed a insisté pour que la recherche se concentre sur l'impact de l'expérience d'immersion sur l'utilisation réelle de la langue. Vingt-cinq ans après la publication de Freed, l'hypothèse selon laquelle les séjours à l’étranger mènent à des gains linguistiques solides continue à susciter des débats, en particulier dans des domaines tels que la grammaire et le développement lexical (par exemple, DeKeyser, 2010 ; Grey, Cox, Serafini & Sanz, 2015).
16Certaines études ont souligné la nécessité d'élargir la portée de la recherche sur les séjours à l’étranger. Plutôt que d'analyser des données quantitatives sur les gains de connaissances linguistiques, Ushioda (2009) appelle à une analyse plus profonde des facteurs extralinguistiques qui peuvent influencer l’apprentissage à l'étranger. Ces facteurs peuvent être le contexte social dans lequel l'étudiant évolue (Dwyer, 2004 ; Schmidt-Rinehart & Knight, 2004), et les différences individuelles, telles que la motivation (Isabelli-García, 2006) et les stratégies d'apprentissage (Adams, 2006 ; Lafford, 2004). Pour cela, la recherche doctorale aborde les questions de recherche suivantes :
-
Quels sont les effets du séjour en immersion sur les compétences langagières en anglais des futurs ingénieurs ?
-
Quel est l’impact des situations d’apprentissage formel et informel sur le développement des compétences langagières en anglais ?
-
Existe-t-il des liens entre les gains langagiers, les stratégies d’apprentissage et la situation d’apprentissage à l’étranger ?
Dans le cadre de cette contribution, nous nous intéressons en particulier à la façon dont nous pouvons mesurer les gains langagiers lors du séjour à l’étranger.
17Afin de recenser les gains langagiers lors du séjour à l’étranger, le recueil de données se fait dans un format pré-test et post-test, suivi d’un questionnaire au retour pour recenser des informations sur les contextes et modalités des apprentissages (Language Contact Profile de Freed, Dewey, Segalowitz & Halter, 2004) et les stratégies d’apprentissage employées par les étudiants (Strategy Inventory for Language Learning d’Oxford, 1990). Nous travaillons avec trois populations d’étudiants en situation d’apprentissage formel et informel en France et à l’étranger.
18Nous avons effectué des tests sur deux méthodes d’évaluation afin de trouver celle qui était la plus appropriée pour notre recherche doctorale. Nos participants effectuent soit un stage à l’étranger, soit une mobilité académique à l’étranger, soit un stage en France, ces derniers servant de groupe de contrôle. Nos participants se trouvant dans des environnements non contrôlés, nous n’avons par conséquent aucune visibilité sur leurs acquisitions langagières et le choix d’outils est donc limité. Nous avons ainsi testé deux dispositifs d’évaluation ; un test de positionnement en anglais et une analyse de la production orale en utilisant un cadre de complexité, précision et l’aisance à communiquer (Housen et Kuiken, 2009 : 1).
19Les participants étaient neuf étudiants en ingénierie, de langue maternelle française, âgés de 20 à 22 ans. Trois étudiants effectuaient leur stage en entreprise en France. Trois autres étudiants étaient en stage en entreprise aux Pays-Bas, en Espagne et au Danemark et les trois derniers étudiants effectuaient un séjour académique dans des universités partenaires en Italie, en Allemagne et en Espagne. Nous nous sommes intéressés au développement des capacités en anglais car cette langue est la plus utilisée comme lingua franca par les étudiants ERASMUS pendant leurs activités quotidiennes (Llanes, Arnó, & Mancho-Barés, 2016 : 1).
20Le premier outil que nous avons testé est le Versant English Placement Test (VEPT). Le VEPT, crée par Pearson Knowledge Technologies en 2010, est un test qui est administré automatiquement par ordinateur sur écran et via un casque micro. Comme l'indique le concepteur du test, le VEPT mesure la facilité à parler et à écrire l'anglais. La facilité en anglais parlé et écrit est la capacité d'une personne à comprendre l'anglais parlé et écrit et à répondre « de manière appropriée » à l'oral et à l'écrit sur des sujets quotidiens, à un rythme proche de celui d'un natif et dans un anglais « intelligible » (Green, 2013 : 4). Ce test a été choisi dans le cadre de notre étude car, à la différence des tests Test of English for International Communication (TOEIC) et Business Language Testing Service (BULATS), il se focalise sur l’anglais général plutôt que l’anglais des affaires, donc l’anglais que nos étudiants sont en contact avec bien plus souvent lors de leurs séjours à l’étranger.
21Le VEPT se compose de neuf (9) tâches (81 questions au total) et le passage du test dure 50 minutes (voir Annexe I). Les questions sont conçues pour refléter un large éventail de situations en classe et dans le monde réel. Les tâches sont les suivantes :
-
La lecture à haute voix
-
La répétition
-
La construction de phrases
-
La conversation
-
La mesure de vitesse et précision de frappe
-
La complétion de phrases
-
La dictée
-
La reconstruction de texte
-
La production de résumé et avis
22Selon Green (2013), ces tâches sont conçues pour fournir des mesures multiples et indépendantes qui sous-tendent l'aisance à communiquer en anglais parlé et écrit, y compris l’aisance à communiquer phonologique, la construction et la compréhension de phrases, l'utilisation passive et active du vocabulaire, la capacité d'écoute, la prononciation d'unités rythmiques et segmentaires, ainsi que la pertinence et la précision de l'écriture :
23Partie A : Lecture à haute voix
24Dans la partie A, les candidats lisent à haute voix deux courts passages - des textes d'exposition qui traitent de sujets quotidiens généralement familiers. Les candidats ont 30 secondes pour lire chaque texte pendant qu'il est affiché sur l'écran de l'ordinateur.
25Partie B : Répétitions
26Dans la partie B, les candidats sont invités à répéter mot à mot les phrases qu'ils entendent. Les phrases sont présentées au candidat dans un ordre aléatoire et de difficulté croissante.
27Partie C : Construction de phrases
28Pour la partie C, les candidats entendent trois courtes phrases et doivent les réarranger pour en faire une seule. Les phrases sont présentées dans un ordre aléatoire (sans tenir compte de l'ordre original des mots), et le candidat doit dire une phrase sensée et grammaticale qui comprend exactement les trois phrases données.
29Partie D : Conversations
30Dans la partie D, les candidats au test écoutent des conversations entre deux locuteurs. Immédiatement après chaque conversation, une voix enregistrée pose une question de compréhension. Les candidats répondent à la question par un mot ou une courte phrase.
31Partie E : Vitesse et précision de frappe
32Comme il est important de distinguer les compétences en dactylographie des candidats de leurs compétences en anglais écrit, dans cette tâche de saisie, les candidats voient un passage en haut de l'écran de l'ordinateur et disposent de 60 secondes pour saisir exactement le passage tel qu'il apparaît dans une case en bas de l'écran.
33Partie F : Compléter une phrase
34Dans la partie F, les candidats lisent une phrase dans laquelle il manque un mot, et ils fournissent un mot approprié pour compléter la phrase. Les candidats disposent de 25 secondes pour chaque item. Pendant ce temps, les candidats doivent lire et comprendre la phrase, trouver un élément lexical pour compléter la phrase, et taper le mot dans la zone de texte prévue à cet effet. La longueur des phrases varie de 5 à 25 mots.
35Partie G : Dictée
36Dans la partie G, les candidats entendent une phrase enregistrée et doivent la taper exactement comme ils l'entendent. Les candidats ont 25 secondes pour taper chaque phrase. Les phrases sont présentées dans un ordre approximatif de difficulté croissante.
37Partie H : La Reconstruction de texte
38La reconstruction de texte est similaire à une tâche connue sous le nom de rappel libre. Les candidats au test doivent lire un texte, le mettre de côté, puis écrire ce dont ils se souviennent. Dans cette tâche, un texte court est présenté pendant 30 secondes, après quoi le passage disparaît et la personne testée a 90 secondes pour reconstituer le texte par écrit. La longueur des passages varie de 45 à 65 mots.
39Partie I : Résumé et avis
40Dans un premier temps, un texte est présenté aux candidats. Ils disposent de 18 minutes pour le lire et rédiger un résumé de l'opinion de l'auteur en 25 à 50 mots. Les candidats doivent être capables de comprendre et identifier les points d'appui sans inclure de détails superflus. Ensuite, ils doivent donner leur propre opinion sur le sujet présenté et fournir des idées claires et appropriées à l'appui.
41La deuxième méthode d’évaluation que nous avons testée est l’analyse de la production orale en appliquant un cadre basé sur la complexité, la précision et l’aisance à communiquer (CPA). En utilisant des échantillons de langue spontanée enregistrés lors des entretiens avant et au retour du séjour, nous avons examiné les changements dans la complexité, la précision et l’aisance à communiquer de la langue produite par les étudiants. Nous voulions tester ces trois éléments comme critères d’évaluation car la complexité, la précision et l’aisance à communiquer « reflètent les principales étapes du changement dans le système L2 sous-jacent » (Housen, Kuiken & Vedder, 2012 : 3).
42Housen et Kuiken (2009 : 1) ont décrit les mesures de complexité, de précision et d’aisance à communiquer comme « des descripteurs de performance pour l'évaluation orale et écrite des apprenants en langues, ainsi que des indicateurs de la compétence des apprenants sous-jacente à leur performance ». Les mesures CPA sont des dimensions qui peuvent être utilisées pour évaluer la performance dans certaines compétences linguistiques, principalement l'oral et l'écrit. Pour les besoins de nos tests, seules les compétences orales ont été examinées.
43La complexité peut être comprise comme une complexité cognitive ou linguistique, c'est-à-dire comme un problème d'apprentissage ou comme une caractéristique inhérente aux structures elles-mêmes (DeKeyser, 2016 ; Housen, Kuiken & Vedder, 2012). La complexité dans la production de la L2 fait référence à « la taille, l'élaboration, la richesse et la diversité du système linguistique de la L2 de l'apprenant » (Housen & Kuiken, 2009 : 5). Pour analyser cet aspect de la langue produite par les apprenants, les chercheurs prennent en compte généralement deux mesures : la complexité grammaticale et la complexité lexicale.
44En ce qui concerne la complexité grammaticale, peu de recherches antérieures ont examiné comment la complexité syntaxique peut changer au cours du séjour à l’étranger, et les études qui l'ont examinée n'ont pas abouti à des résultats concluants (Leonard, 2017). Mora et Valls Ferrer (2012) n'ont trouvé aucun changement significatif dans le nombre moyen de propositions par unité. Serrano, Tragant et Llanes (2012), en revanche, ont constaté une augmentation significative du nombre moyen de clauses par unité T, c’est-à-dire le plus petit groupe de mots pouvant être considéré comme une phrase grammaticale.
45Pour ce qui est de la complexité lexicale, les chercheurs ont utilisé ce que l'on pourrait appeler avec plus de précision la variété lexicale (ou diversité lexicale), en utilisant un ratio type-occurrence pour mesurer combien de mots différents sont présents dans les échantillons de discours des participants. En ce qui concerne l'évolution de la variété lexicale pendant les études à l'étranger, les résultats des études précédentes n'ont pas révélé de changements significatifs (Mora & Valls Ferrer, 2012 ; Serrano, Tragant & Llanes, 2012). Dans le cadre de cet article, nous nous intéresserons uniquement à la complexité lexicale.
46La deuxième dimension du discours qui est analysée est la précision. L'exactitude de la parole de l'apprenant fait référence à la capacité de produire un discours sans erreur (Housen & Kuiken, 2009) ; dans la recherche sur les études à l'étranger, les erreurs comprennent généralement des écarts grammaticaux et lexicaux par rapport aux normes des locuteurs natifs.
47Il s'agit de la seule mesure sur laquelle les chercheurs s'accordent généralement, en termes de définition et de fonctionnement (Housen, Kuiken, & Vedder, 2012). Bien que le concept d'erreur soit très large, les chercheurs doivent définir ce qu'ils entendent par erreur avant de procéder à toute analyse. Par exemple, Housen, Kuiken et Vedder (2012) ont décrit les erreurs comme des déviations par rapport aux normes. La précision comprend également la précision grammaticale (conformité des règles grammaticales) et la précision lexicale (pertinence des éléments lexicaux dans un contexte particulier et pour un objectif particulier). Les recherches antérieures sur les changements dans la précision lors d’un séjour à l’étranger sont limitées, mais des études récentes ont trouvé des preuves de gains dans ce domaine (Llanes & Muñoz, 2009 ; Mora & Valls Ferrer, 2012 ; Serrano, Tragant & Llanes, 2012). Il existe plusieurs façons de mesurer la précision (voir Mirshahidi, 2017 ; Foster, Tonkyn & Wigglesworth, 2016) dans le cadre de cet article, nous avons recours à la manière préconisée par Ellis et Barkhuizen (2005) qui consiste à calculer le nombre total d'erreurs par 100 mots.
48La dernière dimension que nous allons examiner est l’aisance à communiquer, qui fait référence aux caractéristiques temporelles de la parole, y compris des aspects tels que la pause, la vitesse (débit de parole) et la réparation (la fréquence des faux départs ou des autocorrections). L’aisance à communiquer a été définie par De Jong, Groenhout, Schoonen et Hulstijn (2015 : 224) comme « l'élocution rapide et fluide du discours sans pauses (remplies), répétitions et réparations ».
49Les changements dans l’aisance à communiquer sont considérés comme un reflet des changements dans les composantes sous-jacentes liées à l'automaticité. Selon Leonard (2017 : 181), les processus automatiques sont ceux qui ne nécessitent peu ou pas d'attention, d'effort ou de contrôle et peuvent être le résultat d'une pratique consciente. Une conséquence évidente de l'absence d'automaticité est que les sous-éléments sous-jacents de l’aisance à communiquer prendront plus de temps à être réalisés ou exigeront plus de concentration de la part de l’apprenant.
50Des études antérieures sur les séjours à l’étranger ont fourni des preuves assez constantes de gains d’aisance à communiquer ; la plupart des études ont constaté une augmentation du débit de la parole, mesuré en syllabes ou en mots par seconde ou minute (D’Amico, 2010 ; Lennon, 1990 ; Llanes & Muñoz, 2009 ; Mora & Valls, Ferrer, 2012 ; O'Brien, Segalowitz, Freed & Collentine, 2007 ; Serrano, Tragant & Llanes, 2012 ; Towell, 2002), et la longueur moyenne de la prise de parole (D'Amico, 2010 ; Mora & Valls Ferrer, 2012 ; O'Brien, Segalowitz, Freed & Collentine, 2007 ; Towell, 2002). En général, pour examiner l’aisance à communiquer d’un apprenant, le taux d'articulation, l’auto-correction par 100 syllabes, les pauses et la durée moyenne de l'exécution sont calculés. Aux fins de nos tests, nous allons mesurer le taux d’articulation, c'est-à-dire le nombre de syllabes par seconde.
51Comme stipulé précédemment dans la partie méthodologique, le recueil des données s'est fait dans un format pré-test et post-test. Les neuf participants, dont cinq hommes et quatre femmes, ont passé le VEPT pré-test et ont participé à l'entretien juste avant ou peu après le début de leur période à l'étranger ou leur stage en France. Le post-test et le deuxième entretien ont été réalisés environ 3 mois plus tard (nombre moyen de jours entre le pré-test et le post-test = 96,5 ; écart-type = 6,19 ; médiane = 98).
52Le VEPT utilise l’échelle Global Scale of English (GSE), une échelle de 10 à 90 points alignée sur le Cadre Européen Commun de Référence pour les langues (CECR), qui mesure la maîtrise de l’anglais. La différence du nombre de points obtenu entre la première et la deuxième administration du test a été calculée afin de mesurer les progrès réalisés par les étudiants. Les résultats des deux administrations du VEPT ont montré une légère augmentation globale des capacités langagières en anglais (Moyenne = 1,67 points / écart-type = 4,50), sauf pour la production orale, qui a subi une baisse de 5,11 points sur la période que nous avons examinée. Ces gains langagiers varient selon la compétence en question et selon le contexte d’apprentissage des étudiants (voir Tableau 1).
Tableau 1 : Résultats des deux administrations du VEPT
53En ce qui concerne la compréhension écrite, le VEPT a montré une augmentation des capacités de 10,81% (moyenne = 5,67 points / écart-type = 8,19) sur les trois populations d’étudiants. Seuls les étudiants en séjour académique ont montré un développement significatif de 22,05% (moyenne = 11 points / écart-type = 13,75).
54Pour ce qui est de la production écrite, le VEPT a démontré une amélioration globale de 8,71% (moyenne = 4,78 points / écart-type = 10,03). L’écart entre les étudiants qui ont effectué un stage à l’étranger et les deux autres populations est significatif, avec le premier groupe faisant des gains de 24,79% sur la période étudiée, et les deux autres groupes faisant des gains beaucoup moins importants, de 0,42% pour ceux qui ont effectué un stage en France et de 0,91% pour ceux qui ont effectué un séjour académique.
55En ce qui concerne la compréhension orale, le VEPT a révélé un développement de 4,94% (moyenne = 2,33 points / écart-type = 10,57) sur les trois populations. Les plus gros gains observés sont ceux des étudiants en séjour académique à l’étranger, avec une augmentation de 11,62% (moyenne = 6,67 / écart-type = 9,29) suivi par les étudiants en stage en France, avec une augmentation de 8,02% (moyenne = 4,33 / écart-type = 11,55). Aucun gain significatif n’a été observé pour le dernier groupe.
56Quant à la production orale, les résultats des deux administrations du VEPT indiquent une diminution globale des capacités orales des participants de 7,59% (moyenne = -5,11 / écart-type = 7,51) sur la période étudiée. Un développement n’a été observé que pour les étudiants effectuant un stage à l’étranger tandis que les résultats pour les étudiants en séjour académique montrent, d’une manière assez surprenante, une baisse significative de 20,29% (moyenne = -12,67 / écart-type = 6,35). Une diminution de cette importance n’a pas été observée lors de l’analyse CPA, avec seulement un critère subissant une baisse importante, celui de la complexité (voir Section 6.2).
57Afin d’examiner la pertinence du cadre CPA pour notre étude plus étendue, nous avons analysé les transcriptions des entretiens qui ont été réalisés avant et après les séjours à l’étranger et les stages en France de nos participants. Ces entretiens ont été conçus pour récolter des échantillons de langue spontanée et sont basés sur les attentes des participants avant leur séjour/stage afin de pouvoir ensuite faire une comparaison avec la réalité de leurs expériences à l’étranger/en stage. Ces questions ont été également conçues pour pouvoir révéler s’il y a eu un développement en termes de lexique spécifique aux études ou au domaine de leur travail. Les entretiens ont une durée d’environ 15 minutes. Pour les besoins de nos tests, nous avons appliqué une mesure par critère d’évaluation CPA. Notre analyse a montré des gains significatifs dans l’aisance à communiquer et la précision de la langue produite par les trois populations tandis que la complexité de la langue produite semble avoir subi une baisse sur les trois groupes (voir tableau 2).
Tableau 2 : Résultats de l’analyse CPA
58Pour mesurer les gains en termes de complexité lexicale, nous avons calculé le taux de mots différents présents dans les transcriptions par rapport au nombre de mots énoncés par chaque participant. Notre analyse a révélé une diminution globale de 7,51% (moyenne = -2,21 mots / écart-type = 4,14) avec les participants en séjour académique subissant les plus grosses pertes (moyenne = -4,09 mots / écart-type = 6,40), suivis par les participants en stage en France (moyenne = -1,86 mots / écart-type = 3,46). Une baisse très légère de 2,2% a été observé pour les participants en stage à l’étranger (moyenne = -0,69 mots / écart-type = 2,62).
59Afin de mesurer la précision, nous avons calculé le nombre total d'erreurs par 100 mots dans des échantillons de 1000 mots extraits de chaque transcription. Des gains importants ont été observés sur les trois populations, avec des augmentations significatives pour chaque groupe, allant de 19,49% (moyenne = - 0,99 erreurs / écart-type = 0,54) pour les participants en séjour académique à 21,95% (moyenne = -1,15 erreurs / écart-type = 0,57) pour les participants en stage à l’étranger.
60Quant à l’aisance à communiquer, nous avons mesuré le taux d’articulation, c'est-à-dire le nombre de syllabes par seconde. Une hausse du taux d’articulation a été constatée pour deux des trois groupes, en particulier les participants en séjour académique avec une augmentation marquée de 25,51% (moyenne = +0,65 syllabes / seconde) suivis par ceux qui étaient en stage à l’étranger, avec une augmentation de 10,70% (moyenne = +0,33 syllabes / seconde). Aucun changement significatif n’a été observé pour les participants en stage en France.
61Nous avons testé deux méthodes d’évaluation pour trouver la plus appropriée pour notre étude de doctorat sur les impacts des apprentissages informels sur les gains langagiers de nos étudiants francophones lors de leurs séjours à l’étranger. La taille de notre échantillon est trop petite pour en tirer des conclusions concrètes sur le développement langagier dû à l’apprentissage informel mais ces tests nous ont permis d’examiner les apports et les limites de ces deux outils d’évaluation.
62Le Versant English Placement Test jouit de beaucoup de points positifs, tels que sa facilité d’administration, la durée de l’examen, et ses tâches variées. Néanmoins, l’outil comporte aussi des faiblesses, telles que le manque de visibilité sur le déroulement de l’examen et, en conséquence, l’insuffisance de données à exploiter ensuite pour les chercheurs. Les informations fournies par le Score Report ne sont pas assez poussées pour permettre une véritable analyse des changements d’éléments spécifiques de la L2. Bien que les résultats semblent être en phase avec de précédentes études sur la production écrite (Sasaki, 2009) et sur la compréhension orale (Llanes & Muñoz, 2009), en croisant les données recueillies par les deux méthodes d’évaluation, nous avons remarqué une incohérence en termes des indicateurs de la production orale pour certains apprenants. Le VEPT a montré une diminution globale de 7,59% de la production orale, contrairement à l’analyse CPA, qui a révélé des gains significatifs en termes de l’aisance à communiquer et de la précision pour les étudiants partis à l’étranger. Cette incohérence peut être liée aux conditions de passage de l’examen car les apprenants passent l’examen dans un environnement non-contrôlé, c’est-à-dire chez eux, et des problèmes avec le matériel informatique peuvent en être la cause, par exemple des difficultés avec le réseau internet ou des problèmes avec le micro ou le casque.
63En ce qui concerne l’analyse CPA, les résultats de nos tests semblent globalement corroborer les résultats des études antérieures sur l’apprentissage des langues lors des séjours à l’étranger (D’Amico, 2010 ; Llanes & Muñoz, 2009 ; Mora & Valls Ferrer, 2012). En termes d’aisance à communiquer, une augmentation du débit de parole de 10,7% a été constatée pour les étudiants en stage à l’étranger et de 25,51% pour les étudiants en séjour académique. Aucun changement significatif n’a été relevé pour les étudiants en stage en France. Pour la précision, nous avons constaté une amélioration de 21,95% pour les étudiants en stage à l’étranger, de 19,64% pour les étudiants en stage en France et de 19,49% pour les étudiants en séjour académique. Néanmoins, à l’encontre des études précédentes sur la complexité lexicale qui n'ont trouvé aucun changement significatif (Mora & Valls Ferrer, 2012 ; Serrano, Tragant & Llanes, 2012), nos résultats ont montré une diminution sur deux des trois populations étudiées, de 6,49% et de 13,83% respectivement pour les étudiants en stage en France et en séjour académique à l’étranger, avec aucun changement significatif pour les étudiants en stage à l’étranger.
64Au retour de leur stage ou séjour à l’étranger, tous les participants ont répondu à un sondage concernant leur utilisation de l’anglais. Selon les réponses au sondage, leur hébergement aurait probablement joué un rôle clé dans leur développement langagier pendant cette période. En effet, tous les étudiants à l’étranger vivaient en collocation, et deux tiers d’entre eux communiquaient uniquement en anglais avec leurs colocataires. Un autre facteur très important était l’utilisation de l’anglais au travail et à l’université. Pour ceux qui effectuaient des stages à l’étranger, la langue de travail était l’anglais pour deux d’entre eux, le troisième étudiant communiquant en anglais entre 1 à 2 heures par jour, quoique la langue de travail fût le français. Pour ceux qui suivaient leurs études à l’étranger, bien qu’ils n’eussent pas les mêmes opportunités de parler en anglais à l’université, ils lisaient et effectuaient de la recherche en anglais, à hauteur de 1 heures et 1,5 heure en moyenne par jour respectivement. Pour ceux qui effectuaient des stages en France, ils n’avaient eu que peu d’opportunité de parler en anglais lors de leur journée de travail, mais ils lisaient et effectuaient de la recherche en anglais, entre 1,5 heures et 2,17 heures par jour en moyenne respectivement. Pour les trois populations, les étudiants utilisaient l’anglais très régulièrement dans la sphère privée, en consultant des pages web en anglais (en moyenne 1,17 heures par jour pour les étudiants en séjour académique et en stage en France, et de 1,83 heures pour ceux qui effectuaient leur stage à l’étranger). Ils regardent aussi des séries et films en anglais (en moyenne 1,17 heures par jour pour ceux en séjour académique, 1,5 heures pour ceux en stage à l’étranger et 2,33 heures pour ceux qui effectuaient leurs stages en France). Les étudiants qui vivaient à l’étranger passaient en moyenne 2,66 heures par jour à parler en anglais lors des sorties avec leurs amis tandis que les étudiants en stage en France n’ont pas eu cette opportunité, et communiquaient uniquement en français avec leurs amis.
65L’objectif de cet article était de discuter les difficultés, ainsi que de mettre à jour et évaluer le véritable impact des apprentissages informels sur le développement des capacités langagières des apprenants. La nature diffuse et désorganisée de l’apprentissage informel le rend difficile à identifier et par conséquent, difficile à évaluer. Au sein de la recherche en acquisition des langues secondes, il existe depuis des décennies des appels à l’élaboration d’un indice officiel du développement langagier avec lequel on peut mesurer, de manière concrète, le niveau de développement L2 des apprenants (Larsen-Freeman, 1978, 2006). Cet indice n’existe toujours pas, et par conséquent les chercheurs ont recours à un très grand nombre d’unités d’analyse différentes pour évaluer, mesurer et rendre compte des performances linguistiques en L2 (Kusyk, 2017 : 107).
66Quoi que plus complexe à réaliser, l’analyse de la production orale en utilisant un cadre CPA s’est révélée être la méthode d’évaluation à retenir dans le cadre de notre étude car elle nous permet « de dresser un portrait plus complet et précis » (Kusyk 2017 : 108) du processus de développement L2. Pour les besoins de nos tests, nous n’avons appliqué qu’une mesure à chaque indicateur. Toutefois, les possibilités d’analyse sont plus vastes avec l’application de jusqu’à 20 mesures spécifiques pour réaliser des analyses plus robustes et fiables sur le développement de la production orale et de la production écrite. Cette méthode d’évaluation est facilement applicable à de futures études sur l’apprentissage informel des langues et, accompagnée d’un recueil de données sur les pratiques informelles des apprenants, elle nous aidera à acquérir de nouvelles perspectives sur le véritable impact des apprentissages informels sur le développement des capacités en L2. Nous tenons à souligner que les résultats présentés ici concernent un petit corpus et qu’ils doivent bien évidemment être confrontés à une étude plus large.