1Quel est l’intérêt d’utiliser une enquête dans le contexte de la recherche en langue étrangère, alors que cet outil est normalement adapté au domaine du marketing ou de la sociologie ?

2Nous sommes nombreux à faire de la recherche-action ou du terrain, dans le cadre d’une thèse ou d’un article, soit pour créer de nouveaux outils didactiques, soit pour confirmer ou infirmer une hypothèse formulée à partir de l’observation professionnelle. S’il nous arrive d’être intimement convaincus que nos observations sont justes, comment pouvons-nous les valider auprès d’un jury de doctorat ou d’un comité de lecture ? En disposant d’une preuve formelle, grâce à l’utilisation d’une enquête sociologique, le plus souvent sous forme de questionnaire.

Objet de l’enquête

3La première règle est de déterminer l’objet de l’enquête, qu’elle soit quantitative ou qualitative. Prenons le cas d’un enseignant qui expérimente l’emploi d’une étude de cas en langue étrangère (ECLANE). Il veut savoir comment l’exercice a été perçu par l’ensemble de ses étudiants. Il peut vouloir connaître le degré de satisfaction (enquête quantitative) ou la perception par les étudiants de l’exercice (enquête qualitative). Son objectif peut être :

• d’estimer une grandeur absolue — combien d’étudiants ont aimé faire une ECLANE

• d’estimer une grandeur relative — quelle proportion de la population concernée a été favorable à l’ECLANE proposée, et quelle proportion y a été hostile, ou

• de vérifier une hypothèse, à savoir que les étudiants ont aimé cette ECLANE.

4Au cours d’une enquête auprès d’étudiants se produit un phénomène intéressant, celui du rapport enseignant/étudiant, que les sociologues qualifient de rapport dissymétrique. Autrement dit, les deux personnes ne sont pas sur un pied d’égalité : l’enseignant (E) peut influencer l’avenir de l’étudiant (e). De ce fait, il est important de se rendre compte qu’une certaine méfiance peut s’installer dans l’esprit de l’étudiant. C’est pour cette raison qu’un questionnaire anonyme est généralement préférable à un questionnaire personnalisé.

5Ce phénomène de rapport dissymétrique n’est pas uniquement négatif : si l’enseignant annonce à l’avance qu’il procède à une enquête, l’existence même de l’enquête pourra servir de source de motivation, car la population concernée aura tendance à considérer l’enquête comme une preuve d’intérêt à son égard.

6Dans le contexte de l’enseignement, nous n’avons pas à nous soucier véritablement de la population retenue ou d’un échantillon représentatif à interroger : dans la majorité des cas nous utiliserons la totalité des étudiants.

Élaboration du questionnaire

7Dans un premier temps, il est recommandé d’utiliser une technique, qualifiée d’entretien non directif ou semi-directif. Par exemple, on dit au groupe-classe : « Je voudrais vous faire réaliser une étude de cas en anglais. Qu’en pensez-vous ? ». L’enseignant, en ouvrant la porte à une discussion de groupe sans donner de direction spécifique, peut recueillir un certain nombre d’idées qui l’aideront par la suite à formuler des questions spécifiques.

Rédaction des questions

9La rédaction des questions exige beaucoup de soin, car une mauvaise formulation peut introduire un biais ou bien placer l’enquêté dans l’impossibilité de répondre. À titre d’exemple, la question : « Est-ce que vous étudiez toujours une LV2 ? - Oui/Non » peut avoir cet effet. Si l’enquêté répond « Oui », cela suppose qu’il a déjà étudié une LV2 et qu’il continue à le faire. S’il répond non, cela veut dire qu’il en a déjà étudié une, mais qu’il a cessé de le faire. Il n’a pas la possibilité de dire qu’il n’a jamais étudié une LV2. Ceci est une illustration simple d’un danger qui existe dans la rédaction des questions. Une question peut, par inadvertance, introduire un biais : « Est-ce que vous lisez des livres ? » Tout dépend de l’interprétation par l’enquêté du mot « livre ». Selon son niveau d’instruction, il peut l’interpréter au sens strict, comme l’entend l’enquêteur, mais le risque existe d’y inclure les bandes dessinées, les journaux, les magazines, etc. La question peut être également interprétée par l’enquêté d’une manière différente : « Est-ce que je sais lire ? » Une fois la question formulée, l’enquêteur devient tributaire de l’interprétation de l’enquêté ; or cette interprétation peut ne pas correspondre à l’intention du concepteur. C’est pour cette raison que la formulation des questions nécessite la plus grande vigilance.

10Nous pouvons prendre un autre exemple très simple : l’enquêteur veut savoir si ses étudiants ont apprécié de faire une ECLANE. Il décide d’utiliser une question fermée. Il peut poser la question suivante :

Vous aimez faire des ECLANES.
a) Oui
b) Non

11Ici nous avons introduit un biais involontaire. Le verbe aimer à la forme affirmative plutôt qu’à la forme interrogative est une incitation à répondre par « Oui », en raison du rapport dissymétrique enseignant/étudiant et souvent du désir, ou du besoin, de ce dernier à faire plaisir à son professeur.

12Nous pourrions donc reformuler la question ainsi :

Aimez-vous faire des ECLANES ?
a) Oui
b) Non

13La question (il s’agit maintenant d’une question à proprement dire) est néanmoins ambiguë car, dans un premier temps, elle concerne toutes les ECLANES possibles, or l’étudiant a fait une seule ECLANE, et deuxièmement l’étudiant peut avoir aimé l’ECLANE qu’il vient de faire en anglais, mais ne sait pas s’il aimerait faire une ECLANE en allemand ou en espagnol. Nous pouvons pallier cet inconvénient en introduisant plus de précision dans la question, par exemple :

Aimez-vous faire des ECLANES en anglais ?
a) Oui
b) Non

14L’étudiant peut cerner avec plus de clarté le sens exact de la question, mais la difficulté de répondre subsiste, il n’a fait qu’une ECLANE, donc il ne peut pas généraliser. De plus, l’objectif de l’enquêteur est de savoir ce que l’enquêté pense de l’ECLANE proposée. Ce qui nous amène à modifier la question :

Avez-vous aimé faire l’ECLANE proposée en TD d’anglais en mars 1995 ?
a) Oui
b) Non

15Une gêne subsiste : l’étudiant n’a pas la possibilité de dire qu’il a aimé certains aspects de l’ECLANE et pas d’autres ; pour lui permettre de s’exprimer, la question fermée doit obligatoirement devenir une question cafétéria comportant un choix supplémentaire ouvert :

c) autre réponse

16La question a gagné en précision et l’étudiant peut désormais répondre correctement. Cependant, il faut se demander si la question et les réponses proposées vont donner suffisamment d’information. En effet, quel est l’intérêt de savoir s’il a aimé faire l’ECLANE en mars 1995 ? Il serait peut-être plus intéressant de connaître le degré d’intérêt suscité par l’exercice. Dans ce cas, nous pouvons formuler la question ainsi :

Avez-vous aimé faire l’ECLANE proposée en TD d’anglais en mars 1995 ?
a) énormément
b) beaucoup.
c) pas beaucoup
d) pas du tout

17Au lieu d’utiliser la formulation ci-dessus, nous pourrions également utiliser une échelle d’intensité :

Avez-vous aimé faire l’ECLANE proposée en TD d’anglais en mars 1995 ?

Agrandir Original (png, 9,0k)

18Il serait possible de demander de justifier ce choix dans une question ouverte, pour obtenir un maximum d’information.

Effet de halo

19Une autre difficulté est due à l’effet de halo. Exprimé simplement, cela signifie qu’un enquêté a très souvent tendance à répondre favorablement aux questions contenues dans un questionnaire si son opinion globale est favorable, et inversement. Par exemple, si la personne interrogée est hostile à l’apprentissage d’une langue étrangère, elle répondra de sorte à mettre en évidence son aversion, souvent sans se soucier du contenu spécifique de la question posée. Ainsi, à la question : « Concevez-vous des circonstances dans lesquelles le fait d’avoir pratiqué une ou plusieurs ECLANES pourrait être utile ? », cette personne aura très probablement tendance à répondre « Non » automatiquement, sans vraiment considérer tous les aspects possibles de la question, simplement parce que son opinion en général sur le sujet de l’apprentissage d’une langue étrangère est défavorable.

20L’effet de halo est difficile à éviter totalement, en particulier dans un questionnaire dont le sujet est abstrait. Offrir autant d’énoncés favorables que défavorables, éviter un mélange de questions dont certaines seraient de simples constats, alors que d’autres, de par leur formulation, porteraient un jugement, sont les deux moyens essentiels pour enrayer l’effet de halo. L’enquêteur doit accepter que si une personne est globalement satisfaite, cette satisfaction ait tendance à influer sur la nature de ses réponses à des questions spécifiques.

21L’agencement d’un bon questionnaire est compliqué, surtout quand il comporte un grand nombre de questions (au-delà de 10). Pour se simplifier la tâche, il est possible d’imiter les spécialistes dans le domaine du marketing et d’utiliser un ordinogramme (Annexe). Très simplement, il s’agit de remplacer chaque question par une figure géométrique contenant un ou deux mots représentant la question. On peut ou bien procéder sur un ordinateur ou bien découper et coller des morceaux de papier.

22L’idée est de pouvoir disposer ces figures géométriques de sorte que le questionnaire fasse apparaître une suite logique. Prenons comme illustration le questionnaire préparé en TD d’anglais par des étudiants d’un département Techniques de Commercialisation. L’objectif de l’enquête était de savoir si les personnes interrogées seraient des clients potentiels pour un nouvel ordinateur. Les étudiants ont d’abord utilisé un entretien semi-directif pour déceler ce qui préoccupe les enquêtés et ensuite ils ont créé un ordinogramme pour agencer logiquement leur questionnaire. Ils ont commencé par une question filtre : « Do you already own a computer ? », pour éviter une perte de temps, mais il est peu probable qu’une question filtre s’impose dans le cadre d’une recherche universitaire auprès d’étudiants qui constituent la population interrogée. Dans le cas d’une recherche sur le terrain, nous pouvons normalement considérer que la totalité des étudiants est concernée. Néanmoins, une question filtre peut être utile, dans le cas où un chercheur fait une enquête sur les antécédents de ses étudiants :

Avez-vous utilisé des méthodes audiovisuelles pendant vos cours d’anglais au lycée ?
a) Oui
b) Non
(Si la réponse est Non, passez à la question 4).

23L’emploi d’un ordinogramme est totalement facultatif, mais il est indiscutable que son utilisation peut s’avérer précieuse.

Présentation

24Une fois prêt le questionnaire va être imprimé. La mise en page doit être soignée, pour produire un effet psychologique favorable sur l’enquêté. Si ce dernier se trouve placé devant une ou plusieurs feuilles manuscrites, parfois peu lisibles, l’enquêté doutera, peut-être de façon subconsciente, de l’importance, voire de l’utilité de la tâche qu’il lui est demandé d’accomplir — à plus forte raison si le questionnaire est long. En revanche, face à un questionnaire présenté avec soin, l’enquêté aura probablement la réaction suivante : « Puisque l’enquêteur (en l’occurrence l’enseignant) a fait l’effort de présenter un document de cette qualité, je dois faire un effort pour répondre convenablement ».

25Pour en finir avec la formulation et l’agencement d’un questionnaire, j’aimerais citer Ghiglione & Matalon (1991) :

Malgré son importance, la rédaction d’un questionnaire reste dépendante du savoir-faire et de l’expérience du chercheur. Il n’est pas possible, actuellement, d’énoncer des règles pour la construction du questionnaire et la manière de rédiger les questions. Au mieux on peut énumérer un certain nombre de mises en garde, donner une liste des points auxquels il est bon d’avoir pensé.

Pré-test

26Après avoir pris toutes les précautions nécessaires, on aurait tendance à se dire : « Mon questionnaire est prêt, je n’ai plus qu’à l’administrer. » Faux ! Avant d’administrer un questionnaire, il est nécessaire de procéder à un pré-test ou test-pilote. Se livrer à un test-pilote lors de l’élaboration d’un questionnaire est indispensable pour plusieurs raisons que nous pouvons résumer en autant de questions :

27- Est-ce que toutes les questions sont intelligibles ?
- Est-ce que les questions vont être comprises de la manière dont je le souhaite ?
- Est-ce que les réponses proposées pour les questions fermées couvrent toutes les possibilités ?
- Est-ce que l’ordre des questions est judicieux ?

28S’il veut réussir un questionnaire, l’auteur doit garder en tête l’information que chaque question doit faire apparaître, mais il ne peut pas être totalement sûr que chaque question, telle qu’elle est posée, va nécessairement fournir cette information, d’où l’utilité du test-pilote.

29Afin de procéder au test-pilote, il convient de s’adresser à un petit nombre de personnes capables d’esprit critique. Une méthode simple et efficace est de fournir à chaque personne une copie du questionnaire, de lire chaque question à voix haute et puis de solliciter non seulement des réponses, mais aussi des commentaires et suggestions au sujet de chaque question. Parfois le vocabulaire utilisé pose problème ou la question est ambiguë, ou bien encore une question supplémentaire s’impose sur tel point. Cependant il est important de ne pas exiger des personnes participant à un test-pilote d’aller trop loin, pour éviter de « dénaturer » le questionnaire. Il est utile de prendre autant de notes que possible pendant l’entretien, ou mieux encore, d’enregistrer l’entretien.

30Le test-pilote amène naturellement l’enquêteur à modifier certains éléments du questionnaire : reformulation de questions, ajout de questions et de choix de réponses, etc. Si l’enquêteur se veut efficace, il ne peut faire l’économie de cette phase, si fastidieuse soit-elle.

Administration du questionnaire

31L’administration, ou la passation, d’un questionnaire est un autre moment névralgique du processus. En raison du rapport dissymétrique précédemment évoqué, il est nécessaire d’écarter, dans les limites du possible, l’influence de ce rapport sur la façon dont les enquêtés répondront aux questions. Par exemple, est-il nécessaire d’incorporer dans le questionnaire une fiche signalétique ? Dans l’esprit d’un étudiant, l’enseignant détient un pouvoir sur son avenir, même si ce pouvoir est très largement exagéré dans bien des cas. L’absence de fiche signalétique, rendant le questionnaire anonyme, peut éviter partiellement ce phénomène. À titre de preuve, lors d’une enquête effectuée auprès de mes propres étudiants, j’ai demandé que chacun passe dans la salle de classe à sa convenance, en mon absence, qu’il remplisse un questionnaire, qu’il le place sur la pile et finalement qu’il émarge sur une feuille de présence. J’ai appris par la suite que certains étudiants avaient soigneusement placé leur questionnaire au milieu de la pile, afin d’éviter d’être « reconnus » par corrélation entre la pile et la liste d’émargement !

32Si l’enquêteur estime qu’une fiche signalétique est essentielle pour valider sa recherche, elle doit être incorporée dans le questionnaire. Dans ce cas, il importe de prendre la précaution d’expliquer aux étudiants la raison d’être de l’enquête. Si on peut leur faire comprendre qu’il s’agit d’une recherche personnelle dans le cadre universitaire, et que le contenu de leurs réponses n’aura aucune incidence sur leur devenir individuel, on aura amorti considérablement le risque de biais.

33La coopération des étudiants est certes nécessaire, mais il serait néfaste de trop insister, sous peine d’introduire un autre biais. Par exemple, si l’enquêteur explique que le résultat de ce travail est très important pour lui, beaucoup d’étudiants, dans un souci d’aider leur enseignant, essaieront de répondre de la façon la plus positive, faussant ainsi certaines réponses.

Codage et dépouillement

34Une fois les questionnaires complétés, reste à procéder au codage et au dépouillement. En ce qui concerne le codage, l’emploi d’un petit nombre de questions ouvertes simplifie considérablement la tâche. Mais qu’entend-on par codage ? Supposons une question ouverte :

« Quels exercices aimeriez-vous faire pendant les T.D. d’anglais en 2^e année ? »

35La gamme des possibilités est très étendue, rendant le dépouillement ardu. Il est indispensable d’attribuer un code aux catégories de réponses. Ainsi, on peut regrouper toutes les réponses ayant trait à des exercices de grammaire dans la catégorie 1. Les réponses concernant l’audiovisuel se retrouveront dans la catégorie 2, et ainsi de suite.

36Le codage est encore un domaine qu’il convient de traiter avec la plus grande attention, car il est possible, selon la méthode de codage utilisé, d’introduire un nouveau biais, voire de complètement fausser les résultats. Chaque cas est différent et, en vérité, il existe peu de règles ; le mieux est de conseiller prudence et bon sens, et de limiter dès le départ le nombre de questions ouvertes !

37En ce qui concerne le dépouillement, nous avons le choix entre la bonne vieille méthode du crayon et de la feuille de papier et l’ordinateur. Pour une enquête de taille modeste (population et le nombre de questions), il est très possible de dépouiller à la main. Reprenons la question élaborée précédemment :

Avez-vous aimé faire l’ECLANE proposée en TD d’anglais en mars 1995 ?
a) énormément
b) beaucoup
c) pas beaucoup
d) pas du tout

38On procède au comptage pour chaque réponse :

39a) 23
b) 61
c) 18
d) 4

40On obtient un total de 106 réponses. Ensuite, on fait une simple règle de trois pour transformer les résultats en pourcentages :

41a) 23 = 21,6 %
b) 61 = 57,5 %
c) 18 = 17,0 %
d) 4 = 3,7 %

42Il est à noter que la somme ainsi obtenue est de 99,8 %. Pour atteindre 100 %, il est possible d’arrondir les décimales à l’unité supérieure ou inférieure. En réalité, cela importe peu car nous ne sommes pas à la recherche de statistiques en valeur absolue.

Analyse

43Le résultat du dépouillement est une masse de chiffres rébarbatifs et inutiles, si nous ne les analysons pas. L’analyse est faite en fonction de l’hypothèse qui sera de la sorte confirmée ou infirmée. Il convient de commenter et d’analyser chaque réponse et ensuite de tirer une conclusion globale. Reprenons comme exemple la question : « Avez-vous aimé faire l’ECLANE proposée en TD d’anglais en mars 1995 ? ».

44Si nous trouvons que 76 % des étudiants ont répondu « Oui », quelle sera l’analyse ? Il ne suffit pas de constater simplement que les étudiants ont aimé l’exercice, il faut essayer de comprendre pourquoi. Pour ce faire, une ou plusieurs autres questions, proposées ailleurs dans le questionnaire, peuvent fournir des éléments d’analyse.

45Ne perdons pas de vue le fait que nous n’avons pas, pour la plupart d’entre nous, la capacité à mener une véritable enquête sociologique, dont l’analyse de contenu est souvent très complexe et en conformité avec des règles strictes. L’enquête du chercheur de terrain en langue étrangère dépend davantage du bon sens de l’enquêteur, et de ce fait diverge quelque peu de son modèle.

Présentation des résultats

46La finalité d’une enquête est la production d’un rapport, sous forme d’article, de communication ou de thèse. Si l’enquête est quantitative, la présentation matérielle revêt une grande importance. Il convient de rendre le rapport le plus lisible possible. Or, des tableaux remplis de chiffres sont fastidieux à lire (voir tableau 1).

Tableau 1 : Réponse à la question « Le manuel utilisé en T.D. d’anglais est » sous forme de pourcentages

a	très intéressant	11	9 %
b	intéressant	74	62 %
c	peu	30	25 %
d	pas du tout intéressant	4	3 %
e	sans opinion	1	1 %

47Il faut convenir que le tableau 1, s’il est lisible, n’a rien d’attrayant et demande un effort de la part du lecteur. C’est là que l’emploi d’un bon logiciel de traitement de texte devient incontournable ; la plupart des logiciels commercialisés incorporent un générateur automatique de graphiques facile à utiliser. Avec l’aide de cet outil moderne, il est possible de représenter ce même tableau sous forme de graphique (voir figure 1).

48À l’inverse du tableau précédent, l’histogramme fait rapidement apparaître que la réponse « Intéressant » est largement dominante, sans même avoir à lire les chiffres. Un générateur automatique de graphiques, en l’occurrence WinWord, permet de créer aires, barres, histogrammes, courbes, secteurs, etc., en 2 ou 3 dimensions. L’emploi de graphiques n’est nullement obligatoire dans un rapport, mais il offre une facilité de lecture accrue et donne au rapport un aspect plus professionnel.

49Cette communication n’a pas la prétention d’être exhaustive ni de s’adresser à des chercheurs confirmés, elle contribue seulement à faire prendre conscience au chercheur novice de l’apport utile d’une autre discipline au cours d’un travail de recherche dans la classe de langue. Elle est une illustration qu’il peut exister une convergence entre deux disciplines aussi éloignées que la sociologie et une langue étrangère. Elle a pour objectif d’apporter une aide, fondée sur l’expérience, à ceux d’entre nous qui ont besoin d’élaborer un questionnaire pour valider une hypothèse. Que les pièges déjoués et les difficultés mentionnées plus haut soient un encouragement à utiliser une enquête d’origine sociologique, tout en restant circonspect. J’aimerais, pour terminer, citer Mark Twain, qui est ironique à son ordinaire, mais qui a le mérite de nous inciter à ne pas faire totalement confiance aux chiffres :

• 2 Mark Twain. 1981, Autobiography - The Oxford Library of Words and Phrases, Part I, Quotations, Oxfo (...)

There are lies, damned lies, and statistics !2