DE LANDSHEERE G. (1979). Dictionnaire de l’évaluation et de la recherche en éducation. Paris : PUF.
Les coulisses de la fabrication d’un test de langue : l’exemple du Test de connaissance du français (TCF)
Entrées d’index
Haut de pagePlan
Haut de pageTexte intégral
1France Éducation International (FEI) a la charge de la conception et de la gestion de certifications en français langue étrangère. Ces certifications permettent aux candidats qui s’y présentent de valider leur niveau de compétences en français et de les utiliser comme pièces justificatives dans des démarches officielles qui exigent un niveau minimal (par exemple, pour des études en France, pour obtenir la nationalité française, etc.). Elles se présentent soit sous la forme d’un diplôme, comme le Diplôme d’études en langue française (DELF) et le Diplôme approfondi de langue française (DALF), soit sous la forme d’un test, comme le Test de connaissance du français (TCF). Ces diplômes et tests suivent le même principe de fabrication avant d’être proposés dans des sessions officielles un peu partout dans le monde.
2Pour pouvoir parler de certification, peu importe qu’il s’agisse d’un diplôme ou d’un test ; ce qui compte, c’est que l’élaboration de chaque version respecte scrupuleusement un cahier des charges, lui-même très précis. Chaque conception fait donc l’objet de processus stricts, dont la mise en œuvre est contrôlée à chaque étape de la chaîne d’assemblage. Cet article se propose de partager les coulisses de la fabrication d’un test de langue, en prenant l’exemple du TCF.
Les quatre qualités indispensables d’un test
3La démarche de construction d’un test est la même que celle qui guide la construction d’un avion. Elle nécessite de la rigueur à chaque instant et à chaque étape de la construction, et surtout la capacité de fabriquer des versions de test en série, comme on fabrique les avions en série pour différentes compagnies aériennes. On doit donc être en mesure de reproduire des versions de test présentant exactement les mêmes caractéristiques que les précédentes versions de ce test, tout en changeant les items qui le constituent. Il en va de même lorsqu’un avionneur est en mesure de produire deux fois le même avion, mais avec des fuselages aux couleurs distinctes et aux ambiances cabines spécifiques, selon la compagnie aérienne commanditaire. Construire un test, c’est donc maîtriser le procédé de fabrication pour répondre au niveau de l’enjeu de son utilisation, c’est-à-dire à ce que pourra faire un candidat du résultat qu’il ou elle a obtenu. Plus le résultat du test présente un fort impact pour l’avenir du candidat, pour ses études, son travail, pour obtenir une nouvelle nationalité, moins les erreurs sont permises. Comme pour la construction d’un nouvel avion, il est impératif de maîtriser tous les paramètres, car l’absence de contrôle peut avoir des conséquences très lourdes pour l’utilisateur. Dans cet article, nous nous proposons donc d’examiner comment on construit une version de test mais aussi comment il convient de procéder pour disposer d’une version parallèle aux précédentes – c’est-à-dire présentant les mêmes caractéristiques –, en maintenant constantes les propriétés d’évaluation, tout en changeant les items. Pour y parvenir, il faut viser quatre qualités destinées à garantir que le candidat obtiendra le même résultat au test que s’il était évalué avec une autre version du même test.
4Selon De Landsheere (1979), « pour mériter le nom de test, un examen doit être standardisé, fidèle, valide et étalonné ». Nous commencerons ici avec les notions de validité et de fidélité, avant de présenter deux autres qualités et de revenir sur l’importance de l’étalonnage et de la standardisation.
La validité, socle fondateur
5On considère que la validité est la première qualité qu’il faut obtenir pour pouvoir dire d’un assemblage d’items qu’il s’agit d’un test. Un test est valide s’il évalue bien ce qu’il est censé évaluer, et l’on pourrait – voire devrait – ajouter : s’il n’évalue rien d’autre que ce pour quoi il a été conçu. Pour filer notre métaphore, on attend d’un avion qu’il puisse rouler, décoller, voler, puis atterrir, et non qu’il puisse entrer dans la circulation des voitures sur autoroute, même si cela reste possible. On doit donc attendre d’un test de mesure des compétences en langue française qu’il puisse mesurer la compétence en français. En ce sens, on ne doit, par exemple, pas en attendre en même temps qu’il puisse évaluer les connaissances socio-culturelles relatives à la langue évaluée. Pour le TCF, la conception de chaque item doit alors être réalisée comme la conception d’une unité élémentaire de notation permettant d’inférer, au moins en partie, le niveau de maîtrise de la langue française, de la même manière que chaque pièce d’un avion joue son rôle pour conférer à l’avion les propriétés attendues. En pratique, un item renvoie souvent à plusieurs descripteurs de compétence, pour lesquels il va fournir des éléments du degré de maîtrise. Et c’est la façon dont l’ensemble des items est adossé à un ensemble de descripteurs de compétences, souvent rassemblés dans ce que l’on appelle un référentiel de compétences, qui va définir ce que mesure le test, en un mot sa validité.
Pas de validité sans fidélité
6Pour parler de test, on doit obtenir une deuxième qualité, la fidélité. Cette qualité est celle qui confère l’indépendance entre le résultat obtenu par un candidat et la version à partir de laquelle il a obtenu ce résultat. Autrement dit, que l’on passe le test à Paris ou ailleurs, un lundi ou un mercredi, avec la version 7 ou 31, si le test est fidèle et qu’on le passe dans les mêmes conditions, alors on obtient le même résultat. La validité devient donc une condition de la fidélité, au même titre que la standardisation des conditions de passation devient une condition de la fidélité. Si le test n’est pas fidèle, le résultat du candidat changera selon la version utilisée, et c’est très souvent le signe d’une absence de validité des compétences différentes qui sont mesurées d’une version à l’autre. La fidélité est au test ce que la fiabilité est à l’aviation civile : quelle que soit la compagnie aérienne empruntée, avec un même modèle d’avion, un voyageur doit avoir les mêmes chances d’arriver à bon port.
La sensibilité, qualité aussi importante que peu souvent mentionnée
7La troisième qualité d’un test concerne sa sensibilité, c’est-à-dire la finesse de la mesure par la notation que fournit un test. Un test doit être effectivement capable de classer hiérarchiquement les candidats en sous-ensembles distincts de niveaux de compétence : les très bons, les bons, les moyens, les mauvais, et les très mauvais, par exemple. Il doit donc permettre d’aller au-delà de la simple notion de réussite/échec, en proposant un résultat qui permet de situer précisément le niveau de compétence des personnes évaluées, et donc d’accompagner une prise de décision les concernant. La sensibilité doit par conséquent pouvoir être perçue dans le résultat fourni, car il est déjà à lui seul une interprétation de la performance du candidat. Dans l’aviation, on doit disposer du même type de sensibilité pour les instruments de bord, comme l’altimètre. Savoir que l’on vole à 11 000 pieds ou à 10 900 quand on va croiser d’autres avions de ligne, c’est effectivement sensible. L’importance de la sensibilité de la mesure est ainsi cruciale. Connaître sa vitesse exacte pour atterrir est une donnée capitale pour les pilotes, et sensible pour les passagers.
L’équité ou la justesse d’un test
8L’équité, quatrième qualité d’un test, constitue le point d’équilibre de toutes ses autres qualités. Un test équitable est un test qui ne confère ni avantage ni désavantage à un sous-groupe de candidats. Ne trouverait-on pas surprenant que les personnes très compétentes en physique réussissent mieux le test que les personnes compétentes en mathématiques ? Dès lors que l’on est en mesure d’identifier une caractéristique commune à un sous-groupe de candidats, uniquement parce qu’ils partagent une connaissance commune ou un trait commun, et que ce sous-groupe réussit mieux ou moins bien le test, c’est que le test est inéquitable. Plus encore, si une seule des questions présente un degré de réussite plus élevé pour un sous-groupe de candidats qu’un autre, c’est qu’on a identifié un item à fonctionnement différentiel. Or aucune différence de traitement ne doit voir le jour, une seule classification doit être possible avec le TCF, c’est-à-dire celle opérée par la mesure du niveau de compétence en langue française. Si des différences entre des sous-groupes sont observées, c’est probablement parce qu’a été évalué autre chose que ce qui était souhaité au départ. Cela ne veut pas dire que les tests de langue sont inéquitables quand les femmes réussissent mieux que les hommes ! On pourrait l’affirmer seulement si l’on avait des hommes et femmes de même niveau de compétence, mais que sur certains items, la proportion de bonnes réponses était plus importante pour les unes que pour les autres. Ainsi, l’équité pour les candidats qui se présentent à un test est du même ordre que la sécurité offerte aux passagers par les compagnies aériennes.
9Outre ces qualités, pour parler de test, il faut pouvoir disposer d’un étalonnage et de procédures standardisées. Nous allons maintenant montrer comment nous procédons avec le TCF pour y parvenir, par une démarche rigoureuse à chaque étape de la construction d’une version.
L’exemple du TCF
La commande et la validation des items
10Un test est un savant assemblage d’items. Ces derniers sont d’abord commandés selon un cahier des charges précis. Il convient en premier lieu de s’assurer que l’item évalue bien une dimension de la compétence qu’il est censé évaluer. Un item de compréhension orale doit par exemple évaluer la compréhension de l’oral que l’on peut rencontrer dans une situation authentique ou pseudo-authentique, comme la compréhension d’un message que l’on pourrait entendre dans un aéroport. On doit ensuite s’assurer que l’item est effectivement du niveau de difficulté attendu. On va donc vérifier que l’item, par sa longueur, par son niveau de difficulté, par le thème qu’il aborde, le vocable qu’il utilise, est pertinent. Et le faire avec autant de minutie que lorsque sont vérifiées les pièces qui composent le moteur d’un avion.
11Au TCF, les rédacteurs d’items disposent d’un guide de rédaction, et les valideurs d’une liste de points à vérifier. Seule la satisfaction de l’ensemble des points va permettre à l’item de continuer sa vie et d’espérer figurer, un jour, dans une version officielle. Avant d’être utilisé en version officielle, un item va toutefois être soumis à l’épreuve des faits, comme un test avant le test, pour vérifier sa conformité fonctionnelle – c’est ce qu’on appelle l’étape du pré-test. Pour le TCF, on utilise une technique plus efficace, appelée le calibrage masqué.
Le calibrage masqué, version premium du pré-test
12Si les fruits de la commande et de la validation des items sont suffisamment nombreux, on est alors en mesure d’en insérer un petit nombre dans une version officielle qui va être proposée en passation sur ordinateur. Pour les candidats, une version officielle de calibrage masqué ne permet pas de dissocier les nouveaux items, qui ne compteront pas pour le calcul de leur score, des items ayant déjà fait l’objet d’un calibrage masqué, qui, eux, compteront pour le calcul du score. Tout se passe comme si on réalisait une modification prototypique sur avion, à bord duquel on aurait embarqué des instruments de mesure supplémentaires pour enregistrer toutes les données du vol, en disposant ainsi d’instruments témoins de référence. La version officielle, élaborée en version de calibrage masqué, va alors être proposée aux candidats qui passent le TCF un peu partout dans le monde, sur une période de trois à sept semaines environ. Pour le TCF, on rassemble au minimum trois cent cinquante candidats, pour obtenir des données significativement représentatives. Dès lors que le TCF est passé par les candidats, on est en mesure de leur fournir un résultat, en calculant leurs scores sur la base des « anciens » items (ceux ayant déjà fait l’objet d’un premier calibrage masqué) et d’enregistrer toutes les réponses aux « nouveaux » items. Cette collecte de données va permettre de connaître le comportement des candidats face à la totalité des items, qu’ils aient ou non compté pour leur score. Cet ensemble de données est alors passé au filtre d’une nouvelle analyse, l’analyse psychométrique.
L’analyse psychométrique, ultime filtre de la validation définitive des items
13Pour le TCF, les items utilisés sont des QCM avec quatre propositions de réponses, dont une seule est la bonne. Pour chaque item, on dispose donc de la réponse choisie par chaque candidat, et pour chaque candidat, de ses réponses à chaque item. On s’intéresse ici bien plus à la manière dont les candidats ont répondu à chaque item qu’au fait de savoir s’ils ont correctement répondu ou non. Plus encore, lorsque la réponse est erronée, on observe précisément quelle mauvaise réponse a été choisie. Dès lors, tous les items vont être soumis à deux modèles statistiques, en cinq étapes de calculs. Ces modèles et ces étapes vont permettre, pour chaque item, de disposer d’un véritable passeport biométrique et des qualités de mesure qui les caractérisent. On va ainsi pouvoir connaître, entre autres, le niveau de difficulté de l’item, sa capacité à discriminer les bons, les moyens et les mauvais candidats ; on va savoir si les mauvaises réponses attirent de façon équilibrée ou non les candidats ne choisissant pas la bonne réponse, et on pourra même repérer l’existence d’un fonctionnement différentiel. Si l’ensemble des paramètres du passeport biométrique d’un item correspond aux normes attendues, on dira alors que l’item est « bancable », c’est-à-dire qu’il devient à son tour utilisable pour une version officielle de calibrage masqué, où il sera pris en compte pour le calcul du score du candidat. Si les données biométriques ne sont pas satisfaisantes, l’item sera simplement rejeté. Lorsque l’item est « bancable », une dernière opération est réalisée, en utilisant les items témoins – ceux qui ont été pris en compte pour le calcul du score des candidats – pour venir ajuster sa valeur de difficulté. C’est ce qu’on appelle dans le jargon « l’ancrage », qui correspond à l’étalonnage évoqué par De Landsheere (1979). C’est après cette étape que l’item entre enfin en banque d’items, véritable réservoir qui permet d’assembler, par sélection de sous-ensembles, une nouvelle version d’un test, totalement comparable aux autres versions, précédentes comme futures, de ce même test. L’analyse psychométrique est au monde des tests de langue adossés aux standards internationaux en matière d’évaluation des compétences langagières ce qu’est la phase de certification, de son début au vol inaugural, d’un avion avant sa mise en service.
L’opération d’assemblage ou quand le test prend forme
14Dans la banque d’items, on dispose donc de tous les items validés par l’analyse psychométrique conduite à l’issue du calibrage masqué. Il s’agit d’un énorme réservoir de pièces détachées, totalement certifiées, que l’on va pouvoir utiliser sur la chaîne de montage. On est alors en mesure de sélectionner les items, en toute confiance, sur la base de la compétence qu’ils permettent d’évaluer, de leur niveau de difficulté, de leur indice de discrimination, etc. On peut établir cette sélection en associant des items fraîchement entrés dans ce réservoir à d’autres plus anciens. Pour le TCF, chaque nouvelle version de test est constituée d’environ un tiers d’items « neufs » associés à environ deux tiers d’items plus « anciens ». Ce dosage concourt à la comparabilité des versions entre elles.
15La sélection des items pour constituer une nouvelle version de test est réalisée sur la base de la totalité de leurs données biométriques, afin qu’une fois ensemble, les propriétés de l’assemblage soient tout à fait comparables aux propriétés des assemblages conçus précédemment, mais aussi réplicables pour les assemblages à venir. On réalise ainsi un clone des versions précédentes, dont la particularité est de partager les mêmes caractéristiques métriques ; mais du point de vue du contenu (donc de l’apparence), il s’agit bien d’une version unique. C’est ce qu’on appelle la construction d’une version parallèle, qui va permettre de bénéficier d’une indépendance entre les résultats qu’obtiendront les candidats et la version qui aura permis d’évaluer leur niveau de compétence en français langue étrangère. Tout se passe comme si l’on était sur la chaîne d’assemblage d’un modèle d’avion qui produirait des avions en série que l’on pourrait seulement distinguer par les couleurs de la compagnie aérienne et l’ambiance de la cabine.
16Prête à partir en publication, la version doit encore, avant d’être présentée aux candidats, recevoir sa touche de finition, avec la conception du barème.
La fabrication du barème pour un test au millimètre près
17On a vu, lors de l’étape précédente, que la construction d’une version parallèle permettait de disposer d’un clone des autres versions. En réalité, cette nouvelle version clone, si rigoureuses qu’aient pu être ses étapes d’élaboration, présente encore d’infimes écarts métriques avec ses versions mère et filles. Il faut donc encore effectuer quelques ajustements fins, car les caractéristiques métriques des items ne sont pas strictement les mêmes. La construction d’un barème, propre à chaque nouveau clone de version, est réalisée pour ajuster le nombre de points que vient rapporter chaque item. Cette conversion d’un score brut, correspondant au nombre d’items auxquels les candidats ont correctement répondu, en un score calibré, permet de disposer d’un score total comparable à celui qu’on obtiendrait à partir d’une autre version parallèle. Pour le TCF, les scores sont étagés de 100 à 699, où chaque centaine représente respectivement un niveau du Cadre européen commun de référence pour les langues allant du niveau A1 au niveau C2, et où chaque dizaine et unité précise le positionnement à l’intérieur de ces niveaux. Ainsi, un score total de 531 points obtenu par un candidat sur une version du TCF correspond exactement au même niveau de compétence que ce même score obtenu par un autre candidat évalué avec une version distincte de ce même TCF. Cette opération est aussi une dimension importante de l’étalonnage du test.
La standardisation, la clé de voûte d’une certification
18Maintenant que le test est fait, il peut être utilisé. Chacune des étapes décrites dans cet article démontre l’exigence de respect des procédures pour permettre à chaque candidat de bénéficier des mêmes chances de réussite à son test, quelle que soit la version à partir de laquelle il est évalué. Mais toutes ces qualités pourraient s’écrouler comme un château de cartes si le test n’était pas encadré par des procédures d’administration standardisées. Pour le TCF, on dispose de guides, de manuels, de listes de vérifications, pour chacune des parties prenantes, qui viennent définir avec précision les conditions d’organisation de l’épreuve, avant, pendant et après la session. Le respect de ces procédures standardisées est la condition sine qua non d’un traitement équitable des candidats à travers l’espace et le temps.
19La nouvelle version clonée du test entre alors dans un schéma de distribution, au milieu de toutes les autres versions, pour être distribuée dans le monde entier, n’importe où, n’importe quand. Il convient de préciser qu’un contrôle de l’exposition des versions est assuré, notamment pour prévenir les fraudes… mais il faut bien que le TCF conserve encore quelques secrets pour garantir cette équité !
Pour citer cet article
Référence papier
Sébastien Georges, « Les coulisses de la fabrication d’un test de langue : l’exemple du Test de connaissance du français (TCF) », Revue internationale d’éducation de Sèvres, 93 | 2023, 32-37.
Référence électronique
Sébastien Georges, « Les coulisses de la fabrication d’un test de langue : l’exemple du Test de connaissance du français (TCF) », Revue internationale d’éducation de Sèvres [En ligne], 93 | septembre 2023, mis en ligne le 01 septembre 2023, consulté le 03 novembre 2024. URL : http://journals.openedition.org/ries/14060 ; DOI : https://doi.org/10.4000/ries.14060
Haut de pageDroits d’auteur
Le texte et les autres éléments (illustrations, fichiers annexes importés), sont « Tous droits réservés », sauf mention contraire.
Haut de page