1L'histoire de l'enseignement assisté par ordinateur de la prosodie d'une langue seconde remonte au moins à 1964 [Vardanian64], date de la première réalisation de l'affichage de la hauteur de la voix dans le but de faciliter la perception et la réalisation de l'intonation de la phrase. En ces temps héroïques, l'affichage temps réel de la fréquence fondamentale du signal de parole était obtenu par un mécanisme sophistiqué impliquant la rotation mécanique d'un écran radar...
2Ce type de réalisation part du principe que les apprenants sont "sourds" au système phonologique de la langue étudiée (leur perception des sons étant essentiellement conditionnée par la grille phonologique de leur langue maternelle), et que leur prononciation pourrait être fortement améliorée en leur apportant des informations visuelles pertinentes, principalement sur les facteurs prosodiques de la phrase.
3Ce genre d'hypothèses révèle l'importance donnée à la prosodie de la phrase pour une prononciation satisfaisante d'une langue seconde, ainsi que celle conférée aux informations graphiques données en supplément des informations auditives. Le retour (feedback) en temps réel relatif aux trois paramètres principaux de la prosodie, c'est-à-dire la fréquence fondamentale, l'intensité et les durées syllabiques constituèrent ainsi une partie essentielle développements en enseignement assisté par ordinateur (EAO) pour la prononciation.
4Beaucoup de développements matériels et logiciels implémentant ces idées ont vu le jour dans les 30 dernières années, suivant de près les progrès technologiques en électronique, informatique et en traitement du signal ([LéonMartin72], [Ehsani98]). Parmi les plus remarquables, on peut citer Lane et Buiten [LaneBuiten69], Madsen en 1973 [Abberton75], VisiPitch (1975), Pitch Computer (1978), Speech Viewer (1985), pour les réalisations matérielles, et WinPitch (1996) ou Speech Tutor (2003) pour les implémentations logicielles.
5Toutes ces réalisations proposent à l'apprenant de réaliser une imitation d'une courbe intonative modèle, sans référence à des faits phonétiques ou phonologiques quelconques (sauf peut-être en ce qui concerne la modalité interrogative ou déclarative de la phrase censée être encodée par le contour intonatif final). Cette méthode d'exercices de répétition (Drill Method, [OConnor73]) ne permet pas d'acquérir une connaissance linguistique de l'intonation, du moins directement. Ceci permet sans doute d'expliquer pourquoi l'utilisation de visualiseurs de mélodie ne s'est jamais largement répandue, leur efficacité étant ressentie comme discutable ([James76], [DeBot83], [WeltensDeBot84], [Lepetit90]).
6Un autre aspect qui a freiné l'emploi de cette technologie dans l'apprentissage des langues e l'apparente complexité de la courbe mélodique affichée sur l'écran et proposée à l'apprenant. Cette courbe mélodique, correspondant à l'évolution de la fréquence fondamentale (la fréquence laryngée) reflète les caractéristiques phonétiques particulières du modèle proposé, et les détails graphiques affichés sur l'écran ne sont pas nécessairement pertinents du point de vue linguistique, ni même nécessairement perçus par l'utilisateur. Des réalisations présentant des informations prosodiques plus pertinentes ont été proposées ([SpaaiHermes93], [Anderson94]) mais en intégrant seulement des propriétés relatives à la perception non linguistique de l'intonation. Chun [Chun89] utilise également la visualisation de la fréquence fondamentale, mais se limite à une revue des possibilités offertes par cette technologie dans les domaines des tons du mandarin et des contours de modalité déclarative ou interrogative de la phrase. Plus tard, Chun [Chun98] examine une application possible pour l'enseignement de l'intonation du discours en anglais, plaçant sur un même plan émotions, attitudes et accent d'insistance.
7Un autre problème lié au développement d'applications pédagogiques dans l'enseignement des langues est lié à l'importance relative donnée graphiquement à la mélodie au détriment d'autres facteurs prosodiques tels que le rythme. Des travaux portant sur la synthèse de la parole ont montré que dans certains cas le rythme est plus important que la mélodie pour la compréhension de l'organisation hiérarchique (syntaxique) de la phrase. Un exemple de réalisation où l'emphase est mise sur le facteur rythme et non sur la mélodie est décrit dans [Delmonte97].
8Une des réalisations commerciales les plus répandues est celle de la société Auralog, dont un produit récent, Talk To Me [TalkToMe05] visualise la courbe mélodique de phrases entières d'une manière comparable à ce qui se faisait il y a 30 ans (courbes mélodiques discontinues, modèle et imitation superposés). Dans ce cas également, il n'apparaît pas d'explication ni de retour quant à la pertinence phonologique des réalisations de l'apprenant. L'évaluation de performance de l'utilisateur se fait par un score global.
9Le développement de WinPitch LTL [WinPitchLTL05] comme outil d'enseignement de la prosodie (et d'autres traits phonétiques) d'une langue seconde a suivi les trois étapes pédagogiques bien connues passant d'un apprentissage passif à un apprentissage actif :
-
j'écoute et j'oublie ;
-
je vois et je me souviens ;
-
je manipule et je comprends.
10L'étape d'apprentissage "J'écoute et j'oublie" correspond aux conditions rencontrées lors de l'apparition de premiers laboratoires de langue : l'apprenant répète simplement le modèle entendu, l'ensemble des phrases modèles étant organisé en séquences portant sur l'acquisition d'un trait particulier de prononciation (par exemple le e muet en français ou la consonne th en anglais). Les aspects prosodiques se limitent le plus souvent à la localisation de l'accent lexical et à la réalisation correcte de groupes accentuels. Les réalisations mélodiques n'acquièrent importance phonologique que pour des langues tonales comme le mandarin dans les exercices proposés à l'apprenant.
11Le mode "Je vois et je me souviens" correspond à l'apparition des visualiseurs de mélodie, affichant, parfois en temps réel, une courbe mélodique à imiter par l'apprenant. L'avantage s l'approche précédente a trait à la surdité phonologique supposée de l'apprenant, qui peut à présent voir ce qui n'est pas nécessairement perçu. La possibilité offerte par le logiciel de ralentir la vitesse de reproduction du modèle sans en changer les caractéristiques phonétiques constitue un avantage supplémentaire [Adriaen83] dans la mesure où le ralenti permet de corréler plus aisément la perception auditive avec la perception visuelle des mouvements mélodiques affichés sur l'écran (grâce à un curseur qui se déplace en synchronie avec le son reproduit).
12La modification, par commandes graphiques, des paramètres prosodiques principaux (fréquence fondamentale, intensité, durée syllabique) relative à la voix même de l'apprenant est rendue possible par la re-synthèse de type Psola ou par vocodeur de phase. Ainsi, les apprenants peuvent manipuler leur propre voix selon les caractéristiques prosodiques demandées, et surlignées dans l'affichage des tracés sur l'écran. Ils acquièrent ainsi une compréhension directe des modifications à effectuer pour atteindre perceptivement le but recherché, et ce avant d'effectuer cette réalisations eux-mêmes. Cette approche correspond à un apprentissage (guidé) par manipulation.
13L'utilisation du programme peut se faire in presentia, et être accompagnée des commentaires éventuels d'un enseignant qui peut intervenir directement dans le processus d'apprentissage, ou in absentia, lorsque le logiciel affiche ses propres commentaires sur les réalisations de l'apprenant. Dans la plupart des réalisations commerciales, ce retour est limité à l'affichage d'un score, avec pas ou peu de commentaires relatifs au lieu et au type d'erreur phonétique détectée. À l'évidence, dans l'enseignement de la prosodie, le retour devrait refléter des points spécifiques relatifs à une grammaire de l'intonation sous-jacente à l'élaboration des leçons.
14La plupart des visualiseurs existants sont dépourvus de références claires au contenu linguistique (phonétique et phonologique) des exemples qu'ils présentent aux utilisateurs, qui sont placés face à un écran d'ordinateur sans pouvoir relier ce qu'ils observent à une théorie quelconque [Stibbard96]. L'enseignement du système tonal du mandarin constitue d'ailleurs un excellent contre-exemple pour lequel le rôle de la mélodie est clairement phonologique. Un retour automatique donné à l'apprenant peut donc se baser sur le système phonologique de contraste et d'opposition existant entre les quatre tons de cette langue, et sur les effets phonétiques liés aux détails de ces réalisations en terme de durée syllabique ou de sandhi tonal lorsque les mots ne sont plus prononcés en isolation mais à l'intérieur d'une phrase.
15Avec des langues comme l'anglais ou le français, pour lesquelles le rôle phonologique de l'intonation n'est pas aussi évident ni même universellement admis, l'auteur des séries de phrases modèles doit s'assurer que les traits phonologiques prosodiques sont clairement expliqués par une progression pédagogiquement sensée. Bien que des efforts aient été faits dans ce sens, le manque de consensus parmi les chercheurs dans le domaine de l'intonation de la phrase constitue un problème supplémentaire.
16Le logiciel WinPitch LTL intègre les principes exposés plus haut. Il donne à l'apprenant la possibilité d'écouter les modèles de phrases proposés à une vitesse ralentie réglable, d'observer les courbes mélodiques affichées en temps réel ou non, et d'apprendre en manipulant graphiquement les facteurs prosodiques de fréquence fondamentale, d'intensité et de durée syllabique selon des explications phonologiques présentées dans la fenêtre de commentaires. Les segments phonologiquement importants peuvent être surlignés en couleur par l'auteur enseignant de manière à ne présenter que les parties pertinentes des courbes prosodiques.
Figure 1 - La barre d'outils de WinPitch LTL.
17La barre de navigation de WinPitch LTL (figure 1) permet une sélection facile des phrases composant une leçon, l'écoute du modèle à une vitesse programmable (de 15 % à 200 %), de rejouer les réalisations de l'apprenant pour un modèle donné dans n'importe quel ordre, d'écouter et imiter les phrases de la leçon en séquence, et d'entrer les commandes graphiques pour la re-synthèse des imitations corrigées.
Figure 2 - Configuration d'écran, montrant les zones réservées au modèle (à gauche) et à l'apprenant (à droite).
18Une fonction zoom affiche le modèle sur la totalité de l'écran, avec ou sans le spectrogramme du modèle et de l'imitation de l'apprenant (figure 3).
Figure 3 - Affichage avec spectrogramme du modèle proposé à l'apprenant. Les lignes horizontales blanche et rouge peuvent être configurées par des commandes à la souris de manière à modifier des segments de la courbe mélodique (en rouge sur la figure) et des durées syllabiques.
19Pour permettre une meilleure perception des caractéristiques prosodiques et phonétiques du modèle, ainsi qu'une coordination visuelle entre les déplacements d'un curseur vertical synchrone avec la reproduction des segments sonores successifs, le débit de reproduction du modèle et de l'imitation peuvent être ajustés continuellement dans une gamme de variation allant de 15 % à 200 %. La variation de vitesse est réalisée par un algorithme de type Psola [Moulines90], basé sur l'insertion ou l'effacement pitch synchrone de périodes de pitch (pour les sons voisés). Grâce à la fiabilité de l'algorithme de détection de fréquence fondamentale (pitch) du peigne spectral, le ralentissement est d'excellente qualité. Il est également possible d'utiliser un algorithme de ralentissement à vocodeur de phase, assurant également l'insertion ou l'effacement de segments de parole, mais de durée fixe et recalés en phase à chaque opération pour éviter les effets d'écho.
20Les segments de parole peuvent être surlignés de couleur quelconque de manière à définir une section linguistiquement pertinente du modèle à imiter par l'apprenant (figure 4).
Figure 4 - Affichage de la courbe mélodique avec surlignage en rouge des segments correspondant aux syllabes accentuées de l'exemple I wonder if you could help me.
21WinPitch LTL peut utiliser des polices de caractère Unicode, permettant l'affichage sur le bloc-notes ou sur l'écran le long des courbes mélodiques de tout texte utilisant cette police (figure 5). Il est également possible de définir une configuration de clavier particulière.
Figure 5 - Un clavier spécifique utilisant un ensemble de caractères Unicode peut être défini par l'utilisateur et visualisé en mode détaillé (expand) ou non.
Figure 6 - Morphing prosodique.
22Les quatre paramètres prosodiques de fréquence fondamentale, d'intensité, de durée syllabique et de pause peuvent être modifiés par re-synthèse sur la partie modèle ou imitation. En utilisant le spectrogramme, on peut éditer facilement les durées ou la courbe mélodique conformément au modèle présenté à gauche de l'écran. Les lignes définissant cette synthèse peuvent être coupées, glissées, etc. par des commandes à la souris. Dans la figure 6, la courbe mélodique du deuxième segment de la réalisation de l'apprenant est modifiée par une commande graphique, substituant l'évolution naturelle de la fréquence fondamentale par des segments de droite (en trait blanc épais à droite de la figure).
Figure 7 - Alignement automatique de sections de l'imitation sur le modèle. Les sections sont définies par l'auteur enseignant par des curseurs verticaux.
23Après l'affichage de la courbe mélodique et de l'intensité en temps réel, la phrase de l'apprenant est automatiquement alignée sur le modèle par un algorithme classique d'alignement sur spectrogrammes [Malfrère03]. L'auteur des leçons peut positionner pour chaque phrase des curseurs de long de l'axe du temps pour définir des segments spécifiques. Ces segments sont alors alignés sur les segments correspondants du modèle (si toutefois la séquence de sons imités n'est pas trop différente du modèle). Ainsi l'auteur peut définir une syllabe particulière devant avoir un contour mélodique spécifique (successivement montant descendant sur l'exemple de la figure 7), et une comparaison automatique de l'imitation et du modèle peut être réalisée.
24WinPitch LTL est capable de lire la plupart des formats multimédia, et d'afficher les films correspondants synchronie avec le son (qui peut être ralenti et accéléré) comme l'illustre la figure 8.
Figure 8 - Exemple d'utilisation multimédia.
25L'appréhension de l'information graphique, dont l'on suppose qu'elle apporte une information supplémentaire à l'apprenant dans son processus d'acquisition des facteurs prosodiques, continue à constituer un problème difficile. La courbe mélodique, de par sa nature acoustique, est très complexe, et la simplification de l'information graphique (par exemple en représentant les parties phonologiquement pertinentes par des segments de linéaires) est essentielle. Une stratégie de familiarisation, telle que proposée dans [GermainMartin05], est indispensable pour que l'utilisateur arrive à corréler la perception auditive des facteurs prosodiques, et en particulier le rythme et les variations mélodiques. L'observation du mouvement du curseur simultanément avec l'écoute du modèle à vitesse ralentie constitue une aide efficace pour apprendre à corréler courbe graphique et variation mélodique.
26Mais le défi principal est extérieur à la technologie de la visualisation : il s'agit de déterminer de manière simple et pédagogiquement convaincante quels sont les facteurs linguistiquement importants dans l'apprentissage de la prosodie d'une langue étrangère, et ensuite d'en établir les caractéristiques pertinentes par rapport à celles de la langue maternelle de l'apprenant, et de configurer les modèles et les leçons proposées en se concentrant sur ces différences. De ce point de vue, de grands progrès ont été faits (par exemple pour les apprenants de français langue étrangère parlant mandarin), mais beaucoup de recherches restent à faire.
27WinPitch LTL est un logiciel dérivé de versions plus anciennes apparues lors des 8 dernières années [GermainMartin00]. Il offre à l'apprenant une interface conviviale, permettant une navigation aisée dans l'ensemble des phrases modèles proposées dans une leçon. L'apprenant peut écouter, à vitesse variable, les modèles proposés de manière à atteindre une corrélation satisfaisante entre les perceptions auditives et visuelles des mouvements prosodiques et des durées syllabiques, et ce sur les segments de parole jugés pertinents par l'auteur des leçons et surlignés en couleur. L'apprenant peut également juger de la qualité de ses propres réalisations sur les segments surlignés, grâce à un alignement automatique, et peut ensuite corriger si nécessaire les paramètres de fréquence fondamentale, d'intensité et de durée par des commandes graphiques simples, intégrant ainsi par ses manipulations la connaissance et compréhension des facteurs prosodiques.
28L'enseignant dispose, d'autre part, d'un ensemble très complet de fonctions auteur, perm éventuellement à partir d'enregistrements existants, de définir graphiquement les espaces temporels réservés à l'apprenant, d'ajouter sur l'écran d'affichage et sur un bloc-notes séparé tout texte (avec toutes polices de caractères disponible sous Unicode) utile à la compréhension et à la réalisation de l'exemple proposé, d'ajouter des notes au format HTML, etc.
Flux RSS
