1L’analyse des interactions verbales n’est plus nouvelle en sciences du langage (Sacks et al. 1974, Brown & Fraser 1979, Kerbrat-Orecchioni 1990, Traverso 2016, Cappeau 2022). Nombre d’études s’y intéressent, notamment en contexte médical dans le but de décrypter la parole – des soignants comme des soignés – et contribuer à décrire la communication dans des situations où les enjeux relationnels sont cruciaux (Vion 1999, Ploog et al. 2018, Blasco 2022).
- 1 En s’appuyant sur les réponses à des tests du patient éveillé pendant la phase cruciale de l’interv (...)
2C’est le cas à La Cavale Blanche (CHU de Brest) où, en collaboration avec une équipe médicale, une étude a été initiée qui vise à observer, décrire et caractériser de telles interactions dans le cadre spécifique des interventions de neurochirurgie éveillée1. À cette fin, après validation du comité d’éthique du CHU et avec l’accord des patients, des consultations pré-/post-opératoires sont enregistrées dans le service de neurochirurgie.
3Pour tirer profit de telles données et constituer un corpus exploitable, il faut envisager une étape de transcription, autrement dit passer de l’oral à l’écrit. Cette étape de traitement doit relever deux enjeux majeurs, difficiles à concilier :
-
La fidélité/fiabilité de la transcription. Aussi grandes soient la vigilance et l’expertise du transcripteur, il est difficile de rendre compte de la réalité d’une interaction verbale et d’en restituer la complexité (Bilger 2008, Traverso 2016 : 170-174, Blasco & Advocat 2022). On peut même affirmer que « pour des raisons inhérentes aux deux médiums [canaux oral/écrit], il ne saurait y avoir de transcription parfaitement fidèle, tout au plus des degrés dans l’infidélité et le décalage » (Gadet 2008 : 38) ;
-
Le temps de travail. Selon la granularité escomptée (Bilger 2008 : 34 et 291, Traverso 2016 : 171), la transcription manuelle de quelques dizaines de minutes d’enregistrement peut exiger de nombreuses heures d’un travail minutieux.
4Au vu des progrès fulgurants dans le domaine du traitement automatique des langues (TAL), on pourrait attendre des applications de transcription (eng. speech-to-text, STT) qu’elles relèvent ces deux enjeux. En fait, elles relèvent le second mais pas le premier. Autrement dit, elles sont très rapides (dans certains cas, la transcription est à peu près simultanée) mais donnent des résultats décevants qui ne reflètent pas la réalité des interactions verbales, faisant l’impasse sur les dimensions interactionnelle et orale (Yamasaki et al. 2023).
5La principale raison en est qu’elles n’ont pas été originellement conçues dans cette perspective. Il peut s’agir d’optimiser la mise en forme d’écrits dans un cadre professionnel (courriers, comptes rendus…) comme générer des sous-titres de vidéos (clips, films…). Les chercheurs n’ignorent pas ce décalage mais les travaux sur le STT – particulièrement en contexte médical – se concentrent généralement sur une fidèle restitution des mots (avec le défi de restituer des termes médicaux relevant d’un jargon), dans des situations monologales (ex. : rapport médical) (Jelassi et al. 2024).
6Nombreuses sont les solutions commerciales en ligne : Google Cloud Speech-to-Text, Microsoft Azure Speech To Text, Amazon Transcribe, Nvivo Transcription, etc. Mais il existe aussi des solutions gratuites pouvant s’exécuter hors ligne, condition nécessaire pour assurer protection et confidentialité des données, notamment médicales. Les plus connues incluent la librairie libre SpeechBrain – qui implémente plusieurs algorithmes de la littérature (Ravanelli et al. 2021) – et la librairie Whisper développée par OpenAI (Radford et al. 2023).
7Toutes ces solutions s’appuient sur l’intelligence artificielle et reposent sur de grands corpus d’enregistrements associés chacun à un texte écrit. Les solutions libres, comme celles incluses dans SpeechBrain, s’appuient en grande partie sur des corpus multilingues de textes lus, tels Common Voice (Ardila et al. 2020), ou des corpus de livres audio, tels Multilingual LibriSpeech (Pratap et al. 2020). Whisper s’appuie sur un corpus privé multilingue de 680.000 heures d’enregistrements hétérogènes trouvés sur internet associés à des textes de qualité variable (cela peut aller de transcriptions manuelles rédigées par des professionnels à des transcriptions rédigées dans un cadre récréatif en passant par des textes lus – le texte écrit est alors premier – ou des transcriptions générées… automatiquement).
8Par ailleurs, comme ses concurrents récents, Whisper s’appuie sur la technologie des transformeurs (Vaswani et al. 2017), des réseaux neuronaux adaptés avec succès à la transcription automatique : ces réseaux encodent automatiquement l’information sonore puis la décodent sous forme de texte. Ces transformeurs sont entrainés à maximiser la similarité entre le texte décodé (la prédiction) et le texte associé à l’enregistrement sonore au sein du corpus (ce qu’on appelle la « vérité terrain » dans le domaine de l’apprentissage automatique). Ainsi, la nature et la qualité des transcriptions dépendront de la nature et de la qualité du corpus utilisé pour l’entrainement : quantité, qualité et variété des enregistrements sonores, mais aussi nature et qualité des textes associés.
9Or, comme les applications STT ne prennent jamais comme référence des transcriptions d’interactions verbales conçues par des linguistes (cf. cependant Yamasaki et al. 2023), le résultat s’avère décevant du point de vue d’un interactionniste de la parole devant constituer un corpus. D’ailleurs, de ce même point de vue, on a le sentiment que les applications traitent comme du bruit des micro-évènements parfaitement cruciaux pour un chercheur en interactions verbales.
10Au final, s’il n’existe pas d’applications STT conçues à des fins de recherche dans le domaine des interactions verbales, rien ne devrait s’y opposer. Pour envisager la conception de telles applications, il est nécessaire de (i) faire le compte des difficultés que posent les solutions actuelles, (ii) préciser l’origine de ces difficultés et (iii) formuler des pistes pour les surmonter. Ce sont les objectifs de notre contribution.
- 2 Plusieurs modèles sont disponibles (tiny, base, small, medium, large) différenciés par le volume de (...)
11Les données exploitées sont 586 minutes d’enregistrements de consultations pré-opératoires en vue d’une intervention de neurochirurgie en conditions éveillées. Chaque consultation a été enregistrée, sans assistance particulière, par le soignant lui-même (avec l’accord du patient) à l’aide de l’enregistreur audio VoiceTracer 2110 (Philips). Ces enregistrements ont été transcrits par Whisper2. Inutilisables en l’état (cf. infra), ces transcripts ont été revus par une équipe de transcripteurs (linguiste et étudiantes en orthophonie) qui utilisent les conventions suivantes :
Tableau 1. Conventions de transcription à partir de ICOR3
(.) ; (4.2)
|
pause ; (durée en s.)
|
euh:
|
allongement
|
°oui°
|
volume faible
|
OUI
|
volume fort
|
/ ou \
|
intonation ascendante ou descendante
|
=
|
enchainement immédiat de tours de parole
|
vous n’av-
|
mot tronqué
|
[hein]
|
chevauchement
|
((rires))
|
commentaires
|
.h
|
aspiration
|
12Au terme de ce processus, on obtient un corpus de 78 499 mots. Le tableau 2 rend compte en détail des données collectées (cf. Bertin (2024) pour une première analyse de ce corpus) :
Tableau 2. Consultations enregistrées : durée de la consultation (nombre de mots)
Patients
|
Neurochir. (NC) + infirmière (INF)
|
Anesthésiste (AN)
|
Neuropsy. (NP)
|
Psychologue (PS) + INF
|
A♂
|
25 min (3 303)
|
|
53 min (6 888)
|
38 min (5 483)
|
B♂ (+ PROche)
|
15 min (3 561)
|
|
121 min (13 966)
|
|
28 min (7 321)
|
C♀ (+PROche)
|
20 min (4 790)
|
42 min (9 592)
|
162 min (4 502)
|
46 min (10 498)
|
36 min (8 595)
|
|
124 min (27 570)
|
42 min (9 592)
|
336 min (25 356)
|
84 min (15 981)
|
13Comme première étape, nous avons calculé le taux d’erreur sur un échantillon du corpus, composé de 4 enregistrements pour un total de 106 minutes. Le WER obtenu (Word Error Rate) sur cet échantillon est de 36 %. Deux phénomènes expliquent ce taux d’erreurs relativement important. D’une part, l’application a tendance à « ignorer » du matériau verbal (des mots répliqués, par exemple). Le transcript de Whisper est d’ailleurs, en nombre de mots, 25,5 % moins long que le transcript révisé. D’autre part, l’application confond des mots (pas seulement ceux relevant du jargon médical, cf. 3.2).
14Dans une perspective plus strictement qualitative, notre investigation consiste à comparer les différences entre le transcript Whisper (automatique) et celui attendu à des fins d’analyse (revu manuellement). Des échantillons prélevés dans le corpus illustreront ce qu’on peut considérer comme des « lacunes » de l’application du point de vue des attentes d’un interactionniste de la parole (cf. 3).
15Un tel parcours exige de revenir sur la notion de bruit. Pour s’en tenir au contexte du TAL et de la transcription automatique, on peut définir le bruit comme « any kind of difference in the surface form of an electronic text from the intended, correct or original text » (Subramaniam et al. 2009). Cette définition est opérante dans la mesure où l’on s’accorde sur ce qui est « correct », attendu que la transcription parfaitement fidèle d’une interaction verbale est illusoire (cf. supra).
16Pour illustrer ce problème, prenons ce tour de parole transcrit par nos soins :
(1) donc voilà (.) et la tache blanche ici/ ben c’est euh: c’est la:: (.) la zone qui est euh (..) t- (..) qui est euh malade (..)
17En (1), la transcription vise – autant que faire se peut – à restituer la parole dans toute sa complexité (ben, euh, amorce de mot (t-), montée intonative sur ici, marquage des allongements vocaliques, marquage des pauses). Mais il est vrai que la transcription (inventée) suivante, correspondant à une sorte de compétence idéalisée, est également raisonnable :
(2) donc la tache blanche ici c’est la zone qui est malade
18À l’aune de la définition précédente, si la transcription attendue est (2), les éléments ajoutés en (1) s’apparentent à du bruit. Mais si, dans la perspective interactionniste adoptée ici, on vise une transcription comme (1), c’est l’absence de ces mêmes éléments qui constituent, plutôt qu’à proprement parler du bruit, du silence (puisqu’il y a une absence d’informations constatée entre la parole et sa transcription).
19Cette difficulté, au cœur de notre contribution, n’est pas toujours ignorée par les spécialistes du STT. Elle amène certains chercheurs à distinguer le bruit nocif ou harmful noise (ex. : bruit d’un hélicoptère approchant l’hôpital) et le bruit utile ou useful noise (ex. : euh du médecin) (Al Sharou et al. 2021). Cependant, nous ne reprenons pas cette distinction à notre compte puisqu’elle amène à étiqueter bruit, quand bien même serait-il qualifié d’utile, des phénomènes relevant simplement de la performance du locuteur (Traverso 2016 : 105).
20Une correcte attribution des tours de parole à chaque locuteur est une condition nécessaire à un travail d’analyse des interactions verbales qui ne peut se faire sans distinguer les sources énonciatives. Or, sur ce point, Whisper est particulièrement inefficace. À partir d’un fichier contenant l’enregistrement brut de l’interaction, l’application produit un texte séquencé qui amalgame parfois les différents tours de parole (TP) :
Tableau 3. TP amalgamés
Whisper
|
Transcription attendue
|
Au début il y avait beaucoup mal à la tête, d’accord.
|
PRO
|
=au début il avait beaucoup mal à la tête
|
INF
|
d’accord
|
21Cela dit, le plus souvent, elle fragmente la parole à l’excès et les fragments obtenus ne correspondent pas spécialement à des locuteurs différents :
Tableau 4. TP fragmentés
Whisper
|
Transcription attendue
|
préparez un petit peu à comment comment ça va
00:49.880 --> 00:54.360
se passer notamment cet après midi avec la neuropsychologue ça va être une partie des
00:54.360 --> 01:01.800
tests qui seront refaits le jour des chirurgies
|
PRO
|
vous z- y préparez un petit peu à comment: comment ça va se passer notamment .h euh:: cet après-midi avec la neuropsychologue ça va être une partie des tests qui seront REfaits le jour de la chirurgie
|
22Pour ce qui concerne les chevauchements, un segment est le plus souvent non reconnu au bénéfice d’un autre (ici, évidemment, prononcé par NC, n’est pas restitué au bénéfice de d’accord – qui est par ailleurs le début de la réponse de A) :
Tableau 5. Segment non reconnu dans le cas d’un chevauchement
Whisper
|
Transcription attendue
|
si vous êtes toujours d’accord d’accord ouais
|
NC
|
si vous êtes euh toujours d’accord/ [évidemment]
|
A
|
[d’accord ] ouais
|
23Sur ce dernier point, outre le fait que l’application n’intègre pas la problématique du chevauchement (de fait, plus subtile encore que celle de la distinction des tours de parole), elle néglige un segment prononcé puisque les deux signaux sonores sont simultanés. D’ailleurs, pour le transcripteur humain, si une réécoute patiente permet généralement de distinguer les deux segments, les frontières du chevauchement restent difficiles à établir.
24Ainsi, dès le niveau le plus élémentaire de l’alternance des tours de parole, Whisper ignore la dimension interactionnelle. En fait, un tel traitement n’est tout simplement pas anticipé : l’application exploite un flot de paroles sans chercher à les attribuer à des locuteurs différents. On verra que, dans la version WhisperX, on commence à prendre en compte cet aspect crucial (cf. 4.1).
- 4 L’erreur n’est pas systématique. Ex. : Il y a une IRM également la veille (Whisper).
25Comme le suggère le résultat du test WER (cf. 2), les cas de transcription infidèle sont légion. S’il s’agit parfois de termes médicaux (l’exerce au lieu de l’exérèse) incluant des sigles (Lyaren au lieu de l’IRM)4, il peut également s’agir de noms propres (qu’un père au lieu de Quimper) pour lesquels les frontières de mots ne sont pas toujours bien identifiées. Mais, souvent également, les erreurs concernent des mots du vocabulaire courant :
Tableau 6. Erreurs de reconnaissance d’un mot courant
Whisper
|
Transcription attendue
|
En tout cas vous avez fait comme un malade
|
PS
|
en tout cas c’est (.) v- vous avez fait comme un maLAISE
|
on n’a pas besoin de votre participation pour l’ouverture de la peau, la voile crânienne, tout ça
|
NC
|
euh: on voilà on n’a pas besoin de votre participation hein pour l’ouverture euh: voilà de la peau et de la boite crânienne tout ça
|
26Parfois, même le nombre de syllabes ne correspond pas aux paroles prononcées :
Tableau 7. Erreur de reconnaissance de mots / nombres de syllabes différents
Whisper
|
Transcription attendue
|
Je vais me laisser le masque.
|
AN
|
je vais vous demander de baisser le masque/
|
phono : /m(ə).lɛ.se/ (2/3 syllabes potentielles)
|
phono : /vu.dmã.de.dbɛ.se/ (5 syllabes prononcées)
|
27Dans ce cas, il s’agit d’un défaut de performance reconnu par tous. Pour tout le monde, il s’agit bien de bruit car le texte transcrit est manifestement (le niveau lexical est le plus immédiatement identifié) différent de l’original. Comme ce problème est consensuellement reconnu, c’est celui qui fait l’objet du plus grand nombre de tentatives d’améliorations des concepteurs de logiciels comme des chercheurs (par ex. Jelassi et al. 2024).
28Nous désignons par marqueur verbal de l’oral un ensemble assez hétérogène : soit des segments de parole à part entière associés à l’oral (ex. : ouais, certains emplois de voilà), soit des segments à fonction phatique ou régulatrice de la parole (ex. : hm, euh), soit des phénomènes portant sur des segments de parole parfois considérés comme des « ratés » (ex. : répétition d’un mot, élision d’un mot).
- 5 De fait, généralement omis à l’oral (Abeillé et al. 2021 : 1160).
- 6 Toutefois pas systématique, cf. le tableau 5 où Whisper donne un ouais.
29Premièrement, certains marqueurs apparaissent normalisés, ce qui correspond au fait que Whisper « scripturalise » l’oral. On peut citer, entre autres, le rétablissement du ne de négation5 ou la substitution de oui à ouais6 :
Tableau 8. Segments normalisés
Whisper
|
Transcription attendue
|
On va dire, ok, là, on ne va pas plus loin parce qu’on risque de fixer le déficit
|
NC
|
on va se dire ok là on:: on va pas plus loin parce qu’on risque de: FIXER (.) le déficit (..)
|
13:22.580 --> 13:25.580
C’est pour ça qu’il ne faut pas qu’on tarde à faire les choses.
13:25.580 --> 13:28.580
Oui.
|
NC
|
c’est pour ça qu’il faut pas qu’on tarde .h (.) euh à faire les choses/=
|
A
|
=ouais
|
30Cette logique de normalisation est plus radicale encore quand certains marqueurs sont – quoique pas systématiquement – ignorés. C’est le cas de certains régulateurs (Kerbrat-Orecchioni 1990 : 18) ou continueurs (Traverso 2016 : 40) :
Tableau 9. Régulateurs non transcrits (hm)
Whisper
|
Transcription attendue
|
02:17.680 --> 02:30.200
là vous verrez le docteur ***** la neurologue vous referez le test
|
NC
|
là vous reverrez le docteur *****/ (.) la neurologue\
|
A
|
hm
|
NC
|
vous referez (.) les le test euh :
|
31Mais c’est aussi le cas de ces marqueurs qui contribuent au phénomène de réparation (Traverso 2016 : Chapitre 4). Ainsi, les phatiques (Kerbrat-Orecchioni 1990 : 18) comme ben, euh ou hein et même voilà :
Tableau 10. Phatiques non transcrits
Whisper
|
Transcription attendue
|
En fait au début c’est hospitalisation totale, comme ici
|
PRO
|
ben en fait au début c’est l’hospitalisation totale comme ici
|
on n’a pas besoin de votre participation pour l’ouverture de la peau, la voile crânienne
|
NC
|
euh: on voilà on n’a pas besoin de votre participation hein pour l’ouverture euh: voilà de la peau et de la boite crânienne
|
32Et les répétitions ou troncations :
Tableau 11. Répétitions ou troncations non transcrites
Whisper
|
Transcription attendue
|
Ça fait que vous avez plus de mal à trouver les mots ensuite.
|
NC
|
ça: ça fait que vous avez (.) PLUS de mal à à trouver les mots ensuite/
|
pour qu’en fait le jour de l’intervention vous ne découvrez pas les tests en eux mêmes
|
NC
|
pour qu’en fait le jour de l’intervention .h vous déc- vous ne découvrez pas: les: les tests en eux-mêmes
|
33Ce décalage est la conséquence d’un choix méthodologique en amont. Comme les données textuelles dans les corpus choisis sont conformes aux normes de l’écrit (par définition, pauvres en marqueurs de l’oral), et que ces données servent à superviser l’entrainement du modèle sous-jacent de Whisper (en lui indiquant la sortie souhaitée), il n’y aucune raison qu’on retrouve les spécificités de l’oral dans les transcriptions de Whisper.
34On retrouve ici l’ambigüité concernant la notion de bruit. Si l’objectif est de produire un écrit normalisé (un compte rendu par exemple), on peut considérer que l’application transcrit en se débarrassant du bruit (i. e. les marqueurs verbaux de l’oral). A contrario, dans la perspective de l’interactionniste de la parole, on considérera que l’application néglige un ensemble de segments et produit un résultat peu fidèle à l’original : cette volonté de se débarrasser du « bruit » conduit à générer un silence dommageable.
35Whisper n’est pas totalement sourd aux phénomènes prosodiques. Cependant, au niveau le plus fin, l’application est très loin des attendus dans le domaine de l’analyse des interactions verbales. En effet, les interactionnistes de la parole visent généralement à restituer la matérialité de la prosodie (cf. Tab. 1). Ce qui n’est pas prévu par les applications STT (c’est d’ailleurs plutôt la pratique des linguistes qui est ici singulière, voire marginale). Ainsi, impasse est faite sur les allongements (::), les pauses (3,3), les variations de volume (AVANT), les chutes (\) et montées intonatives (/) :
Tableau 12. Phénomènes prosodiques non transcrits
Whisper
|
Transcription attendue
|
ça vous a permis de non j’ai pas regardé
|
NC
|
ça vous a permis de::
|
A
|
non j’ai pas regardé encore
|
c’est à 10h je pense l’entrée en hospitalisation oui c’est ça
|
NC
|
c’est à dix heures je pense/ (3.3) l’entrée en hospitalisation/
|
INF
|
oui\ (.) c’est ça
|
donc ça il faut surtout pas que ça arrive et c’est pour ça qu’il ya
07:03.680 --> 07:14.160
toutes ces préparations là de fait avant
|
NC
|
=hein/ (.) donc ça il faut il faut surtout pas que: que ça arrive et c’est pour ça que y a toute cette préparation là de fait AVANT\
|
36À un niveau plus large, une partie des phénomènes prosodiques est en fait prise en compte et transcrite sous forme de ponctuation (qui est, de facto, la trace écrite standard de la prosodie) : points, points d’interrogation, points de suspension parfois, virgules (pour délimiter des groupes syntaxiques). Ainsi, l’extrait suivant montre comment deux montées intonatives sont transcrites en points d’interrogation (ce qui s’avère cohérent sur le plan pragmatique) et comment une longue pause de 6 secondes est signalée par des points de suspension :
Tableau 13. Phénomènes prosodiques transcrits sous forme de ponctuation
Whisper
|
Transcription attendue
|
C’est l’accès aux mots sur lesquels vous butez?
17:06.580 --> 17:10.580
C’est l’organisation d’une phrase?
17:10.580 --> 17:14.580
Non, c’est…
17:16.580 --> 17:20.580
C’est même pas l’organisation d’une phrase
|
NC
|
(4.0) .h c’est l’accès aux mots que qui vous: sur lequel vous: vous butez/ (.) ou c’est l’organisation d’une phrase/
|
A
|
nan c’est:: (6.0) c’est même pas l’organisation d’une phrase
|
37De nouveau, l’explication vient des textes utilisés comme modèles. Aucun n’étant conçu selon des conventions de type ICOR, il est naturel que de telles conventions n’apparaissent pas en sortie (Tab. 12). Si les phénomènes prosodiques semblent parfois pris en compte, c’est parce qu’ils correspondent au marquage de la ponctuation qu’on trouve dans les textes écrits (Tab. 13).
38Si on exclut la question des transcriptions infidèles (3.2), qui pose le même problème quel que soit l’objectif de transcription (il s’agit bien de bruit pour tout le monde et, à ce titre, tout le monde cherchera à le réduire), trois aspects méritent l’attention dans la perspective de concevoir une application de transcription des interactions verbales : la délimitation des tours de parole, la restitution des phénomènes prosodiques et la restitution des marqueurs verbaux de l’oral.
39La reconnaissance des tours de parole, en particulier en présence de chevauchements, est sans doute le principal défi à relever pour une exploitation fiable des transcriptions automatiques. Au préalable, notons qu’il serait bien plus simple à relever en utilisant des micros directionnels ou des outils de visioconférence au moment du recueil des données (un canal par locuteur), ce qui n’est malheureusement pas le cas en général.
40Avec un enregistrement brut, les techniques existantes fonctionnent traditionnellement en plusieurs étapes successives (Landini et al. 2022) : 1) délimitation des segments temporels présentant une activité vocale ; 2) caractérisation numérique de la voix dans chacun de ces segments ; 3) regroupement des segments présentant des caractéristiques de voix similaires, chaque groupe étant assimilé à un même locuteur. Cette approche séquentielle a l’inconvénient de mal prendre en compte les chevauchements de parole.
41Une approche plus récente propose donc de déterminer, en une seule étape, l’ensemble des locuteurs parlant à chaque instant, en limitant potentiellement le nombre de locuteurs simultanés (Plaquet & Bredin 2023). Notons que ces différentes approches fonctionnent indépendamment de la langue. Pyannote est un exemple de librairie libre implémentant ces techniques de reconnaissance des tours de parole (Bredin 2023). Elle est notamment exploitée dans la librairie WhisperX (Bain et al. 2023), qui combine transcription automatique, reposant sur Whisper, et reconnaissance des tours de parole. Selon notre expérience, cette intégration est perfectible et mériterait d’être adaptée au corpus étudié.
42Sur ce dernier point, même si une assistance est toujours possible (cf. des outils comme Transcriber, Benzitoun 2008), le transcripteur humain reste faillible. Un outil automatique semble donc particulièrement indiqué (précisant par exemple automatiquement la longueur d’une pause, une montée de volume…).
43Mais les modèles de type transformeur, utilisés pour la transcription automatique, ne fournissent pas nativement d’horodatage précis pour chaque mot. Ainsi, les modèles Whisper ont été entrainés uniquement pour prédire des horodatages approximatifs sur des segments de parole, avec une précision d’une seconde. Néanmoins, le mécanisme d’attention, à la base des transformeurs, permet de relier le signal d’entrée (le son) et le signal de sortie (les mots). Ce mécanisme a notamment été exploité, conjointement à l’algorithme d’alignement dynamique, ou Dynamic Time Warping (DTW) en anglais (Salvador & Chan 2007), pour fournir a posteriori un horodatage de chaque début et chaque fin de mot7. WhisperX offre la même fonctionnalité, en s’appuyant sur un second réseau de neurones dédié, prédisant des caractères pouvant être facilement horodatés. Notons que cette tâche, dite d’alignement forcé, n’est pas spécifique aux transformeurs et que des solutions plus générales peuvent également être explorées. Un tel alignement serait exploité notamment pour indiquer la longueur des pauses. D’autres caractéristiques prosodiques, telles que la montée de volume par rapport à une moyenne, seraient faciles à décrire par des outils classiques d’analyse du signal.
44Le problème du « nettoyage » des marqueurs verbaux de l’oral a également été noté par Yamasaki et al. (2023). Ce problème est lié à la manière dont sont entrainés les outils (cf. 3.3). Cependant, en améliorant l’alignement entre l’enregistrement sonore et le texte (cf. 4.2), il est possible de le réduire (Yamasaki et al. 2023).
45Outre l’amélioration des algorithmes, un travail peut également être mené sur la collecte de données. Ainsi, le développement de corpus francophones variés, comme le corpus de dialogues Claire (Hunter et al. 2023) mais également les ressources partagées que constituent ESLO (Orléans) ou ORFÉO, est une piste prometteuse pour l’amélioration des modèles de transcription automatique en langue française. En effet, si nous disposons d’enregistrements audio représentatifs de la diversité des contextes communicatifs (par exemple, le contexte médical), accompagnés de transcriptions automatiques précises, alors il sera plus aisé d’obtenir des outils de transcription automatique efficaces pour chacun de ces contextes.
46Cette étude a proposé une typologie des lacunes de Whisper du point de vue d’un interactionniste de la parole. Outre le manque de précision parfois constaté (certains « mots » sont transcrits de manière erronée, cf. 3.2), on relève une absence de prise en compte des tours de parole (cf. 3.1), une restitution erratique des marqueurs verbaux de l’oral (cf. 3.3) et une prise en compte des phénomènes prosodiques dans une logique « scripturale » (cf. 3.4).
47Globalement, ces lacunes s’expliquent par la manière dont les algorithmes sont entrainés pour transcrire : les textes proposés comme modèles – associés à leurs versions oralisées (pas toujours des interactions verbales, loin s’en faut) – sont rédigés selon les normes de l’écrit. Il s’en suit un effet de normalisation, voire de gommage, des particularités de l’oral qui s’apparentent à du bruit, même s’il est douteux qu’il soit envisagé comme tel par les concepteurs d’applications STT.
48En section 4, nous avons formulé des pistes pour concevoir des applications STT mieux à même de transcrire les interactions verbales. Avec les applications actuelles, le gain de temps reste très relatif puisqu’une révision manuelle, très chronophage, reste nécessaire. S’il parait difficile d’envisager de se passer de tout contrôle humain, une meilleure adaptation des applications pourra faire gagner beaucoup de temps. Par ailleurs, sur certains aspects (dans la restitution des phénomènes prosodiques), on peut même escompter un gain de précision par rapport à l’oreille humaine.
49Pour terminer, soulignons que ce « meilleur des mondes » technologique suscite quand même une question, ici éludée. En effet, les travaux menés sur l’activité de transcription insistent sur l’idée que celle-ci fait partie de la recherche elle-même (Mondada 2008 : 93) et que la déléguer à des « petites mains » (devenues machines) au nom du « rouleau compresseur » de l’efficacité n’est pas sans risques pour la qualité de l’analyse linguistique (Cappeau et al. 2011). Ainsi, aussi performante soit-elle, la transcription automatique peut-elle remplacer ce « passage obligé » de la transcription dans lequel l’analyste doit « être impliqué » (Blasco & Advocat 2022 : 26) ? La réponse à cette question dépend évidemment des objectifs de la recherche.