Navigation – Plan du site

AccueilNuméros26Transcription automatique des int...

Transcription automatique des interactions verbales. Limites observées et perspectives envisagées à partir d’un corpus de consultations médicales

Thomas Bertin et Gwenolé Quellec

Résumés

Les applications de transcription automatique de l’audio vers un texte écrit (par ex. Whisper) ont fait de fulgurants progrès ces dernières années. Cependant, généralement destinées à produire des textes conformes aux normes de l’écrit, elles tendent à gommer toute marque de l’oralité (ex. : répétitions, pauses dans le flot de paroles, phatiques comme euh…). Ainsi, même si elles laissent envisager des bénéfices importants en temps de travail comme en fidélité de transcription, elles restent globalement inadaptées pour les chercheurs analysant des interactions verbales. À partir d’un échantillon de transcriptions de consultations pré-opératoires en vue d’une intervention de neurochirurgie en conditions éveillées (recherche en cours), l’étude se donne trois objectifs : (i) recenser les difficultés que pose une application comme Whisper du point de vue d’un interactionniste de la parole ; (ii) expliciter l’origine de ces difficultés ; (iii) proposer des pistes pour les surmonter.

Haut de page

Texte intégral

1. Introduction

1L’analyse des interactions verbales n’est plus nouvelle en sciences du langage (Sacks et al. 1974, Brown & Fraser 1979, Kerbrat-Orecchioni 1990, Traverso 2016, Cappeau 2022). Nombre d’études s’y intéressent, notamment en contexte médical dans le but de décrypter la parole – des soignants comme des soignés – et contribuer à décrire la communication dans des situations où les enjeux relationnels sont cruciaux (Vion 1999, Ploog et al. 2018, Blasco 2022).

  • 1 En s’appuyant sur les réponses à des tests du patient éveillé pendant la phase cruciale de l’interv (...)

2C’est le cas à La Cavale Blanche (CHU de Brest) où, en collaboration avec une équipe médicale, une étude a été initiée qui vise à observer, décrire et caractériser de telles interactions dans le cadre spécifique des interventions de neurochirurgie éveillée1. À cette fin, après validation du comité d’éthique du CHU et avec l’accord des patients, des consultations pré-/post-opératoires sont enregistrées dans le service de neurochirurgie.

3Pour tirer profit de telles données et constituer un corpus exploitable, il faut envisager une étape de transcription, autrement dit passer de l’oral à l’écrit. Cette étape de traitement doit relever deux enjeux majeurs, difficiles à concilier :

  1. La fidélité/fiabilité de la transcription. Aussi grandes soient la vigilance et l’expertise du transcripteur, il est difficile de rendre compte de la réalité d’une interaction verbale et d’en restituer la complexité (Bilger 2008, Traverso 2016 : 170-174, Blasco & Advocat 2022). On peut même affirmer que « pour des raisons inhérentes aux deux médiums [canaux oral/écrit], il ne saurait y avoir de transcription parfaitement fidèle, tout au plus des degrés dans l’infidélité et le décalage » (Gadet 2008 : 38) ;

  2. Le temps de travail. Selon la granularité escomptée (Bilger 2008 : 34 et 291, Traverso 2016 : 171), la transcription manuelle de quelques dizaines de minutes d’enregistrement peut exiger de nombreuses heures d’un travail minutieux.

4Au vu des progrès fulgurants dans le domaine du traitement automatique des langues (TAL), on pourrait attendre des applications de transcription (eng. speech-to-text, STT) qu’elles relèvent ces deux enjeux. En fait, elles relèvent le second mais pas le premier. Autrement dit, elles sont très rapides (dans certains cas, la transcription est à peu près simultanée) mais donnent des résultats décevants qui ne reflètent pas la réalité des interactions verbales, faisant l’impasse sur les dimensions interactionnelle et orale (Yamasaki et al. 2023).

5La principale raison en est qu’elles n’ont pas été originellement conçues dans cette perspective. Il peut s’agir d’optimiser la mise en forme d’écrits dans un cadre professionnel (courriers, comptes rendus…) comme générer des sous-titres de vidéos (clips, films…). Les chercheurs n’ignorent pas ce décalage mais les travaux sur le STT – particulièrement en contexte médical – se concentrent généralement sur une fidèle restitution des mots (avec le défi de restituer des termes médicaux relevant d’un jargon), dans des situations monologales (ex. : rapport médical) (Jelassi et al. 2024).

6Nombreuses sont les solutions commerciales en ligne : Google Cloud Speech-to-Text, Microsoft Azure Speech To Text, Amazon Transcribe, Nvivo Transcription, etc. Mais il existe aussi des solutions gratuites pouvant s’exécuter hors ligne, condition nécessaire pour assurer protection et confidentialité des données, notamment médicales. Les plus connues incluent la librairie libre SpeechBrain – qui implémente plusieurs algorithmes de la littérature (Ravanelli et al. 2021) – et la librairie Whisper développée par OpenAI (Radford et al. 2023).

7Toutes ces solutions s’appuient sur l’intelligence artificielle et reposent sur de grands corpus d’enregistrements associés chacun à un texte écrit. Les solutions libres, comme celles incluses dans SpeechBrain, s’appuient en grande partie sur des corpus multilingues de textes lus, tels Common Voice (Ardila et al. 2020), ou des corpus de livres audio, tels Multilingual LibriSpeech (Pratap et al. 2020). Whisper s’appuie sur un corpus privé multilingue de 680.000 heures d’enregistrements hétérogènes trouvés sur internet associés à des textes de qualité variable (cela peut aller de transcriptions manuelles rédigées par des professionnels à des transcriptions rédigées dans un cadre récréatif en passant par des textes lus – le texte écrit est alors premier – ou des transcriptions générées… automatiquement).

8Par ailleurs, comme ses concurrents récents, Whisper s’appuie sur la technologie des transformeurs (Vaswani et al. 2017), des réseaux neuronaux adaptés avec succès à la transcription automatique : ces réseaux encodent automatiquement l’information sonore puis la décodent sous forme de texte. Ces transformeurs sont entrainés à maximiser la similarité entre le texte décodé (la prédiction) et le texte associé à l’enregistrement sonore au sein du corpus (ce qu’on appelle la « vérité terrain » dans le domaine de l’apprentissage automatique). Ainsi, la nature et la qualité des transcriptions dépendront de la nature et de la qualité du corpus utilisé pour l’entrainement : quantité, qualité et variété des enregistrements sonores, mais aussi nature et qualité des textes associés.

9Or, comme les applications STT ne prennent jamais comme référence des transcriptions d’interactions verbales conçues par des linguistes (cf. cependant Yamasaki et al. 2023), le résultat s’avère décevant du point de vue d’un interactionniste de la parole devant constituer un corpus. D’ailleurs, de ce même point de vue, on a le sentiment que les applications traitent comme du bruit des micro-évènements parfaitement cruciaux pour un chercheur en interactions verbales.

10Au final, s’il n’existe pas d’applications STT conçues à des fins de recherche dans le domaine des interactions verbales, rien ne devrait s’y opposer. Pour envisager la conception de telles applications, il est nécessaire de (i) faire le compte des difficultés que posent les solutions actuelles, (ii) préciser l’origine de ces difficultés et (iii) formuler des pistes pour les surmonter. Ce sont les objectifs de notre contribution.

2. Méthode d’investigation

  • 2 Plusieurs modèles sont disponibles (tiny, base, small, medium, large) différenciés par le volume de (...)

11Les données exploitées sont 586 minutes d’enregistrements de consultations pré-opératoires en vue d’une intervention de neurochirurgie en conditions éveillées. Chaque consultation a été enregistrée, sans assistance particulière, par le soignant lui-même (avec l’accord du patient) à l’aide de l’enregistreur audio VoiceTracer 2110 (Philips). Ces enregistrements ont été transcrits par Whisper2. Inutilisables en l’état (cf. infra), ces transcripts ont été revus par une équipe de transcripteurs (linguiste et étudiantes en orthophonie) qui utilisent les conventions suivantes :

Tableau 1. Conventions de transcription à partir de ICOR3

(.) ; (4.2)

pause ; (durée en s.)

euh:

allongement

°oui°

volume faible

OUI

volume fort

/ ou \

intonation ascendante
ou descendante

=

enchainement immédiat
de tours de parole

vous n’av-

mot tronqué

[hein]

chevauchement

((rires))

commentaires

.h

aspiration

12Au terme de ce processus, on obtient un corpus de 78 499 mots. Le tableau 2 rend compte en détail des données collectées (cf. Bertin (2024) pour une première analyse de ce corpus) :

Tableau 2. Consultations enregistrées : durée de la consultation (nombre de mots)

Patients

Neurochir. (NC)
+ infirmière (INF)

Anesthésiste (AN)

Neuropsy. (NP)

Psychologue (PS) + INF

A

25 min (3 303)

53 min (6 888)

38 min (5 483)

B
(+ PROche)

15 min (3 561)

121 min (13 966)

28 min (7 321)

C♀ (+PROche)

20 min (4 790)

42 min (9 592)

162 min (4 502)

46 min (10 498)

36 min (8 595)

124 min (27 570)

42 min (9 592)

336 min (25 356)

84 min (15 981)

13Comme première étape, nous avons calculé le taux d’erreur sur un échantillon du corpus, composé de 4 enregistrements pour un total de 106 minutes. Le WER obtenu (Word Error Rate) sur cet échantillon est de 36 %. Deux phénomènes expliquent ce taux d’erreurs relativement important. D’une part, l’application a tendance à « ignorer » du matériau verbal (des mots répliqués, par exemple). Le transcript de Whisper est d’ailleurs, en nombre de mots, 25,5 % moins long que le transcript révisé. D’autre part, l’application confond des mots (pas seulement ceux relevant du jargon médical, cf. 3.2).

14Dans une perspective plus strictement qualitative, notre investigation consiste à comparer les différences entre le transcript Whisper (automatique) et celui attendu à des fins d’analyse (revu manuellement). Des échantillons prélevés dans le corpus illustreront ce qu’on peut considérer comme des « lacunes » de l’application du point de vue des attentes d’un interactionniste de la parole (cf. 3).

15Un tel parcours exige de revenir sur la notion de bruit. Pour s’en tenir au contexte du TAL et de la transcription automatique, on peut définir le bruit comme « any kind of difference in the surface form of an electronic text from the intended, correct or original text » (Subramaniam et al. 2009). Cette définition est opérante dans la mesure où l’on s’accorde sur ce qui est « correct », attendu que la transcription parfaitement fidèle d’une interaction verbale est illusoire (cf. supra).

16Pour illustrer ce problème, prenons ce tour de parole transcrit par nos soins :

(1) donc voilà (.) et la tache blanche ici/ ben c’est euh: c’est la:: (.) la zone qui est euh (..) t- (..) qui est euh malade (..)

17En (1), la transcription vise – autant que faire se peut – à restituer la parole dans toute sa complexité (ben, euh, amorce de mot (t-), montée intonative sur ici, marquage des allongements vocaliques, marquage des pauses). Mais il est vrai que la transcription (inventée) suivante, correspondant à une sorte de compétence idéalisée, est également raisonnable :

(2) donc la tache blanche ici c’est la zone qui est malade

18À l’aune de la définition précédente, si la transcription attendue est (2), les éléments ajoutés en (1) s’apparentent à du bruit. Mais si, dans la perspective interactionniste adoptée ici, on vise une transcription comme (1), c’est l’absence de ces mêmes éléments qui constituent, plutôt qu’à proprement parler du bruit, du silence (puisqu’il y a une absence d’informations constatée entre la parole et sa transcription).

19Cette difficulté, au cœur de notre contribution, n’est pas toujours ignorée par les spécialistes du STT. Elle amène certains chercheurs à distinguer le bruit nocif ou harmful noise (ex. : bruit d’un hélicoptère approchant l’hôpital) et le bruit utile ou useful noise (ex. : euh du médecin) (Al Sharou et al. 2021). Cependant, nous ne reprenons pas cette distinction à notre compte puisqu’elle amène à étiqueter bruit, quand bien même serait-il qualifié d’utile, des phénomènes relevant simplement de la performance du locuteur (Traverso 2016 : 105).

3. Lacunes de l’application Whisper

3.1. Frontières de tours de parole incorrectes

20Une correcte attribution des tours de parole à chaque locuteur est une condition nécessaire à un travail d’analyse des interactions verbales qui ne peut se faire sans distinguer les sources énonciatives. Or, sur ce point, Whisper est particulièrement inefficace. À partir d’un fichier contenant l’enregistrement brut de l’interaction, l’application produit un texte séquencé qui amalgame parfois les différents tours de parole (TP) :

Tableau 3. TP amalgamés

Whisper

Transcription attendue

Au début il y avait beaucoup mal à la tête, d’accord.

PRO

=au début il avait beaucoup mal à la tête

INF

d’accord

21Cela dit, le plus souvent, elle fragmente la parole à l’excès et les fragments obtenus ne correspondent pas spécialement à des locuteurs différents :

Tableau 4. TP fragmentés

Whisper

Transcription attendue

préparez un petit peu à comment comment ça va

00:49.880 --> 00:54.360

se passer notamment cet après midi avec la neuropsychologue ça va être une partie des

00:54.360 --> 01:01.800

tests qui seront refaits le jour des chirurgies

PRO

vous z- y préparez un petit peu à comment: comment ça va se passer notamment .h euh:: cet après-midi avec la neuropsychologue ça va être une partie des tests qui seront REfaits le jour de la chirurgie

22Pour ce qui concerne les chevauchements, un segment est le plus souvent non reconnu au bénéfice d’un autre (ici, évidemment, prononcé par NC, n’est pas restitué au bénéfice de d’accord – qui est par ailleurs le début de la réponse de A) :

Tableau 5. Segment non reconnu dans le cas d’un chevauchement

Whisper

Transcription attendue

si vous êtes toujours d’accord d’accord ouais

NC

si vous êtes euh toujours d’accord/ [évidemment]

A

[d’accord ] ouais

23Sur ce dernier point, outre le fait que l’application n’intègre pas la problématique du chevauchement (de fait, plus subtile encore que celle de la distinction des tours de parole), elle néglige un segment prononcé puisque les deux signaux sonores sont simultanés. D’ailleurs, pour le transcripteur humain, si une réécoute patiente permet généralement de distinguer les deux segments, les frontières du chevauchement restent difficiles à établir.

24Ainsi, dès le niveau le plus élémentaire de l’alternance des tours de parole, Whisper ignore la dimension interactionnelle. En fait, un tel traitement n’est tout simplement pas anticipé : l’application exploite un flot de paroles sans chercher à les attribuer à des locuteurs différents. On verra que, dans la version WhisperX, on commence à prendre en compte cet aspect crucial (cf. 4.1).

3.2. Segments infidèles

  • 4 L’erreur n’est pas systématique. Ex. : Il y a une IRM également la veille (Whisper).

25Comme le suggère le résultat du test WER (cf. 2), les cas de transcription infidèle sont légion. S’il s’agit parfois de termes médicaux (l’exerce au lieu de l’exérèse) incluant des sigles (Lyaren au lieu de l’IRM)4, il peut également s’agir de noms propres (qu’un père au lieu de Quimper) pour lesquels les frontières de mots ne sont pas toujours bien identifiées. Mais, souvent également, les erreurs concernent des mots du vocabulaire courant :

Tableau 6. Erreurs de reconnaissance d’un mot courant

Whisper

Transcription attendue

En tout cas vous avez fait comme un malade

PS

en tout cas c’est (.) v- vous avez fait comme un maLAISE

on n’a pas besoin de votre participation pour l’ouverture de la peau, la voile crânienne, tout ça

NC

euh: on voilà on n’a pas besoin de votre participation hein pour l’ouverture euh: voilà de la peau et de la boite crânienne tout ça

26Parfois, même le nombre de syllabes ne correspond pas aux paroles prononcées :

Tableau 7. Erreur de reconnaissance de mots / nombres de syllabes différents

Whisper

Transcription attendue

Je vais me laisser le masque.

AN

je vais vous demander de baisser le masque/

phono : /m(ə).lɛ.se/ (2/3 syllabes potentielles)

phono : /vu.dmã.de.dbɛ.se/ (5 syllabes prononcées)

27Dans ce cas, il s’agit d’un défaut de performance reconnu par tous. Pour tout le monde, il s’agit bien de bruit car le texte transcrit est manifestement (le niveau lexical est le plus immédiatement identifié) différent de l’original. Comme ce problème est consensuellement reconnu, c’est celui qui fait l’objet du plus grand nombre de tentatives d’améliorations des concepteurs de logiciels comme des chercheurs (par ex. Jelassi et al. 2024).

3.3. Marqueurs verbaux de l’oral non ou mal restitués

28Nous désignons par marqueur verbal de l’oral un ensemble assez hétérogène : soit des segments de parole à part entière associés à l’oral (ex. : ouais, certains emplois de voilà), soit des segments à fonction phatique ou régulatrice de la parole (ex. : hm, euh), soit des phénomènes portant sur des segments de parole parfois considérés comme des « ratés » (ex. : répétition d’un mot, élision d’un mot).

  • 5 De fait, généralement omis à l’oral (Abeillé et al. 2021 : 1160).
  • 6 Toutefois pas systématique, cf. le tableau 5 où Whisper donne un ouais.

29Premièrement, certains marqueurs apparaissent normalisés, ce qui correspond au fait que Whisper « scripturalise » l’oral. On peut citer, entre autres, le rétablissement du ne de négation5 ou la substitution de oui à ouais6 :

Tableau 8. Segments normalisés

Whisper

Transcription attendue

On va dire, ok, là, on ne va pas plus loin parce qu’on risque de fixer le déficit

NC

on va se dire ok là on:: on va pas plus loin parce qu’on risque de: FIXER (.) le déficit (..)

13:22.580 --> 13:25.580

C’est pour ça qu’il ne faut pas qu’on tarde à faire les choses.

13:25.580 --> 13:28.580

Oui.

NC

c’est pour ça qu’il faut pas qu’on tarde .h (.) euh à faire les choses/=

A

=ouais

30Cette logique de normalisation est plus radicale encore quand certains marqueurs sont – quoique pas systématiquement – ignorés. C’est le cas de certains régulateurs (Kerbrat-Orecchioni 1990 : 18) ou continueurs (Traverso 2016 : 40) :

Tableau 9. Régulateurs non transcrits (hm)

Whisper

Transcription attendue

02:17.680 --> 02:30.200

là vous verrez le docteur ***** la neurologue vous referez le test

NC

là vous reverrez le docteur *****/ (.) la neurologue\

A

hm

NC

vous referez (.) les le test euh :

31Mais c’est aussi le cas de ces marqueurs qui contribuent au phénomène de réparation (Traverso 2016 : Chapitre 4). Ainsi, les phatiques (Kerbrat-Orecchioni 1990 : 18) comme ben, euh ou hein et même voilà :

Tableau 10. Phatiques non transcrits

Whisper

Transcription attendue

En fait au début c’est hospitalisation totale, comme ici

PRO

ben en fait au début c’est l’hospitalisation totale comme ici

on n’a pas besoin de votre participation pour l’ouverture de la peau, la voile crânienne

NC

euh: on voilà on n’a pas besoin de votre participation hein pour l’ouverture euh: voilà de la peau et de la boite crânienne

32Et les répétitions ou troncations :

Tableau 11. Répétitions ou troncations non transcrites

Whisper

Transcription attendue

Ça fait que vous avez plus de mal à trouver les mots ensuite.

NC

ça: ça fait que vous avez (.) PLUS de mal à à trouver les mots ensuite/

pour qu’en fait le jour de l’intervention vous ne découvrez pas les tests en eux mêmes

NC

pour qu’en fait le jour de l’intervention .h vous déc- vous ne découvrez pas: les: les tests en eux-mêmes

33Ce décalage est la conséquence d’un choix méthodologique en amont. Comme les données textuelles dans les corpus choisis sont conformes aux normes de l’écrit (par définition, pauvres en marqueurs de l’oral), et que ces données servent à superviser l’entrainement du modèle sous-jacent de Whisper (en lui indiquant la sortie souhaitée), il n’y aucune raison qu’on retrouve les spécificités de l’oral dans les transcriptions de Whisper.

34On retrouve ici l’ambigüité concernant la notion de bruit. Si l’objectif est de produire un écrit normalisé (un compte rendu par exemple), on peut considérer que l’application transcrit en se débarrassant du bruit (i. e. les marqueurs verbaux de l’oral). A contrario, dans la perspective de l’interactionniste de la parole, on considérera que l’application néglige un ensemble de segments et produit un résultat peu fidèle à l’original : cette volonté de se débarrasser du « bruit » conduit à générer un silence dommageable.

3.4. Phénomènes prosodiques restitués à la marge

35Whisper n’est pas totalement sourd aux phénomènes prosodiques. Cependant, au niveau le plus fin, l’application est très loin des attendus dans le domaine de l’analyse des interactions verbales. En effet, les interactionnistes de la parole visent généralement à restituer la matérialité de la prosodie (cf. Tab. 1). Ce qui n’est pas prévu par les applications STT (c’est d’ailleurs plutôt la pratique des linguistes qui est ici singulière, voire marginale). Ainsi, impasse est faite sur les allongements (::), les pauses (3,3), les variations de volume (AVANT), les chutes (\) et montées intonatives (/) :

Tableau 12. Phénomènes prosodiques non transcrits

Whisper

Transcription attendue

ça vous a permis de non j’ai pas regardé

NC

ça vous a permis de::

A

non j’ai pas regardé encore

c’est à 10h je pense l’entrée en hospitalisation oui c’est ça

NC

c’est à dix heures je pense/ (3.3) l’entrée en hospitalisation/

INF

oui\ (.) c’est ça

donc ça il faut surtout pas que ça arrive et c’est pour ça qu’il ya

07:03.680 --> 07:14.160

toutes ces préparations là de fait avant

NC

=hein/ (.) donc ça il faut il faut surtout pas que: que ça arrive et c’est pour ça que y a toute cette préparation là de fait AVANT\

36À un niveau plus large, une partie des phénomènes prosodiques est en fait prise en compte et transcrite sous forme de ponctuation (qui est, de facto, la trace écrite standard de la prosodie) : points, points d’interrogation, points de suspension parfois, virgules (pour délimiter des groupes syntaxiques). Ainsi, l’extrait suivant montre comment deux montées intonatives sont transcrites en points d’interrogation (ce qui s’avère cohérent sur le plan pragmatique) et comment une longue pause de 6 secondes est signalée par des points de suspension :

Tableau 13. Phénomènes prosodiques transcrits sous forme de ponctuation

Whisper

Transcription attendue

C’est l’accès aux mots sur lesquels vous butez?

17:06.580 --> 17:10.580

C’est l’organisation d’une phrase?

17:10.580 --> 17:14.580

Non, c’est

17:16.580 --> 17:20.580

C’est même pas l’organisation d’une phrase

NC

(4.0) .h c’est l’accès aux mots que qui vous: sur lequel vous: vous butez/ (.) ou c’est l’organisation d’une phrase/

A

nan c’est:: (6.0) c’est même pas l’organisation d’une phrase

37De nouveau, l’explication vient des textes utilisés comme modèles. Aucun n’étant conçu selon des conventions de type ICOR, il est naturel que de telles conventions n’apparaissent pas en sortie (Tab. 12). Si les phénomènes prosodiques semblent parfois pris en compte, c’est parce qu’ils correspondent au marquage de la ponctuation qu’on trouve dans les textes écrits (Tab. 13).

4. Vers une application de transcription des interactions verbales ?

38Si on exclut la question des transcriptions infidèles (3.2), qui pose le même problème quel que soit l’objectif de transcription (il s’agit bien de bruit pour tout le monde et, à ce titre, tout le monde cherchera à le réduire), trois aspects méritent l’attention dans la perspective de concevoir une application de transcription des interactions verbales : la délimitation des tours de parole, la restitution des phénomènes prosodiques et la restitution des marqueurs verbaux de l’oral.

4.1. Délimiter les tours de parole

39La reconnaissance des tours de parole, en particulier en présence de chevauchements, est sans doute le principal défi à relever pour une exploitation fiable des transcriptions automatiques. Au préalable, notons qu’il serait bien plus simple à relever en utilisant des micros directionnels ou des outils de visioconférence au moment du recueil des données (un canal par locuteur), ce qui n’est malheureusement pas le cas en général.

40Avec un enregistrement brut, les techniques existantes fonctionnent traditionnellement en plusieurs étapes successives (Landini et al. 2022) : 1) délimitation des segments temporels présentant une activité vocale ; 2) caractérisation numérique de la voix dans chacun de ces segments ; 3) regroupement des segments présentant des caractéristiques de voix similaires, chaque groupe étant assimilé à un même locuteur. Cette approche séquentielle a l’inconvénient de mal prendre en compte les chevauchements de parole.

41Une approche plus récente propose donc de déterminer, en une seule étape, l’ensemble des locuteurs parlant à chaque instant, en limitant potentiellement le nombre de locuteurs simultanés (Plaquet & Bredin 2023). Notons que ces différentes approches fonctionnent indépendamment de la langue. Pyannote est un exemple de librairie libre implémentant ces techniques de reconnaissance des tours de parole (Bredin 2023). Elle est notamment exploitée dans la librairie WhisperX (Bain et al. 2023), qui combine transcription automatique, reposant sur Whisper, et reconnaissance des tours de parole. Selon notre expérience, cette intégration est perfectible et mériterait d’être adaptée au corpus étudié.

4.2. Restituer la prosodie

42Sur ce dernier point, même si une assistance est toujours possible (cf. des outils comme Transcriber, Benzitoun 2008), le transcripteur humain reste faillible. Un outil automatique semble donc particulièrement indiqué (précisant par exemple automatiquement la longueur d’une pause, une montée de volume…).

43Mais les modèles de type transformeur, utilisés pour la transcription automatique, ne fournissent pas nativement d’horodatage précis pour chaque mot. Ainsi, les modèles Whisper ont été entrainés uniquement pour prédire des horodatages approximatifs sur des segments de parole, avec une précision d’une seconde. Néanmoins, le mécanisme d’attention, à la base des transformeurs, permet de relier le signal d’entrée (le son) et le signal de sortie (les mots). Ce mécanisme a notamment été exploité, conjointement à l’algorithme d’alignement dynamique, ou Dynamic Time Warping (DTW) en anglais (Salvador & Chan 2007), pour fournir a posteriori un horodatage de chaque début et chaque fin de mot7. WhisperX offre la même fonctionnalité, en s’appuyant sur un second réseau de neurones dédié, prédisant des caractères pouvant être facilement horodatés. Notons que cette tâche, dite d’alignement forcé, n’est pas spécifique aux transformeurs et que des solutions plus générales peuvent également être explorées. Un tel alignement serait exploité notamment pour indiquer la longueur des pauses. D’autres caractéristiques prosodiques, telles que la montée de volume par rapport à une moyenne, seraient faciles à décrire par des outils classiques d’analyse du signal.

4.3. Restituer les marqueurs verbaux de l’oral

44Le problème du « nettoyage » des marqueurs verbaux de l’oral a également été noté par Yamasaki et al. (2023). Ce problème est lié à la manière dont sont entrainés les outils (cf. 3.3). Cependant, en améliorant l’alignement entre l’enregistrement sonore et le texte (cf. 4.2), il est possible de le réduire (Yamasaki et al. 2023).

45Outre l’amélioration des algorithmes, un travail peut également être mené sur la collecte de données. Ainsi, le développement de corpus francophones variés, comme le corpus de dialogues Claire (Hunter et al. 2023) mais également les ressources partagées que constituent ESLO (Orléans) ou ORFÉO, est une piste prometteuse pour l’amélioration des modèles de transcription automatique en langue française. En effet, si nous disposons d’enregistrements audio représentatifs de la diversité des contextes communicatifs (par exemple, le contexte médical), accompagnés de transcriptions automatiques précises, alors il sera plus aisé d’obtenir des outils de transcription automatique efficaces pour chacun de ces contextes.

5. Conclusion

46Cette étude a proposé une typologie des lacunes de Whisper du point de vue d’un interactionniste de la parole. Outre le manque de précision parfois constaté (certains « mots » sont transcrits de manière erronée, cf. 3.2), on relève une absence de prise en compte des tours de parole (cf. 3.1), une restitution erratique des marqueurs verbaux de l’oral (cf. 3.3) et une prise en compte des phénomènes prosodiques dans une logique « scripturale » (cf. 3.4).

47Globalement, ces lacunes s’expliquent par la manière dont les algorithmes sont entrainés pour transcrire : les textes proposés comme modèles – associés à leurs versions oralisées (pas toujours des interactions verbales, loin s’en faut) – sont rédigés selon les normes de l’écrit. Il s’en suit un effet de normalisation, voire de gommage, des particularités de l’oral qui s’apparentent à du bruit, même s’il est douteux qu’il soit envisagé comme tel par les concepteurs d’applications STT.

48En section 4, nous avons formulé des pistes pour concevoir des applications STT mieux à même de transcrire les interactions verbales. Avec les applications actuelles, le gain de temps reste très relatif puisqu’une révision manuelle, très chronophage, reste nécessaire. S’il parait difficile d’envisager de se passer de tout contrôle humain, une meilleure adaptation des applications pourra faire gagner beaucoup de temps. Par ailleurs, sur certains aspects (dans la restitution des phénomènes prosodiques), on peut même escompter un gain de précision par rapport à l’oreille humaine.

49Pour terminer, soulignons que ce « meilleur des mondes » technologique suscite quand même une question, ici éludée. En effet, les travaux menés sur l’activité de transcription insistent sur l’idée que celle-ci fait partie de la recherche elle-même (Mondada 2008 : 93) et que la déléguer à des « petites mains » (devenues machines) au nom du « rouleau compresseur » de l’efficacité n’est pas sans risques pour la qualité de l’analyse linguistique (Cappeau et al. 2011). Ainsi, aussi performante soit-elle, la transcription automatique peut-elle remplacer ce « passage obligé » de la transcription dans lequel l’analyste doit « être impliqué » (Blasco & Advocat 2022 : 26) ? La réponse à cette question dépend évidemment des objectifs de la recherche.

Haut de page

Bibliographie

Abeillé A., Godard D., Delaveau A. & Gautier A. (éd.). (2021). La grande grammaire du français. Arles : Actes sud.

Al Sharou K., Li Z. & Specia L. (2021). « Towards a Better Understanding of Noise in Natural Language Processing », Proceedings of the Conference Recent Advances in Natural Language Processing - Deep Learning for Natural Language Processing Methods and Applications, 53-62. https://doi.org/10.26615/978-954-452-072-4_007.

Ardila R., Branson M., Davis K. et al. (2020). « Common Voice : A Massively-Multilingual Speech Corpus », in Calzolari N., Béchet F., Blache P. et al. (éd) Proceedings of the Twelfth Language Resources and Evaluation Conference. European Language Resources Association, 4218-4222. https://doi.org/10.26615/978-954-452-072-4_007.

Bain M., Huh J., Han T. & Zisserman A. (2023). « WhisperX : Time-Accurate Speech Transcription of Long-Form Audio », Proceedings of INTERSPEECH 2023, 4489-4493. https://doi.org/10.21437/Interspeech.2023-78.

Benzitoun C. (2008). « Transcriber : un outil d’assistance à la transcription », in Bilger M. (éd.) Données orales – Les enjeux de la transcription. Presses universitaires de Perpignan, 269-276.

Bertin T. (2024). « Désigner la pathologie avant une intervention de neurochirurgie éveillée », SHS Web of Conferences 191. https://doi.org/10.1051/shsconf/202419101005.

Bilger M. (éd.). (2008). Données orales – Les enjeux de la transcription. Presses universitaires de Perpignan.

Blasco M. (éd.). (2022). Parler à l’hôpital : écouter ce qui est dit, décrypter ce qui se dit. Münster : Nodus Publikationen.

Blasco M. & Advocat O. (2022). « Présentation méthodologique générale », in Blasco M. (éd.) Parler à l’hôpital : écouter ce qui est dit, décrypter ce qui se dit. Münster : Nodus Publikationen, 22-29.

Bredin H. (2023). « pyannote.audio 2.1 speaker diarization pipeline : principle, benchmark, and recipe », Proceedings of INTERSPEECH 2023, 1983-1987. https://doi.org/10.21437/Interspeech.2023-105.

Brown P. & Fraser C. (1979). « Speech as a marker of situation », in Giles H. & Scherer K. (éd.) Social markers in Speech. Cambridge University Press, 33-62.

Cappeau P., Gadet F., Guerin E. & Paternostro R. (2011). « Les incidences de quelques aspects de la transcription outillée », Linx 64-65 : 85-100. https://doi.org/10.4000/linx.1403.

Cappeau P. (2022). « Le contexte des corpus oraux », in Blasco M. (éd.) Parler à l’hôpital : écouter ce qui est dit, décrypter ce qui se dit. Münster : Nodus Publikationen, 17-21.

Chang W.-H., Pei Y.-C., Wei K.-C. et al. (2018). « Intraoperative linguistic performance during awake brain surgery predicts postoperative linguistic deficits », Journal of Neuro-Oncology 139(1) : 215-223. https://doi.org/10.1007/s11060-018-2863-z.

Duffau H. (2012). « The challenge to remove diffuse low-grade gliomas while preserving brain functions », Acta Neurochirurgica 154(4) : 569-574. https://doi.org/10.1007/s00701-012-1275-7.

Duffau H. (2021). « Updated perspectives on awake neurosurgery with cognitive and emotional assessment for patients with low-grade gliomas », Expert Review of Neurotherapeutics 21(4) : 463-473. https://doi.org/10.1080/14737175.2021.1901583.

ESLO (2024, 19 septembre). Ressources de corpus de corpus en ligne. http://eslo.huma-num.fr/.

Gadet F. (2008). « L’oreille et l’œil à l’écoute du social », in Bilger M. (éd.) Données orales – Les enjeux de la transcription. Presses universitaires de Perpignan, 35-48.

Hunter J., Louradour J., Rennard V. et al. (2023). The Claire French Dialogue Dataset. https://doi.org/10.48550/ARXIV.2311.16840.

Jelassi M., Jamai O. & Demongeot J. (2024). « Revolutionizing Radiological Analysis : The Future of French Language Automatic Speech Recognition in Healthcare », Diagnostics 14 : 895. https://doi.org/10.20944/preprints202403.0619.v1.

Kerbrat-Orecchioni C. (1990). Les interactions verbales – Approche interactionnelle et structure des conversations. Paris : Armand Colin.

Landini F., Profant J., Diez M. & Burget L. (2022). « Bayesian HMM clustering of x-vector sequences (VBx) in speaker diarization : Theory, implementation and analysis on standard tasks », Computer Speech & Language 71. https://doi.org/10.1016/j.csl.2021.101254.

Mondada F. (2008). « La transcription dans la perspective de la linguistique interactionnelle », in Bilger M. (éd.) Données orales – Les enjeux de la transcription. Presses universitaires de Perpignan, 78-110.

Orféo (2024, 19 septembre). Ressources de corpus en ligne. https://orfeo.ortolang.fr/?locale=fr.

Plaquet A. & Bredin H. (2023). « Powerset multi-class cross entropy loss for neural speaker diarization », Proceedings of INTERSPEECH 2023, 3222-3226. https://doi.org/10.21437/Interspeech.2023-205.

Ploog K., Mariani-Rousset S. & Equoy Hutin S. (2018). Emmêler & démêler la parole : Approche pluridisciplinaire de la relation de soin. Presses universitaires de Franche-Comté.

Pratap V., Xu Q., Sriram A., Synnaeve G. & Collobert R. (2020). « MLS : A Large-Scale Multilingual Dataset for Speech Research », Proceedings of INTERSPEECH 2020, 2757-2761. https://doi.org/10.21437/Interspeech.2020-2826.

Radford A., Kim J.-W., Xu T., Brockman G., McLeavey C. & Sutskever I. (2023). « Robust speech recognition via large-scale weak supervision », Proceedings of the 40th International Conference on Machine Learning. JMLR.org., 28492-28518. https://dl.acm.org/doi/10.5555/3618408.3619590.

Ravanelli M., Parcollet T., Plantinga P. et al. (2021). « SpeechBrain : A General-Purpose Speech Toolkit ». https://arxiv.org/abs/2106.04624.

Sacks H., Schegloff E. A. & Jefferson G. (1974). « A Simplest Systematics for the Organization of Turn-Taking for Conversation », Language 50(4) : 696-735. https://doi.org/10.2307/412243.

Salvador S. & Chan P. (2007). « Toward accurate dynamic time warping in linear time and space », Intelligent Data Analysis 11(5) : 561-580. https://dl.acm.org/doi/10.5555/1367985.1367993.

Subramaniam L. V., Roy S., Faruquie T. A. & Negi S. (2009). « A survey of types of text noise and techniques to handle noisy text », Proceedings of The Third Workshop on Analytics for Noisy Unstructured Text Data, 115-122. https://doi.org/10.1145/1568296.1568315.

Traverso V. (2016). Décrire le français parlé en interaction. Paris : Ophrys.

Vaswani A., Shazeer N., Parmar N. et al. (2017). « Attention is All you Need », Proceedings of the 31st International Conference on Neural Information Processing Systems. Curran Associates Inc, 6000-6010. https://dl.acm.org/doi/10.5555/3295222.3295349.

Vion R. (1999). « Pour une approche relationnelle des interactions verbales et des discours », Langage et société 87(1) : 95-114. https://doi.org/10.3406/lsoc.1999.2855.

Yamasaki H., Louradour J., Hunter J. & Prévot L. (2023). « Transcribing and Aligning Conversational Speech : A Hybrid Pipeline Applied to French Conversations », Proceedings of the 2023 IEEE Automatic Speech Recognition and Understanding Workshop (ASRU). https://doi.org/10.1109/ASRU57964.2023.10389691.

Haut de page

Notes

1 En s’appuyant sur les réponses à des tests du patient éveillé pendant la phase cruciale de l’intervention, ce mode opératoire maximise la résection tumorale tout en réduisant les risques de séquelles neuro-fonctionnelles (Chang et al. 2018, Duffau 2012, 2021).

2 Plusieurs modèles sont disponibles (tiny, base, small, medium, large) différenciés par le volume de données exploitées. Si le temps de traitement est considérablement affecté par le choix du modèle (transcription bien plus longue sous large que sous tiny), le résultat n’est pas significativement différent. Nos transcriptions usent du modèle small.

3 http://icar.cnrs.fr/documents/2013_Conv_ICOR_250313.pdf

4 L’erreur n’est pas systématique. Ex. : Il y a une IRM également la veille (Whisper).

5 De fait, généralement omis à l’oral (Abeillé et al. 2021 : 1160).

6 Toutefois pas systématique, cf. le tableau 5 où Whisper donne un ouais.

7 https://github.com/linto-ai/whisper-timestamped

Haut de page

Pour citer cet article

Référence électronique

Thomas Bertin et Gwenolé Quellec, « Transcription automatique des interactions verbales. Limites observées et perspectives envisagées à partir d’un corpus de consultations médicales »Corpus [En ligne], 26 | 2025, mis en ligne le 14 janvier 2025, consulté le 09 février 2025. URL : http://journals.openedition.org/corpus/9003 ; DOI : https://doi.org/10.4000/1364r

Haut de page

Auteurs

Thomas Bertin

Inserm, UMR 1101 & Univ Bretagne Occidentale, Brest, F-29200 France

Gwenolé Quellec

Inserm, UMR 1101, Brest, F-29200 France

Haut de page

Droits d’auteur

Le texte et les autres éléments (illustrations, fichiers annexes importés), sont « Tous droits réservés », sauf mention contraire.

Haut de page
Rechercher dans OpenEdition Search

Vous allez être redirigé vers OpenEdition Search