- 1 Historiquement, l’un des premiers modèles de l’acceptabilité a été le Technology Acceptance Model ( (...)
1Depuis une quarantaine d’année1, différents chercheurs se sont intéressés à la question de mesurer l’acceptabilité des innovations. La notion d’acceptabilité désigne l’usage potentiel d’une innovation telle que l’individu ciblé se la représente, avant les premières manipulations (Terrade et al. 2009) ; i. e., l’acceptabilité détermine à quel point les personnes ciblées par l’innovation se projettent dans son utilisation. Au fur et à mesure de l’avancée des travaux sur le sujet, la place des émotions a été mise de plus en plus en avant. D’abord faiblement prise en compte (Nielsen 1994, Venkatesh et al. 2003), la composante affective s’est vu attribuer un rôle clé par Kulviwat et al. (2007) dans la modélisation de l’acceptabilité.
- 2 Laboratoire Inter-universitaire de Psychologie. Personnalité, Cognition, Changement Social.
- 3 Nous réservons le terme projet pour désigner spécifiquement les études de test de concepts innovant (...)
2C’est dans la continuité de ces avancées qu’a été développée la méthode EMINOSA au sein de la société Ixiade et du LIP/PC2S2. Cette méthode, dont nous proposons de faire l’étude, tire parti de la théorie multi-componentielle de l’émotion développée par Scherer et al. (2001) pour modéliser l’acceptabilité des innovations. À terme, EMINOSA vise à être intégrée aux prestations proposées par Ixiade, cabinet de conseil qui accompagne des entreprises tierces dans le développement de concepts (produits ou services) innovants. Les prestations, ou projets3, pour lesquelles l’application d’EMINOSA est envisagée se déroulent selon le protocole suivant : représentation du concept innovant par le biais d’une vidéo explicative, présentation de la vidéo au public ciblé (les évaluateurs), recueil des opinions via questions ouvertes, annotation des opinions et synthèse des résultats. Aujourd’hui, la problématique générale qui nous occupe est l’automatisation d’une partie de l’analyse selon la méthode EMINOSA, cette tâche étant chronophage et fastidieuse dans sa conception actuelle.
- 4 We define harmful noise as any unwanted disturbances that are either harmful or useless or both: Ha (...)
3C’est dans ce contexte que nous en sommes venu à nous intéresser à la question du bruit dans l’annotation. Le bruit nuisible en particulier est défini comme « toute perturbation non désirée qui est soit nuisible, soit inutile, soit les deux à la fois : nuisible en ce qu’elle affecte le sens voulu du texte et/ou la performance du système de TAL ; et inutile en ce que son existence ne sert aucune fin »4 [traduction de notre part] (Al Sharou et al. 2021). Cette définition du bruit présuppose un objet porteur d’information, l’entrée (input), et un traitement qui lui est appliqué pour produire un résultat, la sortie (output). Par ailleurs, nous ajoutons que le bruit est une perturbation aléatoire, ce qui distingue cette notion de celle de biais, qui désigne une perturbation systématique et anticipable (Kahneman et al. 2021).
Figure 1. Le bruit dans la chaîne de traitement de l’analyse EMINOSA
- 5 Des travaux menés par Antonova (à paraitre) portent notamment sur la manière dont le mode de représ (...)
4Dans notre cas, il est possible de concevoir le bruit à différents niveaux (voir Figure 1). Plusieurs points de référence peuvent constituer l’entrée à partir de laquelle on envisage des perturbations : les évaluations textuelles (rectangle C), les réactions brutes (les processus cognitifs provoqués par la confrontation avec le concept innovant, rectangle B), voire le concept lui-même avant sa représentation sous forme vidéo (rectangle A)5. Le bruit peut ainsi se situer à chaque étape de transition (flèches 1, 2 et 3) jusqu’à la sortie finale, les annotations selon la méthode EMINOSA. Le bruit est jugé en ce qu’il perturbe la déduction que l’on fait des émotions des évaluateurs et à plus large échelle, la déduction de l’acceptabilité des concepts innovants. Nous nous concentrons toutefois uniquement sur la juste modélisation des émotions et gardons pour de futurs travaux la validation de l’acceptabilité.
5Notre travail se divise en trois temps : dans une première section nous présentons en détail la mesure EMINOSA et le corpus de projets évalués. Dans une deuxième section, nous décrivons un ensemble d’expériences pilotes à la lumière d’un premier critère de qualité, basé sur la cohérence des annotateurs. Ce critère et le modèle sur lequel il s’adosse aboutissent à l’invalidation d’une grande part des données collectées, ce qui nous conduit à le remettre en question. Dans une troisième partie nous exposons donc un modèle alternatif du jugement humain, qui nous permet de redéfinir la validité de nos annotations. De ce fait, nous replaçons le bruit dans un cadre où son influence est minorée, ce qui rend envisageable l’exploitation des annotations.
- 6 An episode of interrelated, synchronized changes in the states of all or most of the five organismi (...)
- 7 En termes simples, la composante cognitive assure l’évaluation des nouveaux stimuli. Elle répond à (...)
6La mesure EMINOSA a été originalement développée par Loeser (2019), dans le cadre de travaux de recherche réalisés au sein d’Ixiade et du LIP/PC2S. Cette mesure est inspirée du modèle multi-componentiel de l’émotion développé par Scherer et al. (2001). Ces auteurs définissent l’émotion comme « un épisode de changements, interdépendants et synchronisés, des états de tous ou de la plupart des cinq sous-systèmes de l’organisme, en réponse à l’évaluation d’un stimulus, externe ou interne, comme pertinent pour les occupations majeures de l’organisme »6 [traduction de notre part] (Sander et al. 2005). Selon le modèle multi-componentiel, l’émotion peut donc être caractérisée selon cinq composantes qui interagissent entre elles : cognitive, conative, subjective, expressive et physiologique. Pour mesurer l’émotion exprimée par les évaluateurs, EMINOSA s’appuie sur les composantes subjectives et cognitives7. C’est à cette dernière que l’on s’intéresse plus particulièrement (nous nommons plus loin Ecog la modélisation de la composante cognitive par EMINOSA).
7La composante Ecog d’EMINOSA est elle-même décomposée en quatre dimensions :
-
la Familiarité – le concept innovant testé évoque des choses connues et, par extension, son fonctionnement est bien compris ;
-
- 8 Cette définition inclut les propriétés ergonomiques et la facilité/difficulté d’utilisation.
l’Agréabilité – indépendamment de l’Utilité, le concept est plaisant/attractif8 ;
-
l’Utilité – le concept remplit une fonction ou améliore l’existant ;
-
la Légitimité – Le concept est en accord avec les valeurs personnelles/professionnelles.
- 9 Nous distinguons les termes évaluateurs – individus qui évaluent les concepts innovants et réponden (...)
- 10 Segment de texte, généralement de la taille d’une phrase.
8Pour mesurer ces quatre dimensions, Ecog propose de les reconnaître dans les productions textuelles des évaluateurs, via des annotateurs9 humains. Pour chacune des quatre dimensions, les annotateurs attribuent une valeur à chaque verbatim10 produit pour un concept donné :
-
+1 si la dimension est présente positivement (pour l’Utilité par exemple, l’évaluateur exprime que le concept est utile) ;
-
-1 si la dimension est présente négativement (le concept est inutile) ;
-
0 si la dimension est absente ou présente de manière ambigüe.
9Pour l’Exemple (1), un annotateur aura tendance à associer la valeur +1 à l’Agréabilité (intuitif, facile d’utilisation), -1 à l’Utilité (ne résout pas le problème du poids), et 0 pour la Familiarité et la Légitimité.
(1) Cela semble très intuitif, facile d’utilisation mais cela ne résout pas le problème principal du poids.
10Le corpus sur lequel se fonde le travail de recherche que nous présentons est le corpus Yoomaneo. Ce corpus est composé de messages écrits (posts) formulés par les évaluateurs, en réponse à des questions ouvertes portant sur des concepts innovants, via la plateforme Yoomaneo (Masson & Parmentier 2023).
11Les questionnaires qui guident l’évaluation suivent généralement un déroulé standard, réadapté en fonction des concepts testés et des interrogations spécifiques des clients porteurs des projets. Les questions posées explorent la perception spontanée, la compréhension du concept, de son usage et de ses fonctions, l’adéquation aux valeurs et aux structures sociales. Toutes les questions demandent aux évaluateurs de rédiger un message pour répondre.
12Le corpus Yoomaneo regroupe 2 446 posts, correspondant à 22 concepts testés, produits par 238 évaluateurs distincts. Pour l’annotation selon la méthode Ecog décrite en sous-section 2.1, les posts sont divisés en verbatims ; le corpus compte au total 4 980 verbatims.
- 11 Nous nommons analystes les employés d’Ixiade qui contribuent à la réalisation des projets. Pour l’e (...)
13La méthode EMINOSA a été développée récemment et la mesure de la composante cognitive Ecog n’a pas été testée en conditions d’annotation réelles, sur des verbatims issus de projets clients. C’est pourquoi nous avons mené plusieurs expériences pilotes qui nous ont permis, d’une part, de collecter des premiers résultats pour évaluer la qualité de la mesure et, d’autre part, de tester différentes configurations d’annotation. Plusieurs analystes11 d’Ixiade ont contribué en tant qu’annotateurs pour les différentes études pilotes.
14Pour valider la qualité des annotations, nous ne pouvons pas recourir à une « vérité terrain » puisque nous n’avons pas accès aux émotions des évaluateurs pour les projets passés dont nous faisons annoter les verbatims. Une manière de contourner le problème est de recourir au jugement de plusieurs annotateurs, puis de tester la cohérence des annotations produites (Artstein & Poesio 2008). Si les annotations sont fiables, les annotateurs d’accord entre eux, alors nous pouvons concevoir une forme de vérité sous-jacente. Pour tester la fiabilité des jugements nous mesurons l’accord inter-annotateurs, pour chaque verbatim et dimension d’Ecog. Par là, nous admettons l’existence d’une valeur de référence, qui correspond à l’annotation majoritaire. Symétriquement, nous estimons la quantité de bruit en fonction du taux de désaccord dans les annotations (ibid. ; Kahneman et al. 2021).
15Pour chacune des études pilotes, nous avons mesuré l’accord inter-annotateurs à l’aide de l’alpha de Krippendorff (noté 𝛼 ; Krippendorff 2011) que nous avons adapté à Ecog (Noblet 2023). Pour cette mesure, un alpha d’au moins 0,66 est généralement attendu pour valider la cohérence des données. L’ensemble des résultats est consigné dans le Tableau 1.
16Première étude : Les verbatims correspondant à deux projets ont été annotés. Le premier projet comptait 170 verbatims annotés par 3 analystes et le second projet 212 verbatims annotés par 4. Pour cette première étude, la mesure de l’accord inter-annotateurs a révélé un score faible pour l’Utilité (𝛼 < 0,6) et très faible (𝛼 < 0,4) pour les 3 autres dimensions.
17Deuxième étude : Dans le but d’améliorer l’accord entre les annotateurs, nous avons conçu un guide d’annotation en collaboration avec les analystes eux-mêmes. Ces derniers ont été consultés individuellement et collectivement sur leurs pratiques d’annotations et les éléments qu’il leur semblait pertinent de relever. Le guide décrivait plus en détail les définitions de chaque dimension et donnait des exemples pour illustrer certains des contextes d’annotation possibles.
18Nous avons ensuite entrepris une deuxième campagne d’annotation : nous avons proposé d’annoter un unique projet comptant 229 verbatims et 7 analystes ont participé à l’étude. Le guide et les différentes concertations collectives pouvaient justifier d’une amélioration des résultats. Néanmoins, l’accord inter-annotateurs s’est révélé encore trop faible pour valider la mesure.
- 12 Pour bien clarifier la démarche : 1) Un concept innovant fictif est imaginé ; 2) des évaluateurs ex (...)
19Troisième étude : Nous avons développé un concept innovant fictif pour pouvoir tester un questionnaire mieux adapté à la mesure Ecog. Le concept imaginé était un siège ergonomique pouvant prévenir les maux de dos. Le nouveau questionnaire a été formulé de sorte à favoriser l’émergence des dimensions d’Ecog dans le discours des évaluateurs12. Pour cette troisième étude, 262 verbatims annotés ont été étiquetés par 7 annotateurs.
20Même si les résultats semblent positifs (nous constatons une amélioration de l’accord pour l’Agréabilité, l’Utilité et la Légitimité), il est difficile d’attribuer cette amélioration au seul questionnaire. La nature du projet – factice et à destination du grand public – peut également expliquer les résultats observés. Par ailleurs, la mise en place d’un questionnaire adapté ne peut pas s’appliquer aux projets passés, ce qui limite notre capacité à tester cette configuration d’étude.
21Quatrième étude : Une dernière expérience d’annotation a été menée sans le questionnaire, 191 verbatims ont été annotés par 7 personnes. En comparaison de l’étude précédente, les résultats d’accord inter-annotateurs baissent ou stagnent pour l’ensemble des catégories.
Tableau 1. Alpha de Krippendorff des dimensions d’Ecog, pour chacune des études pilotes
Études
|
Familiarité
|
Agréabilité
|
Utilité
|
Légitimité
|
Étude 1
|
0,31
|
0,34
|
0,44
|
0,33
|
Étude 2
|
0,28
|
0,16
|
0,55
|
0,35
|
Étude 3
|
0,32
|
0,44
|
0,63
|
0,61
|
Étude 4
|
0,33
|
0,10
|
0,45
|
0,56
|
22De manière générale, les scores d’accord sont faibles voire très faibles et la question du statut même de mesure scientifiquement valide d’Ecog pourrait se poser, tant les annotations paraissent incohérentes. L’ensemble des études montre des résultats hétéroclites, d’un projet à l’autre et pour chaque dimension. La Familiarité obtient un score d’accord inter-annotateurs très faible, qui varie peu indépendamment du concept évalué ou du contexte expérimental. La dimension Utilité varie en accord (on observe une amplitude de 19 points entre l’accord le plus élevé et le plus faible) mais obtient le meilleur score quelle que soit l’étude prise en compte. Les dimensions d’Agréabilité et de Légitimité ont des accords très variables (respectivement 34 points et 28 points d’amplitude), la seconde dimension étant en moyenne mieux annotée que la première. En dehors du questionnaire conçu pour la 3e étude, qui semble avoir eu un impact positif, peu d’explications en apparence justifient la variation que nous observons, sinon les différences inhérentes aux projets (concepts innovants testés, types d’évaluateurs).
23Dans la littérature, la tâche d’annoter l’émotion dans le texte a été réalisée à plusieurs occasions. Néanmoins, les expériences menées donnent lieu à des résultats hétérogènes : les accords inter-annotateurs diffèrent grandement selon le type de texte étudié (conte pour enfant, Alm et al. 2005 ; titres de journaux, Strapparava & Mihalcea 2007 ; poèmes, Haider et al. 2020), l’émotion annotée (joie, surprise, colère ou autre) et la mesure d’accord utilisée. Il est donc difficile d’identifier une cause précise aux faibles valeurs d’accord que nous avons nous-même obtenu.
24Pour expliquer le désaccord apparent dans l’annotation des dimensions d’Ecog, remarquons en premier lieu que la valeur 0 a un statut particulier. En effet, cette valeur est associée à l’absence d’expression de la dimension considérée. En cela les dimensions d’Ecog peuvent être comparées à la mesure du poids d’un objet : le 0 indique, plus souvent qu’un poids nul, l’absence d’objet sur l’instrument de mesure.
25Il est donc possible de concevoir la tâche d’annotation comme un processus en deux étapes, pour lesquelles nous pouvons mesurer l’accord inter-annotateur séparément :
-
Une première étape d’évaluation de la pertinence – l’une des dimensions est-elle exprimée dans le verbatim que l’on considère ? Pour mesurer l’accord, nous considérons les valeurs -1 et +1 comme étant similaires, en remplaçant les valeurs d’annotation par leur valeur absolue.
-
Une seconde étape d’évaluation de la polarité – la dimension est-elle exprimée positivement ou négativement ? Pour mesurer l’accord nous retirons les annotations 0 et évaluons l’accord entre les seules valeurs +1 et -1.
- 13 Le désaccord sur la pertinence est inférieur au désaccord global pour certaines des dimensions. Cec (...)
26Nous présentons l’accord global pour l’ensemble des expériences pilotes ainsi que les accords pour les deux sous-tâches d’évaluation de la pertinence et de la polarité dans le Tableau 2. Nous observons que l’accord pour la tâche de polarité est bon (𝛼 = 0,65 pour la Familiarité) voire très bon (𝛼 > 0,8 pour les autres dimensions). Le désaccord relève essentiellement du critère de pertinence (propre à chaque évaluateur) qui détermine quel verbatim contient ou ne contient pas l’expression d’une des dimensions d’Ecog. Ainsi, on constate que le désaccord sur la pertinence est très proche du désaccord global13.
Tableau 2. Accord inter-annotateurs pour les dimensions d’Ecog, sur l’ensemble des expériences pilotes, suivant différentes modalités de mesure
Modalité
|
Familiarité
|
Agréabilité
|
Utilité
|
Légitimité
|
Global
|
0,32
|
0,37
|
0,53
|
0,47
|
Pertinence
|
0,35
|
0,36
|
0,50
|
0,48
|
Polarité
|
0,65
|
0,95
|
0,89
|
0,81
|
27Se pose alors toujours la question, comment traiter et expliquer le désaccord entre les jugements de pertinence, synonyme de bruit ? Toutefois, peut-on employer le terme bruit quand la variabilité est inhérente au phénomène étudié ? Dans la situation de l’annotation de l’émotion, il est légitime de se demander si la diversité des pratiques d’annotation n’est pas intrinsèquement liée à l’objet d’étude lui-même.
28Pour décrire les données en tenant compte de leur variabilité intrinsèque, nous émettons l’hypothèse qu’il existe un modèle probabiliste sous-jacent qui gouverne les pratiques d’annotation ; les annotations Ecog, bien qu’aléatoires, suivraient des tendances statistiques explicables. Ainsi, chaque annotateur peut avoir un jugement différent de celui des autres sans nécessairement que cela soit dû au bruit. Pour chaque verbatim et dimension, nous présupposons une variable aléatoire discrète X qui associe à chaque valeur possible v ∈ {-1;0;+1} une probabilité pv d’être annotée. La juste représentation d’un verbatim est cette variable aléatoire et non plus, comme précédemment, une unique valeur de référence.
- 14 Même si la valeur moyenne n’est pas propre à représenter toutes les distributions, notamment les di (...)
29Pour tester la validité des annotations, ne pouvant recourir aux données elles-mêmes, nous utilisons un critère externe : le lien entre annotations et phénomènes linguistiques observables dans les verbatims. Nous hiérarchisons les verbatims en les regroupant selon la valeur moyenne14 annotée par l’ensemble des annotateurs, pour chacune des dimensions. Plus la valeur moyenne est proche de 1, plus la proportion d’annotateurs à avoir étiqueté positivement la dimension est grande. Nous considérons ensuite les verbatims correspondant à différents niveaux de valeur moyenne. En première approche, nous cherchons à identifier, pour chaque niveau et dimension, des critères linguistiques apparents qui restent valides indépendamment du projet pris en compte.
30À cette fin, une nouvelle campagne d’annotation a été lancée : 21 des 22 projets du corpus Yoomaneo ont été annotés par 6 annotateurs, externes à Ixiade (nous notons Yoom21 le corpus annoté). Quelques-uns des verbatims issus de l’un des projets sont retranscrits dans les Tableaux 4, 5 et 6, respectivement pour les dimensions d’Utilité, Légitimité et Agréabilité. Nous rapportons les verbatims dans leur forme originale, sans aucune correction. Pour des raisons de confidentialité, le projet choisi est basé sur un concept factice (comme pour la 3e étude pilote), qui porte sur un vêtement de sport connecté. Pour comparaison avec les études précédentes, nous présentons dans le Tableau 3 l’accord inter-annotateurs pour le sous-corpus Yoom21 ainsi que le projet pris pour exemple.
Tableau 3. Accord inter-annotateurs pour les dimensions d’Ecog, sur un projet de vêtement connecté (noté Projet VC) et pour le sous-corpus Yoom21
Sous-corpus
|
Familiarité
|
Agréabilité
|
Utilité
|
Légitimité
|
Yoom21
|
0,25
|
0,32
|
0,53
|
0,38
|
Projet VC
|
0,32
|
0,18
|
0,62
|
0,44
|
Tableau 4. Exemples correspondant à différents niveaux d’Utilité moyenne positive
N°
|
Utilité
|
Exemples
|
1
|
1,00 (6/6)
|
J’utiliserais cette solution afin de me motiver à faire des activités sportives au quotidien, ou à des moments où la fatigue accentue mes douleurs musculaires.
|
2
|
0,83 (5/6)
|
Au travail, en position assise pour m’alerter de ma mauvaise posture et m’encourager à l’améliorer.
|
3
|
0,67 (4/6)
|
La fonction 1 : car ce la va permettre de répondre à un problème bien précis.
|
4
|
0,50 (3/6)
|
Je pense que c’est utile de façon exceptionnelle et non régulière pour les personnes qui ont des douleurs et qui aimeraient savoir pourquoi.
|
5
|
0,33 (2/6)
|
Le produit me donne envie envie d’en savoir plus.
|
6
|
0,17 (1/6)
|
Innovante, technologique, confort.
|
Tableau 5. Exemples correspondant à différents niveaux de Légitimité moyenne positive
N°
|
Utilité
|
Exemples
|
7
|
1,00 (6/6)
|
Cette solution s’appuie sur une approche "objet connecté", clairement dans l’air du temps.
|
8
|
0,83 (5/6)
|
De plus, si ce produit peut se décliner pour corriger nos postures au quotidien même au travail, cela répond au souci de préservation de sa santé sur le long-termes.
|
9
|
0,67 (4/6)
|
On est en plein dans les objects connectés du futurs, reliés complètement à nos smartphones (ce n’est pas un mal).
|
10
|
0,50 (3/6)
|
Iot, bien être, sport à la maison.
|
11
|
0,33 (2/6)
|
Préventif : permet de soigner mais aussi d’anticiper les douleurs.
|
12
|
0,17 (1/6)
|
Repond a un besoin, propose une solution complete, suscite l’interet.
|
31Le sujet de cette communication ne se prête pas à une étude approfondie des caractéristiques de chaque niveau de valeur moyenne, défini par dimension et polarité. Nous présentons seulement certains des éléments, qui feront l’objet d’une étude plus poussée à venir, permettant d’argumenter en faveur de la validité des annotations.
32Les verbatims annotés par une grande majorité des annotateurs sont caractérisés par un lexique explicitement associé aux dimensions. Pour l’Utilité par exemple, des verbes comme permettre, faciliter, gagner ou éviter constituent souvent le noyau verbal des verbatims. Beaucoup sont aussi construits avec un prédicat nominal : on retrouve donc plusieurs adjectifs récurrents comme pratique, efficace ou utile pour compléter la tête. Des connecteurs comme les conjonctions car ou afin de (Tableau 4, Exemple 1) sont également fréquemment utilisés. La Légitimité est associée à des termes comme tendance actuelle, en phase, santé, écologique ou futuriste.
Tableau 6. Exemples correspondant à différents niveaux d’Agréabilité moyenne positive
N°
|
Utilité
|
Exemples
|
13
|
0,83 (5/6)
|
Il a aussi l’air plutôt discret donc on peut le porter dans beaucoup de situations.
|
14
|
0,67 (4/6)
|
Solution simple, à priori facile d’utilisation.
|
15
|
0,50 (3/6)
|
Adaptative, intelligente et pratique.
|
16
|
0,33 (2/6)
|
Repond a un besoin, propose une solution complete, suscite l’interet.
|
17
|
0,17 (1/6)
|
Pour moi qui ne suis pas une grande sportive, ce type d’innovation pourrait être source de motivation dans mon quotidien.
|
- 15 Kerbrat-Orecchioni (2009) emploie l’expression « adverbes modalisateurs » pour désigner les adverbe (...)
33Par ailleurs, en dehors du lexique, des structures modalisatrices, signalant le degré d’adhésion du sujet d’énonciation aux contenus énoncés15, semblent jouer un rôle dans l’annotation des dimensions d’Ecog. En effet, plus l’évaluateur qui s’exprime se met en retrait de son propos, plus la valeur moyenne annotée est basse. Des exemples de structures modalisatrices sont Je pense que (Tableau 4, Exemple 4), a priori (Tableau 6, Exemple 14) ou Pour moi qui ne suis pas une grande sportive (Tableau 6, Exemple 17).
34Enfin, en dernière observation, notons que plus un verbatim est générique moins il sera annoté. Le caractère générique peut se manifester par une structure syntaxique simplifiée, sous la forme d’énumérations ou de juxtapositions (voir Tableau 4, Exemple 6 ; Tableau 5, Exemple 10), ou un vocabulaire non spécifique (innovant, technologique – Tableau 4, Exemple 6 ; suscite l’interet – Tableau 5, Exemple 12).
35Un faisceau d’indices linguistiques semble donc expliquer la valeur d’annotation moyenne. En extrapolant, l’existence de tendances statistiques, qui orientent l’annotation EMINOSA et déterminent par le contenu linguistique des verbatims, semble fondée. Malgré ces signes encourageants, il reste nécessaire de confirmer ces observations par une étude longitudinale de plus grande échelle.
36Dans ce cadre, quel statut donnons-nous au bruit ? Le bruit est, comme dit précédemment, une perturbation mais qui nuit cette fois à la juste estimation de la variable aléatoire sous-jacente. Dans cette nouvelle conception du bruit, il n’est plus possible de distinguer les annotations bruitées des annotations non bruitées, dans la mesure où la variabilité fait partie intégrante de la réalité que l’on cherche à approcher. Une solution à ce bruit-là est la multiplication des annotations qui, par la loi des grands nombres, permet de saisir la diversité des réactions émotionnelles en rendant négligeables les perturbations ponctuelles.
37Dans cet article nous avons interrogé la question du bruit dans l’annotation de la composante cognitive d’EMINOSA, une méthode d’évaluation de l’acceptabilité des innovations. Dans un premier temps nous avons défini et mesuré la part de bruit dans les données à partir de l’accord inter-annotateur. Cette approche éprouvée par une série d’expériences pilotes a conduit à discréditer une grande part des annotations qui ont présenté des scores d’accord faibles. En réponse, nous avons présenté une approche alternative : nous proposons de modéliser les annotations sous la forme d’un modèle probabiliste qui endosse la variabilité des données produites. Par ce biais, il devient néanmoins difficile d’estimer la proportion d’annotations bruitées, qui se confondent avec celles valides. Pour défendre la validité du modèle probabiliste que nous mettons en avant, nous avons menées une courte étude des verbatims annotés. Cette étude a visé à évaluer succinctement la présence de marqueurs linguistiques qui pourraient expliquer les tendances d’annotations.
38Trois axes de recherche sont envisagés dans la prolongation des travaux de recherche que nous avons présentés. Le premier est l’extension de l’étude linguistique menée pour confirmer le bien-fondé de l’approche probabiliste. En parallèle, le second axe de réflexion porte sur la détermination du modèle statistique sous-jacent, propre à décrire les données traitées étant donné leurs caractéristiques. Enfin le dernier axe, qui constitue la finalité du projet de recherche dans lequel s’inscrit cette communication, est le développement d’un modèle computationnel pour automatiser le processus d’annotation. Il sera alors nécessaire de bien restituer la variabilité des annotations telle que nous l’aurons observée, dans la mesure où celle-ci sera corroborée par nos observations.