1Les caractères morphologiques osseux et dentaires sont étudiés, depuis les débuts de l’anthropologie biologique à la fin du XVIIIe siècle, notamment pour classer les groupes humains ou encore pour distinguer le "normal" de "l’anormal" (Hefner et al., 2016). Depuis les années 1950, leur utilisation connait un essor important et ces caractères sont alors considérés comme des variations morphologiques. Ces variations, aussi connues sous le terme de traits non- métriques, peuvent être distinguées en deux grands groupes (Pink et al., 2016) : les traits macromorphoscopiques et les variations asymptomatiques. Les traits macromorphoscopiques (MMS), en plus d’être majoritairement utilisés dans des recherches en anthropologie médico-légale, sont d’après Hefner et Linde (2018) "des variations quasi-continues du crâne qui se traduisent par les différences (directes) au niveau des tissus mous chez les individus vivants". Les variations asymptomatiques (VA), aussi appelées caractères discrets, discontinus, épigénétiques, ou encore variations anatomiques (Sarfo, 2014 ; Verna et al., 2014), quant à elles ne se limitent pas au crâne, et n’ont pas, ou très rarement, un lien direct avec l’aspect des tissus mous chez les individus vivants.
2La littérature sur ces variations morphologiques (MMS et VA) porte sur leur description et leur utilisation dans les différents champs de l’anthropologie biologique. Ces dernières sont ainsi utilisées dans les études intra- et inter- populationnelles portant sur l’estimation de la distance biologique au sens large, afin de permettre d’appréhender l’affinité intra- et inter-populationnelle, pour répondre à un large éventail de questions, depuis l’histoire des migrations des populations, leur évolution, ou encore à une estimation de l’origine biogéographique d’un individu (Saunders et Rainey, 2008 ; Sarfo, 2014 ; Verna, 2014 ; Hefner et al., 2016 ; Pilloud et al., 2016 ; Hefner et Linde, 2018).
3Cette étude porte spécifiquement sur les variations asymptomatiques qui sont considérées par les chercheurs comme des proxies génétiques (Berry et Berry, 1972 ; Verna, 2014). Cette hypothèse remonte aux travaux de Grüneberg en 1963. Ce dernier démontre que ces variations, dont la manifestation suit la règle du "tout ou rien", sont héritées comme des variants continus (Berry et Berry, 1972). L’héritage de ces variants est dû à l’action d’un grand nombre de gènes ayant chacun de petits effets additifs (Sjøvold, 1973). L’addition de ces facteurs génétiques et leurs interactions avec des facteurs environnementaux, jusqu’à un certain seuil, entraînent leur apparition phénotypique. Actuellement les rôles joués par le génome et l’environnement restent encore assez mal compris (Saunders et Rainey, 2008 ; Pink et al., 2016).
4Les mécaniques génétiques précises de formation de ces variations sont mal connues. En revanche certaines composantes qui contrôlent la formation des os et des dents, et de certaines particularités ont été découvertes (Murshed, 2018) et peuvent influencer la présence de certaines VA osseuses hyperostotiques notamment (Eyal et al., 2019). L’os pouvant se modifier tout au long de la vie de l’individu (remodelage, etc.) il est alors plus difficile d’appréhender la part de l’influence génétique dans la présence des VA. Concernant les dents, l’impact aura lieu lors de sa formation (Jernvall et Jung, 2000 ; Kimura et al., 2015). Une fois que l’éruption dentaire est terminée, la dent en tant que telle ne se modifiera plus, et l’influence génétique s’arrête. Les seules modifications que subira ensuite la dent seront liées à l’environnement, telle que l’usure (Jernvall et Thesleff, 2012).
5Les variations asymptomatiques sont largement utilisées dans les domaines de l’anthropologie biologique. Depuis le début des années 2000, la littérature s’oriente notamment sur un objectif de standardisation de l’étude des variations morphologiques dans un but comparatif (MMS avec Hefner et Linde (2018) ; les variations dentaires et le système ASU-DAS avec Turner et al. (1991) ou le système de l’Université de Freiburg avec Alt et al. (données non publiées) ; les variations crâniennes avec les quatre articles de Hanihara et Ishida (2001a-d) ; et les variations post-crâniennes avec Verna (2014).
6Les études de répétabilité et de reproductibilité sont une étape indispensable pour valider la méthode de collecte des données qui sera utilisée ultérieurement dans une recherche scientifique (Desquilbet, 2012). Pour la répétabilité, ce sera sous la définition de Desquilbet (2012) qu’elle sera utilisée, où l’opérateur, les conditions et la méthode de prise de données sont les mêmes, pour deux périodes de temps distincts. Pour la reproductibilité, la définition de Desquilbet (2012) de reproductibilité inter-observateurs sera retenue : les conditions et la méthode de prise de données sont les mêmes, mais réalisées par différents opérateurs.
7Le coefficient de Kappa (κ), créé par Cohen en 1960, et son adaptation par Conger, en 1980, (Cohen, 1960 ; Cohen, 1968 ; Conger, 1980 ; Fleiss et al., 2003) ont été choisis comme méthode pour calculer l’accord intra- et inter-observateurs, à la suite d’une revue de la littérature (Hefner, 2009 ; Pilloud et al., 2019 ; Corron et al., 2021 ; Corron et al., 2022). Malgré ses limites bien connues (Pontius et Millones, 2011), il reste ici un choix pertinent, en particulier parce qu’il n’existe pas encore d’alternative réellement pertinente pour l’étude des variables ordinales. L’intérêt de l’utilisation du coefficient de Kappa sera discuté par rapport à d’autres coefficients utilisables pour l’évaluation de l’accord intra- et inter-observateurs. Ce travail propose un protocole permettant de sélectionner les VA les plus pertinentes en fonction de leur observabilité et de leur représentation dans un premier temps, et de leur répétabilité et reproductibilité (R&R) dans un second temps. Cette démarche basée sur une succession de critères spécifiques, pourra ainsi faciliter la comparaison d’études ultérieures utilisant des VA.
8Afin de faciliter l’analyse des données, les VA ont été réparties selon trois zones anatomiques distinctes : crâne, post-crâne et dents.
9La fiabilité de la cotation de 94 VA paires et impaires a été évaluée. Un tableau récapitulatif des 94 variations étudiées est disponible dans le matériel supplémentaire (tableau S1). Pour chaque variation, l’os ou la dent sur lequel elle est observée, est renseigné, ainsi que son abréviation, son type de cotation, son caractère pair ou impair et une référence bibliographique. De plus, les VA paires ont été cotées pour les côtés gauche et droit. Pour certaines VA présentes sur le rachis, elles ont été cotées soit par segment (cervical, thoracique et lombaire) soit pour chaque vertèbre prise séparément. Au total, 198 variables ont été cotées.
10Quatre cas de figure sont présentés afin d’expliciter la prise de données :
11- une variation impaire est située sur la ligne médiane du squelette. Sa cotation donnera lieu à une seule variable ;
- une variation paire est cotable à droite et à gauche. La cotation de cette variation donnera lieu à deux variables ;
- une variation peut être présente sur toutes les vertèbres cervicales (C1 à C7) de manière bilatérale. La cotation de cette variation donnera deux variables par vertèbre cervicale, soit 14 variables au total ;
- une variation impaire peut être présente sur l’ensemble du rachis. Dans cette étude, la cotation de cette variation donnera lieu à trois variables, une pour chaque segment (cervical, thoracique et lombaire).
12Les données proviennent de l’étude de la collection ostéo- archéologique de la nécropole de la cathédrale de Notre-Dame-du-Bourg (NDB) à Digne-les-Bains (04) (Démians d’Archimbaud et al., 2010 ; Lantéri, 2016). Cette collection est composée de 729 individus ; lors de l’étude de répétabilité et de reproductibilité 469 individus avaient été étudiés. En fonction de la représentation et de la conservation différentielle des zones anatomiques étudiées, entre 33 et 35 individus ont été sélectionnées par zone. Au total, 77 individus composent l’échantillon utilisé pour l’étude R&R (tableau 1). Les estimations du sexe et de l’âge des individus adultes ont été réalisées à partir de l’os coxal (Schmitt, 2005 ; Brůžek et al., 2017). L’estimation de l’âge des individus immatures a été réalisée à partir de la maturation osseuse et dentaire (AlQahtani et al., 2010 ; Coqueugniot et al., 2010).
Tableau 1
Données bio-anthropologiques des individus de la collection ostéo-archéologique de la cathédrale de Notre-Dame-du-Bourg (Digne-les-Bains) étudiés pour l’étude de répétabilité et de reproductibilité |
Bio-anthropological data for individuals from the osteo-archaeological collection of the cathedral of Notre-Dame-du-Bourg (Digne-les-Bains) studied for repeatability and reproducibility
13Quatre sessions de prise de données par trois observatrices différentes (O1, O2, O3) sur les 77 individus ont été réalisées.
14Pour étudier la répétabilité, l’observatrice O1 a réalisé les deux prises de données à trois mois d’intervalle, ces sessions seront notées dans la suite de l’article O1.1 et O1.2. Pour la reproductibilité, la prise de données O1.1 a été utilisée avec celles réalisées par les deux autres observatrices O2 et O3.
15Pour l’observation des variations osseuses, du crâne et du post-crâne, les observatrices O1 et O2 sont expérimentées et l’observatrice O3 est novice. Pour l’observation des variations dentaires, l’observatrice O1 est expérimentée et les observatrices O2 et O3 sont novices.
16Chaque observatrice a réalisé sa prise de données dans des conditions similaires. Une observation macroscopique des squelettes a été réalisée afin de coter les variations suivant les instructions de l’observatrice O1. O1 a établi un catalogue recensant et renseignant chaque variation osseuse et dentaire (définition, mode de cotation, photos).
17Lors de la prise de données et de la cotation, deux catégories supplémentaires pouvaient être renseignées : variable non cotable (NA) et variable non observable (NO). Lorsque la variable n’est pas observable, par manque de représentation, du fait de l’absence de l’os ou de la dent sur lequel elle est cotée, la valeur "NA" est inscrite. Pour la suite de l’analyse un seuil de 80% de cotabilité a été choisi. Quand une variable n’est pas observable, principalement en lien avec l’action des processus taphonomiques (mauvaise conservation de la corticale) ou de l’usure dentaire, la valeur "NO" est inscrite. Un seuil de 50% d’observabilité a été choisi pour la suite de l’étude.
18Les analyses statistiques ont été réalisées à l’aide du logiciel R v.4.1.1 (R Foundation for Statistical Computing, Vienna, Austria).
19Pour analyser la qualité de l’accord entre les deux séries de cotations (O1.1 et O1.2) de la même observatrice, le choix s’est porté sur l’utilisation du coefficient de Kappa de Cohen (κ) (1)
20avec po correspondant à la proportion d’accord observée et pe la proportion globale d’accord attendue.
21Ce calcul a été réalisé à l’aide de la fonction kappa2 du package irr pour évaluer la répétabilité de chacune des variations ; sans pondération pour les variations binaires et nominales, et avec une pondération quadratique dans le cas des variations avec une cotation ordinale (Cohen, 1960 ; Cohen, 1968).
22Le calcul du coefficient de Kappa de Fleiss exact (κ’) (2) a été utilisé pour évaluer la reproductibilité à trois observatrices (O1.1, O2 et O3) à l’aide de la fonction kappam.fleiss du package irr (Conger, 1980 ; Fleiss et al., 2003) :
23avec p̄o : correspondant à la proportion globale d’accord observée et p̄e : la proportion globale d’accord attendue.
24Des calculs du Kappa de Cohen (1) sans pondération ont également été effectués pour évaluer la reproductibilité pour chaque binôme d’observatrices. Les exports RMarkdown sont disponibles dans le matériel supplémentaire.
25Les résultats sont considérés comme étant analysables quand ils ont été réalisés à partir d’au moins 20 paires d’observations complètes pour la répétabilité et d’au moins 20 triplets d’observations complètes pour la reproductibilité. Les variables non-polymorphiques, c’est-à-dire à expression constante pour au moins une des observatrices (Santos, 2018), ont été éliminées de l’analyse.
26Pour les variables restantes, la qualité de l’accord a été analysée en suivant l’échelle mise en place par Fleiss et al. (2003) (tableau 2).
Tableau 2
Qualité de l’accord en fonction de la valeur du coefficient de Kappa selon l’échelle de Fleiss et al. (2003) |
Quality of agreement between observers based on the Kappa coefficient according to the scale of Fleiss et al. (2003)
27La répétabilité pourra aussi être trouvée dans cet article sous le terme d’accord intra-observateur, et la reproductibilité sous le terme d’accord inter-observateur.
28Sur les 198 variables, 76 (soit 38,8%) n’ont pas pu être analysées : 18 variables crâniennes, 25 post-crâniennes, et 33 dentaires (tableaux S2-S3). L’étude de répétabilité a donc été réalisée à partir de 122 variables (figure 1 ; tableau 3).
29Le détail des valeurs de Kappa pour chaque variable analysée est disponible dans le tableau S4.
Figure 1
Diagramme en entonnoir récapitulatif du processus de sélection des variables pour l’analyse de répétabilité |
Funnel diagram summarising the variables selection process for repeatability analysis
Tableau 3
Récapitulatif des résultats de l’accord intra-observateur pour l’observatrice O1, en fonction des différentes zones anatomiques |
Summary of findings on intra-observer agreement for the O1 observer, based on the different anatomical areas
30Parmi les 56 variables crâniennes, toutes comptent au moins 23 paires d’observations complètes et 18 ont été retirées de l’analyse du fait de leur caractère non-polymorphique pour au moins une des deux séries de prises de données. 38 variables ont été analysées (figure 1 ; tableau S4) : 50,0% (19/38) des variables présentent des κ≥0,75, 42,1% (16/38) des variables ont un κ compris entre 0,40 et 0,75 et 7,9% (3/38) des variables présentent un κ<0,40.
31Parmi les 81 variables post-crâniennes, 3 possèdent moins de 20 paires d’observations complètes et ont été retirées de l’analyse, ainsi que 22 variables non-polymorphiques pour au moins une des deux séries de prises de données. 56 variables ont pu être analysées (figure 1 ; tableau S4) : 62,5% (35/56) des variables ont des κ≥0,75, 35,7% (20/56) des variables ont un κ compris entre 0,40 et 0,75 et 1,8% (1/56) des variables présentent des κ<0,40.
32Parmi les 61 variables dentaires, 25 possèdent moins de 20 paires d’observations complètes et ont été retirées de l’analyse, ainsi que huit variables non-polymorphiques pour au moins une des deux séries de prises de données. 28 variables ont pu être analysées (figure 1 ; tableau S4) : 39,3% (11/28) de ces variables ont un κ≥0,75, 42,8% (12/28) des variables ont un κ compris entre 0,40 et 0,75 et 17,9% (5/28) des variables présentent un κ<0,40.
33Dans l’ensemble, les résultats présentent des valeurs de kappa moins élevées que celles de la répétabilité (tableau 4). Tout d’abord, sur les 198 variables sélectionnées sur l’ensemble du squelette et des dents, 102 n’ont pas été retenues pour l’évaluation de la reproductibilité (tableaux S5-S6), soit 51,5% de nos variables (25 variables crâniennes, 35 variables post-crâniennes, et 42 variables dentaires ; figure 2 ; tableau S7). De plus, parmi les 96 variables retenues, 21 (soit 21,9%) ont un κ’≥0,75, contre 64 sur les 122 (52,5%) variables analysées pour la répétabilité.
Tableau 4
Récapitulatif des résultats de l’accord inter-observateurs pour les trois observatrices, en fonction des différentes zones anatomiques |
Summary of findings on inter-observer agreement for the three observers, according to the different anatomical areas
Figure 2
Diagramme en entonnoir récapitulatif du processus de sélection des variables pour la reproductibilité |
Funnel diagram summarising the variables selection process for reproducibility analysis
34Parmi les 56 variables crâniennes, une variable possède moins de 20 triplets d’observations complets et a été retirée de l’analyse, ainsi que 24 variables non-polymorphiques pour au moins une des trois séries de prises de données. 31 variables ont pu être analysées (figure 2 ; tableau S7) : 12,9% (4/31) des variables de VA ont un κ’≥0,75, 45,2% (14/31) des variables ont un κ’ compris entre 0,40 et 0,75 et 41,9% (13/31) des variables présentent des κ’<0,40.
35Parmi les 81 variables post-crâniennes, 3 possèdent moins de 20 triplets d’observations complets et sont retirées de l’analyse, ainsi que 12 variables non-polymorphiques pour au moins une des trois séries de prises de données. 46 variables ont été analysées (figure 2 ; tableau S7) : 37% (17/46) de ces variables ont un κ’≥0,75, 54,3% (25/46) des variables ont un κ’ compris entre 0,40 et 0,75 et 8,7% (4/46) des variables présentent des κ’<0,40.
36Parmi les 61 variables dentaires, 36 possèdent moins de 20 triplets d’observations complets et ont été retirées de l’analyse, ainsi que six variables non-polymorphiques pour au moins une des trois séries de prises de données. 19 variables ont été analysées (figure 2 ; tableau S7) : Aucune variable ne présente un κ’≥0,75, 15,8% (3/19) des variables ont un κ’ compris entre 0,40 et 0,75 et 84,2% (16/19) des variables présentent des κ’<0,40.
37Les trois binômes présentent un nombre plutôt équivalent de variables pour lequel l’accord est "Excellent". En revanche, la répartition des résultats pour les variables pour lesquelles l’accord est "Moyen" et "Pauvre" entre les binômes O1.1 vs O3 et O2 vs O3 est inversée. Le nombre de variables pour lesquelles l’accord est "Moyen" est équivalent entre les binômes O1.1 vs O2 et O1.1 vs O3 (tableau 5).
Tableau 5
Répartition des 96 variables retenues pour l’étude de la reproductibilité selon la qualité de l’accord pour chaque binôme d’observatrices en fonction de l’échelle de Fleiss et al. (2003) |
Distribution of the 96 variables selected for the reproducibility study according to the quality of agreement for each pair of observers according to the scale of Fleiss et al. (2003)
38Les résultats de répétabilité et de reproductibilité pris en compte simultanément permettent de mettre en évidence 19 variables avec un kappa supérieur ou égal à 0,75. Ceci correspond à 11 variations asymptomatiques à la fois répétables et reproductibles (tableau 6).
Tableau 6
Répartition anatomique des variations asymptomatiques répétables et reproductibles / Anatomical distribution of repeatable and reproducible asymptomatic variations
39Les résultats de répétabilité (figure 2) montrent une bonne cohérence dans cette étude, avec plus de 50% des variables étudiées ayant une valeur de kappa supérieure ou égale à 0,75 et dont la grande majorité est représentée par des variations osseuses. Ainsi, le protocole de prise de données peut être considéré comme bon.
40Les variables osseuses présentent une meilleure répétabilité et reproductibilité que les variables dentaires. L’explication est en lien avec le type de cotation. La cotation binaire (exclusive pour les VA osseuses) s’avère moins subjective que la cotation catégorielle (nominale ou ordinale) qui est majoritaire pour les VA dentaires. Une observation dichotomique est plus facile à reproduire qu’une observation graduée. En effet, ce mode d’observation augmente le risque de désaccord. Ce constat ne fait que renforcer les données de la littérature (Pilloud et al., 2019 ; Corron et al., 2022). Pour diminuer le risque de désaccord, il semble important d’avoir en amont un temps d’échange, pendant lequel les observateurs puissent s’entendre sur la prise de données (B-Hardy, 2015). Il faut donc mettre en place un temps de formation spécifique sur la prise de données des variations asymptomatiques, en particulier les variations dentaires, à partir de référentiels connus.
41En effet, lors de la deuxième prise de données de la première observatrice (O1.2), un gain d’expérience est constaté pour les VA osseuses et dentaires. O1 s’est formée pendant ses études en anthropologie biologique (master et doctorat en cours) sur les variations asymptomatiques osseuses et dentaires. Par ailleurs, les résultats de reproductibilité du binôme O1.1-O2 confrontés à ceux du binôme O1.2-O2 montrent que la reproductibilité pour les variables osseuses est meilleure contrairement à la reproductibilité pour les variables dentaires qui est moins bonne. O2 est une chercheuse dont la spécialité est l’étude des VA osseuses et non dentaires. Les résultats sont en cohérence avec un gain d’expérience avec le temps. La formation à l’étude des traits macroscopiques et qualitatifs en général est souvent considérée comme importante pour la réalisation d’études bio-anthropologiques fiables et reproductibles (Kamnikar et al., 2018).
42Un autre point semble important à relever et à discuter, la conséquence de la présence de données manquantes sur les échantillons ostéo-archéologiques. 76 variables n’ont pas pu être évaluées pour la répétabilité, soit 38,4% des variables ; et 102 variables pour la reproductibilité, soit 51,5%.
43La cause principale des données manquantes pour les VA dentaires est l’usure et la perte ante mortem avant même l’action des processus taphonomiques, qui, elle, impactera majoritairement les VA osseuses. Afin de pallier ces effets limitants, deux propositions sont formulées ici, appuyées par d’autres études de la littérature. Concernant l’évaluation de la R&R, pour les VA dentaires il s’avère indispensable d’inclure un critère d’âge dans la sélection des individus. La classe d’âge à retenir se situe entre 15 et 30 ans afin d’avoir l’ensemble des dents permanentes en bouche (excepté la 3e molaire) (AlQahtani et al., 2010 ; Liversidge, 2016) et un niveau d’usure dentaire relativement faible (score ≤2) (Burnett et al., 2013 ; Burnett, 2016 ; Schmidt, 2016). Dans l’échantillon sélectionné ici, pour l’analyse des VA dentaires, les individus dont l’âge varie entre 15 et 30 ans représentent seulement 42%.
44Concernant les VA osseuses pour limiter l’impact des données manquantes, inhérentes à l’étude de collections ostéo-archéologiques (Bello et al., 2003), la solution proposée est d’augmenter la taille de l’échantillon sur lequel sont réalisées les études de R&R (Corron et al., 2022). Il faut s’intéresser en début d’étude à la taille de l’échantillon à sélectionner afin d’obtenir une puissance statistique élevée. Cette solution pourrait également diminuer le nombre de variations considérées comme non-polymorphiques dans l’échantillon au vu de leur prévalence rare, voire très rare, et de pouvoir ainsi utiliser le coefficient de Kappa efficacement (Desquilbet, 2012 ; Bujang et Baharum, 2017 ; Santos, 2018 ; Obertovà et Stewart, 2020). Cependant, les études de R&R réalisées sur un effectif supérieur à 100 individus restent rares (Klales et Kenyhercz, 2015 ; Lewis et Garvin, 2016 ; Lesciotto et Doershuk, 2018).
45D’un point de vue statistique, le choix s’est porté sur le coefficient de Kappa, coefficient le plus utilisé dans la littérature sur les données qualitatives en anthropologie biologique (Kamnikar et al., 2018 ; Corron et al., 2022), ce qui permet par la suite de faciliter les comparaisons entre les études. De plus, il est utilisable peu importe la nature des variables qualitatives. Le coefficient alpha de Krippendorff (α) est lui davantage utilisé sur des variables binaires et nominales, et le coefficient de concordance de Kendall (W), de même que le coefficient de corrélation intra-classe (ICC), sur des variables ordinales ayant au moins trois niveaux, ou lorsque le nombre d’observateurs est supérieur à deux (Pilloud et al., 2019 ; Zeman et Beňuš, 2020 ; de Raadt et al., 2021 ; Corron et al., 2022). Le coefficient Kappa de Cohen présente toutefois un inconvénient lorsque la prévalence de la variation est rare dans l’échantillon. En effet, le résultat du coefficient de Kappa sera réduit de façon importante, pour une petite diminution du pourcentage d’accord observé (Po). Une réduction notable de la valeur du Kappa est obtenue lorsqu’un déséquilibre important des prévalences pour les cotations binaires est observé par rapport au pourcentage d’accord attendu (Pe). Ceci n’a pas lieu lorsque les fréquences des deux cotations sont similaires (Zeman et Beňuš, 2020).
46Cette influence de la prévalence sur les résultats du Kappa se remarque notamment pour les traits bilatéraux. En se concentrant sur nos résultats de répétabilité, deux cas de figure existent. Tout d’abord des variations rares qui n’apparaissent pas sur un des côtés, ce qui a été observé pour six variations. Ensuite des variations rares pour lesquelles très peu de désaccord entre O1.1 et O1.2 est observé ; mais un seul désaccord supplémentaire entre la prise de données du côté gauche ou du côté droit, entraine une diminution notable de la valeur du kappa. Ce cas de figure a été observé pour dix variations. Le foramen transverse incomplet de l’atlas (FTI1) représente bien ce cas. Aucun désaccord à droite n’est présent, le kappa est de 1 et l’accord est donc "Excellent". Un désaccord est observé à gauche ce qui donne un kappa à 0,65 donc un accord "Bon".
47Concernant l’interprétation du Kappa de Cohen, dans les études de répétabilité et de reproductibilité, l’échelle de la qualité d’accord établie par Landis et Koch (1977) est souvent favorisée, avec κ > 0,60 traduisant une bonne qualité d’accord (L’Abbé et al., 2011 ; Klales et Kenyhercz, 2015 ; Kamnikar et al., 2018 ; Pilloud et al., 2019). Pour cette étude, l’échelle de Fleiss et al. (2003) a été privilégiée car elle est plus stricte (Cicchetti, 1994 ; Fleiss et al., 2003). Avec cette échelle, l’accord entre les observatrices est considéré comme "Bon" voire "Excellent" quand le kappa est ≥ 0,75. De plus, d’après McHuch (2012), la valeur du Kappa obtenu nous informe sur le pourcentage de fiabilité des données acquises, respectivement 35% avec un Kappa de 0,60, et 56% avec un Kappa de 0,75. Ce critère semble très pertinent notamment dans les applications en anthropologie médico-légale (McHugh, 2012 ; Shirley et Ramirez Montes, 2015 ; Adalian, 2020). En effet, en anthropologie médico-légale, la validité des résultats obtenus est évaluée par la mesure de la fiabilité et de la précision des méthodes utilisées pour obtenir ces résultats (Adalian, 2020). Par conséquent, l’utilisation du coefficient de Kappa est à favoriser, car il est utilisable peu importe la nature des variables qualitatives, et peu importe le nombre de séries d’observations incluses dans l’analyse.
48À la suite des différents points évoqués et discutés, une démarche commune est proposée afin de sélectionner ces VA (caractères qualitatifs) sur les mêmes critères en testant leur répétabilité et reproductibilité. Cette démarche (figure 3) permettra de rendre plus facilement comparables les études sur différents échantillons (d’époques différentes) tout en prenant en compte l’état de conservation des individus.
Figure 3
Protocole d’étude amélioré de caractères qualitatifs en fonction de la qualité de leur répétabilité et reproductibilité |
Improved protocol for the selection of qualitative variables according to the quality of their repeatability and reproducibility
49Cette étude avait pour objectif d’évaluer la répétabilité et la reproductibilité de 94 variations asymptomatiques osseuses et dentaires afin de proposer une démarche normalisée pour les futures études. De ces 94 variations asymptomatiques, 198 variables ont été observées sur une trentaine d’individus. Sur les 122 variables analysées pour la répétabilité, 52,5% ont un kappa supérieur ou égal à 0,75. Concernant la reproductibilité, sur les 96 variables analysées, 21,9% ont un kappa ≥0,75. Au total, 19 variables sont répétables et reproductibles, ce qui correspond à 11 variations asymptomatiques. Le nombre s’avère faible mais plusieurs éléments ont réduit le nombre de variables avant même l’analyse (données manquantes, variables non-polymorphiques…). Finalement ce résultat n’est qu’un exemple. Il ne s’agit pas de conclure que seules ces 11 VA sont exploitables par la suite. Le nombre variera en fonction des caractéristiques et spécificités des différentes études. À partir de la démarche commune proposée, les données obtenues seront comparables peu importe l’état de conservation de l’échantillon, l’époque, ou l’origine géographique.
50Le matériel supplémentaire, les données brutes, les exports RMarkdown sont disponibles respectivement au format .docx, .csv et .html sur le site des BMSAP (https://journals.openedition.org/bmsap/11864?file=1).