Navigation – Plan du site
Varia

Le machine learning et les sciences sociales à l’épreuve des échelles de complexité algorithmique

How Machine Learning is challenged by algorithmic complexity classes. From models to practices
El aprendizaje automático en la prueba de las clases de complejidad algorítmica. De los modelos a las prácticas
Dominique Boullier et El Mahdi El Mhamdi

Résumés

Le Machine Learning, ou méthodes d’apprentissage utilisées pour constituer ce qu’on appelle Intelligence Artificielle, est plus diversifié qu’on ne le présente en général. En s’appuyant notamment sur la classification proposée par Domingos, l’article commence par présenter différentes approches du ML. En confrontant ces approches formelles aux pratiques relatées durant des défis Kaggle, nous montrons ensuite que les décisions effectives des Machines Learners sont avant tout dictées par les données disponibles et l’échelle de complexité des problèmes à traiter. Cet argument permet de relativiser la toute-puissance attribuée au Machine Learning mais aussi, pour les sciences sociales, de préciser leur collaboration possible, à la fois comme travail préalable d’exploration des dimensions d’un problème et comme accompagnement du travail des Machine Learners de réduction nécessaire de ces dimensions.

Haut de page

Texte intégral

Introduction : du Big Data au Machine Learning

1Aucun secteur d’activité n’est à l’abri du questionnement introduit par l'abondance récente des données, il n’est donc pas étonnant que les sciences sociales et la sociologie en particulier soient aussi touchées. Pourtant, il n’est pas si aisé de comprendre ce qui peut être affecté dans les pratiques comme dans les modèles théoriques utilisés par les sociologues alors que des publications de plus en plus nombreuses en « computer sciences » traitent directement de questions dites sociales. Les acceptions de Big Data elles-mêmes restent sans cesse en discussion. Par exemple, pour Alvarez (2016), « Big » peut vouloir dire un volume d’observations tel qu’il permet d’assurer la qualité d’un échantillonnage (il faudrait alors parler de « Tall Data »). Mais « Big » peut aussi vouloir dire un nombre de dimensions (ou de variables), potentiellement prédictives ou explicatives, très nombreuses, même sur des volumes d’observations plus faibles (il faudrait alors parler de « Fat Data »). Ces débats risquent cependant d’occulter le fait que si les structures de données sont importantes, le choix des algorithmes pour les traiter est désormais très ouvert parmi ce qu’on appelle le Machine Learning. L’incertitude, voire la menace, ressentie par tous les praticiens de la quantification (Boullier, 2015) tient au changement profond de raisonnement qu’impliquent les méthodes d’apprentissage.

La plus grande part du débat se focalise actuellement sur une certaine classe d’algorithmes, les techniques de Machine Learning statistique, qui génèrent des inconnues. Plus exactement ils produisent des analyses de données qui sont connues et compréhensibles dans certains termes (les termes des propriétés du dataset, ses patterns et ses régularités) mais incompréhensibles dans d’autres (les termes du domaine que les données représentent). (Dourish, 2016, p. 7).

2C’est en partie dans l’espoir de réduire cette inquiétude et de fournir une boussole que nous proposons cette mise en relation des modèles conceptuels des algorithmes du Machine Learning et des méthodes de traitement des problèmes que la sociologie a l’habitude de manipuler. Au terme de ce parcours, nous plaiderons pour le recours aux échelles de complexité pour comprendre pourquoi certaines techniques vont en effet correspondre mieux à certains types de problèmes à la fois en sociologie et en Machine Learning.

3Cette démarche prolonge la sociologie de la quantification, en particulier celle d'Alain Desrosières (1993). La situation qu’il avait identifiée pour la naissance de la statistique, marquée par cette double exigence, gouverner et prouver, se retrouve dans la situation contemporaine dans la relation entre plates-formes du capitalisme financier numérique et ingénierie du Machine Learning. On pourrait cependant infléchir sa proposition en ces termes : la tension spécifique à l’espace statistique contemporain est désormais entre tracer (et non plus gouverner qui n’est pas le souci des plates-formes) et prédire (c’est-à-dire avec une forte orientation vers l’action, que toutes les sciences computationnelles ont endossé sans difficulté, bien loin des objectifs de preuve qui se trouvent réduits à cette prédiction via les probabilités). Passer de « gouverner et prouver » à « tracer et prédire » permet de mieux percevoir le fossé culturel qui s’est créé dans la tradition statistique elle-même dès lors que ce sont les algorithmes qui s’approprient les outils statistiques et surtout les probabilités pour les mettre au service du traitement de traces produites par les grands acteurs qui gouvernent le monde, les plates-formes numériques. Encore faut-il montrer comment se met en œuvre ce basculement pour les praticiens du Machine Learning (ML) mais aussi, potentiellement, pour les sciences sociales. La tradition philosophique et historique plus ou moins formaliste est aussi une influence majeure pour ce travail (Daston, 1989, Hacking, 2002) ou encore la version critique de la gouvernance par les nombres de Supiot (2015). Cependant, les méthodes utilisées sont inspirées plus directement de Domingos (2015) mais aussi des « algorithmic studies » telles que les pratiquent Adrian McKenzie (2017) ou Paul Dourish (2016). Alors que Domingos pourrait nous entraîner vers une approche purement internaliste, restituant les enjeux logiques et computationnels du ML, McKenzie ou Dourish trouvent la bonne distance entre ces prétentions formelles et le « travail réel » des chercheurs et des développeurs du ML. La position de McKenzie nous paraît similaire à celle que nous adoptons même si notre terrain sera plus réduit que le sien.

I am focusing on machine learners – a term that refers to both humans and machines or human-machine relations throughout this book – situated amidst these three accumulations of settings, data and devices. While it is not always possible to disentangle machine learners from the databases, infrastructures, platforms or interfaces they work through, I will argue that data practices associated with machine learning delimit a positivity of knowing (McKenzie, 2017, p. 23).

4Cécile Méadel et Guillaume Sire, en introduisant un numéro de la revue Réseaux consacré à « décoder les programmes » ont pu faire l’inventaire des orientations possibles en « software studies » et « critical code studies » selon qu’elles s’intéressent à « ce que le code fait », à « de quoi il est fait » et à « ce qu’il transporte ». Nous serons ici plus proches de la question « de quoi est fait le code » mais cette question a elle-même été reprise plus précisément pour le Machine Learning par Dominique Cardon, Jean-Philippe Cointet et Antoine Mazières (2018). Lorsqu’ils étudient la genèse des machines prédictives, c’est avant tout à l’approche inductive qu’ils s’intéressent et à l’histoire singulière du connexionnisme. Nous resterons plus près du travail ordinaire des Machine Learners tout en observant bien ce que la validation par la prédiction peut entrainer.

5Sur ce plan plus proche des raisonnements statistiques, Julien Boelaert et Etienne Ollion (2018) entreprennent une comparaison systématique des performances des modèles paramétriques (régression linéaire) et du Machine Learning pour montrer que la validation mathématique du ML est impossible et que l’interprétabilité des résultats (et leur validation mathématique) est remplacée par la prédiction. Ils admettent cependant en suivant (Breiman, 2001) qu’une interprétation correcte (dite explication) et une bonne prédiction peuvent marcher main dans la main (p. 485). Nous verrons que leur démonstration plaide en fait pour une prise en compte des échelles de complexité algorithmique des problèmes traités, ce qui débouche chez eux sur une division du travail simple entre ML et modèles paramétriques.

  • 1 Précisons que la question de la complexité que nous abordons ici ne doit pas être confondue avec le (...)

6Cet article se veut une restitution d’un itinéraire de recherche prenant à chaque fois en compte les démentis apportés par la confrontation au terrain. Nous sommes partis de la mise en perspective historique et modélisatrice de Domingos présentant les différentes approches du Machine Learning. Dans la lignée des Science and Technology Studies (STS), pour tester ce tableau, nous avons ensuite sélectionné un terrain empirique plus proche de la pratique des « data scientists » : le cas des challenges Kaggle. Il s’agit d’épreuves que la communauté du Machine Learning utilise pour se confronter et tester les méthodes en cours sur des problèmes très différents, soumis par des institutions ou des entreprises. Il s’avère alors que si les modèles conceptuels du Machine Learning sont bien présents, il est impossible de les mettre en relation de façon systématique ni de rendre compte ainsi des méthodes des praticiens du Machine Learning qui empruntent allègrement à tous les modèles. Confrontés à ce démenti par l’observation empirique, qui permet de restituer le sens de la pratique du ML au-delà de ses modèles, nous proposons alors de conclure par une nouvelle hypothèse issue de nos observations des pratiques des développeurs et de notre conceptualisation des différentes échelles mathématiques de la complexité. Les choix de sélection et de combinaison des algorithmes du Machine Learning opérationnel nous paraissent justifiables par les degrés de complexité des problèmes traités. Nous concluons sur un des effets non anticipés du Machine Learning pour les sciences sociales : le travail en extension des sciences sociales doit être considéré comme un prérequis pour discuter les prénotions. Les Machine Learners pourront ainsi s’emparer de certaines de ces dimensions documentées par les sciences sociales à partir de leur terrain et de leur discussion conceptuelle, pour ensuite opérer leur réduction nécessaire de l’échelle de complexité du problème1. Mais à chaque étape, les sciences sociales pourront contribuer à valider les réductions opérées. Cela débouche ainsi sur un apprentissage réciproque entre sciences sociales et data sciences, comme cela a déjà pu être étudié à propos de la constitution de bases de données pour les SHS (Jaton et Vinck, 2016).

La carte des algorithmes du Machine Learning de P. Domingos

Des algorithmes d'exécution aux algorithmes d’apprentissage

7De quoi un algorithme d’apprentissage est-il le nom ? Pour préciser les concepts clés de cet article, il convient de fixer d’emblée certaines définitions et de les placer dans leur cadre historique.

8Un algorithme est une suite finie d’instructions simples permettant (ou non) de résoudre un problème. Plus important encore, un algorithme est une suite d’instructions tellement simples et non ambiguës qu’elle doit permettre à un agent, humain ou machine, de résoudre un problème sans fournir d’autres efforts intellectuels que l’application rigoureuse de ces instructions. Nous avons choisi cette définition en ce qu’elle est fidèle aux nombreux cas pratiques qui ont servi à illustrer le livre fondateur de l’algèbre (al-mukhtaar fī isāb al-jabr wa-l-muqābala) et dont le nom de l’auteur (Al-Khawarizmi) a donné le mot algorithme (et ce livre regorge à cet effet d’algorithmes). Il s’agit ici, pour reprendre la distinction de Florian Jaton (2017) d’une définition axiomatique, depuis l’intérieur des sciences computationnelles, c’est-à-dire pour résoudre un problème supposé donné. Nous verrons comment la dimension de problématisation, qui permet de constituer le problème comme tel, est soit absente dans les comptes rendus des Kagglers, soit « taken-for-granted » dans un grand nombre de publications qui travaillent avec un problème comme « boite noire » (sans discussion de la « ground truth » (Jaton, 2017) qui lui sert de point de référence), soit enfin relevant d’un même souci pragmatique, celui de la calculabilité qui suppose de redéfinir le problème en cours d’action selon les ressources disponibles (données et capacités de calcul).

9Précisons cependant quelques différences entre algorithmes, pertinentes pour comprendre le Machine Learning et éviter certains malentendus. Un algorithme d’apprentissage est un algorithme (au sens de la définition précédente) qui prend en entrée un autre algorithme (toujours au sens de la définition précédente) pour le modifier. Dans une recette de cuisine, on appellera simplement l’algorithme d’exécution « recette de la tarte », et l'algorithme d’apprentissage sera amené à « apprendre » la recette de la tarte.

10Ainsi, un algorithme d’apprentissage aura une recette initiale (son modèle de la recette), puis, en analysant des données récoltées sur différentes recettes de tartes et la satisfaction de clients de la pâtisserie, il pourra modifier son modèle initial, en modifiant par exemple le dosage de farine, la présence ou non de sucre brun, etc. On dira qu’il aura ajusté les paramètres de son modèle. Dans un sens, le Machine Learning n’est rien d’autre que de la méta-algorithmique. Dans le jargon du domaine, on ne trouvera que très rarement le terme « algorithme d’exécution », on parlera simplement du « modèle » que l’algorithme d’apprentissage est en train d’améliorer grâce aux données d’apprentissage (le learning set).

11Cependant, lorsque le travail de l’algorithme est observé en situation, en dépassant une approche par trop internaliste, il apparaît vite que l’algorithme est partout, même si on disqualifie certaines étapes de son travail en codes ou en programme (à l’instar de Dourish, 2016). Dans ce qui suit, on verra se reproduire cette attitude au sein de la communauté des data scientists. Ces derniers semblent n'accorder le titre d’algorithme qu’à ce qu’ils considèrent être le noyau de leurs outils de traitement d’un problème, quand bien même ce noyau n’est pas un algorithme d’apprentissage mais parfois juste un assemblage d’outils de nettoyage/tri/classement des données. Dans ce cas, on devrait plutôt les appeler « data engineers », sans pour autant entendre un jugement de valeur entre data scientist ou data engineer.

12Pour cartographier les écoles d’apprentissage, nous avons choisi de suivre la classification de Pedro Domingos qui procède à partir de ses modèles conceptuels. Dans cette classification, Domingos ne s’attarde pas trop sur la distinction « algorithme d'exécution » et « algorithme d’apprentissage », nous le suivons provisoirement dans ce choix pour mieux présenter les modèles conceptuels. Nous verrons plus loin que la distinction devra cependant être mobilisée de manière plus explicite pour rendre compte des activités situées des développeurs.

13L’ouvrage de Pedro Domingos (The master algorithm, 2015) est important pour la communauté du ML et pour ceux qui l’observent et veulent comprendre ce qui s’y joue. Selon l’auteur, les avancées actuelles permettent d’envisager un master algorithm, comme on dirait un maître zen, qui fédèrerait toutes les approches pour les combiner de la façon la plus pertinente. Cependant, le pluralisme de son approche est intrinsèque et assumé et cet ouvrage constitue une boussole pour orienter tout chercheur ou tout décideur dans le maquis des options du Machine Learning. L’ouvrage devrait conduire à admettre qu’il faut à la fois choisir et composer entre plusieurs solutions. Domingos assemble ces contraintes sous le nom du « monstre de la complexité » (p. 5) qui comporte la complexité spatiale pour la mémoire, la complexité temporelle pour la durée de calcul et la complexité humaine qui peut rendre un algorithme indéchiffrable par le cerveau humain. La mutation contemporaine de l’apprentissage permet de produire des algorithmes qui apprennent à partir des exemples qu’on leur donne et qui les traitent statistiquement et non plus de façon déterministe (si 99 % de traitement correct est le maximum atteignable, cela n’invalide pas l’algorithme pour autant). Disposer d’un grand nombre d’exemples ouvre le spectre des choix d’algorithmes et c’est pourquoi toutes les plateformes numériques tentent de capturer le maximum de traces (au détriment parfois de la privacy). « La donnée est le nouveau pétrole est un refrain populaire », rappelle Domingos, « mais, comme pour le pétrole, le raffinage est le business essentiel ! » (p. 13). Le Machine Learning ne travaille pas seulement avec un nombre de données inimaginables par les meilleurs sociologues quantitativistes avant 2010, ce qui consolide sa fiabilité empirique, il est aussi capable d’abstraction logique qui permet de décomposer tout problème en une succession d’opérations qui se ressemblent. C’est notamment le cas des questions de classification, qui occupent dans le Machine Learning comme dans les sciences sociales, une grande partie de l’activité de recherche. Or, ces questions sont formellement identiques et peuvent être classées selon des critères purement formels ou opérationnels totalement indépendants des domaines auxquels elles s‘appliquent. Cette approche entraine de fait une mutation culturelle dans le prétraitement et la problématisation des questions de sciences sociales. Le traitement formel est lui-même d’ordre statistique et non plus logique dans le Machine Learning : « Le Machine Learning parle de probabilités alors que l’ingénierie des connaissances parle de logique. » (p. 38).

14Domingos veut éclaircir les « modèles conceptuels » qui organisent tout le champ du Machine Learning. Il reprend ainsi la notion de Don Norman (1988, 1999), psychologue et ergonome, qui demandait qu’on rende explicite non pas tout le fonctionnement détaillé des machines que nous utilisons mais que l’on fournisse un « modèle conceptuel » que nous puissions apprendre, mémoriser et qui permettrait de mieux orienter nos décisions et nos actions en relation avec les systèmes techniques. Cette approche modeste par les « modèles conceptuels » est donc un plaidoyer contre l’ouverture totale des boîtes noires qui submergerait les utilisateurs du Machine Learning encore bien plus que d’autres systèmes techniques. Mais elle suppose une exigence formelle élevée puisqu’il n’est pas possible de se contenter de lister les algorithmes comme tous les livres de solutions tendraient à le faire. Il faut les ordonner selon leurs modèles conceptuels tout en gardant ces modèles conceptuels suffisamment interprétables pour qu’un décideur ou un chercheur puisse s’en emparer et guider son action.

15Domingos identifie cinq modèles conceptuels : les symbolistes, les connexionnistes, les évolutionnistes, les bayésiens, les analogistes. Chaque tribu, comme il les appelle, tient à un noyau de croyances spécifiques, qu’il a tendance à purifier pour des raisons didactiques, alors que les pratiques du ML sont faites d’hybridation comme nous le verrons.

16Les symbolistes insistent sur l’observation du monde et sur l’exploitation des connaissances existantes pour construire leurs modèles, sous formes d’ontologies. Cette approche était très utile pour rendre acceptable l’ingénierie des connaissances qui en est issue à partir des années 90. Mais elle était aussi très intéressante pour les sociologues, notamment pour décrire les organisations, tout en étant très aisément critiquable à partir des observations empiriques conduites par les chercheurs face à ces prétentions modélisatrices toujours réductrices. La force des modèles de l’ingénierie des connaissances des symbolistes par rapport aux sociologues reposait dans leur aisance à surmonter les connaissances manquantes. En effet les symbolistes ont inventé la « déduction inverse » qui permet de reconstituer ce qui manque à partir de ce qu’ils connaissaient déjà. Les arbres de décision sont un des types d’algorithmes fondés sur cette approche symboliste et peuvent être utilisés pour classifier tous types d’entités sur un mode bien différent du connexionnisme.

17Les connexionnistes sont nés avec le souci de construire un ordinateur analogue à la pensée humaine, résumée en fait aux opérations identifiables dans le cerveau, conçu lui-même comme un réseau de neurones (soit deux réductions qui ont été largement discutées, voir par exemple Maturana et Varela, 1994). L’apprentissage humain fonctionnant par ajustement de la force des connexions entre neurones (poids synaptiques) selon les réponses et notamment en fonction des erreurs, le trait majeur apporté par les connexionnistes fut l’idée de rétropropagation, qui ajuste et pondère synapse après synapse, couche après couche, tels qu’ils sont logiquement constitués dans les algorithmes en question. Les réseaux de neurones ont failli être disqualifiés à un certain moment (Cardon et al., 2018) mais ce sont eux qui connaissent désormais la notoriété avec ce qu’on appelle le « deep learning », fameux pour ses performances en reconnaissance d’image notamment. Chaque couche de paramètres est empilée de façon à compiler toutes les couches pour optimiser le calcul et obtenir ainsi du deep learning.

18Les évolutionnistes ont un statut à part dans ce tableau car ils proposent en quelque sorte une forme de méta-procédure pour évaluer la performance des algorithmes pour traiter un problème donné. Les évolutionnistes tiennent leur nom de leur algorithme d’apprentissage : un algorithme basé sur les mutations, sélections et/ou croisements des algorithmes d’exécution. Récemment, on voit le Machine Learning connexionniste s’équiper de cette méthode réflexive pour traiter les décisions concernant les algorithmes eux-mêmes. Un nouveau champ (Elsken, Metzen & Hutter, 2019) à la frontière du connexionnisme et de l’évolutionnisme prend le nom de « neural architecture search ».

19Les bayésiens sont en fait les approches les plus familières de tous les sociologues statisticiens et depuis le Big Data et la disponibilité en masse des données, ils sont devenus omniprésents dans tout programme de ML quasiment. Les probabilités permettent à la fois de traiter des ensembles de données bruitées ou incomplètes mais aussi de traiter le degré de croyance dans une mesure donnée, comme l’avait établi Bayes. Les probabilités relèvent ainsi de deux approches comme le résumait Ian Hacking (2002) : les approches fréquentistes et les approches épistémiques. La combinaison des croyances et des preuves est au cœur même du ML et de la plupart des situations de calcul scientifique, et l’inférence probabiliste est ainsi devenue incontournable dans le panier des modèles conceptuels.

20Enfin les analogistes mobilisent une compétence humaine, l’analogie, comme méthode centrale pour donner sens à des situations nouvelles. L’analogie mobilise des méthodes qui produisent des algorithmes d’exécution parmi les plus interprétables. Certaines de ces méthodes sont basées sur la distance entre les entrées, comme moyen de distinguer les classes auxquelles elles appartiennent. C’est le cas par exemple de l’algorithme des plus proches voisins (Nearest Neighbor ou K Nearest Neighbor). D’autres comme le SVM (« support vector machine » ou séparateur à vaste marge), permettent de sécuriser les classifications en trouvant la frontière qui sépare deux classes différentes par la plus grande distance possible. Finalement, des méthodes analogistes bien connues des sociologues, comme la régression linéaire, se basent sur la simple hypothèse qu’il existe une sorte de proportionnalité entre la variable d’entrée et la variable de sortie. La mémoire de tous les cas et le test de tous les traits pertinents permettent de générer des prédictions, notamment dans des situations de diagnostic. Le travail de classification des sociologues trouve sans nul doute une parenté avec ces approches et une bonne partie des « computational social sciences » (Alvarez, 2016) mobilise déjà ces techniques pour effectuer des tâches classiques pour ce type de recherches. Dans le même temps, les services de recommandations et de matching entre offres et demandes reposent largement sur ces approches analogistes qui peuvent demander un travail fin sur tous les « features » de départ (ou propriétés descriptives des entités étudiées).

21Un algorithme d’apprentissage mérite ici notre attention : la descente de gradient. Cette manière d’apprendre consiste à évaluer l’erreur commise par la valeur actuelle du modèle (en le testant sur les données d’apprentissage), puis à modifier le modèle en suivant la plus forte pente possible de la courbe d’erreur, afin de minimiser cette dernière. C’est l’acte de poursuite de cette plus forte pente qu’on appelle « descente du gradient ». C’est ainsi que les chercheurs décrivent aussi certains phénomènes naturels. Cet algorithme décrit bien certains phénomènes d’optimisation dans la nature. Ainsi, un spermatozoïde suit la plus forte pente de concentration chimique des marqueurs d’ovule pour se diriger vers celui-ci, un moustique suit la plus forte pente de la courbe de luminosité d’un lieu pour remonter à la lampe qui émet la lumière etc. Dans toutes les situations, la descente (ou la remontée) du gradient permet de retrouver un minimum (ou un maximum). Dans le cas du ML, la descente de gradient est un déplacement dans l’espace des paramètres pour retrouver la configuration de l’algorithme d’exécution (le modèle) qui minimise l’erreur commise sur les données d’apprentissage. Cet algorithme d’apprentissage est d’une importance significative car on le retrouve aussi bien chez les connexionnistes (rétro-propagation de l’erreur), chez les analogistes (pour la régression et ses variantes comme Lasso) ou encore chez les Bayésiens (Mandt, Hoffman & Blei, 2017).

  • 2 Récemment, des courants connexionnistes ou analogistes ont eu recours à l’algorithme d’apprentissag (...)

22Reconnaissons que si le tableau de Domingos présente une version purifiée des approches pour des raisons didactiques, la pratique du ML révèle quant à elle beaucoup de porosité2. Dans ce tableau, deux groupes présentent ainsi un statut à part : les évolutionnistes se situent à un niveau méta-opérationnel difficile à prendre en compte comme modèle conceptuel si l’on veut le rapporter à des modèles sociaux (car ils ne travaillent en aucun cas sur un modèle évolutionniste du monde, levons cette éventuelle ambiguïté). Les bayésiens de leur côté se trouvent en fait mobilisés partout et à tout propos, car les probabilités sont devenues le nerf de la guerre de tout le ML pour traiter des données de moins en moins complètes ou propres, mais massives et traitées à la volée. Le modèle de raisonnement probabiliste est un maillon clé dans le choc culturel ressenti par les sciences sociales, à la fois dans sa dimension fréquentiste, plus facilement acceptable, et surtout dans sa dimension épistémique qui nous introduit à l’induction comme mode de pensée dominant.

  • 3 Aujourd’hui le réseau le plus profond comporte un millier de couches et des millions de neurones pa (...)

23Mais au terme de cet itinéraire, notre étude des comptes rendus des praticiens du Machine Learning nous conduira à insister sur la complexité. Et sur ce point, parmi les modèles conceptuels cités plus haut, la régression linéaire (de la famille des analogistes) et le deep learning (de la famille des connexionnistes) correspondent à deux extrêmes. La première, dans sa forme la plus simple, essaye de coller des mesures à une simple droite, recherchant la relation linéaire entre deux variables. On peut complexifier celle-ci en un premier niveau, en prenant par exemple une fonction en « S » au lieu d’une droite. La régression devient alors « logistique » et implémente une brique de base importante de l’apprentissage : le perceptron. On peut continuer dans la complexification, là où s’arrête pour l’instant la quasi-totalité des sciences sociales, en mettant plusieurs perceptrons les uns à côté des autres, leur donnant les mêmes entrées. On peut ainsi les faire apprendre en faisant émerger la spécialisation : un premier perceptron se retrouvera jugé sur sa capacité à quantifier l’importance de l'âge, un autre sur le statut matrimonial, etc. L’étape suivante de complexification consiste à mettre d’autres perceptrons en aval des précédents qui deviennent à leur tour des entrées (pour les premiers). Est alors constitué un réseau neuronal à deux couches. Le Deep Learning n’est rien d’autre que l’accumulation de plusieurs couches de neurones les unes par-dessus les autres. On appellera profondeur le nombre de ces couches3.

Des modèles du Machine Learning au travail ordinaire des Machine Learners

Approches internalistes et externalistes en étude des algorithmes : le choix des challenges Kaggle

24La présentation de Domingos est très fine, très bien documentée et très didactique. Cependant, les études de sciences et techniques (STS) (Callon et al., 1986 ; Vinck, 2007) ont permis de montrer la fécondité de méthodes empiriques qui sortent du modèle kuhnien des changements de paradigme pour documenter les pratiques de « la science en train de se faire » (Latour, 1990). Une question du même type se pose pour les études algorithmiques réalisées par les sciences sociales.

25Il faut pouvoir entrer dans le code et dans les principes logiques qui le gouvernent mais ne pas s’y limiter, car les pratiques des producteurs de ce code sont parfois fort éloignées de leurs discours, de leurs intentions ou des possibles à leur disposition, ce qui plaide pour une combinaison avec une approche externaliste. C’est ce que propose R. Kitchin (2017) quand il annonce :

It is most productive to conceive of algorithms as being contingent, ontogenetic, performative in nature and embedded in wider socio-technical assemblages.

26Le Machine Learning est en effet avant tout une pratique opérationnelle bien plus qu’une supposée philosophie, malgré le saut conceptuel indéniable que constitue l’apprentissage. Cela conduit d’ailleurs A. McKenzie (2017) à parler de « Machine Learners » combinant praticiens, données, machines et algorithmes.

27La réduction aux modèles conceptuels que propose Domingos doit donc être effectuée avec prudence d’autant plus que la délimitation même d’un algorithme ou de ses fonctions n’est pas si aisée. Une vision pragmatiste est essentielle pour saisir ce que fait un algorithme, qui n’existe qu’en train de se faire (sinon il reste un principe non actif dont l’agentivité restera faible).

28La difficulté méthodologique et culturelle vient sans doute de ce point clé : les algorithmes d’apprentissage s’épanouissent dans l’incertitude et sont capables de réviser sans cesse jusqu’à leurs principes mêmes parfois. Tous ces éléments plaident pour mettre à l’épreuve les modèles conceptuels du ML dans des situations, dans des activités observables. La tâche n’est guère aisée même si ce travail logique est aussi scriptural, il génère des traces, des documents que l’on peut exploiter. Mais chaque cas semble irréductible aux autres et une casuistique ne peut convenir pour discuter de ces modèles. Il se trouve qu’un cadre d’interaction sociale propre au milieu des chercheurs et développeurs en informatique s’est mis en place pour rendre cette comparaison possible : les challenges Kaggle.

  • 4 Dans la section 3, nous verrons comment la tâche « reconnaître un objet dans une image » est en fai (...)

29Cette compétition entre « data scientists » sur une plate-forme ouverte peut sembler un terrain artificiel sans doute rarement utilisé en sociologie. Or, l’artifice du défi, de la compétition, est intéressant pour notre propos car nous avons ainsi accès au compte rendu d’une pratique par les acteurs eux-mêmes, ce qui contribue à réduire les risques d’une approche trop internaliste de l’analyse de l’agency des algorithmes, de leur agentivité. Le site Kaggle héberge un blog qui publie des entretiens avec les gagnants. Ces comptes rendus, analogues à ce que l'ethnométhodologie peut exploiter, sont même comparables entre eux car réalisés sous contraintes identiques, puisqu’il s’agit de mettre en scène son exploration, ses erreurs mais aussi son habileté pour en sortir. Pour un même challenge, plusieurs gagnants publient leur journal ou leurs réponses à l’entretien, ce qui devient de plus en plus courant depuis 2015, car la réputation des gagnants est ainsi amplifiée. Ce compte-rendu public pourrait ainsi constituer un cas original et réflexif de « démonstration » dans le sens de C. Rosental (2009). Il est rarement complaisant car tout se passe dans la même communauté, ce qui permet de voir comment chacun a hésité, changé de voie ou emprunté. Enfin, le contexte de la compétition permet de suivre un travail sur des données réelles. Nous avons privilégié dans notre sélection les challenges qui pourraient entrer dans le champ des sciences sociales en évitant celles, nombreuses, qui se focalisent sur les données médicales ou encore celles qui portent sur la reconnaissance d’image en tant que telle, car, comme le montrent les travaux de Y. Le Cun, les avancées du Machine Learning doivent beaucoup aux travaux effectués sur ces jeux de données à base d’images4.

  • 5 Précisons, de plus, que les auteurs ont, à des titres divers, eu l’occasion de pratiquer certaines (...)

30Mais il faut aussi reconnaître que cette méthode externaliste, qui a permis de questionner radicalement nos principes de départ, nous évite d’avoir à enquêter dans un vaste contexte organisationnel qui ne nous permettrait pas de tracer tous les attachements ni de rendre compte des assemblages toujours uniques. Nous avons bien conscience que d’autres réalisent ce travail long et minutieux sur des terrains plus réalistes (par exemple Jaton, 2017 et Neyland, 2016) mais le prix à payer est alors une réduction de l’enquête à un environnement spécifique, sans comparaison possible et parfois avec une délimitation a priori de leurs méthodes par les équipes de terrain observées. Nous sommes ainsi dans la même contrainte que tout data scientist : réduire les dimensions tout en augmentant les observations de façon à apprendre de cette masse de cas, par le calcul ou dans notre situation par une comparaison raisonnée. Dans la mesure où nous souhaitons accéder à plusieurs modèles conceptuels de Machine Learning, l’approche par la compétition Kaggle a permis de trouver un bon compromis entre approches internaliste et externaliste5.

31Précisons enfin que la pratique des challenges, en particulier ceux proposés par la plateforme Kaggle, fournit une source de revenu pour les meilleurs compétiteurs, ceux qui se retrouvent suffisamment bien classés pour décrocher un prix en cash. Cependant, elle l’est beaucoup moins directement pour la majorité des apprentis data scientists qui forment cette communauté. La compétition est un prétexte d’apprentissage et d’aide à l’employabilité : le Machine Learning s’apprend par la pratique, et la plateforme permet de construire un portfolio de projets qui vient compléter un CV pour rendre un data scientist beaucoup plus attractif sur le marché du travail (Calonge et al., 2016).

Mise à l’épreuve empirique des challenges Kaggle : les limites d’une approche par les modèles

  • 6 GitHub.com est aujourd’hui la plus grande plateforme de partage de code informatique, avec plus de (...)

32Les exemples recueillis parmi les challenges Kaggle sont à vocation de compétition et ne développent donc pas tout l’assemblage nécessaire à la performance d’un algorithme dans un contexte organisationnel. Certaines modes peuvent être éphémères et dépendre de la disponibilité des librairies d’algorithmes sur GitHub6: ainsi l’usage de XGBoost s’est considérablement étendu pendant les challenges de 2015 et 2016. Parmi les 10 réponses aux challenges que nous avons étudiées de façon plus approfondie, deux classes de problèmes apparaissent.

  • 7 Challenge 1 : Dans cette compétition, Home Depot, entreprise de distribution pour l’équipement de m (...)

33La première porte sur des tâches de classification (cas des résultats du moteur de recherche de Home Depot ou cas du peintre7). Cette tâche est somme toute classique en sociologie et relève clairement d’une approche par structure. Les matrices de similarité doivent être calculées sur des sets de données comportant beaucoup de dimensions, beaucoup de features (mais pas nécessairement de très grandes quantités de cas pour l’apprentissage, ni rien de dynamique à mettre en œuvre). Les algorithmes utilisés relèvent de l’analogisme, comme les Nearest neighbors ou les random forests. Mais les compétiteurs n’ont pas hésité à revenir à des régressions linéaires quand c’était possible.

  • 8 Challenge 3 : le prix de l’immobilier n’est pas simplement explicable par quelques variables a prio (...)

34La seconde classe de problèmes porte sur des questions de choix, de préférences qui doivent déboucher sur des rankings (classements) multicritères (cas des prix des maisons ou cas de l’adoption d’un produit bancaire8). Dans ce cas, les modèles mobilisés sont le plus souvent là encore à base de régression mais aussi d’analyse multivariée, plus proche des approches symbolistes.

  • 9 Challenge 5 : La prédiction de résultats de la ligue universitaire de basketball aux États-Unis. Le (...)

35Cependant, une troisième classe de problèmes mérite d’être prise en compte, même si elle est un peu plus générale que les deux précédentes : elle consiste à approximer des fonctions. Pour une entrée donnée, on voudrait une estimation de la sortie. Dans l’exemple des matches de basket9, certains candidats ont ainsi tenté de prédire, étant donné l’identité des équipes en jeu, le score d’un match. La classification (première catégorie) peut alors être vue comme une restriction de cette tâche : passé un seuil, on classe l’input comme « défaite à domicile » ou « victoire à domicile ». De même, les questions de choix ou de préférences recourent souvent à l’approximation de fonction, avant d’appliquer un seuil : on approxime d’abord une fonction de score, et sur la base de ces scores on classe les préférences.

36Les spécialistes du ML qui participent aux compétitions Kaggle sont cependant extrêmement agnostiques quant aux approches qu’ils doivent adopter. Ainsi un data scientist qui passe de la régression au classificateur ne se pose pas de questions d’école a priori ou de modèles conceptuels : il teste ce qui pourrait marcher et accepte parfois d’être surpris par ces résultats. Ainsi des problèmes de classification pourraient être traités par de la régression alors que des questions de préférences et de ranking pourraient en fait être mieux traitées par un classificateur. Notre approche malgré tout quelque peu essentialiste ou internaliste des algorithmes est ainsi remise en cause par l’observation des pratiques des compétiteurs.

Suivre le travail des Kagglers, c’est souligner leur souci constant de la complexité algorithmique

37Nous devons suivre de plus près le travail de certains Kagglers pour comprendre mieux ce qui les fait agir, les choix qu’ils doivent effectuer et leur « raison computationnelle » (Bachimont, 1999) propre, sans pour autant présupposer qu’elle sera reliée à une quelconque préférence pour un modèle du social, pour les structures ou pour les préférences individuelles notamment (Boullier, 2017). Dans ce but, nous allons reprendre deux récits de Kagglers pour deux challenges différents et nous verrons émerger un souci constant, celui de l’échelle de complexité qui n’était pas du tout apparu à travers les correspondances entre modèles précédemment décrites.

Trouver le sweet spot, un challenge ordinaire pour les Machine Learners

38Le premier cas étudié est celui du Kaggler dansbecker10 qui prend pour prétexte le challenge de prédiction de prix de l'immobilier mentionné plus haut pour effectuer un tutoriel fort utile à l’observateur11.

39Il construit un arbre de décision et le complexifie en en augmentant progressivement la profondeur, c’est-à-dire le nombre de questions auxquelles l'algorithme de décision doit répondre par oui/non avant d'arriver en bas de l'arbre, soit à la décision finale (la « feuille » (leaf) de l'arbre). Un arbre de décision ayant une profondeur de 1 ne doit répondre qu'à une seule question, et séparera ainsi les données en deux groupes. Par exemple : les maisons ayant plus de 5 chambres, et les maisons ayant au plus 5 chambres. Un arbre ayant en revanche une profondeur de 10, séparera les données en 2x2x....x2 (10 fois) groupes, soit en 1024 groupes. Cet exemple permet de comprendre le dilemme overfitting/underfitting qui fait l’ordinaire des décisions de tout machine learner.

    • 12 Parfois aussi appelé « surapprentissage » dans la littérature francophone. Nous préférons le terme (...)

    Overfitting (surinterprétation12) s’explique ainsi : si on met trop de profondeur dans l'arbre de décision, c’est-à-dire si l’on décide sur la base de plusieurs critères, on se retrouve avec des « feuilles » contenant peu de maisons du training set (corpus d’apprentissage). La décision ainsi apprise se basera sur peu d'exemples et risque de trop coller au training set. Quand il s'agira de décider pour une nouvelle maison, absente du training set, il y a un grand risque de faire une erreur. L'algorithme de décision « sur-interprète » l'émergence d'un prix de l'immobilier en lui attribuant une complexité supérieure à sa réalité : il prend bien plus de critères en compte que ce que fait la réalité du marché.

  • Underfitting (sous interprétation) : dans l'autre extrême, si l'arbre de décision était de très faible profondeur, les feuilles seraient trop grandes et contiendraient trop de maisons différentes (des maisons en ruines et d'autres en parfait état se retrouveraient dans la même catégorie si on se contentait de les juger similaires uniquement par leur nombre de chambres). L'algorithme de décision ne capturera donc pas toute la complexité de l'émergence d'un prix pour une maison, car il se base sur très peu de critères.

40Entre ces deux extrêmes, il existe un « sweet spot », une profondeur suffisamment grande pour capturer la complexité de la réalité, mais pas trop grande pour ne pas sur-interpréter la situation offerte par le training set. Seul un training set très riche (d'où l’attrait et la fascination pour les Big Data) offre au data scientist la possibilité de « se permettre » de mobiliser un modèle complexe (grande profondeur de l’arbre de décision), sans pour autant provoquer de l’overfit, car les « feuilles » de l'arbre de décision contiendront chacune suffisamment d'exemples. Ce n'est rien d'autre qu'une nouvelle forme de rasoir d'Occam.

  • 13 Saba, W.S. (2018). Let's Not Forget the 'Science' in 'Computer Science'”, 02/2018, Blogs of the Com (...)
  • 14 LeCun, Y. (2017). My Take on Ali Rahimi's Test of Time Award Talk at NIPS. https://www2.isye.gatech (...)

41En fait, ce que nous observons, relève d’une évaluation de la complexité maximale du modèle permis par les données disponibles. Il s’agit alors d’évaluer la dimension VC (dimension Vapnik-Chernovenkis, que nous allons expliquer plus loin) d’un arbre de décision étant donnée sa profondeur, et la contrainte que cela pose sur la taille du training set nécessaire pour une profondeur donnée. Dans le cas des praticiens dont nous étudions les comptes rendus, cette connaissance conceptuelle est visiblement absente. Cela n’a rien d’étonnant car la théorie d’apprentissage de Vapnik-Chervonenkis n’a été compilée dans un manuel que vers les années 1990, et nombre de grands cours de Machine Learning du niveau Master ne l’abordent pas dans des cursus pourtant destinés à des scientifiques de la donnée. Cette situation se reflète dans les appels récurrents à ramener plus de rigueur à la pratique du Machine Learning. En février 2018, Walid S. Saba, entrepreneur industriel du Machine Learning exprimait sa désolation13 de ne retrouver, dans ses collaborations avec les universitaires du ML, que peu de science et beaucoup de « tâtonnement ». Pour caricaturer, l’industriel qu’il est exprime son besoin d’avoir en face de lui des scientifiques et non des bricoleurs qui ne lui apportent rien de différent de l’industrie et encore moins l’œil universitaire recherché. Du côté plus académique du débat, et lors de la 31ème conférence sur les Neural Information Processing Systems (la plus grande conférence scientifique du ML avec l’International Conference on Machine Learning (ICML)), le chercheur Ali Rahimi, de Google Brain, s’interrogeait lors de son discours d'acceptation du Test of Time Award : « Le Machine Learning est-il devenu de l’Alchimie ? », appelant la communauté à un retour à la rigueur mathématique, d’autant plus que le ML est appelé à régir des tâches de sensibilité majeure comme l’aviation ou le diagnostic médical. Cet appel a cependant provoqué une réaction importante d’un bloc défendant au contraire la liberté dans l’empirisme, bloc mené par Yann LeCun, co-inventeur des réseaux de neurones à convolution, qui lui appelait au contraire à ne pas dénigrer l’empirisme de la pratique du ML14. À cet effet, les data scientists sont conscients de la solution empirique du problème de sur-interprétation soulevé par la théorie de Vapnik-Chervonenkis, développée par les statisticiens et devenue aujourd’hui une pierre angulaire du Machine Learning : la validation croisée (cross-validation).

  • 15 Ne pas arrêter ces itérations mènera à l’overfitting, c’est d’ailleurs pourquoi dans la littérature (...)

42La technique de la validation croisée est une manière empirique pour trouver le « sweet-spot » mentionné plus haut, ce point où le modèle est suffisamment complexe pour décrire les nombreuses dépendances entre variables sans pour autant sur-interpréter plus que ce que permettent les données d’apprentissage disponibles. Cette technique consiste à garder une partie du training set, et au lieu de l’utiliser pour l’apprentissage du modèle, à en faire plutôt un outil de validation du modèle. Ainsi, on peut, pendant l’apprentissage, tester le modèle contre des données qu’il n’a pas utilisées pour apprendre, et vérifier sa capacité à généraliser. C’est la validation croisée. Tant que cette validation croisée donne des résultats qui s’améliorent, on peut continuer de complexifier le modèle, et/ou d’itérer l’algorithme d’apprentissage. Quand on observe que la validation croisée commence à donner une précision qui se dégrade, on arrête la complexification et les itérations de l’algorithme d’apprentissage15. D’un point de vue épistémologique, la validation croisée n’est rien d’autre qu’une mesure de reproductibilité des résultats obtenus sur le training set.

43Dans la suite des observations de Kagglers, nous allons voir ce schéma se reproduire. Le Kaggler augmente la complexité du modèle en ajoutant plus de neurones, plus de couches de neurones, plus de kernels à sa régression, plus de feuilles à son arbre de décision, etc., jusqu’à voir la qualité se dégrader avec la complexification. Cela le conduit à revenir à un modèle plus simple mais qui performe mieux. On observe ainsi des Kagglers surpris de voir une « modeste régression » battre des modèles de deep learning (réseaux de neurones), chose normalement prévisible pour des data scientists étant donnée la faible quantité de données dans leur set d’apprentissage.

Réduire et ou augmenter les dimensions

44Dans ce second compte rendu16 qui contient (comme souvent sur Kaggle) surtout des lignes de code, la Kaggleuse Valentina Scipione partage son expérience du dilemme overfitting/underfitting à travers le challenge des survivants du Titanic.

45Il consiste à prédire si un passager donné a survécu ou pas au naufrage. Le set d’apprentissage comporte des données collectées sur d’autres passagers : âge, sexe, classe de réservation dans le paquebot, numéro de cabine, nombre de frères/sœurs du passager aussi présents dans le Titanic, nombre de parents et la réponse à la question binaire : ces passagers ont-ils survécu ? Le modèle à construire devra trouver une fonction entre les données biographiques d’un passager (non nécessairement présent dans le set d'apprentissage) et sa survie ou non au naufrage. Le descriptif du dilemme complexification / simplicité qu’on a donné plus haut pour le cas du prix de l’immobilier se retrouve ainsi dans le compte-rendu de la Kaggleuse (d’où l’intérêt de cette situation rare où les algorithmiciens fournissent eux-mêmes le compte-rendu de leurs hésitations et de leurs décisions sur un mode narratif).

When creating the first decision tree the default arguments for max_depth and min_samples_split were set to None. This means that no limit on the depth of the tree was set. We are likely overfitting. This means that while our model describes the training data extremely well, it doesn't generalize to new data, which is frankly the point of prediction. We can improve the overfit model by making a less complex model.

  • 17 Plus encore, on sait mathématiquement (Valiant, 1984) que se fixer cela comme seul objectif conduit (...)
  • 18 Comme déjà mentionné plus haut, c’est littéralement un taux de reproductibilité d’une explication, (...)

46Dans cet extrait de blog, comme partout dans la littérature du Machine Learning, rendre compte très finement d’un dataset, c’est-à-dire proposer toutes les corrélations qui distribuent au mieux les données de façon systématique, n'apparaît pas constituer un objectif en soi17. L’important est de se servir de cet apprentissage pour pouvoir généraliser sur un nouveau dataset et donc prédire, à partir des corrélations trouvées sur le dataset d’apprentissage, des données qui n’ont pas servi à son apprentissage18. La question de l’apprentissage est clé, et la métrique de qualité d’un modèle est son taux de succès sur des données nouvelles, ce qui est un problème rarement traité jusqu’au bout en sciences sociales. Le chercheur en sciences sociales préférera travailler soit sur des données exhaustives (celles des recensements et des registres) ou représentatives ou il veillera à étendre ses observations à toutes les médiations d’une situation, d’un processus, qui sont autant de dimensions (variables) du problème. Si son problème s’y prête et qu’il souhaite faire appel au Machine Learning, il devra déléguer la recherche des corrélations en vue de généralisations aux data scientists qui, eux, pratiqueront les réductions nécessaires. Ces data scientists devront prendre les données et les dimensions définies par les sciences sociales comme terrain d’apprentissage et non comme finalité, pour viser une extension à des datasets non préalablement balisés. On mesure ainsi l’écart dans les ambitions scientifiques et dans les méthodes de travail mais aussi leur complémentarité potentielle. Tout se passe comme si le Machine Learning poussait à faire toutes les démarches de validation soi-même à condition précisément d’adopter une technique de validation croisée. Car dans le cas que nous venons de citer, la kaggleuse est consciente de son risque d’enfermement sur son dataset qui ne lui permet pas suffisamment d’apprendre pour transférer et pour généraliser sur de nouveaux datasets.

  • 19 La grande dimensionnalité en apprentissage est souvent traitée de « malédiction » (curse of dimensi (...)

47Si dans ce qui précède, la Kaggleuse avait pour souci d’éviter la sur-complexification du modèle, et ce en contraignant la profondeur des arbres de décisions par validation croisée, cela ne l'empêchera pas pour autant de « se permettre » une complexification très justifiée du modèle, et ce en augmentant sa dimensionnalité19 (le nombre de variables). Cette complexification est justifiée par « la touche de l’expert » du domaine. On voit ainsi que les pratiques du Machine Learning incorporent de nombreuses phases de justification des choix par une interprétation issue de la connaissance experte du domaine, dans ce cas précis du Titanic, par une interprétation plutôt issue du sens commun ou d’une expérience de pensée :

A valid assumption is that larger families need more time to get together on a sinking ship, and hence have lower probability of surviving. So we will add a new variable family_size, which is the sum of SibSp and Parch plus one (the observation itself), to the test and train set.

48Une lecture du code de la Kaggleuse montre que la variable SibSp désigne la taille de la fratrie embarquée, pendant que Parch désigne le nombre de parents (père et mère) embarqués. La Kaggleuse complexifie le modèle très légèrement en introduisant une nouvelle variable définie comme 1+SibSp+Parch (le passager + la fratrie + les parents) donnant une dépendance entre la survie d’un individu et la taille de sa famille embarquée. Si cet ajout de variables relève plus du bon sens (le temps d’attendre le rassemblement de la famille diminuant la chance de survie) que d’un avis d’expert, il reflète bien ce qui pourrait se passer pour des sociologues mobilisant le Machine Learning, tout en usant de leur expertise propre, afin de créer des variables pertinentes pour le sujet en question. C’est ici que l’on peut commencer à percevoir l’intérêt d’un couplage d’expertise, entre le spécialiste du domaine du point de vue des sciences sociales et le data scientist. Car la réduction de dimensions (ou ici leur augmentation) n’est pas affaire de recettes mais bien plutôt d’expérience et d’art nécessaires pour contourner l’overfit dans ce cas.

Générer des forêts aléatoires d’arbres de décision pour réduire les risques de surinterprétation

49Toujours sur les arbres de décision mais cette fois avec en plus des forêts aléatoires (random forests), le Kaggler joparga320 explore le dilemme overfitting/underfitting à travers le dataset des fleurs d’Iris provenant de trois espèces différentes. Il s’agit de l’un des jeux de données historiques en statistique, repris par le mathématicien Ronald Fisher en 1936 des travaux du botaniste Edgar Anderson. Pour les Kagglers (comme pour Fischer) il s’agit de relier l’espèce de la plante aux caractéristiques morphologiques de ses pétales.

50Avec les arbres de décision, le Kaggler commence par l’approche suivante : il ne met aucune restriction à la profondeur de l’arbre, et le laisse augmenter de profondeur à chaque fois qu’il détecte un nouveau critère de séparation entre des pétales, jusqu’à se retrouver avec un arbre qui fait une classe pour chaque élément du training set. Sans surprise, ce modèle prédit parfaitement le training set, mais échoue à chaque fois qu’on lui demande de se prononcer sur un pétale qu’il n’a pas rencontré dans le training set. Très classiquement, le Kaggler adopte donc la plus grande profondeur possible de l’arbre de décision avant que la qualité du modèle sur le test set ne commence à baisser. Empiriquement, cette profondeur qui correspond au sweet spot décrit plus haut se situe vers 4, c’est à dire qu’étant donné la taille de l’échantillon d’Iris disponible, l’arbre de décision idéal distingue les pétales avec une batterie de 16 (2x2x2x2) critères.

51Une méthode pour réduire l’overfitting des arbres de décision consiste à construire des random forests, des « forêts » qui prennent la moyenne (ou une autre forme d’agrégation : médiane, moyenne pondérée, etc.) des décisions prises par chaque arbre. Ceci permet d’atténuer l’erreur que pourrait commettre un arbre seul et baisse la variance de l’estimation. Toutefois, le prix à payer pour cette augmentation de qualité du modèle est une perte en interprétabilité. En effet, la décision d’un arbre de décision est facilement interprétable, avec des lectures de la décision de la forme :

le modèle donne le passager suivant pour mort dans le Titanic avec probabilité 99,85 % car il était dans la troisième classe tout en bas du paquebot, ce qui réduit ses chances de survie de 85 %, il était âgé de 95 ans, ce qui lui fait une réduction supplémentaires de XY %, en plus, il devait subir la cacophonie de la réunion d’une famille de 5 passagers, ce qui le place dans le groupe des WZ % qui ont eu le plus faible de taux de survie.

52La décision d’une random forest n’est toutefois pas aussi simplement formulable en langage humain dès lors qu’il faudrait combiner plusieurs dizaines d’arbres.

Les réseaux de neurones et l’échelle de complexité

53Le Kaggler sentdex livre dans ce quatrième cas21 une illustration de ce qui précède (cas des arbres de décision) sur des réseaux de neurones à convolution. La tâche est très scolaire et consiste à classer des images en « chien » et « chat ».

54Le Kaggler passe par des étapes totalement identiques à Valentina Scipione qui, elle, traitait du problème intuitivement plus « complexe » des passagers du Titanic, à ceci près qu’il faut remplacer « passager mort » par « chien », « passager survivant » par « chat » (ou inversement), et que le modèle utilise des réseaux de neurones plutôt qu’un arbre de décision. La complexification du modèle se fait par ajout de neurones et/ou de couches de neurones, et de manière analogue, un excès de complexité se retourne contre le kaggler passé un certain seuil qui constituera donc le sweet spot recherché. Une précision s’impose donc sur la question de la complexité : le problème « passagers du Titanic » est beaucoup moins "complexe" que celui de la classification des images de chiens et de chats. Aussi surprenant que cela puisse paraitre, le nombre de dépendances qu’il s’agit de trouver dans une image pour conclure sur ce qu’elle représente se compte en centaines de millions (le kaggler utilise un réseau de neurones d’une dimension VC de cet ordre), ce qui est bien au-delà des arbres de décision allant à un maximum de 1024 dépendances.

55L’échelle de complexité se trouve ainsi rendre compte des justifications pragmatiques des développeurs pour leur choix de famille d’algorithmes. Leurs raisons sont en effet très souvent liées à des questions de performance, ce qui englobe l’expressivité, le temps de calcul, le volume du dataset qui est souvent trop faible pour certains processus d’apprentissage mais dans le même temps bien adapté aux capacités des machines des candidats (aucun d’entre eux n’a à sa disposition les serveurs de Google ou de Facebook, ni leurs séries de données).

Travail des Kagglers et problématisation en sciences sociales

56Faisons alors le bilan de ce que ces comptes rendus de Kagglers nous ont appris en les comparant aux méthodes de travail des sciences sociales. N’y aurait-il pas une équivalence à trouver entre les méthodes opérationnelles trouvées par les Kagglers et celles des sciences sociales en train de se faire ? Partons de la façon de définir les problèmes. Le cas de Kaggle peut sembler caricatural puisque les problèmes sont fournis directement par les demandeurs qui apportent les datasets en même temps. Tout semble donc cadré, pré-arrangé sans que le Kaggler puisse entrer dans une véritable problématisation. Or, les sciences sociales semblent, de leur côté passer plus de temps à problématiser, c’est-à-dire à évaluer et à discuter le « bon cadrage » de la question qu’à chercher à mettre à l’épreuve les données recueillies.

57Prenons un problème comme les choix d’orientation scolaire qui ont fait couler beaucoup d’encre et déclenché beaucoup de polémiques entre courants de la sociologie. Les chercheurs peuvent se contenter des données disponibles telles que les statistiques de l’éducation nationale qui sont fournies sur de longues séries depuis des décennies. Cependant, ces données doivent être nettoyées, rendues commensurables, ce qui n’est pas toujours aisé lorsque les catégories (les sections par exemple) changent d’une époque à l’autre. Mais ce nettoyage, cette standardisation sont en fait partagées par tous les Machine Learners qui passent parfois plus de temps à construire un dataset propre qu’à le traiter. Cependant, une différence survient entre sciences sociales et data sciences lorsqu’il s’agit de choisir les méthodes à mettre en œuvre. Car malgré la capitalisation effectuée à travers toute la littérature scientifique, et cela dans les deux « disciplines », un choix délibéré d’approche est fait d’emblée et a priori par les chercheurs. Par exemple, ainsi que Boudon (1978) l’avait montré, on peut se contenter de rapprocher les appartenances sociales des élèves selon la profession des parents et les orientations adoptées avec les positions sociales effectivement obtenues. Mais on peut aussi mettre en relation les chances et les anticipations de ces parents selon l’état du marché du travail et le prestige, pour voir de façon dynamique comment certains auront réussi à déplacer ce déterminisme des origines sociales alors que d’autres arriveront en fait trop tard sur le marché du travail pour bénéficier des mêmes effets. Dans ces stratégies de recherche, c’est bien le problème qui est redéfini, avec un point de vue différent d’emblée puisque les préférences et les anticipations individuelles sont prises en compte ou non. Les datasets ne seront plus les mêmes puisqu’il faudra trouver d’autres sources pour évaluer notamment la répartition de la population active en catégories à diverses époques.

58Tout cela se passe cependant entre quantitativistes, les plus proches encore des data scientists (Boullier, 2018a). Il se trouve que d’autres courants des sciences sociales vont proposer de ne traiter que de cas précis, à travers des histoires de vie, des entretiens, par exemple. Les données dont ils vont disposer seront alors souvent très difficiles à comparer voire même à formaliser mais elles auront un avantage majeur pour la définition du problème : elles permettront de faire apparaitre des dimensions absentes des datasets et de poser des hypothèses sur le rôle joué par ce qu’on appellera souvent des médiations. Mieux même, certains courants comme la théorie de l’acteur-réseau (Law and Hassard, 1999 ; Michael, 2016 ; Akrich et al., 2006) sont avant tout concernés par le suivi des acteurs, de leurs pratiques, et de leurs capacités à donner sens à leurs activités (comme dans l’ethnométhodologie) ou tout au moins à faire tenir leurs choix (Boullier, 2018b). Les sciences sociales rendent compte ici de comportements de second degré car elles doivent intégrer dans leurs raisonnements la perception des acteurs et leurs comptes rendus. Plus subtile encore, l’attention prêtée aux médiations (et l’extension des dimensions du problème qui en résulte) pourra aller jusqu’au suivi détaillé du rôle joué par des dispositifs techniques ou sémiotiques. Dans le cas de l’orientation, ce pourrait être l’usage de taxonomies par les conseillers d’orientation, des tableaux de performance des élèves, des labels donnés à certains métiers ou à certains élèves qui finissent par faire exister une hiérarchie sociale au cas où elle n’aurait pas été déjà intériorisée dans d’autres instances de socialisation.

59Si l’on transpose au cas Kaggle du prix des maisons, cela voudrait dire refuser la formulation du problème et son cadrage par le commanditaire pour ajouter autant de dimensions que les observations peuvent laisser supposer pertinentes. Cela pourrait comporter des propriétés des maisons, mais aussi des variations dans la perception par les parties prenantes (puisqu’après tout la fixation d’un prix est une situation de communication) ou encore le rôle spécifique joué par les agents immobiliers et leurs caractéristiques et méthodes propres, ou enfin les effets des outils dont ils disposent, y compris ces aides à la décision équipées d’intelligence artificielle ! On le voit, la construction du dataset serait nettement plus lourde, parfois difficile à réaliser car certaines dimensions ne pourraient pas être documentées, et toujours susceptible d’une discussion avec les experts du domaine, qui ne seraient jamais laissés à l’extérieur de la démarche puisque leur rôle est essentiel dans la détection des « features ». Bien souvent, pour les sciences sociales, le seul fait de déboucher sur la mise en évidence du rôle d’autres médiations jusqu’ici invisibles ou ignorées suffit à générer un intérêt scientifique et une publication. On le voit, dans ce cas, le travail d’extension des dimensions et de construction des hypothèses ou du cadrage du problème constitue la tâche majeure pour les sciences sociales. Cependant, certaines d’entre elles comme la psychologie sociale ou cognitive ou l’économie ont déjà adopté des méthodes proches de celles des data sciences en acceptant de réduire les dimensions des problèmes pour entrer dans une accumulation d’observations (tall data et non plus fat data) permettant de mobiliser des statistiques. Parfois, elles se sont aussi orientées vers de la modélisation dans des environnements simulés avec finalement peu de données mais un protocole de mise à l’épreuve de quelques dimensions (cas de l’économie, notamment expérimentale).

60Les sciences sociales, malgré les prétentions et les postures, sont, elles aussi, prises dans des contraintes de faisabilité. Si l’on ne fait que quelques observations voire une monographie, ce n’est pas seulement par souci d’augmenter les dimensions du problème et de révéler un grain fin de médiations jusqu’ici ignorées. C’est aussi parce qu’il est rarement possible, dans le temps d’une enquête ou d’une thèse, d’étendre ce degré de détail à plusieurs environnements. L’anthropologie a pratiqué les monographies de façon approfondie et à un degré de détail rarement atteint en sciences sociales grâce à des méthodes d’immersion sur plusieurs années dans certains groupes sociaux bien localisés, mais ce travail était celui des ethnologues alors que l’anthropologue, lui, se charge d’effectuer les comparaisons, les validations croisées, les vérifications par extension et réduction de dimensions, comme on le voit chez Mauss ou Descola. La division du travail ainsi effectuée permet une capitalisation et une mise à l’épreuve. Dans tous les cas, ce sont les ressources disponibles qui auront présidé aux stratégies de recherche, l’équivalent des ressources de calcul nécessaires selon la complexité du problème. Notamment parce qu’il sera plus ou moins nécessaire de s’appuyer sur un grand nombre de cas et de procéder par comparaison à une large échelle. Cette contrainte du volume de données et du nombre d’observations est donc bien présente aussi chez les disciplines les plus qualitatives.

  • 22 Nous avons ainsi proposé d’étendre le « topofil de Boa Vista », le fameux article de Bruno Latour, (...)

61Certes, ce n’est pas ainsi que les sciences sociales se représentent habituellement leurs choix de méthodes et de techniques, la construction de leur problème et de leur terrain. Pourtant, toute problématisation reste dépendante d’une forme d’étude de faisabilité, pas toujours prolongée dans ses conséquences. Il serait donc possible d’imaginer une forme d’emprunt croisé : les data sciences pourraient emprunter le souci de la formalisation du problème que pratiquent les sciences sociales d’un côté, alors que de l’autre, les sciences sociales pourraient adopter une forme d’étude de faisabilité de leur façon de poser le problème qui le rendrait potentiellement plus aisément calculable ou tout au moins commensurable22 à travers des dispositifs de comparaison par exemple. Cette forme pragmatique d’interdisciplinarité pénètre ainsi au cœur des pratiques des chercheurs et leur permet ensemble d’affronter la question de la complexité algorithmique sans la considérer comme réservée aux sciences computationnelles. Pour cette raison, nous allons développer un peu plus en détail les fondements de cette complexité algorithmique, sous-estimée souvent dans les sciences computationnelles elles-mêmes.

Les échelles de complexité algorithmique

62Quelques précisions formelles sont nécessaires pour mieux situer l’importance de cette orientation vers les échelles de complexité. Gérard Berry (2008) disait à propos de l’intelligence artificielle « On dit : “Mais l’ordinateur sait jouer aux échecs.” Oui, ça prouve que les échecs sont un jeu facile, c’est tout ». Cela peut décevoir les amateurs d’échecs mais ce jeu est effectivement « facile » comparé par exemple au jeu de Go ou à la majorité des problèmes intéressants en sociologie, « facile » dans un sens que les mathématiques du XXème siècle ont bien défini : la complexité algorithmique.

63Un problème à coût exponentiel représente un extrême en termes de difficulté et d’in-tractabilité (traitement impossible) ; à l’inverse, un problème à coût constant représente un extrême de facilité et de tractabilité. Entre les deux extrêmes, les algorithmes linéaires (nombre d’opérations proportionnel aux nombres de données traitées) forment une sorte de frontière ; tout ce qui se trouve sous cette frontière est dit être “sous-linéaire” et est recherché comme solution aux problèmes qui doivent passer à l’échelle. Le passage à l’échelle n’est pas un simple problème opérationnel et il peut s’illustrer de la façon suivante : si un algorithme est sous linéaire, disons à coût logarithmique, traiter une base de données de 100 personnes prendra deux opérations, une base de 1000 prendra 3 opérations, et une base constituée des 7 milliards d’humains prendra moins de 10 opérations. Sur une machine moderne (traitant plus d’un milliard d’opérations par seconde, soit une fréquence du processeur de 1 Gigaherz), les réponses pour ces trois situations seront toutes obtenues en moins d’une seconde. Si maintenant on dispose d’un algorithme « sur-linéaire », qui s'exécute par exemple en un temps égal au cube du nombre de données, sur la même machine à 1 Ghz, la population de 100 personnes et la population à 1000 personnes seront toutes deux traitées en moins d’une seconde, alors que la population mondiale nécessitera mille milliards de milliards de secondes !

Figure 1 - Courbes comparatives de quelques classes typiques de complexité

Figure 1 - Courbes comparatives de quelques classes typiques de complexité

Si les ressources considérées sont le temps pour atteindre une solution, la zone grisée correspond à un temps d’attente supérieur à l’âge de l’Univers (~15 milliards d’années) avec des ordinateurs modernes capables de traiter environ un milliard d’opérations par seconde.

Source : élaboré par les auteurs

Figure 2 - Courbes comparatives de quelques classes typiques de complexité en ne gardant que les classes de complexité raisonnables

Figure 2 - Courbes comparatives de quelques classes typiques de complexité en ne gardant que les classes de complexité raisonnables

Seules les classes de complexité raisonnables sont gardées de la Figure 1, la zone grisée correspond (en temps) à une réponse obtenue en plus d’une heure de fonctionnement d’un ordinateur actuel. Si les ressources sont la quantité de données à stocker, on peut faire deux figures analogues où les zones grisées correspondent respectivement à une mémoire utilisant toute la matière disponible de l’univers observable (Figure 1) et à la capacité de stockage des ordinateurs modernes (Figure 2).

Source : élaboré par les auteurs

64Pour ces raisons, la classification des problèmes par leur complexité peut devenir utile pour les sciences sociales, d’autant plus lorsqu’il s’agit de savoir ce qui est et ce qui n’est pas traitable à grande échelle par une machine ou par des algorithmes du type de ceux du Machine Learning.

La complexité comme coût en temps et/ou en mémoire (Turing)

65La plus fondamentale des mesures de complexité prend sa source dans le théorème d’universalité connu sous le nom de « Thèse de Church-Turing » (Church, 1932, Turing, 1937). Dans les années 1930 et de manière assez indépendante, Alonzo Church, Alan Turing et Kurt Gödel ont défini des classes de fonctions « génériques » avant que les deux premiers n’aboutissent au théorème fondamental suivant :

Une fonction sur les nombres entiers est calculable par un être humain qui suit une procédure (un algorithme) - et en ignorant les limitations en ressources (temps et mémoire) - si et seulement si elle est calculable par une machine de Turing.

66« Calculable par une machine de Turing » peut être simplifié ainsi : réalisable par une procédure itérative – récursive – soit une procédure où il suffit de connaître la recette pour la génération 1, et la transition d’une génération N à la génération N+1. Ce modèle (la machine de Turing) possédant un caractère universel, il n’est plus besoin de créer une machine pour faire des additions, une autre machine pour tenir des arbres généalogiques de la population, puis encore une troisième pour jouer aux échecs etc. Une seule machine suffit : la machine universelle de Turing. Ce qui nous intéresse le plus dans la thèse de Church-Turing, c’est le passage sur les ressources illimitées (« et en ignorant les limitations en ressources »). En effet, la thèse de Church-Turing met en équivalence une machine de Turing et un humain qui a tout son temps et toute sa mémoire pour la dédier au problème en question. La mise en pratique de cette thèse motive la formalisation suivante de la complexité d’un problème (Hartmanis et Stearns, 1965) :

67Combien d’étapes logiques faut-il effectuer pour résoudre ce problème par une machine de Turing (i.e. par une procédure itérative) ? Combien faut-il mémoriser de données avant de donner une réponse ?

  • 23 Une ligne de recherche intéressante émerge récemment (Aaronson, 2008 ; Preskil, 2012 ; Dowek, 2016) (...)

68Il est important de noter que cette catégorisation des problèmes n’est pas subjective, elle résulte de l’universalité de la machine de Turing. Il est tout aussi important de noter que le mot « machine » induit en erreur : la thèse de Church-Turing est en fait plus une conceptualisation de ce qu’est un « raisonnement réalisable par un objet physique », quel que soit cet objet physique23, qu’une « mathématisation d’une simple machine, d’une calculatrice ». Malheureusement, c’est cette dernière association réductrice qui prévaut en dehors des cercles de l’informatique théorique et de la physique fondamentale, première discipline hors informatique à vraiment en saisir la profondeur. De plus, cette approche dispense d’une hypothèse sur les capacités de compréhension nécessaires (débat récurrent sur l’intelligence artificielle) dès lors que l’on veut traiter de problèmes calculables, comme le souligne D. Dennett (2017) qui désigne cela par le vocable « compétence sans compréhension » : tout problème qui peut être décomposé en opérations successives est réputé calculable et la machine de Turing qui l’effectue n’a aucun besoin de « compréhension » du problème, pas plus que le Machine Learner. Nous avons vu cependant que le travail ordinaire des kagglers est tissé de références à des compréhensions de bon sens ou expertes du domaine, ce qui indique bien que le Machine Learning ne devient opératoire dans la plupart des cas qu’en se transformant en un hybride « human-machine learning » et donc en redéfinissant les problèmes, leurs dimensions et les features qui peuvent être collectés.

La complexité comme longueur de la description la plus concise (Solomonoff/Kolmogorov)24

  • 24 Plus fréquemment appelée « complexité de Kolmogorov » sans mention de Solomonoff, qui l’a pourtant (...)

69Selon ce point de vue, la complexité d’un objet est la longueur de sa description la plus concise. Par abus, nous parlerons de la complexité de Solomonoff/Kolmogorov d’un problème en évoquant la longueur de l’algorithme le plus concis qui le résout. Pour saisir la pertinence de la définition de Solomonoff/Kolmogorov, prenons l’exemple de la réduction de dimensionnalité par analyse en composantes principales (ACP), que pratiquent couramment les sociologues. Cette méthode a été considérée pour se démarquer de 2120 autres équipes concurrentes quand il s'agissait de comprendre, dans les challenges Kaggle, quel attribut d’un produit chez Home Depot était important et quel autre avait moins de poids. Plus exactement, si la base de données des produits de Home Depot est constituée d’une liste contenant pour chaque produit un grand nombre d’attributs (prix, taille, poids, catégorie etc.), le data scientist est tenté d’opérer une ACP afin de réduire le nombre de paramètres à traiter. En faisant cela, il suppose (sans le formuler ainsi) que la complexité de Solomonoff/Kolmogorov du problème est plus petite que la formulation initiale. De manière surprenante (pour le Kaggler interviewé), ce sont les candidats qui n’ont pas recouru à l’ACP ou à d’autres techniques de pré-traitement consistant à réduire la dimensionnalité du problème qui ont fini dans le top 3 du classement. Cela veut tout simplement dire que Home Depot « connaît bien ses produits » et n’a pas d’attributs redondants dans ses catalogues. Autrement dit, la complexité de Solomonoff/Kolmogorov du problème n’est pas plus petite que la description déjà fournie par Home Depot (sinon la PCA aurait pu être utile).

70De manière complémentaire à la complexité de Solomonoff/Kolmogorov, Bennet introduit la mesure de complexité suivante : le temps d'exécution de l’algorithme le plus concis résolvant un problème. Il est très important de ne pas confondre cette complexité en temps avec celle de Kolmogorov ou d’y voir une quelconque relation avec celle de Turing ; cette dernière est définie comme le temps d'exécution de l’algorithme le plus rapide pouvant résoudre un problème. L’algorithme le plus court à formuler n’est pas forcément le plus rapide à exécuter.

La complexité due à la capacité expressive impose un nombre minimal de mesures (Vapnik-Chervonenkis, VC)

  • 25 Exemples d’une classe de modèles : « l’ensemble des arbres de décision à trois niveaux » ; « l’ense (...)

71Une dernière forme de complexité doit finalement intéresser les sciences sociales, particulièrement dans le contexte du recours au Machine Learning, la dimension VC. C’est aussi la plus technique à définir et on peut (en se limitant aux modèles conceptuels) se restreindre à la formulation intuitive suivante : étant donné un ensemble de points U, la dimension VC d’une classe de modèles25 sur U est le plus grand nombre de points U que cette classe peut séparer en des classes différentes. L’une des conséquences théoriques importantes de la dimension VC est qu’elle impose des bornes inférieures au nombre de données nécessaires pour l’apprentissage. Si ces données ne sont pas suffisamment abondantes, l’expressivité du deep learning ne pourra pas être mise à profit et il est plus pragmatique d’accepter la modeste performance d’une régression. Dans notre terrain, plusieurs Kagglers ont avoué avoir été “surpris” de voir la régression battre leur modèle de deep learning, ce qui n’a rien de surprenant quand on voit la taille limitée des datasets sur lesquels ils entraînent leurs modèles.

72En pratique, il est rare de pouvoir calculer exactement une complexité. Par contre, il est souvent faisable, et suffisant, d’avoir des bornes supérieures (pour juger une faisabilité) ou des bornes inférieures (pour conclure à une impossibilité). Ainsi un problème dont la complexité est minorée par une borne inférieure déjà trop grande est un problème intractable, pendant qu’un problème dont la complexité est majorée par une borne supérieure raisonnable est un problème qu’on peut résoudre en pratique.

  • 26 Les auteurs utilisent le terme « Machine Learning » pour distinguer les méthodes à haute complexité (...)
  • 27 lls vont même jusqu’à reprendre la critique de Ioannidis (2005) selon laquelle l’omniprésence des t (...)

73Lorsque Boelaert et Ollion (2018) veulent mettre à l’épreuve de façon comparée modèles paramétriques (régression linéaire) et Machine Learning26, il se trouve qu’ils entrent dans la discussion sur les échelles de complexité sans le dire tout en le faisant. Ainsi, le cas choisi, les déterminants des salaires en Suède est présenté comme le plus proche en volume de données de ce que le Machine Learning peut traiter. Or, il reste trop limité pour mobiliser les approches de Machine Learning qu’ils sélectionnent à savoir des random forests. A tel point que leur affirmation sur le rôle essentiel des p-value pour valider les modèles se trouve disqualifié, disent-ils, « à l’ère du Big Data puisque le grand nombre d’observations pousse la déviation standard vers 0 (et donc la p-value) » (p. 487)27. Ce qui invalide de fait l’argument selon lequel il ne peut y avoir de validation statistique avec le ML puisqu’il s’agit seulement d’un effet systémique de l’abondance des observations. Ils reconnaissent d’ailleurs plus loin la défiance généralisée qui a entachée les méthodes de tests de significations statistiques indépendamment de l’émergence du ML (p. 497). Mieux même, ils réduisent délibérément les dimensions et les données trop hétérogènes pour ne pas « défavoriser le modèle linéaire » (p. 486). Malgré ces méthodes et ces limites du dataset, les résultats fournis par les random forest se sont avérés tout aussi pertinents que l’approche linéaire, alors même qu’on a empêché délibérément le ML de donner le meilleur puisque les dimensions ont été délibérément réduites pour faciliter la comparaison avec le modèle linéaire. Cependant, les auteurs en tirent la leçon selon laquelle « lorsque les datasets sont trop petits, les procédures de ML ne peuvent pas remplir leur promesse d’approximation universelle » (p. 499). En effet, cette remarque tout-à-fait juste conforte notre insistance sur les échelles de complexité, puisqu’une frontière inférieure dans le volume de données peut rendre en effet inutilisables les techniques du ML. Cela veut bien dire que la question n’est pas une question de performance intrinsèque mais bien de nouvel environnement de quantification, qui fait émerger d’autres données, d’autres collecteurs, d’autres problèmes et d’autres méthodes en même temps (Boullier, 2019a). Mais le ML ne remplacera pas le travail statistique classique sur les bases de données du recensement car les données sont trop peu riches, ce seront donc d’autres problèmes, notamment liés à des traces de comportements, qui ne sont pas structuraux comme le sont les questions de revenus. C’est ce que nous défendons en parlant de générations de sciences sociales, qui ne s’annulent pas mais changent de points de vue sur le social (Boullier, 2017). Et les auteurs le reconnaissent lorsqu’ils indiquent que « en choisissant de se focaliser sur un aspect (modéliser), on perd nécessairement de vue l’autre aspect (produire des descriptions riches) » (p. 499). Ils admettent au bout de leur démonstration que « la régression paramétrique se voit délogée de sa position quasi monopolistique », et cela ne leur déplait pas, mais que « le ML ne remplit pas tout l’espace ouvert » (p. 501) ce qui est au fond une position raisonnable contre les tenants de la table rase.

  • 28 Leur critique à double aspect sur les promesses non tenues du Machine Learning et sur l’interprétab (...)

74Par ailleurs, leur critique sur l’interprétabilité rendue impossible par le ML tombe à plat puisqu’ils mentionnent eux-mêmes l’existence d’outils comme la « permutation importance » et la dépendance partielle pour rendre les résultats plus interprétables. Leur principal argument repose finalement sur l’absence de partage du paradigme de la prédiction dans la communauté statistique et sur l’absence de son enseignement dans les écoles. On conviendra qu’il s’agit là d’un problème de convention en cours de construction et que l’époque serait donc assez voisine chez les statisticiens de celle où ils refusaient l’échantillonnage, jusqu’à sa reconnaissance dans les années 3028.

Les échelles de complexité algorithmique comme nouvelle grille de lecture des modèles du ML et du social

75La compréhension de la pratique même des data scientists nécessite la prise en compte de la complexité algorithmique, car toutes leurs décisions soulèvent ces questions, tant en termes de choix d’algorithmes que de travail d’optimisation.

76Les conséquences sont importantes pour les sciences sociales qui, dès lors qu’elles veulent rendre leurs problèmes calculables ou commensurables, pourront définir l’échelle de complexité de leurs problèmes sans se contenter de choisir les outils disponibles sur l’étagère (les différents packages de R). Mais l’étude des comptes rendus des Kagglers nous a permis de comprendre que tout en mobilisant des algorithmes qui encapsulent des points de vue sur le social (Boullier, 2017), leurs choix de méthodes relèvent avant tout d’une forme de faisabilité selon l’échelle de complexité des problèmes, quel que soit l’approche adoptée, comme ce serait le cas en sciences sociales. Ainsi expliquer des effets de structure, au sens le plus durkheimien du terme, peut être sous linéaire ou exponentiel selon le type de problèmes. Rendre compte des choix individuels lors d’une élection ou lors d’une décision stratégique ne sera pas non plus identique en termes d’échelle de complexité quand bien même c’est, dans les deux cas, l’agentivité des individus et de leurs préférences qui fait l’objet de l’analyse et du calcul. Enfin la propagation de mèmes en « bursts and cascades » (Leskovec et al., 2009) peut radicalement varier en complexité selon que l’on ne s’intéresse qu’à des phénomènes de viralité ou que l’on prend en compte toutes les dérivations. Nous l’avons appris à nos dépens, lors d’une étude récente sur les conversations en ligne à propos des séries télévisées en commettant l’erreur de ne pas estimer la tractabilité du problème avant de lancer des algorithmes de Machine Learning : la petite taille de l’échantillon récupéré sur les réseaux sociaux rendait encore plus impossible la résolution du problème. Enfin, les échelles de complexité ne peuvent pas être réparties a priori selon les domaines, car cela voudrait dire que toutes les questions démographiques telles que les règles matrimoniales sont très simples par principe alors que les règles du marché du poisson vendu aux enchères dans les criées sont toujours complexes. Il est aisé de trouver, à l’intérieur de chaque domaine, des problèmes de complexité très différentes qui justifieraient d’une organisation différente de celle des domaines des disciplines ou des modèles conceptuels. Cependant, cela n’invalide pas l’intérêt d’une connaissance du domaine par le sociologue, au contraire.

  • 29 La méthode Lasso, d’usage courant dans la pratique de la sociologie quantitative, n’est en fait qu’ (...)

77Son rôle est important en effet, notamment lorsqu’il s’agit d’évaluer dans quelle mesure il faut prétraiter les données, les nettoyer, en vue d’une réduction de dimensions ou au contraire pour enrichir les sets de données et valider ainsi les algorithmes sélectionnés. Le rôle de l’expert, sociologue dans notre cas, est en effet de guider ce pré-processing, pour discriminer le fondamental du secondaire. Si on revient à la réduction de dimensionnalité évoquée dans la section sur la complexité de Kolmogorov, elle peut par exemple être une pratique à éviter quand les données sont décrites d’une manière déjà compacte (Home Depot), puisque tous les attributs sont pertinents. Et il se trouve que dans de nombreux problèmes traités par les sciences sociales, les activités sociales ont été déjà finement décrites, labellisées, rendues comparables par les acteurs eux-mêmes tant la quantification s’est étendue à tous les domaines de la vie sociale. Le chercheur peut certes toujours augmenter les dimensions à prendre en compte mais il peut aussi s’appuyer sur la connaissance fine du domaine par les acteurs et s’appuyer sur leur façon de poser le problème pour le calculer autrement. Dans un contexte similaire, quand on craint « l’under-fit » (modèle très peu riche par rapport au problème), il peut être utile d’enrichir les données en ajoutant des « features » comme le carré des valeurs, leurs logarithmes, ou tout autre forme de non-linéarité calculée à partir des mesures brutes. Dans les challenges Kaggle, les gagnants de challenges où les données n’étaient pas redondantes ont eu recours à ce type de « feature augmentation » (Home Depot, Painters by Numbers, House Pricing). La contribution d’un expert (ou d’un chercheur en sciences sociales) sera toujours utile pour que le ML utilise le modèle le moins complexe (rasoir d’Occam29) tout en étant le plus expressif (la plus grande VC dimension possible), autrement dit le moins gourmand en données et le plus interprétable possible.

78Le travail de comparaison entre solutions Kaggle montre cependant des cas où le travail de ML est déconnecté de la réalité du problème, qu’il soit immobilier, sportif ou bancaire, sans aucun apport d’un expert du domaine. Mais une autre déconnexion apparaît, celle entre praticiens (ingénieurs de la donnée) et la théorie mathématique. Certains gagnants de ces challenges Kaggle parlent ainsi d’outils comme R, XGBoost ou encore Keras, pour désigner leur « modèle », au lieu de parler de « régression » ou de « gradient boosting ». Cela revient en fait à parler de modèle « Casio » pour désigner un calcul de cosinus par une calculatrice de marque Casio, ou de « modèle bancaire Microsoft Office » pour simplement évoquer un calcul d’intérêts composés. Cela s’ajoute à la surprise ressentie par certains kagglers quant au succès d’une simple régression face aux modèles complexes. Nous dirons que lorsque la théorie mathématique (data science) est ignorée au profit du data engineering, la boite noire fonctionne comme mystification pour les data engineers eux-mêmes. Cela conforte l’opacité du Machine Learning pour le public comme pour les utilisateurs avertis. D’autant plus lorsqu’ils se passent aussi des experts du domaine pour réduire ou augmenter les dimensions à prendre en compte.

Conclusion

79L’étude des comptes rendus des pratiques du ML (approche externaliste) permet de corriger la description des modèles conceptuels que fait Domingos (approche internaliste). Les environnements de production des data scientists sont beaucoup plus variés et influents que ne pourrait le laisser croire une scientificité désincarnée. Observer le Machine Learning « en train de se faire » constitue donc un travail empirique indispensable et permet de le réencastrer dans ses milieux.

80Notre approche s’est limitée à un site très particulier, celui des compétitions Kaggle, le plus grand rassemblement de praticiens du ML à ce jour (Carpenter, 2011). Cela nous a permis de réviser beaucoup d’a priori et de déplacer les questions que nous nous posions sur les relations entre sciences sociales et ML. L’essentiel du travail observable de data scientists relève d’une adaptation à l’échelle de complexité des problèmes et à leurs ressources. Nous en tirons plusieurs leçons pour les sociologues qui revendiquent la spécificité de leur activité scientifique tout en acceptant de saisir les propositions radicalement nouvelles apportées par les data sciences.

  1. Les chercheurs en sciences sociales, grâce à leur connaissance accumulée en tant que discipline et à leur expertise dans des domaines spécifiques, sont des contributeurs indispensables pour les entreprises nouvelles de réflexivité sociale qui se mettent en place hors du monde académique, pour ces firmes et ces data scientists qui deviennent les conseillers des princes qui nous gouvernent. Cependant, il ne faut pas perdre de vue le changement que le Machine Learning introduit dans la numérisation : avant le ML, la force du modèle était du côté du meilleur algorithme (dicté par le meilleur expert), avec le ML, le volume des données est une condition nécessaire à cette force (conséquences de la VC dimension), et l’expert seul ne pourra prétendre remplacer le besoin en données pour guider le modèle.

  2. Le rôle des chercheurs en sciences sociales peut tout autant porter sur la définition des catégories qu’ils sont habitués à discuter hors de tout positivisme, au moment de la construction du problème que sur le choix de réduire ou d’augmenter les dimensions à traiter selon les domaines concernés. Les sciences sociales ne se réduisent pas à l’anti-réductionnisme critique des méthodes de calcul imposées par les data sciences. Elles pratiquent elles-mêmes des réductions contrôlées de leurs échantillons et des dimensions des modèles qu’elles appliquent et peuvent très bien entrer dans cette discussion grâce à leur expertise propre tout en admettant de mieux les calculer selon leur échelle de complexité.

  3. Les sciences sociales pourraient s’inspirer des échelles de complexité des problèmes qu’elles traitent pour se poser la question de la faisabilité a priori de leurs travaux Cette formalisation les aiderait (pour celles qui veulent aller jusqu’à la calculabilité) à sélectionner parmi l’offre des algorithmes du Machine Learning et leur permettrait de discuter avec d’autres domaines de recherche qui utilisent des méthodes identiques pour des problèmes totalement différents.

  4. Dans toute cette démarche, se jouera une mutation culturelle non négligeable qui consiste à accepter que par définition, si besoin d'apprentissage il y a, c'est par manque de connaissance et que tout ne peut qu’être approximé a priori, y compris la complexité des modèles avec lesquels cette approximation devra être faite. Si l’on atteint un niveau de connaissance de l’objet à apprendre qui permet de connaître exactement cette complexité, c’est que l’on peut se passer d’apprentissage en premier lieu. Cette culture de l’apprentissage (et de la méthode inductive qui l’accompagne) mériterait un autre article car elle constitue à coup sûr un saut culturel qui demande une prise de risque considérable pour toutes les sciences sociales.

Haut de page

Bibliographie

Akrich, M., Callon, M., & Latour, B., (2006). Sociologie de la traduction. Textes fondateurs. Paris : Presses des Mines.

Alvarez, R.M. (ed.) (2016). Computational Social Sciences. Discovery and Prediction. New-York: Cambridge University Press.

Bachimont, B., (1999). L'intelligence artificielle comme écriture dynamique : de la raison graphique à la raison computationnelle. In J. Petitot, (éd.). Au nom du sens. Paris : Grasset.

Benbouzid, B., & Cardon, D. (2018). Machines à prédire. Réseaux, 211(5), 9-33.

Berry, G., (2008). Pourquoi et comment le monde devient numérique. Fayard : Collection Collège de France.

Blanchard, P., El Mhamdi, E.M., Guerraoui, R., & Stainer, J. (2017). Machine learning with adversaries: Byzantine tolerant gradient descent. In Advances in Neural Information Processing Systems (pp. 119-129).

Boelaert, J., & Ollion, É. (2018). The Great Regression: Machine Learning, Econometrics, and the Future of Quantitative Social Sciences. Revue française de sociologie, 59(3), 475-506.

Boudon, R., (1978). L’inégalité des chances. Paris : Arthème Fayard.

Boullier, D. (2015). Les sciences sociales face aux traces du Big Data. Société, opinion ou vibrations ? Revue Française de Science Politique, 65(5-6), 805-828.

Boullier, D. (2017). Big data challenges for social sciences: from society and opinion to replications, ISA esymposium, 7(2). http://www.sagepub.net/isa/admin/ebulletin-articles.aspx

Boullier, D., (2018a). Distribution du pouvoir d’agir des entités sociales dans les études informatiques sur Twitter. Sociologie et Sociétés, 49(2), 113-136.

Boullier, D. (2018b). Medialab stories: How to align actor-network theory and digital methods. Big Data & Society, 5(2), 1-13. https://doi.org/10.1177%2F2053951718816722.

Boullier, D. (2019a). Sociologie du numérique. Paris : Armand Colin (collection U) (2nde édition).

Boullier, D. (2019b). Replications in quantitative and qualitative methods: a new era for commensurable digital social sciences. https://arxiv.org/abs/1902.05984.

Breiman, L. (2001). Statistical Modeling: The Two Cultures. Statistical Science, 16(3), 199-215.

Callon, M., Law, J., & Rip, A. (eds.) (1986). Mapping the Dynamics of Science and Technology. London: MacMillan.

Calonge, D., & Aman Shah, M. (2016). MOOCs, Graduate Skills Gaps, and Employability: A Qualitative Systematic Review of the Literature. The International Review of Research in Open and Distributed Learning, 17(5). https://doi.org/10.19173/irrodl.v17i5.2675.

Cardon, D., Cointet, J.P., & Mazières, A. (2018). La revanche des neurones : L’invention des machines inductives et la controverse de l’intelligence artificielle. Réseaux, 211(5), 173-220.

Carpenter, J. (2011). May the best analyst win. Science, 331(6018), 698-699.

Church, A. (1932). A set of postulates for the foundation of logic. Annals of mathematics, 33, 346-366.

Daston, L. (1989). L’interprétation classique du calcul des probabilités. Annales ESC, 3(mai-juin), 715-731.

Dennett, D. (2017). From Bacteria to Bach and back. London: Penguin Books.

Desrosières, A., (1993). La politique des grands nombres. Histoire de la raison statistique. Paris : La Découverte.

Domingos, P. (2015). The Master Algorithm. How The Quest For The Ultimate Learning Machine Will Remake Our World. New-York: Basic Books.

Dourish, P. (2016). Algorithms and their others: Algorithmic culture in context. Big Data & Society, 3(2). https://doi.org/10.1177/2053951716665128

El Mhamdi, E.M., Guerraoui, R., & Rouault, S. (2018). The Hidden Vulnerability of Distributed Learning in Byzantium. Proceedings of the 35th International Conference on Machine Learning, PMLR 80:3521-3530.

Elsken, T., Metzen, J. H., & Hutter, F. (2019). Neural Architecture Search: A Survey. Journal of Machine Learning Research, 20(55), 1-21.

Hacking, I., (2002). L’émergence de la probabilité. Paris : Le Seuil.

Hartmanis, J., & Stearns, R. E. (1965). On the computational complexity of algorithms. Transactions of the American Mathematical Society, 117, 285-306.

Huang, L., Joseph, A. D., Nelson, B., Rubinstein, B. I., & Tygar, J. D. (2011). Adversarial machine learning. Proceedings of the 4th ACM workshop on Security and artificial intelligence. 43-58.

Ioannidis, J.P.A. (2005). Why Most Published Research Findings are False, Plos Medicine, 2(8), e124. https://doi.org/10.1371/journal.pmed.0020124

Jaton, F. (2017). We get the algorithms of our ground truths. Social Studies of Science, 47(6), 811-840. https://doi.org/10.1177/0306312717730428

Jaton, F., & Vinck, D. (2016). Ce que les data font faire aux SHS (et vice-versa) : processus frictionnels de mises en bases de données. Revue d'Anthropologie des Connaissances, 10(4), 489-504. https://doi.org/10.3917/rac.033.0489

Kitchin, R. (2017). Thinking critically about and researching algorithms. Information, Communication and Society, 20(1), 14-29.

Latour, B., (1990). La science en action. Paris : La Découverte.

Law, J., & Hassard, J. (eds) (1999). Actor network theory and after. Oxford England Malden, Massachusetts: Blackwell/Sociological Review.

Leskovec, J., Backstrom, L., & Kleinberg, J. (2009). Meme-Tracking and the dynamics of the news cycle, ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD).

Mandt, S., Hoffman M., & Blei, D. (2017). Stochastic Gradient Descent as Approximate Bayesian Inference. https://arxiv.org/abs/1704.04289.

Maturana, H., & Varela, F. (1994). L’arbre de la connaissance. Racines biologiques de la connaissance humaine. Paris : Addison-Wesley France.

Méadel, C., & Sire, G. (2017). Les sciences sociales orientées programmes : État des lieux et perspectives. Réseaux, 206(6), 9-34.

McKenzie, A., (2017). Machine learners: archaeology of a data practice. Cambridge, MA: MIT Press.

Michael, M. (2016). Actor-Network Theory: Trials, Trails and Translations. London: Sage.

Neyland, D (2016). Bearing Account-able Witness to the Ethical Algorithmic System. Science, Technology & Human Values, 41(1), 50-76.

Norman, D.A. (1988). The psychology of everyday things. New-York: Basic Books.

Norman, D.A. (1999). Affordances, Conventions and design. Interactions, VI(3), 38-43.

Rosental, C., (2009). Anthropologie de la démonstration. Revue d’Anthropologie des Connaissances, 3(2), 233-252. https://doi.org/10.3917/rac.007.0233

Supiot, A., (2015). La gouvernance par les nombres. Paris : Fayard.

Turing, A., (1937). On computable numbers, with an application to the Entscheidungsproblem. Proceedings of the London mathematical society, 2(1), 230-265.

Valiant, L. G. (1984). A theory of the learnable. Communications of the ACM, 27(11), 1134-1142.

Vinck, D. (2007). Sciences et société. Sociologie du travail scientifique. Paris : A. Colin.

Haut de page

Notes

1 Précisons que la question de la complexité que nous abordons ici ne doit pas être confondue avec les théories de la complexité liées au systémisme, comme le font Edgar Morin ou Jean-Louis Le Moigne par exemple, ni d’autres théories propres à des disciplines particulières des sciences physiques ou naturelles. Elle doit être aussi distinguée de l’usage vulgaire du terme « complexe » souvent confondu avec « compliqué » ou encore avec « épineux », qui fait entrer dans le domaine de la décision. Notre définition est purement formelle et s’inscrit dans la tradition mathématique des échelles de complexité que Turing a inaugurée. Elle présente une dimension très pratique, quasiment analogue à une étude de faisabilité formalisée mathématiquement. La complexité dont nous traitons sera celle des problèmes et non celle du monde.

2 Récemment, des courants connexionnistes ou analogistes ont eu recours à l’algorithme d’apprentissage évolutionniste (tout en gardant un algorithme d’exécution propre à eux, à savoir des réseaux de neurones pour les connexionnistes). Duggan, K.J., & Howley, E. (2017). Neural network topology and weight optimization through neuro differential evolution. Proceedings of the Genetic and Evolutionary Computation Conference Companion. ACM.

3 Aujourd’hui le réseau le plus profond comporte un millier de couches et des millions de neurones par une équipe de chercheurs chez Microsoft.

4 Dans la section 3, nous verrons comment la tâche « reconnaître un objet dans une image » est en fait bien plus compliquée pour un ordinateur que ne l’est la tâche « battre le champion du monde aux échecs Gary Gasparov avec une technologie de 1997 » ou « prédire le prix d’un bien immobilier à Paris l’année prochaine ».

5 Précisons, de plus, que les auteurs ont, à des titres divers, eu l’occasion de pratiquer certaines des méthodes ici décrites et qu’ils ont donc pu juger de la qualité des comptes rendus par comparaison avec leur expérience, à la fois académique et industrielle.

6 GitHub.com est aujourd’hui la plus grande plateforme de partage de code informatique, avec plus de 96 millions de dossiers déposés, contenant plus d’un milliard et 100 millions de fichiers de code (source : https://octoverse.github.com )

7 Challenge 1 : Dans cette compétition, Home Depot, entreprise de distribution pour l’équipement de maison (bricolage, jardinage, construction) offre 40 000$ à celle parmi les 2125 équipes de Kagglers qui améliorera la pertinence de son moteur de recherche de produits. Les compétiteurs ont pour mission de développer un modèle qui estime la probabilité d’achat d’un produit donné, à partir d’une requête d’utilisateur.

Challenge 2 : Le but de ce challenge est d’apprendre à reconnaître l’auteur d’un tableau parmi 23 817 œuvres à partir d’un set d’apprentissage de 1584 peintres et 79 433 œuvres. Cette compétition relève de la frontière entre data science pour la désanonymisation et vision par ordinateur (Computer Vision).

8 Challenge 3 : le prix de l’immobilier n’est pas simplement explicable par quelques variables a priori déterminantes comme le nombre de chambres ou la superficie. Il est ainsi demandé aux candidats de construire des modèles tenant compte, en plus de ces variables, de 82 autres facteurs allant de la forme du lot immobilier (carré régulier, rectangle allongé, polygone irrégulier…), à sa situation (coin de rue, cul de sac, intérieur de rue…), au style du toit, au nom du quartier, à l’année de construction, à la présence d’une piscine ou non (avec éventuellement sa superficie), à l’année de vente, au type de garage (au sous-sol ou au niveau de la rue ou à l’extérieur…), etc. Les participants doivent trouver l’algorithme qui rendra compte des prix de vente effectivement observés (set d’apprentissage) et qui prédira les prix sur un nouveau set de données.

Challenge 4 : la banque Santander a mis en jeu 60 000$ pour 1787 équipes de compétiteurs qui avaient pour mission de construire des systèmes de recommandation de produits bancaires aux clients. Ce système de recommandation prend en entrée 24 caractéristiques d’un client allant de l’âge, la date de première ouverture de compte ou le revenu jusqu’au canal par lequel le client a été amené à ouvrir un compte chez Santander. En sortie, ce système devra faire une prédiction sur le produit auquel le client va souscrire au 28 Mai 2016 ainsi que sur les produits auxquels le client avait déjà souscrit avant cette date.

9 Challenge 5 : La prédiction de résultats de la ligue universitaire de basketball aux États-Unis. Les candidats sont amenés à construire des modèles de prédiction de probabilité de résultats pour les 4 années précédentes (résultats connus et permettant de tester le modèle). De plus, ils doivent fournir les mêmes prédictions pour les matches de 2017 avant qu’ils aient lieu. Pour ce faire, les candidats disposent de l’historique 2003-2016 des équipes. Ainsi, pour chaque couple d’équipes s’étant rencontrées dans le passé, le candidat dispose de 7 informations couvrant le jour de la rencontre, la saison, l’équipe gagnante lors de cette rencontre, le score, la durée du temps additionnel dans la rencontre ainsi que l’information binaire indiquant si l’équipe gagnante jouait à domicile ou à l’extérieur.

10 Aujourd’hui à la tête du service de formation continue « Kaggle Learn ». https://www.kaggle.com/dansbecker

11 https://www.kaggle.com/dansbecker/underfitting-overfitting-and-model-optimization

12 Parfois aussi appelé « surapprentissage » dans la littérature francophone. Nous préférons le terme surinterprétation en ce qu’il est plus porteur du côté négatif du phénomène, qui donne lieu à un excès d’interprétation au sens contraire de ce que suggère le rasoir d’Occam.

13 Saba, W.S. (2018). Let's Not Forget the 'Science' in 'Computer Science'”, 02/2018, Blogs of the Communications of the ACM. https://cacm.acm.org/blogs/blog-cacm/225148-lets-not-forget-the-science-in-computer-science/fulltext

14 LeCun, Y. (2017). My Take on Ali Rahimi's Test of Time Award Talk at NIPS. https://www2.isye.gatech.edu/~tzhao80/Yann_Response.pdf

15 Ne pas arrêter ces itérations mènera à l’overfitting, c’est d’ailleurs pourquoi dans la littérature francophone, l’overfitting est souvent appelée « sur-apprentissage », ce qui peut être déroutant comme terme, vu que l’apprentissage est un objectif bénéfique; on préfèrera à ce terme la variante « sur-interprétation » ou simplement l’anglicisme « overfitting » qui décrit mieux la réalité du phénomène: avoir un modèle trop complexe qui finit par surtout sur-interpréter les données d’apprentissage et à trop s’adapter (fit) à ceux-ci.

16 https://www.kaggle.com/valentinascipione/titanic-prediction-with-decision-trees

17 Plus encore, on sait mathématiquement (Valiant, 1984) que se fixer cela comme seul objectif conduit inéluctablement à la sur-interprétation, et réduit drastiquement la capacité de généraliser à de nouvelles données.

18 Comme déjà mentionné plus haut, c’est littéralement un taux de reproductibilité d’une explication, soit du modèle de ML utilisé, et il nous semble important d’insister dessus.

19 La grande dimensionnalité en apprentissage est souvent traitée de « malédiction » (curse of dimensionality) et fait récemment l’objet d’un regain d'intérêt sur son lien avec la « fragilité » (Huang et al., 2011) du Machine Learning. Nous avons récemment démontré les vulnérabilités dues à la dimensionnalité (El Mhamdi et al., 2018) ainsi que l’intractabilité (Blanchard et al., 2017) des failles qu’elles induisent dans les modèles à grande dimension. Ailleurs, « L'apprentissage face à la malédiction de la grande dimension » est par exemple le titre du cours 2017-2018 de Stephane Mallat au Collège de France).

20 https://www.kaggle.com/joparga3/4-understanding-overfitting-in-trees-rf?scriptVersionId=534661

21 https://www.kaggle.com/sentdex/full-classification-example-with-convnet

22 Nous avons ainsi proposé d’étendre le « topofil de Boa Vista », le fameux article de Bruno Latour, pour le rendre commensurable (Boullier, 2019b).

23 Une ligne de recherche intéressante émerge récemment (Aaronson, 2008 ; Preskil, 2012 ; Dowek, 2016) et porte sur la « thèse physique de Church-Turing ». Cette thèse part de la remarque simple que l’Univers ne peut violer la thèse de Church-Turing dans ses manifestations. Ainsi « réalisable physiquement » n’est rien d’autre que « réalisable par une machine de Turing ».

24 Plus fréquemment appelée « complexité de Kolmogorov » sans mention de Solomonoff, qui l’a pourtant publiée 5 ans plus tôt.

25 Exemples d’une classe de modèles : « l’ensemble des arbres de décision à trois niveaux » ; « l’ensemble des réseaux de neurones à 5 couches et 16 neurones par couche », etc. Une classe peut être vue comme l’ensemble des variations du modèle en ne changeant que les paramètres sans changer l'architecture (nombre de neurones, nombre de couches, etc.).

26 Les auteurs utilisent le terme « Machine Learning » pour distinguer les méthodes à haute complexité (ex : réseaux de neurones) des méthodes à faible complexité (ex : régressions). Dans la littérature informatique, ces dernières relèvent aussi du Machine Learning et la distinction se fait uniquement sur le plan de la complexité telle que nous venons de l’expliquer. Une régression est formellement elle aussi un réseau de neurones (à une seule couche) et un réseau de neurone est une sorte de régression multiple.

27 lls vont même jusqu’à reprendre la critique de Ioannidis (2005) selon laquelle l’omniprésence des tests de validation statistique ont entrainé la publication de résultats faux dans la plupart des cas. (p. 500).

28 Leur critique à double aspect sur les promesses non tenues du Machine Learning et sur l’interprétabilité impossible peut se retrouver aussi chez Benbouzid et Cardon (2018) dans leur introduction au numéro de Réseaux sur les machines prédictives. Notre propos n’invalide pas ces points de vue mais prétend montrer tout ce qu’il y a à apprendre pour les sciences sociales et pour les data sciences réciproquement dans toutes ces techniques… d’apprentissage.

29 La méthode Lasso, d’usage courant dans la pratique de la sociologie quantitative, n’est en fait qu’une régression à laquelle on applique le rasoir d’Occam : on contraint les coefficients de la régression à ne pas dépasser une certaine borne afin de privilégier les modèles simples par rapport aux modèles complexes.

Haut de page

Table des illustrations

Titre Figure 1 - Courbes comparatives de quelques classes typiques de complexité
Légende Si les ressources considérées sont le temps pour atteindre une solution, la zone grisée correspond à un temps d’attente supérieur à l’âge de l’Univers (~15 milliards d’années) avec des ordinateurs modernes capables de traiter environ un milliard d’opérations par seconde.
Crédits Source : élaboré par les auteurs
URL http://journals.openedition.org/rac/docannexe/image/4260/img-1.png
Fichier image/png, 52k
Titre Figure 2 - Courbes comparatives de quelques classes typiques de complexité en ne gardant que les classes de complexité raisonnables
Légende Seules les classes de complexité raisonnables sont gardées de la Figure 1, la zone grisée correspond (en temps) à une réponse obtenue en plus d’une heure de fonctionnement d’un ordinateur actuel. Si les ressources sont la quantité de données à stocker, on peut faire deux figures analogues où les zones grisées correspondent respectivement à une mémoire utilisant toute la matière disponible de l’univers observable (Figure 1) et à la capacité de stockage des ordinateurs modernes (Figure 2).
Crédits Source : élaboré par les auteurs
URL http://journals.openedition.org/rac/docannexe/image/4260/img-2.png
Fichier image/png, 45k
Haut de page

Pour citer cet article

Référence électronique

Dominique Boullier et El Mahdi El Mhamdi, « Le machine learning et les sciences sociales à l’épreuve des échelles de complexité algorithmique »Revue d’anthropologie des connaissances [En ligne], 14-1 | 2020, mis en ligne le 01 mars 2020, consulté le 30 mars 2020. URL : http://journals.openedition.org/rac/4260

Haut de page

Auteurs

Dominique Boullier

Professeur des universités en sociologie à l’Institut d’Etudes Politiques de Paris (Sciences Po), chercheur au CEE (Centre d’Etudes Européennes et de Politique Comparée). Docteur en sociologie (EHESS), HDR en Infocom, diplômé de linguistique. Il a été professeur notamment à l’Université Technologique de Compiègne (UTC) et à l’École Polytechnique Fédérale de Lausanne (EPFL). Il a dirigé et créé plusieurs laboratoires (Costech, UTC, Lutin, Cité des Sciences, Lares Rennes, médialab de SciencesPo).
https://orcid.org/0000-0003-2080-6434

Adresse : Sciences Po, 27 rue Saint Guillaume, FR-75007 Paris
Courriel : dominique.boullier[at]sciencespo.fr

El Mahdi El Mhamdi

Docteur de l’École Polytechnique Fédérale de Lausanne (EPFL) en informatique, diplômé de l’École Polytechnique Paris (X2007). Ses recherches portent principalement sur la robustesse des systèmes complexes aussi bien biologiques qu'artificiels. Il a notamment établi des résultats sur la vulnérabilité des algorithmes de machine learning distribué et a développé une série de méthodes de sécurisation qu'il a présenté à NeurIPS et ICML. Il s'intéresse aussi aux aspects épistémologiques de la science algorithmique.
https://orcid.org/0000-0001-5041-1260

Adresse : EPFL, Computer Sciences Department, CH-1015 Lausanne
Courriel : elmahdi.elmhamdi[at]epfl.ch

Haut de page

Droits d’auteur

Licence Creative Commons
Les contenus de la Revue d’anthropologie des connaissances sont mis à disposition selon les termes de la Licence Creative Commons Attribution - Pas d'Utilisation Commerciale - Pas de Modification 4.0 International.

Haut de page
  • Logo Société d’anthropologie des connaissances
  • Logo DOAJ – Directory of Open Access Journals
  • Logo ERIH PLUS | NSD
  • OpenEdition Journals