Introduction : du Big Data au Machine Learning

1Aucun secteur d’activité n’est à l’abri du questionnement introduit par l'abondance récente des données, il n’est donc pas étonnant que les sciences sociales et la sociologie en particulier soient aussi touchées. Pourtant, il n’est pas si aisé de comprendre ce qui peut être affecté dans les pratiques comme dans les modèles théoriques utilisés par les sociologues alors que des publications de plus en plus nombreuses en « computer sciences » traitent directement de questions dites sociales. Les acceptions de Big Data elles-mêmes restent sans cesse en discussion. Par exemple, pour Alvarez (2016), « Big » peut vouloir dire un volume d’observations tel qu’il permet d’assurer la qualité d’un échantillonnage (il faudrait alors parler de « Tall Data »). Mais « Big » peut aussi vouloir dire un nombre de dimensions (ou de variables), potentiellement prédictives ou explicatives, très nombreuses, même sur des volumes d’observations plus faibles (il faudrait alors parler de « Fat Data »). Ces débats risquent cependant d’occulter le fait que si les structures de données sont importantes, le choix des algorithmes pour les traiter est désormais très ouvert parmi ce qu’on appelle le Machine Learning. L’incertitude, voire la menace, ressentie par tous les praticiens de la quantification (Boullier, 2015) tient au changement profond de raisonnement qu’impliquent les méthodes d’apprentissage.

La plus grande part du débat se focalise actuellement sur une certaine classe d’algorithmes, les techniques de Machine Learning statistique, qui génèrent des inconnues. Plus exactement ils produisent des analyses de données qui sont connues et compréhensibles dans certains termes (les termes des propriétés du dataset, ses patterns et ses régularités) mais incompréhensibles dans d’autres (les termes du domaine que les données représentent). (Dourish, 2016, p. 7).

2C’est en partie dans l’espoir de réduire cette inquiétude et de fournir une boussole que nous proposons cette mise en relation des modèles conceptuels des algorithmes du Machine Learning et des méthodes de traitement des problèmes que la sociologie a l’habitude de manipuler. Au terme de ce parcours, nous plaiderons pour le recours aux échelles de complexité pour comprendre pourquoi certaines techniques vont en effet correspondre mieux à certains types de problèmes à la fois en sociologie et en Machine Learning.

3Cette démarche prolonge la sociologie de la quantification, en particulier celle d'Alain Desrosières (1993). La situation qu’il avait identifiée pour la naissance de la statistique, marquée par cette double exigence, gouverner et prouver, se retrouve dans la situation contemporaine dans la relation entre plates-formes du capitalisme financier numérique et ingénierie du Machine Learning. On pourrait cependant infléchir sa proposition en ces termes : la tension spécifique à l’espace statistique contemporain est désormais entre tracer (et non plus gouverner qui n’est pas le souci des plates-formes) et prédire (c’est-à-dire avec une forte orientation vers l’action, que toutes les sciences computationnelles ont endossé sans difficulté, bien loin des objectifs de preuve qui se trouvent réduits à cette prédiction via les probabilités). Passer de « gouverner et prouver » à « tracer et prédire » permet de mieux percevoir le fossé culturel qui s’est créé dans la tradition statistique elle-même dès lors que ce sont les algorithmes qui s’approprient les outils statistiques et surtout les probabilités pour les mettre au service du traitement de traces produites par les grands acteurs qui gouvernent le monde, les plates-formes numériques. Encore faut-il montrer comment se met en œuvre ce basculement pour les praticiens du Machine Learning (ML) mais aussi, potentiellement, pour les sciences sociales. La tradition philosophique et historique plus ou moins formaliste est aussi une influence majeure pour ce travail (Daston, 1989, Hacking, 2002) ou encore la version critique de la gouvernance par les nombres de Supiot (2015). Cependant, les méthodes utilisées sont inspirées plus directement de Domingos (2015) mais aussi des « algorithmic studies » telles que les pratiquent Adrian McKenzie (2017) ou Paul Dourish (2016). Alors que Domingos pourrait nous entraîner vers une approche purement internaliste, restituant les enjeux logiques et computationnels du ML, McKenzie ou Dourish trouvent la bonne distance entre ces prétentions formelles et le « travail réel » des chercheurs et des développeurs du ML. La position de McKenzie nous paraît similaire à celle que nous adoptons même si notre terrain sera plus réduit que le sien.

I am focusing on machine learners – a term that refers to both humans and machines or human-machine relations throughout this book – situated amidst these three accumulations of settings, data and devices. While it is not always possible to disentangle machine learners from the databases, infrastructures, platforms or interfaces they work through, I will argue that data practices associated with machine learning delimit a positivity of knowing (McKenzie, 2017, p. 23).

4Cécile Méadel et Guillaume Sire, en introduisant un numéro de la revue Réseaux consacré à « décoder les programmes » ont pu faire l’inventaire des orientations possibles en « software studies » et « critical code studies » selon qu’elles s’intéressent à « ce que le code fait », à « de quoi il est fait » et à « ce qu’il transporte ». Nous serons ici plus proches de la question « de quoi est fait le code » mais cette question a elle-même été reprise plus précisément pour le Machine Learning par Dominique Cardon, Jean-Philippe Cointet et Antoine Mazières (2018). Lorsqu’ils étudient la genèse des machines prédictives, c’est avant tout à l’approche inductive qu’ils s’intéressent et à l’histoire singulière du connexionnisme. Nous resterons plus près du travail ordinaire des Machine Learners tout en observant bien ce que la validation par la prédiction peut entrainer.

5Sur ce plan plus proche des raisonnements statistiques, Julien Boelaert et Etienne Ollion (2018) entreprennent une comparaison systématique des performances des modèles paramétriques (régression linéaire) et du Machine Learning pour montrer que la validation mathématique du ML est impossible et que l’interprétabilité des résultats (et leur validation mathématique) est remplacée par la prédiction. Ils admettent cependant en suivant (Breiman, 2001) qu’une interprétation correcte (dite explication) et une bonne prédiction peuvent marcher main dans la main (p. 485). Nous verrons que leur démonstration plaide en fait pour une prise en compte des échelles de complexité algorithmique des problèmes traités, ce qui débouche chez eux sur une division du travail simple entre ML et modèles paramétriques.

La carte des algorithmes du Machine Learning de P. Domingos

Des algorithmes d'exécution aux algorithmes d’apprentissage

7De quoi un algorithme d’apprentissage est-il le nom ? Pour préciser les concepts clés de cet article, il convient de fixer d’emblée certaines définitions et de les placer dans leur cadre historique.

8Un algorithme est une suite finie d’instructions simples permettant (ou non) de résoudre un problème. Plus important encore, un algorithme est une suite d’instructions tellement simples et non ambiguës qu’elle doit permettre à un agent, humain ou machine, de résoudre un problème sans fournir d’autres efforts intellectuels que l’application rigoureuse de ces instructions. Nous avons choisi cette définition en ce qu’elle est fidèle aux nombreux cas pratiques qui ont servi à illustrer le livre fondateur de l’algèbre (al-mukhtaṣar fī ḥisāb al-jabr wa-l-muqābala) et dont le nom de l’auteur (Al-Khawarizmi) a donné le mot algorithme (et ce livre regorge à cet effet d’algorithmes). Il s’agit ici, pour reprendre la distinction de Florian Jaton (2017) d’une définition axiomatique, depuis l’intérieur des sciences computationnelles, c’est-à-dire pour résoudre un problème supposé donné. Nous verrons comment la dimension de problématisation, qui permet de constituer le problème comme tel, est soit absente dans les comptes rendus des Kagglers, soit « taken-for-granted » dans un grand nombre de publications qui travaillent avec un problème comme « boite noire » (sans discussion de la « ground truth » (Jaton, 2017) qui lui sert de point de référence), soit enfin relevant d’un même souci pragmatique, celui de la calculabilité qui suppose de redéfinir le problème en cours d’action selon les ressources disponibles (données et capacités de calcul).

9Précisons cependant quelques différences entre algorithmes, pertinentes pour comprendre le Machine Learning et éviter certains malentendus. Un algorithme d’apprentissage est un algorithme (au sens de la définition précédente) qui prend en entrée un autre algorithme (toujours au sens de la définition précédente) pour le modifier. Dans une recette de cuisine, on appellera simplement l’algorithme d’exécution « recette de la tarte », et l'algorithme d’apprentissage sera amené à « apprendre » la recette de la tarte.

10Ainsi, un algorithme d’apprentissage aura une recette initiale (son modèle de la recette), puis, en analysant des données récoltées sur différentes recettes de tartes et la satisfaction de clients de la pâtisserie, il pourra modifier son modèle initial, en modifiant par exemple le dosage de farine, la présence ou non de sucre brun, etc. On dira qu’il aura ajusté les paramètres de son modèle. Dans un sens, le Machine Learning n’est rien d’autre que de la méta-algorithmique. Dans le jargon du domaine, on ne trouvera que très rarement le terme « algorithme d’exécution », on parlera simplement du « modèle » que l’algorithme d’apprentissage est en train d’améliorer grâce aux données d’apprentissage (le learning set).

11Cependant, lorsque le travail de l’algorithme est observé en situation, en dépassant une approche par trop internaliste, il apparaît vite que l’algorithme est partout, même si on disqualifie certaines étapes de son travail en codes ou en programme (à l’instar de Dourish, 2016). Dans ce qui suit, on verra se reproduire cette attitude au sein de la communauté des data scientists. Ces derniers semblent n'accorder le titre d’algorithme qu’à ce qu’ils considèrent être le noyau de leurs outils de traitement d’un problème, quand bien même ce noyau n’est pas un algorithme d’apprentissage mais parfois juste un assemblage d’outils de nettoyage/tri/classement des données. Dans ce cas, on devrait plutôt les appeler « data engineers », sans pour autant entendre un jugement de valeur entre data scientist ou data engineer.

12Pour cartographier les écoles d’apprentissage, nous avons choisi de suivre la classification de Pedro Domingos qui procède à partir de ses modèles conceptuels. Dans cette classification, Domingos ne s’attarde pas trop sur la distinction « algorithme d'exécution » et « algorithme d’apprentissage », nous le suivons provisoirement dans ce choix pour mieux présenter les modèles conceptuels. Nous verrons plus loin que la distinction devra cependant être mobilisée de manière plus explicite pour rendre compte des activités situées des développeurs.

13L’ouvrage de Pedro Domingos (The master algorithm, 2015) est important pour la communauté du ML et pour ceux qui l’observent et veulent comprendre ce qui s’y joue. Selon l’auteur, les avancées actuelles permettent d’envisager un master algorithm, comme on dirait un maître zen, qui fédèrerait toutes les approches pour les combiner de la façon la plus pertinente. Cependant, le pluralisme de son approche est intrinsèque et assumé et cet ouvrage constitue une boussole pour orienter tout chercheur ou tout décideur dans le maquis des options du Machine Learning. L’ouvrage devrait conduire à admettre qu’il faut à la fois choisir et composer entre plusieurs solutions. Domingos assemble ces contraintes sous le nom du « monstre de la complexité » (p. 5) qui comporte la complexité spatiale pour la mémoire, la complexité temporelle pour la durée de calcul et la complexité humaine qui peut rendre un algorithme indéchiffrable par le cerveau humain. La mutation contemporaine de l’apprentissage permet de produire des algorithmes qui apprennent à partir des exemples qu’on leur donne et qui les traitent statistiquement et non plus de façon déterministe (si 99 % de traitement correct est le maximum atteignable, cela n’invalide pas l’algorithme pour autant). Disposer d’un grand nombre d’exemples ouvre le spectre des choix d’algorithmes et c’est pourquoi toutes les plateformes numériques tentent de capturer le maximum de traces (au détriment parfois de la privacy). « La donnée est le nouveau pétrole est un refrain populaire », rappelle Domingos, « mais, comme pour le pétrole, le raffinage est le business essentiel ! » (p. 13). Le Machine Learning ne travaille pas seulement avec un nombre de données inimaginables par les meilleurs sociologues quantitativistes avant 2010, ce qui consolide sa fiabilité empirique, il est aussi capable d’abstraction logique qui permet de décomposer tout problème en une succession d’opérations qui se ressemblent. C’est notamment le cas des questions de classification, qui occupent dans le Machine Learning comme dans les sciences sociales, une grande partie de l’activité de recherche. Or, ces questions sont formellement identiques et peuvent être classées selon des critères purement formels ou opérationnels totalement indépendants des domaines auxquels elles s‘appliquent. Cette approche entraine de fait une mutation culturelle dans le prétraitement et la problématisation des questions de sciences sociales. Le traitement formel est lui-même d’ordre statistique et non plus logique dans le Machine Learning : « Le Machine Learning parle de probabilités alors que l’ingénierie des connaissances parle de logique. » (p. 38).

14Domingos veut éclaircir les « modèles conceptuels » qui organisent tout le champ du Machine Learning. Il reprend ainsi la notion de Don Norman (1988, 1999), psychologue et ergonome, qui demandait qu’on rende explicite non pas tout le fonctionnement détaillé des machines que nous utilisons mais que l’on fournisse un « modèle conceptuel » que nous puissions apprendre, mémoriser et qui permettrait de mieux orienter nos décisions et nos actions en relation avec les systèmes techniques. Cette approche modeste par les « modèles conceptuels » est donc un plaidoyer contre l’ouverture totale des boîtes noires qui submergerait les utilisateurs du Machine Learning encore bien plus que d’autres systèmes techniques. Mais elle suppose une exigence formelle élevée puisqu’il n’est pas possible de se contenter de lister les algorithmes comme tous les livres de solutions tendraient à le faire. Il faut les ordonner selon leurs modèles conceptuels tout en gardant ces modèles conceptuels suffisamment interprétables pour qu’un décideur ou un chercheur puisse s’en emparer et guider son action.

15Domingos identifie cinq modèles conceptuels : les symbolistes, les connexionnistes, les évolutionnistes, les bayésiens, les analogistes. Chaque tribu, comme il les appelle, tient à un noyau de croyances spécifiques, qu’il a tendance à purifier pour des raisons didactiques, alors que les pratiques du ML sont faites d’hybridation comme nous le verrons.

16Les symbolistes insistent sur l’observation du monde et sur l’exploitation des connaissances existantes pour construire leurs modèles, sous formes d’ontologies. Cette approche était très utile pour rendre acceptable l’ingénierie des connaissances qui en est issue à partir des années 90. Mais elle était aussi très intéressante pour les sociologues, notamment pour décrire les organisations, tout en étant très aisément critiquable à partir des observations empiriques conduites par les chercheurs face à ces prétentions modélisatrices toujours réductrices. La force des modèles de l’ingénierie des connaissances des symbolistes par rapport aux sociologues reposait dans leur aisance à surmonter les connaissances manquantes. En effet les symbolistes ont inventé la « déduction inverse » qui permet de reconstituer ce qui manque à partir de ce qu’ils connaissaient déjà. Les arbres de décision sont un des types d’algorithmes fondés sur cette approche symboliste et peuvent être utilisés pour classifier tous types d’entités sur un mode bien différent du connexionnisme.

17Les connexionnistes sont nés avec le souci de construire un ordinateur analogue à la pensée humaine, résumée en fait aux opérations identifiables dans le cerveau, conçu lui-même comme un réseau de neurones (soit deux réductions qui ont été largement discutées, voir par exemple Maturana et Varela, 1994). L’apprentissage humain fonctionnant par ajustement de la force des connexions entre neurones (poids synaptiques) selon les réponses et notamment en fonction des erreurs, le trait majeur apporté par les connexionnistes fut l’idée de rétropropagation, qui ajuste et pondère synapse après synapse, couche après couche, tels qu’ils sont logiquement constitués dans les algorithmes en question. Les réseaux de neurones ont failli être disqualifiés à un certain moment (Cardon et al., 2018) mais ce sont eux qui connaissent désormais la notoriété avec ce qu’on appelle le « deep learning », fameux pour ses performances en reconnaissance d’image notamment. Chaque couche de paramètres est empilée de façon à compiler toutes les couches pour optimiser le calcul et obtenir ainsi du deep learning.

18Les évolutionnistes ont un statut à part dans ce tableau car ils proposent en quelque sorte une forme de méta-procédure pour évaluer la performance des algorithmes pour traiter un problème donné. Les évolutionnistes tiennent leur nom de leur algorithme d’apprentissage : un algorithme basé sur les mutations, sélections et/ou croisements des algorithmes d’exécution. Récemment, on voit le Machine Learning connexionniste s’équiper de cette méthode réflexive pour traiter les décisions concernant les algorithmes eux-mêmes. Un nouveau champ (Elsken, Metzen & Hutter, 2019) à la frontière du connexionnisme et de l’évolutionnisme prend le nom de « neural architecture search ».

19Les bayésiens sont en fait les approches les plus familières de tous les sociologues statisticiens et depuis le Big Data et la disponibilité en masse des données, ils sont devenus omniprésents dans tout programme de ML quasiment. Les probabilités permettent à la fois de traiter des ensembles de données bruitées ou incomplètes mais aussi de traiter le degré de croyance dans une mesure donnée, comme l’avait établi Bayes. Les probabilités relèvent ainsi de deux approches comme le résumait Ian Hacking (2002) : les approches fréquentistes et les approches épistémiques. La combinaison des croyances et des preuves est au cœur même du ML et de la plupart des situations de calcul scientifique, et l’inférence probabiliste est ainsi devenue incontournable dans le panier des modèles conceptuels.

20Enfin les analogistes mobilisent une compétence humaine, l’analogie, comme méthode centrale pour donner sens à des situations nouvelles. L’analogie mobilise des méthodes qui produisent des algorithmes d’exécution parmi les plus interprétables. Certaines de ces méthodes sont basées sur la distance entre les entrées, comme moyen de distinguer les classes auxquelles elles appartiennent. C’est le cas par exemple de l’algorithme des plus proches voisins (Nearest Neighbor ou K Nearest Neighbor). D’autres comme le SVM (« support vector machine » ou séparateur à vaste marge), permettent de sécuriser les classifications en trouvant la frontière qui sépare deux classes différentes par la plus grande distance possible. Finalement, des méthodes analogistes bien connues des sociologues, comme la régression linéaire, se basent sur la simple hypothèse qu’il existe une sorte de proportionnalité entre la variable d’entrée et la variable de sortie. La mémoire de tous les cas et le test de tous les traits pertinents permettent de générer des prédictions, notamment dans des situations de diagnostic. Le travail de classification des sociologues trouve sans nul doute une parenté avec ces approches et une bonne partie des « computational social sciences » (Alvarez, 2016) mobilise déjà ces techniques pour effectuer des tâches classiques pour ce type de recherches. Dans le même temps, les services de recommandations et de matching entre offres et demandes reposent largement sur ces approches analogistes qui peuvent demander un travail fin sur tous les « features » de départ (ou propriétés descriptives des entités étudiées).

21Un algorithme d’apprentissage mérite ici notre attention : la descente de gradient. Cette manière d’apprendre consiste à évaluer l’erreur commise par la valeur actuelle du modèle (en le testant sur les données d’apprentissage), puis à modifier le modèle en suivant la plus forte pente possible de la courbe d’erreur, afin de minimiser cette dernière. C’est l’acte de poursuite de cette plus forte pente qu’on appelle « descente du gradient ». C’est ainsi que les chercheurs décrivent aussi certains phénomènes naturels. Cet algorithme décrit bien certains phénomènes d’optimisation dans la nature. Ainsi, un spermatozoïde suit la plus forte pente de concentration chimique des marqueurs d’ovule pour se diriger vers celui-ci, un moustique suit la plus forte pente de la courbe de luminosité d’un lieu pour remonter à la lampe qui émet la lumière etc. Dans toutes les situations, la descente (ou la remontée) du gradient permet de retrouver un minimum (ou un maximum). Dans le cas du ML, la descente de gradient est un déplacement dans l’espace des paramètres pour retrouver la configuration de l’algorithme d’exécution (le modèle) qui minimise l’erreur commise sur les données d’apprentissage. Cet algorithme d’apprentissage est d’une importance significative car on le retrouve aussi bien chez les connexionnistes (rétro-propagation de l’erreur), chez les analogistes (pour la régression et ses variantes comme Lasso) ou encore chez les Bayésiens (Mandt, Hoffman & Blei, 2017).

Des modèles du Machine Learning au travail ordinaire des Machine Learners

Approches internalistes et externalistes en étude des algorithmes : le choix des challenges Kaggle

24La présentation de Domingos est très fine, très bien documentée et très didactique. Cependant, les études de sciences et techniques (STS) (Callon et al., 1986 ; Vinck, 2007) ont permis de montrer la fécondité de méthodes empiriques qui sortent du modèle kuhnien des changements de paradigme pour documenter les pratiques de « la science en train de se faire » (Latour, 1990). Une question du même type se pose pour les études algorithmiques réalisées par les sciences sociales.

25Il faut pouvoir entrer dans le code et dans les principes logiques qui le gouvernent mais ne pas s’y limiter, car les pratiques des producteurs de ce code sont parfois fort éloignées de leurs discours, de leurs intentions ou des possibles à leur disposition, ce qui plaide pour une combinaison avec une approche externaliste. C’est ce que propose R. Kitchin (2017) quand il annonce :

It is most productive to conceive of algorithms as being contingent, ontogenetic, performative in nature and embedded in wider socio-technical assemblages.

26Le Machine Learning est en effet avant tout une pratique opérationnelle bien plus qu’une supposée philosophie, malgré le saut conceptuel indéniable que constitue l’apprentissage. Cela conduit d’ailleurs A. McKenzie (2017) à parler de « Machine Learners » combinant praticiens, données, machines et algorithmes.

27La réduction aux modèles conceptuels que propose Domingos doit donc être effectuée avec prudence d’autant plus que la délimitation même d’un algorithme ou de ses fonctions n’est pas si aisée. Une vision pragmatiste est essentielle pour saisir ce que fait un algorithme, qui n’existe qu’en train de se faire (sinon il reste un principe non actif dont l’agentivité restera faible).

28La difficulté méthodologique et culturelle vient sans doute de ce point clé : les algorithmes d’apprentissage s’épanouissent dans l’incertitude et sont capables de réviser sans cesse jusqu’à leurs principes mêmes parfois. Tous ces éléments plaident pour mettre à l’épreuve les modèles conceptuels du ML dans des situations, dans des activités observables. La tâche n’est guère aisée même si ce travail logique est aussi scriptural, il génère des traces, des documents que l’on peut exploiter. Mais chaque cas semble irréductible aux autres et une casuistique ne peut convenir pour discuter de ces modèles. Il se trouve qu’un cadre d’interaction sociale propre au milieu des chercheurs et développeurs en informatique s’est mis en place pour rendre cette comparaison possible : les challenges Kaggle.

31Précisons enfin que la pratique des challenges, en particulier ceux proposés par la plateforme Kaggle, fournit une source de revenu pour les meilleurs compétiteurs, ceux qui se retrouvent suffisamment bien classés pour décrocher un prix en cash. Cependant, elle l’est beaucoup moins directement pour la majorité des apprentis data scientists qui forment cette communauté. La compétition est un prétexte d’apprentissage et d’aide à l’employabilité : le Machine Learning s’apprend par la pratique, et la plateforme permet de construire un portfolio de projets qui vient compléter un CV pour rendre un data scientist beaucoup plus attractif sur le marché du travail (Calonge et al., 2016).

Mise à l’épreuve empirique des challenges Kaggle : les limites d’une approche par les modèles

36Les spécialistes du ML qui participent aux compétitions Kaggle sont cependant extrêmement agnostiques quant aux approches qu’ils doivent adopter. Ainsi un data scientist qui passe de la régression au classificateur ne se pose pas de questions d’école a priori ou de modèles conceptuels : il teste ce qui pourrait marcher et accepte parfois d’être surpris par ces résultats. Ainsi des problèmes de classification pourraient être traités par de la régression alors que des questions de préférences et de ranking pourraient en fait être mieux traitées par un classificateur. Notre approche malgré tout quelque peu essentialiste ou internaliste des algorithmes est ainsi remise en cause par l’observation des pratiques des compétiteurs.

Suivre le travail des Kagglers, c’est souligner leur souci constant de la complexité algorithmique

37Nous devons suivre de plus près le travail de certains Kagglers pour comprendre mieux ce qui les fait agir, les choix qu’ils doivent effectuer et leur « raison computationnelle » (Bachimont, 1999) propre, sans pour autant présupposer qu’elle sera reliée à une quelconque préférence pour un modèle du social, pour les structures ou pour les préférences individuelles notamment (Boullier, 2017). Dans ce but, nous allons reprendre deux récits de Kagglers pour deux challenges différents et nous verrons émerger un souci constant, celui de l’échelle de complexité qui n’était pas du tout apparu à travers les correspondances entre modèles précédemment décrites.

Trouver le sweet spot, un challenge ordinaire pour les Machine Learners

39Il construit un arbre de décision et le complexifie en en augmentant progressivement la profondeur, c’est-à-dire le nombre de questions auxquelles l'algorithme de décision doit répondre par oui/non avant d'arriver en bas de l'arbre, soit à la décision finale (la « feuille » (leaf) de l'arbre). Un arbre de décision ayant une profondeur de 1 ne doit répondre qu'à une seule question, et séparera ainsi les données en deux groupes. Par exemple : les maisons ayant plus de 5 chambres, et les maisons ayant au plus 5 chambres. Un arbre ayant en revanche une profondeur de 10, séparera les données en 2x2x....x2 (10 fois) groupes, soit en 1024 groupes. Cet exemple permet de comprendre le dilemme overfitting/underfitting qui fait l’ordinaire des décisions de tout machine learner.

• • 12 Parfois aussi appelé « surapprentissage » dans la littérature francophone. Nous préférons le terme (...)

  Overfitting (surinterprétation12) s’explique ainsi : si on met trop de profondeur dans l'arbre de décision, c’est-à-dire si l’on décide sur la base de plusieurs critères, on se retrouve avec des « feuilles » contenant peu de maisons du training set (corpus d’apprentissage). La décision ainsi apprise se basera sur peu d'exemples et risque de trop coller au training set. Quand il s'agira de décider pour une nouvelle maison, absente du training set, il y a un grand risque de faire une erreur. L'algorithme de décision « sur-interprète » l'émergence d'un prix de l'immobilier en lui attribuant une complexité supérieure à sa réalité : il prend bien plus de critères en compte que ce que fait la réalité du marché.

• Underfitting (sous interprétation) : dans l'autre extrême, si l'arbre de décision était de très faible profondeur, les feuilles seraient trop grandes et contiendraient trop de maisons différentes (des maisons en ruines et d'autres en parfait état se retrouveraient dans la même catégorie si on se contentait de les juger similaires uniquement par leur nombre de chambres). L'algorithme de décision ne capturera donc pas toute la complexité de l'émergence d'un prix pour une maison, car il se base sur très peu de critères.

40Entre ces deux extrêmes, il existe un « sweet spot », une profondeur suffisamment grande pour capturer la complexité de la réalité, mais pas trop grande pour ne pas sur-interpréter la situation offerte par le training set. Seul un training set très riche (d'où l’attrait et la fascination pour les Big Data) offre au data scientist la possibilité de « se permettre » de mobiliser un modèle complexe (grande profondeur de l’arbre de décision), sans pour autant provoquer de l’overfit, car les « feuilles » de l'arbre de décision contiendront chacune suffisamment d'exemples. Ce n'est rien d'autre qu'une nouvelle forme de rasoir d'Occam.

43Dans la suite des observations de Kagglers, nous allons voir ce schéma se reproduire. Le Kaggler augmente la complexité du modèle en ajoutant plus de neurones, plus de couches de neurones, plus de kernels à sa régression, plus de feuilles à son arbre de décision, etc., jusqu’à voir la qualité se dégrader avec la complexification. Cela le conduit à revenir à un modèle plus simple mais qui performe mieux. On observe ainsi des Kagglers surpris de voir une « modeste régression » battre des modèles de deep learning (réseaux de neurones), chose normalement prévisible pour des data scientists étant donnée la faible quantité de données dans leur set d’apprentissage.

Réduire et ou augmenter les dimensions

45Il consiste à prédire si un passager donné a survécu ou pas au naufrage. Le set d’apprentissage comporte des données collectées sur d’autres passagers : âge, sexe, classe de réservation dans le paquebot, numéro de cabine, nombre de frères/sœurs du passager aussi présents dans le Titanic, nombre de parents et la réponse à la question binaire : ces passagers ont-ils survécu ? Le modèle à construire devra trouver une fonction entre les données biographiques d’un passager (non nécessairement présent dans le set d'apprentissage) et sa survie ou non au naufrage. Le descriptif du dilemme complexification / simplicité qu’on a donné plus haut pour le cas du prix de l’immobilier se retrouve ainsi dans le compte-rendu de la Kaggleuse (d’où l’intérêt de cette situation rare où les algorithmiciens fournissent eux-mêmes le compte-rendu de leurs hésitations et de leurs décisions sur un mode narratif).

When creating the first decision tree the default arguments for max_depth and min_samples_split were set to None. This means that no limit on the depth of the tree was set. We are likely overfitting. This means that while our model describes the training data extremely well, it doesn't generalize to new data, which is frankly the point of prediction. We can improve the overfit model by making a less complex model.

A valid assumption is that larger families need more time to get together on a sinking ship, and hence have lower probability of surviving. So we will add a new variable family_size, which is the sum of SibSp and Parch plus one (the observation itself), to the test and train set.

48Une lecture du code de la Kaggleuse montre que la variable SibSp désigne la taille de la fratrie embarquée, pendant que Parch désigne le nombre de parents (père et mère) embarqués. La Kaggleuse complexifie le modèle très légèrement en introduisant une nouvelle variable définie comme 1+SibSp+Parch (le passager + la fratrie + les parents) donnant une dépendance entre la survie d’un individu et la taille de sa famille embarquée. Si cet ajout de variables relève plus du bon sens (le temps d’attendre le rassemblement de la famille diminuant la chance de survie) que d’un avis d’expert, il reflète bien ce qui pourrait se passer pour des sociologues mobilisant le Machine Learning, tout en usant de leur expertise propre, afin de créer des variables pertinentes pour le sujet en question. C’est ici que l’on peut commencer à percevoir l’intérêt d’un couplage d’expertise, entre le spécialiste du domaine du point de vue des sciences sociales et le data scientist. Car la réduction de dimensions (ou ici leur augmentation) n’est pas affaire de recettes mais bien plutôt d’expérience et d’art nécessaires pour contourner l’overfit dans ce cas.

Générer des forêts aléatoires d’arbres de décision pour réduire les risques de surinterprétation

50Avec les arbres de décision, le Kaggler commence par l’approche suivante : il ne met aucune restriction à la profondeur de l’arbre, et le laisse augmenter de profondeur à chaque fois qu’il détecte un nouveau critère de séparation entre des pétales, jusqu’à se retrouver avec un arbre qui fait une classe pour chaque élément du training set. Sans surprise, ce modèle prédit parfaitement le training set, mais échoue à chaque fois qu’on lui demande de se prononcer sur un pétale qu’il n’a pas rencontré dans le training set. Très classiquement, le Kaggler adopte donc la plus grande profondeur possible de l’arbre de décision avant que la qualité du modèle sur le test set ne commence à baisser. Empiriquement, cette profondeur qui correspond au sweet spot décrit plus haut se situe vers 4, c’est à dire qu’étant donné la taille de l’échantillon d’Iris disponible, l’arbre de décision idéal distingue les pétales avec une batterie de 16 (2x2x2x2) critères.

51Une méthode pour réduire l’overfitting des arbres de décision consiste à construire des random forests, des « forêts » qui prennent la moyenne (ou une autre forme d’agrégation : médiane, moyenne pondérée, etc.) des décisions prises par chaque arbre. Ceci permet d’atténuer l’erreur que pourrait commettre un arbre seul et baisse la variance de l’estimation. Toutefois, le prix à payer pour cette augmentation de qualité du modèle est une perte en interprétabilité. En effet, la décision d’un arbre de décision est facilement interprétable, avec des lectures de la décision de la forme :

le modèle donne le passager suivant pour mort dans le Titanic avec probabilité 99,85 % car il était dans la troisième classe tout en bas du paquebot, ce qui réduit ses chances de survie de 85 %, il était âgé de 95 ans, ce qui lui fait une réduction supplémentaires de XY %, en plus, il devait subir la cacophonie de la réunion d’une famille de 5 passagers, ce qui le place dans le groupe des WZ % qui ont eu le plus faible de taux de survie.

52La décision d’une random forest n’est toutefois pas aussi simplement formulable en langage humain dès lors qu’il faudrait combiner plusieurs dizaines d’arbres.

Les réseaux de neurones et l’échelle de complexité

54Le Kaggler passe par des étapes totalement identiques à Valentina Scipione qui, elle, traitait du problème intuitivement plus « complexe » des passagers du Titanic, à ceci près qu’il faut remplacer « passager mort » par « chien », « passager survivant » par « chat » (ou inversement), et que le modèle utilise des réseaux de neurones plutôt qu’un arbre de décision. La complexification du modèle se fait par ajout de neurones et/ou de couches de neurones, et de manière analogue, un excès de complexité se retourne contre le kaggler passé un certain seuil qui constituera donc le sweet spot recherché. Une précision s’impose donc sur la question de la complexité : le problème « passagers du Titanic » est beaucoup moins "complexe" que celui de la classification des images de chiens et de chats. Aussi surprenant que cela puisse paraitre, le nombre de dépendances qu’il s’agit de trouver dans une image pour conclure sur ce qu’elle représente se compte en centaines de millions (le kaggler utilise un réseau de neurones d’une dimension VC de cet ordre), ce qui est bien au-delà des arbres de décision allant à un maximum de 1024 dépendances.

55L’échelle de complexité se trouve ainsi rendre compte des justifications pragmatiques des développeurs pour leur choix de famille d’algorithmes. Leurs raisons sont en effet très souvent liées à des questions de performance, ce qui englobe l’expressivité, le temps de calcul, le volume du dataset qui est souvent trop faible pour certains processus d’apprentissage mais dans le même temps bien adapté aux capacités des machines des candidats (aucun d’entre eux n’a à sa disposition les serveurs de Google ou de Facebook, ni leurs séries de données).

Travail des Kagglers et problématisation en sciences sociales

56Faisons alors le bilan de ce que ces comptes rendus de Kagglers nous ont appris en les comparant aux méthodes de travail des sciences sociales. N’y aurait-il pas une équivalence à trouver entre les méthodes opérationnelles trouvées par les Kagglers et celles des sciences sociales en train de se faire ? Partons de la façon de définir les problèmes. Le cas de Kaggle peut sembler caricatural puisque les problèmes sont fournis directement par les demandeurs qui apportent les datasets en même temps. Tout semble donc cadré, pré-arrangé sans que le Kaggler puisse entrer dans une véritable problématisation. Or, les sciences sociales semblent, de leur côté passer plus de temps à problématiser, c’est-à-dire à évaluer et à discuter le « bon cadrage » de la question qu’à chercher à mettre à l’épreuve les données recueillies.

57Prenons un problème comme les choix d’orientation scolaire qui ont fait couler beaucoup d’encre et déclenché beaucoup de polémiques entre courants de la sociologie. Les chercheurs peuvent se contenter des données disponibles telles que les statistiques de l’éducation nationale qui sont fournies sur de longues séries depuis des décennies. Cependant, ces données doivent être nettoyées, rendues commensurables, ce qui n’est pas toujours aisé lorsque les catégories (les sections par exemple) changent d’une époque à l’autre. Mais ce nettoyage, cette standardisation sont en fait partagées par tous les Machine Learners qui passent parfois plus de temps à construire un dataset propre qu’à le traiter. Cependant, une différence survient entre sciences sociales et data sciences lorsqu’il s’agit de choisir les méthodes à mettre en œuvre. Car malgré la capitalisation effectuée à travers toute la littérature scientifique, et cela dans les deux « disciplines », un choix délibéré d’approche est fait d’emblée et a priori par les chercheurs. Par exemple, ainsi que Boudon (1978) l’avait montré, on peut se contenter de rapprocher les appartenances sociales des élèves selon la profession des parents et les orientations adoptées avec les positions sociales effectivement obtenues. Mais on peut aussi mettre en relation les chances et les anticipations de ces parents selon l’état du marché du travail et le prestige, pour voir de façon dynamique comment certains auront réussi à déplacer ce déterminisme des origines sociales alors que d’autres arriveront en fait trop tard sur le marché du travail pour bénéficier des mêmes effets. Dans ces stratégies de recherche, c’est bien le problème qui est redéfini, avec un point de vue différent d’emblée puisque les préférences et les anticipations individuelles sont prises en compte ou non. Les datasets ne seront plus les mêmes puisqu’il faudra trouver d’autres sources pour évaluer notamment la répartition de la population active en catégories à diverses époques.

58Tout cela se passe cependant entre quantitativistes, les plus proches encore des data scientists (Boullier, 2018a). Il se trouve que d’autres courants des sciences sociales vont proposer de ne traiter que de cas précis, à travers des histoires de vie, des entretiens, par exemple. Les données dont ils vont disposer seront alors souvent très difficiles à comparer voire même à formaliser mais elles auront un avantage majeur pour la définition du problème : elles permettront de faire apparaitre des dimensions absentes des datasets et de poser des hypothèses sur le rôle joué par ce qu’on appellera souvent des médiations. Mieux même, certains courants comme la théorie de l’acteur-réseau (Law and Hassard, 1999 ; Michael, 2016 ; Akrich et al., 2006) sont avant tout concernés par le suivi des acteurs, de leurs pratiques, et de leurs capacités à donner sens à leurs activités (comme dans l’ethnométhodologie) ou tout au moins à faire tenir leurs choix (Boullier, 2018b). Les sciences sociales rendent compte ici de comportements de second degré car elles doivent intégrer dans leurs raisonnements la perception des acteurs et leurs comptes rendus. Plus subtile encore, l’attention prêtée aux médiations (et l’extension des dimensions du problème qui en résulte) pourra aller jusqu’au suivi détaillé du rôle joué par des dispositifs techniques ou sémiotiques. Dans le cas de l’orientation, ce pourrait être l’usage de taxonomies par les conseillers d’orientation, des tableaux de performance des élèves, des labels donnés à certains métiers ou à certains élèves qui finissent par faire exister une hiérarchie sociale au cas où elle n’aurait pas été déjà intériorisée dans d’autres instances de socialisation.

59Si l’on transpose au cas Kaggle du prix des maisons, cela voudrait dire refuser la formulation du problème et son cadrage par le commanditaire pour ajouter autant de dimensions que les observations peuvent laisser supposer pertinentes. Cela pourrait comporter des propriétés des maisons, mais aussi des variations dans la perception par les parties prenantes (puisqu’après tout la fixation d’un prix est une situation de communication) ou encore le rôle spécifique joué par les agents immobiliers et leurs caractéristiques et méthodes propres, ou enfin les effets des outils dont ils disposent, y compris ces aides à la décision équipées d’intelligence artificielle ! On le voit, la construction du dataset serait nettement plus lourde, parfois difficile à réaliser car certaines dimensions ne pourraient pas être documentées, et toujours susceptible d’une discussion avec les experts du domaine, qui ne seraient jamais laissés à l’extérieur de la démarche puisque leur rôle est essentiel dans la détection des « features ». Bien souvent, pour les sciences sociales, le seul fait de déboucher sur la mise en évidence du rôle d’autres médiations jusqu’ici invisibles ou ignorées suffit à générer un intérêt scientifique et une publication. On le voit, dans ce cas, le travail d’extension des dimensions et de construction des hypothèses ou du cadrage du problème constitue la tâche majeure pour les sciences sociales. Cependant, certaines d’entre elles comme la psychologie sociale ou cognitive ou l’économie ont déjà adopté des méthodes proches de celles des data sciences en acceptant de réduire les dimensions des problèmes pour entrer dans une accumulation d’observations (tall data et non plus fat data) permettant de mobiliser des statistiques. Parfois, elles se sont aussi orientées vers de la modélisation dans des environnements simulés avec finalement peu de données mais un protocole de mise à l’épreuve de quelques dimensions (cas de l’économie, notamment expérimentale).

60Les sciences sociales, malgré les prétentions et les postures, sont, elles aussi, prises dans des contraintes de faisabilité. Si l’on ne fait que quelques observations voire une monographie, ce n’est pas seulement par souci d’augmenter les dimensions du problème et de révéler un grain fin de médiations jusqu’ici ignorées. C’est aussi parce qu’il est rarement possible, dans le temps d’une enquête ou d’une thèse, d’étendre ce degré de détail à plusieurs environnements. L’anthropologie a pratiqué les monographies de façon approfondie et à un degré de détail rarement atteint en sciences sociales grâce à des méthodes d’immersion sur plusieurs années dans certains groupes sociaux bien localisés, mais ce travail était celui des ethnologues alors que l’anthropologue, lui, se charge d’effectuer les comparaisons, les validations croisées, les vérifications par extension et réduction de dimensions, comme on le voit chez Mauss ou Descola. La division du travail ainsi effectuée permet une capitalisation et une mise à l’épreuve. Dans tous les cas, ce sont les ressources disponibles qui auront présidé aux stratégies de recherche, l’équivalent des ressources de calcul nécessaires selon la complexité du problème. Notamment parce qu’il sera plus ou moins nécessaire de s’appuyer sur un grand nombre de cas et de procéder par comparaison à une large échelle. Cette contrainte du volume de données et du nombre d’observations est donc bien présente aussi chez les disciplines les plus qualitatives.

Les échelles de complexité algorithmique

62Quelques précisions formelles sont nécessaires pour mieux situer l’importance de cette orientation vers les échelles de complexité. Gérard Berry (2008) disait à propos de l’intelligence artificielle « On dit : “Mais l’ordinateur sait jouer aux échecs.” Oui, ça prouve que les échecs sont un jeu facile, c’est tout ». Cela peut décevoir les amateurs d’échecs mais ce jeu est effectivement « facile » comparé par exemple au jeu de Go ou à la majorité des problèmes intéressants en sociologie, « facile » dans un sens que les mathématiques du XXème siècle ont bien défini : la complexité algorithmique.

63Un problème à coût exponentiel représente un extrême en termes de difficulté et d’in-tractabilité (traitement impossible) ; à l’inverse, un problème à coût constant représente un extrême de facilité et de tractabilité. Entre les deux extrêmes, les algorithmes linéaires (nombre d’opérations proportionnel aux nombres de données traitées) forment une sorte de frontière ; tout ce qui se trouve sous cette frontière est dit être “sous-linéaire” et est recherché comme solution aux problèmes qui doivent passer à l’échelle. Le passage à l’échelle n’est pas un simple problème opérationnel et il peut s’illustrer de la façon suivante : si un algorithme est sous linéaire, disons à coût logarithmique, traiter une base de données de 100 personnes prendra deux opérations, une base de 1000 prendra 3 opérations, et une base constituée des 7 milliards d’humains prendra moins de 10 opérations. Sur une machine moderne (traitant plus d’un milliard d’opérations par seconde, soit une fréquence du processeur de 1 Gigaherz), les réponses pour ces trois situations seront toutes obtenues en moins d’une seconde. Si maintenant on dispose d’un algorithme « sur-linéaire », qui s'exécute par exemple en un temps égal au cube du nombre de données, sur la même machine à 1 Ghz, la population de 100 personnes et la population à 1000 personnes seront toutes deux traitées en moins d’une seconde, alors que la population mondiale nécessitera mille milliards de milliards de secondes !

64Pour ces raisons, la classification des problèmes par leur complexité peut devenir utile pour les sciences sociales, d’autant plus lorsqu’il s’agit de savoir ce qui est et ce qui n’est pas traitable à grande échelle par une machine ou par des algorithmes du type de ceux du Machine Learning.

La complexité comme coût en temps et/ou en mémoire (Turing)

65La plus fondamentale des mesures de complexité prend sa source dans le théorème d’universalité connu sous le nom de « Thèse de Church-Turing » (Church, 1932, Turing, 1937). Dans les années 1930 et de manière assez indépendante, Alonzo Church, Alan Turing et Kurt Gödel ont défini des classes de fonctions « génériques » avant que les deux premiers n’aboutissent au théorème fondamental suivant :

Une fonction sur les nombres entiers est calculable par un être humain qui suit une procédure (un algorithme) - et en ignorant les limitations en ressources (temps et mémoire) - si et seulement si elle est calculable par une machine de Turing.

66« Calculable par une machine de Turing » peut être simplifié ainsi : réalisable par une procédure itérative – récursive – soit une procédure où il suffit de connaître la recette pour la génération 1, et la transition d’une génération N à la génération N+1. Ce modèle (la machine de Turing) possédant un caractère universel, il n’est plus besoin de créer une machine pour faire des additions, une autre machine pour tenir des arbres généalogiques de la population, puis encore une troisième pour jouer aux échecs etc. Une seule machine suffit : la machine universelle de Turing. Ce qui nous intéresse le plus dans la thèse de Church-Turing, c’est le passage sur les ressources illimitées (« et en ignorant les limitations en ressources »). En effet, la thèse de Church-Turing met en équivalence une machine de Turing et un humain qui a tout son temps et toute sa mémoire pour la dédier au problème en question. La mise en pratique de cette thèse motive la formalisation suivante de la complexité d’un problème (Hartmanis et Stearns, 1965) :

67Combien d’étapes logiques faut-il effectuer pour résoudre ce problème par une machine de Turing (i.e. par une procédure itérative) ? Combien faut-il mémoriser de données avant de donner une réponse ?

La complexité comme longueur de la description la plus concise (Solomonoff/Kolmogorov)24

70De manière complémentaire à la complexité de Solomonoff/Kolmogorov, Bennet introduit la mesure de complexité suivante : le temps d'exécution de l’algorithme le plus concis résolvant un problème. Il est très important de ne pas confondre cette complexité en temps avec celle de Kolmogorov ou d’y voir une quelconque relation avec celle de Turing ; cette dernière est définie comme le temps d'exécution de l’algorithme le plus rapide pouvant résoudre un problème. L’algorithme le plus court à formuler n’est pas forcément le plus rapide à exécuter.

La complexité due à la capacité expressive impose un nombre minimal de mesures (Vapnik-Chervonenkis, VC)

72En pratique, il est rare de pouvoir calculer exactement une complexité. Par contre, il est souvent faisable, et suffisant, d’avoir des bornes supérieures (pour juger une faisabilité) ou des bornes inférieures (pour conclure à une impossibilité). Ainsi un problème dont la complexité est minorée par une borne inférieure déjà trop grande est un problème intractable, pendant qu’un problème dont la complexité est majorée par une borne supérieure raisonnable est un problème qu’on peut résoudre en pratique.

Les échelles de complexité algorithmique comme nouvelle grille de lecture des modèles du ML et du social

75La compréhension de la pratique même des data scientists nécessite la prise en compte de la complexité algorithmique, car toutes leurs décisions soulèvent ces questions, tant en termes de choix d’algorithmes que de travail d’optimisation.

76Les conséquences sont importantes pour les sciences sociales qui, dès lors qu’elles veulent rendre leurs problèmes calculables ou commensurables, pourront définir l’échelle de complexité de leurs problèmes sans se contenter de choisir les outils disponibles sur l’étagère (les différents packages de R). Mais l’étude des comptes rendus des Kagglers nous a permis de comprendre que tout en mobilisant des algorithmes qui encapsulent des points de vue sur le social (Boullier, 2017), leurs choix de méthodes relèvent avant tout d’une forme de faisabilité selon l’échelle de complexité des problèmes, quel que soit l’approche adoptée, comme ce serait le cas en sciences sociales. Ainsi expliquer des effets de structure, au sens le plus durkheimien du terme, peut être sous linéaire ou exponentiel selon le type de problèmes. Rendre compte des choix individuels lors d’une élection ou lors d’une décision stratégique ne sera pas non plus identique en termes d’échelle de complexité quand bien même c’est, dans les deux cas, l’agentivité des individus et de leurs préférences qui fait l’objet de l’analyse et du calcul. Enfin la propagation de mèmes en « bursts and cascades » (Leskovec et al., 2009) peut radicalement varier en complexité selon que l’on ne s’intéresse qu’à des phénomènes de viralité ou que l’on prend en compte toutes les dérivations. Nous l’avons appris à nos dépens, lors d’une étude récente sur les conversations en ligne à propos des séries télévisées en commettant l’erreur de ne pas estimer la tractabilité du problème avant de lancer des algorithmes de Machine Learning : la petite taille de l’échantillon récupéré sur les réseaux sociaux rendait encore plus impossible la résolution du problème. Enfin, les échelles de complexité ne peuvent pas être réparties a priori selon les domaines, car cela voudrait dire que toutes les questions démographiques telles que les règles matrimoniales sont très simples par principe alors que les règles du marché du poisson vendu aux enchères dans les criées sont toujours complexes. Il est aisé de trouver, à l’intérieur de chaque domaine, des problèmes de complexité très différentes qui justifieraient d’une organisation différente de celle des domaines des disciplines ou des modèles conceptuels. Cependant, cela n’invalide pas l’intérêt d’une connaissance du domaine par le sociologue, au contraire.

78Le travail de comparaison entre solutions Kaggle montre cependant des cas où le travail de ML est déconnecté de la réalité du problème, qu’il soit immobilier, sportif ou bancaire, sans aucun apport d’un expert du domaine. Mais une autre déconnexion apparaît, celle entre praticiens (ingénieurs de la donnée) et la théorie mathématique. Certains gagnants de ces challenges Kaggle parlent ainsi d’outils comme R, XGBoost ou encore Keras, pour désigner leur « modèle », au lieu de parler de « régression » ou de « gradient boosting ». Cela revient en fait à parler de modèle « Casio » pour désigner un calcul de cosinus par une calculatrice de marque Casio, ou de « modèle bancaire Microsoft Office » pour simplement évoquer un calcul d’intérêts composés. Cela s’ajoute à la surprise ressentie par certains kagglers quant au succès d’une simple régression face aux modèles complexes. Nous dirons que lorsque la théorie mathématique (data science) est ignorée au profit du data engineering, la boite noire fonctionne comme mystification pour les data engineers eux-mêmes. Cela conforte l’opacité du Machine Learning pour le public comme pour les utilisateurs avertis. D’autant plus lorsqu’ils se passent aussi des experts du domaine pour réduire ou augmenter les dimensions à prendre en compte.

Conclusion

79L’étude des comptes rendus des pratiques du ML (approche externaliste) permet de corriger la description des modèles conceptuels que fait Domingos (approche internaliste). Les environnements de production des data scientists sont beaucoup plus variés et influents que ne pourrait le laisser croire une scientificité désincarnée. Observer le Machine Learning « en train de se faire » constitue donc un travail empirique indispensable et permet de le réencastrer dans ses milieux.

80Notre approche s’est limitée à un site très particulier, celui des compétitions Kaggle, le plus grand rassemblement de praticiens du ML à ce jour (Carpenter, 2011). Cela nous a permis de réviser beaucoup d’a priori et de déplacer les questions que nous nous posions sur les relations entre sciences sociales et ML. L’essentiel du travail observable de data scientists relève d’une adaptation à l’échelle de complexité des problèmes et à leurs ressources. Nous en tirons plusieurs leçons pour les sociologues qui revendiquent la spécificité de leur activité scientifique tout en acceptant de saisir les propositions radicalement nouvelles apportées par les data sciences.

1. Les chercheurs en sciences sociales, grâce à leur connaissance accumulée en tant que discipline et à leur expertise dans des domaines spécifiques, sont des contributeurs indispensables pour les entreprises nouvelles de réflexivité sociale qui se mettent en place hors du monde académique, pour ces firmes et ces data scientists qui deviennent les conseillers des princes qui nous gouvernent. Cependant, il ne faut pas perdre de vue le changement que le Machine Learning introduit dans la numérisation : avant le ML, la force du modèle était du côté du meilleur algorithme (dicté par le meilleur expert), avec le ML, le volume des données est une condition nécessaire à cette force (conséquences de la VC dimension), et l’expert seul ne pourra prétendre remplacer le besoin en données pour guider le modèle.

2. Le rôle des chercheurs en sciences sociales peut tout autant porter sur la définition des catégories qu’ils sont habitués à discuter hors de tout positivisme, au moment de la construction du problème que sur le choix de réduire ou d’augmenter les dimensions à traiter selon les domaines concernés. Les sciences sociales ne se réduisent pas à l’anti-réductionnisme critique des méthodes de calcul imposées par les data sciences. Elles pratiquent elles-mêmes des réductions contrôlées de leurs échantillons et des dimensions des modèles qu’elles appliquent et peuvent très bien entrer dans cette discussion grâce à leur expertise propre tout en admettant de mieux les calculer selon leur échelle de complexité.

3. Les sciences sociales pourraient s’inspirer des échelles de complexité des problèmes qu’elles traitent pour se poser la question de la faisabilité a priori de leurs travaux Cette formalisation les aiderait (pour celles qui veulent aller jusqu’à la calculabilité) à sélectionner parmi l’offre des algorithmes du Machine Learning et leur permettrait de discuter avec d’autres domaines de recherche qui utilisent des méthodes identiques pour des problèmes totalement différents.

4. Dans toute cette démarche, se jouera une mutation culturelle non négligeable qui consiste à accepter que par définition, si besoin d'apprentissage il y a, c'est par manque de connaissance et que tout ne peut qu’être approximé a priori, y compris la complexité des modèles avec lesquels cette approximation devra être faite. Si l’on atteint un niveau de connaissance de l’objet à apprendre qui permet de connaître exactement cette complexité, c’est que l’on peut se passer d’apprentissage en premier lieu. Cette culture de l’apprentissage (et de la méthode inductive qui l’accompagne) mériterait un autre article car elle constitue à coup sûr un saut culturel qui demande une prise de risque considérable pour toutes les sciences sociales.