1
2La méthode du maximum de vraisemblance et celle des moindres carrés sont les outils de la théorie des erreurs ou de l'estimation, utilisés tous les jours dans toutes les sciences d'observation.
- 1 Aujourd'hui, la loi de probabilité continue d'une variable aléatoire X est représentée par une dens (...)
- 2 Dans ce cas, on dispose de nombreuses mesures (ou résultats d’observations) des valeurs exactes rec (...)
3La théorie des erreurs a été développée pour résoudre trois problèmes : combiner les erreurs pour choisir une valeur "juste milieu", trouver la loi de densité de probabilité1 des erreurs, choisir une démarche pour déterminer des quantités dans un système d'équations surdéterminé2.
4L'estimation du maximum de vraisemblance est une méthode statistique courante utilisée pour inférer les paramètres de la distribution de probabilité d'un échantillon de mesures donné.
5Par ailleurs, la recherche de la valeur la plus probable d'une quantité observée par diverses mesures donne le résultat suivant : la valeur la plus probable est telle que la somme des carrés des différences entre les observations et cette valeur est minimum.
***
- 3 Le texte est daté du 15 ventôse an 13 (6 mars 1805). Il fut reproduit par Puissant dans son Traité (...)
6La première publication de la méthode des moindres carrés (destinée à déterminer des quantités dans un système d'équations surdéterminé) est due à Legendre qui l'a donnée en annexe d'un ouvrage intitulé Nouvelles méthodes pour la détermination des orbites des comètes (1805)3.
Querelle entre Legendre et Gauss sur la paternité de la méthode
- 4 Theoria motus corporum coelestium in sectionibus conicis solem ambientium, Auctore Carolo Friderico (...)
Gauss, dans son traité Theoria motus corporum coelestium4 publié en 1809, indique qu’il utilisait cette technique depuis 1795. Il écrit :
Au reste, ce principe, dont nous avons fait usage depuis 1795, a été donné dernièrement par Legendre dans ses Nouvelles méthodes pour la détermination des orbites des comètes, Paris, 1806 ; on trouvera dans cet ouvrage plusieurs conséquences que le désir d'abréger nous a fait omettre.
Cette affirmation de Gauss irrita Legendre. Il écrit à Gauss, quelque temps après, en 1809 (Gauss, Werke, Band. 10/1, p. 380) :
Je ne vous dissimulerai donc pas, Monsieur, que j’ai éprouvé quelque regret de voir qu’en citant mon mémoire …, vous dites principum nostrum …Il n’est aucune découverte qu’on ne puisse s’attribuer en disant qu’on avait trouvé la même chose quelques années auparavant ; mais si on n’en fournit pas la preuve en citant le lieu où on l’a publiée, cette assertion devient sans objet et n’est plus qu’une chose désobligeante pour le véritable auteur de la découverte. En Mathématiques il arrive très souvent qu’on trouve les mêmes choses qui ont été trouvées par d’autres et qui sont bien connues ; c’est ce qui m’est arrivé nombre de fois, mais je n’en ai point fait mention et je n’ai jamais appelé principum nostrum un principe qu’un autre avait publié avant moi. Vous êtes assez riche de [votre] fonds, Monsieur, pour n’avoir rien à envier à personne ; et [je suis] bien persuadé au reste que j’ai à me plaindre de l’expression seulement et nullement de l’intention …
***
Dans une lettre à Laplace datée de 1812 (Werke, Band 10/1 pp. 373-374) Gauss déclare, pour sa part :
J’ai fait usage de la méthode des moindres carrés depuis l’an 1795 (…) Cependant mes applications fréquentes de cette méthode ne datent que de l’année 1802, depuis ce temps j’en fait usage pour ainsi dire tous les jours dans mes calculs astronomiques sur les nouvelles planètes. (…). Au reste j’avais déjà communiqué cette même méthode, beaucoup avant la publication de l’ouvrage de M. Legendre, à plusieurs personnes, entre autres à Mr. Olbers en 1803. Ainsi, pouvais-je dans ma théorie parler de la méthode des moindres carrés, dont j’avais fait depuis sept ans mille et mille applications (…). Pouvais-je parler de ce principe, -que j’avais annoncé à plusieurs de mes amis déjà en 1803 comme devant faire partie de l’ouvrage que je préparais,-comme d’une méthode empruntée de Mr. Legendre ? Je n’avais pas l’idée, que Mr. Legendre pouvait attacher tant de prix à une idée aussi simple, qu’on doit plutôt s’étonner qu’on ne l’a pas eue depuis 100 ans, pour se fâcher que je raconte, que je m’en suis servi avant lui ? … Mais j’ai cru que tous ceux qui me connaissent le croiraient même sur ma parole, ainsi que je l’aurais cru de tout mon coeur si Mr. Legendre avait avancé, qu’il avait possédé la méthode déjà avant 1795.
Figure 1
Portrait de Gauss (1777-1855) en 1840.
7La méthode des moindres carrés est qualifiée par Stigler dans son History of Statistics (Belknap Press, 1986) comme le thème dominant - le leitmotiv - des mathématiques statistiques au xixe siècle. Stigler ajoute que la clarté de l’exposition de Legendre n’a pas été surpassée et que ce texte doit être compté dans l’histoire de la statistique comme l’une des introductions d’une nouvelle méthode les plus claires et les plus élégantes. Pour sa part, Joseph Bertrand, dans l’introduction de sa traduction de divers mémoires de Gauss intitulée Méthode des moindres carrés, (1855) affirme que Gauss considérait que la meilleure méthode pour combiner les observations était un des problèmes les plus importants de la philosophie naturelle.
8La méthode utilisée par Legendre pour exposer la méthode des moindres carrés n'est pas probabiliste mais purement algébrique : il traite le problème algébrique de la détermination des quantités dans un système d'équations surdéterminé.
9On peut commenter la méthode de Legendre comme suit en reprenant les équations des erreurs écrites par Legendre au début de son mémoire :
\[\begin{matrix} E=a+bx+cy+fz+... \\ E'=a'+b'x+c'y+f'z+... \\ E''=a''+b''x+c''y+f''z+... \\ \text{(etc}\text{.)} \\ \end{matrix}\]
10Où E, E', E"...sont les erreurs à rendre minimales.
11Legendre utilise une méthode empirique, simple à mettre en œuvre, qui consiste à rendre minimale la somme des carrés des erreurs et qu'il justifie par la phrase :
De tous les principes qu'on peut proposer pour cet objet, je pense qu'il n'en est pas de plus général, de plus exact, ni d'une application plus facile que celui (...) qui consiste à rendre minimum la somme des carrés des erreurs. Par ce moyen, il s'établit entre les erreurs une sorte d'équilibre qui empêchant les extrêmes de prévaloir, est très propre à faire connaître l'état du système le plus proche de la vérité.
12La somme des carrés des erreurs s'écrit :
\[\begin{matrix} S=E{}^\text{2}+E'{}^\text{2}+E''{}^\text{2}+....= \\ (a+bx+cy+fz+...){}^\text{2}+(a'+b'x+c'y+f'z+...){}^\text{2}+(a''+b''x+c''y+f''z+...){}^\text{2}+.... \\ \end{matrix}\]
et nous désirons que cette somme soit minimale par rapport aux inconnues x, y, z,...
13Les dérivées partielles \[\frac{dS}{dx},\frac{dS}{dy},\frac{dS}{dz},....\] doivent donc être nulles.
14Soit, pour la dérivée par rapport à x
\[\frac{dS}{dx}=2b(a+bx+cy+fz+...)+2b'(a'+b'x+c'y+f'z+...)+2b''(a''+b''x+c''y+f''z+...)+....=0\]
que l'on peut écrire, avec les notations de Legendre :
\[\int{ab+x\int{b{}^\text{2}+y\int{bc}}}+z\int{bf}+...= 0\text{, avec }\int{ab=ab+a'b'+a''b''+....}\]
etc.
15En prenant, de même, les dérivées partielles par rapport aux autres inconnues – qui sont en nombre n –, on obtient finalement n équations :
\[\begin{matrix} \int{ab+x\int{b{}^\text{2}+y\int{bc+z\int{bf+....=0}}}} \\ \int{ac+x\int{bc+y\int{c{}^\text{2}+z\int{cf+....=0}}}} \\ \int{af+x\int{bf+y\int{fc+z\int{f{}^\text{2}+....=0}}}} \\ ..................................... \\ \end{matrix}\]
16Le nombre d'équations étant égal aux nombres d'inconnues, il existe une solution et une seule, qui donne les valeurs des inconnues qui, selon l'approche empirique adoptée, sont les plus proches des valeurs réelles. Comme l’indique Legendre :
On obtiendra de cette manière autant d’équations du minimum qu’il y a d’inconnues, et il faudra résoudre ces équations par les méthodes ordinaires.
***
17La moyenne arithmétique des mesures est un cas particulier lorsque l'on a une seule variable x avec un coefficient constant b = b' = b" = .... = 1. Legendre vérifie que, dans ce cas, la méthode des moindres carrés consiste à minimiser la somme
\[({{x}_{1}}-x){}^\text{2}+({{x}_{2}}-x){}^\text{2}+...({{x}_{n}}-x){}^\text{2}\text{,}\]
soit en dérivant par rapport à x
\[2({{x}_{1}}-x)+2({{x}_{2}}-x)+...+2({{x}_{n}}-x)=0\]
et donc \(x=\frac{{{x}_{1}}+{{x}_{2}}+...{{x}_{n}}}{n}\), c'est-à-dire la moyenne arithmétique des valeurs mesurées.
18Legendre, ajoute la remarque suivante :
Ces formules sont les mêmes par lesquelles on trouverait le centre de gravité commun de plusieurs masses égales, situés dans les points donnés (…) Si on divise la masse d’un corps en molécules égales et assez petites pour être considérées comme des points, la somme des quarrés des distances des molécules au centre de gravité sera un minimum.
19La méthode, qui aboutit à ce résultat intuitif dans des cas simples, est néanmoins très facile à utiliser lorsque la situation est plus complexe. Par exemple, l'orbite elliptique d'une comète est déterminée par rapport au plan de l'écliptique par le calcul de six paramètres, inclinaison de l'orbite, demi grand-axe, excentricité, longitude du noeud ascendant, longitude du périhélie et date de passage de l'objet céleste au périhélie. En général, trois observations depuis la Terre donnant chacune six angles sont suffisantes pour résoudre le problème. La méthode de Gauss pour écrire les équations et les résoudre est alors la plus souvent employée.
20Pour comprendre le problème sur le plan probabiliste nous allons dire quelques mots des méthodes de Gauss et de Laplace relatives au même problème.
- 5 Theoria motus corporum coelestium in sectionibus conicis solem ambientium, Auctore Carolo Friderico (...)
21On peut, en utilisant le concept de variable aléatoire, exposer comme suit le résultat de Gauss publié dans sa Theoria motus corporum coelestium 5 de 1809. Considérons que les erreurs sur une quantité X inconnue, pour laquelle on dispose de plusieurs mesures x1 , x2, ..., xn , sont e1 = x1 - X, ..., en = xn -X et correspondent à des réalisations de n variables aléatoires indépendantes E1, ..., En de même loi continue de densité f, dépendant de la valeur inconnue de X.
22Pour X donné, la probabilité d'effectuer des erreurs comprises entre e1 + de1, ..., en + den est alors (compte tenu de l'indépendance)
\[f({{e}_{1}}).f({{e}_{2}})...f({{e}_{n}}).d{{e}_{1}}...d{{e}_{n}}\]
23On peut alors, selon la méthode de Bayes ou de probabilité des causes, les mesures x1, ..., xn étant connues et considérées comme des conséquences de la distribution des erreurs, chercher quelle est la valeur de X (la cause) la plus vraisemblable.
24Cette valeur de X rendra maximale la probabilité d'observation des mesures observées x1, ..., xn et donc d’observation des erreurs e1, ...en. Il s'agit de rechercher X, donc f, de sorte que \(\mathsf{f(}{{\mathsf{x}}_{\mathsf{1}}}\mathsf{-X)}...\mathsf{f(}{{\mathsf{x}}_{\mathsf{n}}}\mathsf{-X)}\) soit maximum. Le produit \(\mathsf{f(}{{\mathsf{x}}_{\mathsf{1}}}\mathsf{-X)}...\mathsf{f(}{{\mathsf{x}}_{\mathsf{n}}}\mathsf{-X)}\) est maximum lorsque la somme \(\mathsf{logf(}{{\mathsf{x}}_{\mathsf{1}}}\mathsf{-X)+}...\mathsf{+log f(}{{\mathsf{x}}_{\mathsf{n}}}\mathsf{-X)}\) est maximale. En dérivant par rapport à X on obtient la condition
\[\tag{1}\frac{d\log f({{x}_{1}}-X)}{dX}+...+\frac{d\log f({{x}_{n}}-X)}{dX}=0\]
- 6 À ce propos, Gauss écrit : « On a coutume de regarder comme un axiome l'hypothèse que si une quanti (...)
25On sait que la moyenne arithmétique \(\bar{X}=\frac{{{x}_{1}}+...{{x}_{n}}}{n}\) correspond à la valeur recherchée de X. Ceci correspond à un axiome dans la théorie de Gauss6. Cette moyenne vérifie l'équation en X
\[\sum\limits_{i=1}^{n}{({{x}_{i}}-X)=0}\]
26Gauss induit que, pour vérifier l’équation (1), on a, pour i allant de 1 à n,
\[\frac{dlogf({{x}_{i}}-X)}{dX}=k({{x}_{i}}-X).\]
27En prenant k(xi – X), Gauss prend ainsi une fonction linéaire en xi, fonction impaire la plus simple (la fonction f d’erreur étant nécessairement paire – même probabilité d’erreur dans un sens ou dans l’autre –, la dérivée de son logarithme est nécessairement impaire). On a alors, en intégrant,
\[\mathsf{logf(}{{\mathsf{x}}_{\mathsf{i}}}\mathsf{-X)=- k}\frac{{{\mathsf{(}{{\mathsf{x}}_{\mathsf{i}}}\mathsf{-X)}}^{\mathsf{2}}}}{\mathsf{2}}\mathsf{+cte}\text{, soit :}\]\[\mathsf{f(}{{\mathsf{x}}_{\mathsf{i}}}\mathsf{-X)=C}{{\mathsf{e}}^{\mathsf{- k}\frac{{{\mathsf{(}{{\mathsf{x}}_{\mathsf{i}}}\mathsf{-X)}}^{\mathsf{2}}}}{\mathsf{2}}}}\]
c'est à dire la densité de la loi de probabilité dite normale.
28On peut vérifier qu’avec cette loi, le produit \(f({{x}_{1}}-X)...f({{x}_{n}}-X)=C{{e}^{-k\frac{\sum\limits_{i=1}^{n}{{{({{x}_{i}}-X)}^{2}}}}{2}}}\) est maximum (ce qui est recherché d'après ce qui précède) lorsque la somme des carrés des écarts des mesures \(\sum\limits_{i=1}^{n}{{{({{x}_{i}}-X)}^{2}}}\) est minimale.
29La loi normale la plus générale (dite de Laplace-Gauss) fait intervenir une valeur moyenne μ et un écart type σ.
Figure 3
Fonction densité de probabilité de la « loi normale » (loi de Gauss-Laplace) d’espérance μ et de variance σ.
30En résumé, Gauss, dans son traitement de la théorie des erreurs de 1809, introduit en fait le principe du maximum de vraisemblance (puisqu'il cherche la valeur de la quantité inconnue X qui rendra maximale la probabilité d'observation des mesures observées x1, ..., xn et donc des erreurs e1, ...en.). Après ajout du postulat de la moyenne arithmétique, il obtient à la fois la loi de distribution normale et le principe des moindres carrés. La justification de ce principe des moindres carrés est donc la maximalisation de la distribution a posteriori des erreurs.
***
- 7 « Sur les intégrales définies et leur application aux probabilités et spécialement à la recherche d (...)
31En ce qui concerne Laplace, il écrit de son côté, dans son mémoire de 18117 dans l’objectif de généraliser les résultats de Legendre et de Gauss :
Lorsque l'on veut corriger par l'ensemble d'un grand nombre d'observations plusieurs éléments déjà connus à peu près, on s'y prend de la manière suivante. Chaque observation étant une fonction des éléments, on substitue dans cette fonction leurs valeurs approchées, augmentées respectivement de petites corrections qu'il s'agit de connaître. En développant ensuite la fonction en série, par rapport à ces corrections, et négligeant leurs carrés et leurs produits, on égale la série à l'observation, ce qui donne une première équation de condition entre les corrections des éléments. Une seconde observation fournit une équation de condition semblable, et ainsi du reste. Si les observations étaient rigoureuses, il suffirait d'en employer autant qu'il y a d'éléments ; mais, vu les erreurs dont elles sont susceptibles, on en considère un grand nombre, afin de compenser les unes par les autres ces erreurs, dans les valeurs des corrections que l'on déduit de leur ensemble. Mais de quelle manière, faut-il combiner entre elles les équations de condition pour avoir les corrections les plus précises ? C'est ici que l'analyse des probabilités peut être d'un grand secours. Toutes les manières de combiner ces équations se réduisent à les multiplier chacune par un facteur particulier et à faire une somme de tous ces produits : on forme ainsi une première équation finale entre les corrections des éléments. Un second système de facteurs donne une seconde équation finale, et ainsi de suite jusqu'à ce que l'on ait autant d'équations finales que d'éléments dont on déterminera les corrections en résolvant ces équations. Maintenant il est visible qu'il faut choisir les systèmes de facteurs, de sorte que l'erreur moyenne à craindre en plus ou en moins sur chaque élément soit un minimum. J'entends par erreur moyenne la somme des produits de chaque erreur par sa probabilité. En déterminant les facteurs par cette condition, l'analyse conduit à ce résultat remarquable, savoir que, si l'on prépare chaque équation de condition de manière que son second membre soit zéro, la somme des carrés des premiers membres est un minimum, en y faisant varier successivement chaque correction. Ainsi cette méthode, que MM. Legendre et Gauss ont proposée, et qui, jusqu'à présent, ne présentait que l'avantage de fournir, sans aucun tâtonnement, les équations finales nécessaires pour corriger les éléments, donne en même temps les corrections les plus précises.
32En résumé, Gauss avait démontré en 1809 la loi normale en considérant comme un axiome l'hypothèse que si une quantité a été obtenue par plusieurs observations, faites avec le même soin dans des circonstances semblables, la moyenne arithmétique des valeurs observées sera la valeur la plus probable de cette quantité. Laplace, dans la suite de son mémoire de 1810, démontre que même en ignorant la distribution des erreurs sur chaque groupe de mesures, on peut, lorsque le nombre d'observations est très grand, remplacer les mesures par leur moyenne empirique et obtenir pour l'ensemble des observations une loi normale. Comme dans le mémoire de Gauss, Laplace obtient le meilleur résultat en minimisant la somme des carrés des erreurs de chaque résultat, multipliées respectivement par la plus grande ordonnée de la courbe de probabilité des erreurs (car la valeur de l'inconnue X doit rendre maximale la probabilité d'observation des mesures observées x1, ..., xn et donc maximale la probabilité d’observation des erreurs e1, ...en). Il est donc évident que les résultats de Laplace sont obtenus, comme ceux de Gauss, à l'aide d'un raisonnement probabiliste.
Une explication du raisonnement de Gauss par Joseph Bertrand
L'histoire de la méthode des moindres carrés est singulière. Legendre, qui, le premier, l'a proposée, en 1805, aux calculateurs, ne la rattachait à aucune idée théorique. Gauss, qui depuis longtemps en faisait usage, a publié, en 1809, une démonstration acceptée sans contestation.
(…)
Si des grandeurs l1, l2,…, ln ont été observées, la probabilité d'une erreur comprise entre z et z + dz, pour l'une d'elles, étant φ(z)dz, la probabilité du concours des erreurs z1, z2,…, zn est proportionnelle à
φ(z1) φ(z2)… φ(zn) (1)
et ce produit doit être rendu maximum.
La fonction φ(z) restant inconnue, le problème paraît insoluble. L'hypothèse la plus plausible est, d'après le résultat du calcul, celle qui rend minima la somme
z1² + z2² +….zn² (2)
Si le produit (1) est maximum quand la somme (2) est minima, il doit rester constant en même temps que celle-ci et la fonction φ(z) doit satisfaire à une équation de la forme
φ(z1) φ(z2)… φ(zn) = F(z1² + z2² +….zn²)
On déduit de cette équation bien connue
φ(z) =G e-k²z²
C'est la loi proposée en 1809 ; elle seule peut justifier la règle qu'on en a déduite.
(…)
Toutes les équations, dans la théorie de Gauss, sont réduites au premier degré (…) on peut, z étant très petit, remplacer φ(z) par son développement
\(\varphi (0)+z\varphi '(0)+\frac{{{z}^{2}}}{2}\varphi ''(0)+\frac{{{z}^{3}}}{6}\varphi '''(0)+...\)
- 8 Bertrand fait ici référence aux erreurs systématiques habituellement faites dans les mesures. La mé (...)
Les erreurs constantes8 étant écartées, c'est une des hypothèses de Gauss, on a φ(z) = φ(-z) et, par conséquent, φ’(0) = 0 et φ’’’(0) = 0.
On peut, puisqu'on est convenu de négliger z² par rapport à z, négliger z4 par rapport à z2 et réduire φ(z) à la forme
\(\varphi (z)=\varphi (0)+\frac{1}{2}\varphi ''(0){{z}^{2}}=a+b{{z}^{2}}\)
Mais on a, dans les mêmes conditions,
G e-k²z² = G – Gk²z²
Si donc on pose G = a, k = - b²/a, on aura
φ(z) =G e-k²z²
La fonction φ(z), quelle que soit sa forme véritable, est réductible, dans les conditions où l'on veut résoudre le problème, à celle que Gauss avait proposée d'abord.
(extrait de Joseph Bertrand, Sur la méthode des moindres carrés, C.R.A.S., Paris, Tome CVI, n° 16, 1888, pp. 1115-1117).
Figure 5
Le mathématicien Joseph Bertrand (1822-1900). Bertrand était polytechnicien (X1839), secrétaire perpétuel de l’Académie des sciences à partir de 1874, membre de l’Académie française en 1884.
***
33L'établissement, en 1809 et 1810, de la loi normale, dont l'usage se révèlera fondamental en statistique, s'est donc fait par deux voies : celle de Gauss relative à la théorie des erreurs aboutissant à la méthode des moindres carrés, et celle de Laplace qui a énoncé la première version du théorème de la limite centrale.
34La synthèse entre ces deux approches impose, dès 1810, la loi normale comme loi quasi universelle. En effet, même si la distribution individuelle des erreurs ne suit pas une loi normale, celle des moyennes des erreurs suit sous certaines conditions (indépendance, lois identiques), une loi normale.
Le théorème de la limite centrale
Le théorème de la limite centrale établit que la somme d'un grand nombre de réalisations de variables aléatoires indépendantes et ayant la même loi de distribution est approximativement distribuée suivant la loi normale si les variables aléatoires ont une variance finie. Abraham de Moivre avait établi le théorème en 1733 pour une loi binomiale et Laplace approxima en 1811 la loi binomiale par la loi normale. Le théorème de la limite centrale est appelé de nos jours le second théorème fondamental des probabilités, le premier étant la loi des grands nombres de Jacob Bernoulli qui indique que la moyenne des réalisations de variables aléatoires indépendantes ayant la même loi de distribution et une espérance finie converge vers la valeur de cette espérance mathématique.
Le nombre de travaux concernant ces théorèmes étant historiquement très élevé, Lucien Le Cam a commenté avec humour, en 1986, l'histoire du Théorème de la limite centrale [The central limit theorem around 1935. Statistical science, volume 1, 1986, pp. 78-96.] (traduction) :
Au commencement, il y eut De Moivre, Laplace, et de nombreux Bernoullis et ils engendrèrent des théorèmes de la limite, et les hommes avisés dirent que cela était bien et ils donnèrent au théorème le nom de Gauss. Puis vinrent de nouvelles générations qui trouvèrent que le théorème avait une validité expérimentale mais manquait de rigueur. Alors vinrent Chebychev, Liapunov et Markov et ils prouvèrent le théorème et Polya voyant l'usage des moments déclara que le nom Théorème de la limite centrale devait être utilisé. Puis vint Lindeberg et il dit que cela était élémentaire car Taylor avait développé ce qui demandait à être développé, et il le dit deux fois (...)
Figure 6
Planche de Galton (scientifique anglais, 1811-1922). Une bille lâchée en haut croise divers pitons sur son chemin et tombe dans un des compartiments du bas. Cette chute obéit à la loi de probabilités dite binomiale (voir les billes en bas), qui converge vers la loi de Gauss (courbe en cloche au-dessus).
- 9 Une variable aléatoire centrée réduite a une espérance mathématique E(X) nulle et un écart type éga (...)
35Compte tenu de l'utilisation permanente de la loi normale, on a, par ailleurs, défini une fonction erreur qui est l'intégrale numérique qui a été introduite par Gauss en 1816. On la trouve tabulée dans tous les manuels et elle est définie par \(erf\left( x \right)=\frac{2}{\sqrt{\pi }}\int_{0}^{x}{{{e}^{-{{\varsigma }^{2}}}}d\varsigma }\) . La probabilité pour qu'une variable normale centrée réduite9 prenne une valeur dans l'intervalle [-z, z] est \(erf\left( \frac{z}{\sqrt{2}} \right)\).
36Dans la théorie des moindres carrés, on cherche à estimer un vecteur \(\vec{\beta }\) [1 x r], ayant ses r composantes inconnues, à partir de N observations \(\vec{Y}\) reliées linéairement à \(\vec{\beta }\), mais comportant des erreurs \(\vec{\varepsilon }\).
37On a \(\vec{Y}=M\vec{\beta }+\vec{\varepsilon }\) où
\(M=\{{{x}_{ij}}\}\) est une matrice connue de N x r éléments avec \(N\ge r\), la colonne de rang r étant pleine.
38Le système des multiplicateurs \({{k}_{ij}}\) utilisés par Legendre, Gauss et Laplace pour traiter la méthode des moindres carrés constituait en fait la recherche d'une matrice K de r x n éléments \(K=\{{{k}_{ij}}\}\), telle que l'on obtienne KM = I, I étant la matrice unité.
39L'estimation de la moyenne du vecteur \(\vec{\beta }\) noté \(\bar{\vec{\beta }}\), consiste alors à choisir la matrice K selon une approche probabiliste ou une approche algébrique afin d'obtenir l'estimation
\[\bar{\vec{\beta }}=\vec{\beta }+K\vec{\varepsilon }=K\vec{Y}\]
40L'approche de Legendre, purement algébrique, consiste à considérer la relation \(\vec{Y}=M\vec{\beta }+\vec{\varepsilon }\) comme un jeu surdéterminé d'équations linéaires ; la matrice K est alors établie en agissant sur les erreurs elles-mêmes. L'approche probabiliste consiste à établir K en imposant les distributions de probabilité sur les erreurs.
***
- 10 Roger Mansuy, analyse du manuscrit Sur la résolution numérique des systèmes d'équations différentie (...)
41Il est à noter qu'un très grand nombre de publications ont été faites, depuis celles de Legendre, Gauss et Laplace, sur ce problème des moindres carrés. Un travail remarquable d'André-Louis Cholesky (1910) montre que la décomposition de la matrice définie plus haut est possible en un produit d'une matrice triangulaire par sa matrice transposée, ramenant la résolution du système de départ à deux résolutions successives de systèmes plus aisés à résoudre10.
42Legendre a terminé son exposé de 1805 sur les moindres carrés par une application à la mesure des degrés du méridien à partir de données établies par Delambre et Méchain. La méthode des moindres carrés a été surtout utilisée au dix-neuvième siècle en astronomie et en géodésie, c'est pourquoi le titre de l'ouvrage de Legendre est relatif aux comètes et son exemple d'application à la géodésie.
43Cette méthode est aujourd'hui universellement utilisée de même que la loi normale dite de Laplace-Gauss et les quelques lignes qui précèdent ont tenté de rappeler les circonstances de leur établissement.