Voir la source de Méthode des moindres carrés

{{Infobox Méthode scientifique
|image=Moindres_carres_introduction.png
|légende=Illustration de la méthode des moindres carrés. Les données suivent la courbe figurée en pointillés et sont affectées par un bruit gaussien centré, de variance 1. Le meilleur ajustement déterminé par la méthode des moindres carrés est représenté en rouge.
}}

La '''méthode des moindres carrés''', indépendamment élaborée par [[Adrien-Marie Legendre|Legendre]] et [[Carl Friedrich Gauss|Gauss]] au début du {{s|XIX}}, permet de comparer des [[Méthode expérimentale|données expérimentales]], généralement entachées d’[[Erreur de mesure|erreurs de mesure]], à un [[modèle mathématique]] censé décrire ces données.

Ce modèle peut prendre diverses formes. Il peut s’agir de [[Loi de conservation|lois de conservation]] que les quantités mesurées doivent respecter. La méthode des moindres carrés permet alors de minimiser l’impact des erreurs expérimentales en « ajoutant de l’information » dans le processus de mesure.

== Présentation de la méthode ==

Dans le cas le plus courant, le modèle théorique est une famille de fonctions {{math|''f'' (''x'' ; ''θ'')}} d’une ou plusieurs variables muettes ''x'', indexées par un ou plusieurs paramètres {{mvar|θ}} inconnus. La méthode des moindres carrés permet de sélectionner parmi ces fonctions celle qui reproduit le mieux les données expérimentales. On parle dans ce cas d’'''ajustement par la méthode des moindres carrés'''. Si les paramètres {{mvar|θ}} ont un sens [[physique]], la procédure d’ajustement donne également une [[estimateur (statistique)|estimation]] indirecte de la valeur de ces paramètres.

La méthode consiste en une prescription (initialement empirique), qui est que la fonction {{math|''f'' (''x'' ; ''θ'')}} qui décrit « le mieux » les données est celle qui minimise la somme quadratique des déviations des mesures aux prédictions de {{math|''f'' (''x'' ; ''θ'')}}. Si, par exemple, on dispose de ''N'' mesures {{math|(''y{{ind|i}}''){{ind|''i'' {{=}} 1,...,''N''}}}}, les paramètres {{mvar|θ}} « optimaux » au sens de la méthode des moindres carrés sont ceux qui minimisent la quantité :
<center><math> S(\theta) = \sum_{i=1}^N \left(y_i - f(x_i;\theta)\right)^2 = \sum_{i=1}^N r^2_i(\theta) </math></center>

où les {{math|''r{{ind|i}}''(''θ'')}} sont les ''résidus'' du modèle, i.e. {{math|''r{{ind|i}}''(''θ'')}} est l'écart entre la mesure {{mvar|y{{ind|i}}}} et la prédiction {{math|''f'' (''x{{ind|i}}'' ; ''θ'')}} donnée par le modèle. {{math|''S''(''θ'')}} peut être considéré comme une mesure du ''[[Norme euclidienne|carré de la distance]]'' entre les données expérimentales et le modèle théorique qui prédit ces données. La prescription des moindres carrés commande que cette distance soit minimale. 

Si, comme c'est généralement le cas, on dispose d'une estimation de l'écart-type {{mvar|σ{{ind|i}}}} du bruit qui affecte chaque mesure {{mvar|y{{ind|i}}}}, on l'utilise pour « pondérer » la contribution de la mesure au {{math|χ{{2}}}}. Une mesure aura d'autant plus de poids que son incertitude sera faible :

<center><math> \chi^2(\theta) = \sum_{i=1}^N \left(\frac{y_i - f(x_i;\theta)}{\sigma_i}\right)^2 = \sum_{i=1}^N w_i \left(y_i - f(x_i;\theta)\right)^2</math></center>

La quantité {{mvar|w{{ind|i}}}}, inverse de la variance du bruit affectant la mesure {{mvar|y{{ind|i}}}}, est appelée ''poids'' de la mesure {{mvar|y{{ind|i}}}}.
La quantité ci-dessus est appelée '''khi carré''' ou [[Loi du χ²|'''khi-deux''']]. Son nom vient de la [[Test du χ²|loi statistique]] qu'elle décrit, si les erreurs de mesure qui entachent les {{mvar|y{{ind|i}}}} sont distribuées suivant une [[loi normale]] (ce qui est très courant). Dans ce dernier cas, la méthode des moindres carrés permet de plus d’estimer quantitativement l’adéquation du modèle aux mesures, pour peu que l'on dispose d'une estimation fiable des erreurs {{mvar|σ{{ind|i}}}}. Si le modèle d’erreur est non gaussien, il faut généralement recourir à la méthode du [[maximum de vraisemblance]], dont la méthode des moindres carrés est un cas particulier.

Son extrême simplicité fait que cette méthode est très couramment utilisée de nos jours en sciences expérimentales. Une application courante est le ''lissage'' des données expérimentales par une fonction empirique (fonction [[Fonction linéaire|linéaire]], [[Fonction polynôme|polynômes]] ou [[Spline|splines]]). Cependant son usage le plus important est probablement la mesure de quantités physiques à partir de données expérimentales. Dans de nombreux cas, la quantité que l’on cherche à mesurer n’est pas observable et n’apparaît qu’indirectement comme paramètre {{mvar|θ}} d’un modèle théorique {{math|''f'' (''x'' ; ''θ'')}}. Dans ce dernier cas de figure, il est possible de montrer que la méthode des moindres carrés permet de construire un estimateur de {{mvar|θ}}, qui vérifie certaines conditions d’optimalité. En particulier, lorsque le modèle {{math|''f'' (''x'' ; ''θ'')}} est linéaire en fonction de {{mvar|θ}}, le [[théorème de Gauss-Markov]] garantit que la méthode des moindres carrés permet d'obtenir l'estimateur non biaisé le moins dispersé. Lorsque le modèle est une fonction non linéaire des paramètres {{mvar|θ}} l'estimateur est généralement [[Biais (statistique)|biaisé]]. Par ailleurs, dans tous les cas, les estimateurs obtenus sont extrêmement sensibles aux points aberrants : on traduit ce fait en disant qu’ils sont [[Robustesse (statistiques)|non robustes]]. Plusieurs techniques permettent cependant de '''rendre plus robuste''' la méthode.

== Histoire ==

[[Image:Carl Friedrich Gauss.jpg|thumb|right|upright|[[Carl Friedrich Gauss]].]]

Le jour du Nouvel An de [[1801]], l'astronome italien [[Giuseppe Piazzi]] a découvert l'astéroïde [[(1) Cérès|Cérès]]<ref>Georg Wilhelm Friedrich Hegel, ''Les Orbites des planètes : dissertation de 1801'', p. 52.</ref>. Il a alors pu suivre sa trajectoire jusqu'au {{date-|14 février 1801}}<ref>''[[CRAS]]'', Volume 3, Gauthier-Villars, 1836, p. 141.</ref>. Durant cette année, plusieurs scientifiques ont tenté de prédire sa trajectoire sur la base des observations de Piazzi (à cette époque, la résolution des [[Lois de Kepler|équations non linéaires de Kepler]] de la [[cinématique]] était un problème très difficile). La plupart des prédictions furent erronées ; et le seul calcul suffisamment précis pour permettre à [[Franz Xaver von Zach|Zach]], un astronome allemand, de localiser à nouveau Cérès à la fin de l'année, fut celui de [[Carl Friedrich Gauss]], alors âgé de 24 ans (il avait déjà réalisé l'élaboration des concepts fondamentaux en 1795, lorsqu'il était alors âgé de 18 ans). Mais sa méthode des moindres carrés ne fut publiée qu'en 1809, lorsqu'elle parut dans le tome 2 de ses travaux sur la [[mécanique céleste]], ''Theoria Motus Corporum Coelestium in sectionibus conicis solem ambientium''. Le mathématicien français [[Adrien-Marie Legendre]] a développé indépendamment la même méthode en 1805.
Le mathématicien américain [[Robert Adrain]] a publié en 1808 une formulation de la méthode.

En 1829, Gauss a pu donner les raisons de l'efficacité de cette méthode ; en effet, la méthode des moindres carrés est justement optimale à l'égard de bien des critères. Cet argument est maintenant connu sous le nom de [[théorème de Gauss-Markov]].

== Formalisme ==
=== Deux exemples simples ===
==== Moyenne d'une série de mesures indépendantes ====

L'exemple le plus simple d'ajustement par la méthode des moindres carrés est probablement le calcul de la moyenne {{mvar|m}} d'un ensemble de mesures ''indépendantes'' {{math|(''y{{ind|i}}''){{ind|''i'' {{=}} 1,...,''N''}}}} entachées d'erreurs gaussiennes. Autrement dit, on veut estimer {{mvar|m}} dans la relation
<center><math>y_i = m + \varepsilon_i</math></center>
pour {{math|''i'' {{=}} 1,...,''N''}} et où {{mvar|ε{{ind|i}}}} est un [[bruit gaussien]] centré.

La prescription des moindres carrés revient à minimiser la quantité :
<center><math> \chi^2(m) = \sum_{i=1}^N \left(\frac{y_i -m}{\sigma_i}\right)^2 = \sum_{i=1}^N w_i \left(y_i - m\right)^2 </math></center>
où <math> w_i = \frac{1}{\sigma_i^2} </math> est le ''poids'' de la mesure {{mvar|y{{ind|i}}}}. Statistiquement, {{math|''σ{{ind|i}}''{{2}}}} s'interprète comme la variance de la variable aléatoire {{mvar|ε{{ind|i}}}}. On parle alors de '''moindres carrés pondérés'''. Lorsqu'on ne tient pas compte de la pondération, on pose simplement {{math|''w{{ind|i}}'' {{=}} 1}} et on parle de '''moindres carrés ordinaires (MCO)'''.

La quantité {{math|χ{{2}}(''m'')}}, ou '''somme des carrés des résidus''', est une [[forme quadratique]] définie positive. Son minimum se calcule par différenciation : {{math|grad χ{{2}}(''m'') {{=}} 0}}. Cela donne la formule classique :

<center><math> m = \frac{\sum\limits_{i=1}^N w_i y_i}{\sum\limits_{i=1}^N w_i}</math></center>

Autrement dit, l'estimateur par moindres carrés de la moyenne {{mvar|m}} d'une série de mesures entachées d'erreurs gaussiennes (connues) est leur moyenne pesée (ou pondérée), c'est-à-dire leur moyenne empirique dans laquelle chaque mesure est pondérée par l'inverse du carré de son incertitude. Le [[théorème de Gauss-Markov]] garantit qu'il s'agit du meilleur estimateur linéaire non biaisé de {{mvar|m}}.

La moyenne estimée {{mvar|m}} fluctue en fonction des séries de mesures {{mvar|y{{ind|i}}}} effectuées. Comme chaque mesure est affectée d'une erreur aléatoire, on conçoit que la moyenne d'une première série de {{mvar|N}} mesures différera de la moyenne d'une seconde série de {{mvar|N}} mesures, même si celles-ci sont réalisées dans des conditions identiques. Il importe de pouvoir quantifier l'amplitude de telles fluctuations, car cela détermine la précision de la détermination de la moyenne {{mvar|m}}. Chaque mesure {{mvar|y{{ind|i}}}} peut être considérée comme une réalisation d'une variable aléatoire {{mvar|Y{{ind|i}}}}, de moyenne {{math|{{surligner|''y''}}{{ind|''i''}}}} et d'écart-type {{mvar|σ{{ind|i}}}}. L'estimateur de la moyenne obtenu par la méthode des moindres carrés, [[combinaison linéaire]] de variables aléatoires, est lui-même une variable aléatoire : 
<center> <math> M = \frac{\sum\limits_{i=1}^N w_i Y_i}{\sum\limits_{i=1}^N w_i} </math>.</center> 

L'écart-type des fluctuations de {{mvar|M}} est donné par (combinaison linéaire de variables aléatoires indépendantes) :
<center> <math> \sigma(M) = \left(\sum_{i=1}^N \frac{1}{\sigma_i^2}\right)^{-1/2} = \left(\sum_{i=1}^N w_i\right)^{-1/2} </math></center>

Sans grande surprise, la précision de la moyenne d'une série de {{mvar|N}} mesures est donc déterminée par le nombre de mesures, et la précision de chacune de ces mesures. Dans le cas où chaque mesure est affectée de la même incertitude {{math|''σ{{ind|i}}'' {{=}} ''σ''}} la formule précédente se simplifie en : 
<center><math> \sigma(M) = \frac{\sigma}{\sqrt{N}} </math></center>
La précision de la moyenne s’accroît donc comme la racine carrée du nombre de mesures. Par exemple, pour doubler la précision, il faut quatre fois plus de données ; pour la multiplier par 10, il faut 100 fois plus de données.

==== Régression linéaire ====
{{Article détaillé|Régression linéaire}}

[[Image:Ajustement_lineaire_moindres_carres.jpg|thumb|upright=1.2|Ajustement d'un modèle de type {{math|''y'' {{=}} ''a x'' + ''b''}} par la méthode des moindres carrés. Les données suivent la loi figurée en pointillés et sont affectées d'erreurs gaussiennes, de variance 1. L'ajustement déterminé (courbe rouge) est le meilleur estimateur de la pente et de l'ordonnée à l'origine compte tenu de la quantité d'information contenue dans les points de mesure.]]

Un autre exemple est l'ajustement d'une loi linéaire du type {{math|''y'' {{=}} ''α x'' + ''β'' + ''ε''}} sur des mesures indépendantes, fonction d'un paramètre connu {{mvar|x}}. Le terme {{mvar|ε}} permet de prendre en compte des erreurs de mesure. Lorsque le modèle compte
{{mvar|k}} variables explicatives {{math|''x''{{ind|1}},...,''x{{ind|k}}''}}, on gagnera à adopter la notation matricielle :
<center><math>\mathbf{y} = \mathbf{X}\boldsymbol{\alpha} +\beta\begin{pmatrix} 1\\\vdots\\1\end{pmatrix}+  \boldsymbol{\varepsilon}</math></center>
où les matrices {{math|'''y'''}}, {{math|'''X'''}}, {{math|'''α'''}}, {{math|'''ε'''}} sont de dimension ''n'' × 1, ''n'' × ''k'', ''k'' × 1, ''n'' × 1 resp. 

L'utilisation de la régression linéaire se rencontre par exemple lorsque l'on veut étalonner un appareil de mesure simple ([[ampèremètre]], [[thermomètre]]) dont le fonctionnement est linéaire. {{mvar|y}} est alors la mesure instrumentale (déviation d'une aiguille, nombre de pas d'un [[convertisseur analogique-numérique]], …) et {{mvar|x}} la [[grandeur physique]] qu'est censé mesurer l'appareil, généralement mieux connue, si l'on utilise une source d’étalonnage fiable. La méthode des moindres carrés permet alors de mesurer la loi d’étalonnage de l'appareil, d'estimer l'adéquation de cette loi aux mesures d’étalonnage (''i.e.'' dans le cas présent, la linéarité de l'appareil) et de propager les erreurs d’étalonnage aux futures mesures effectuées avec l'appareil étalonné. En général, les erreurs (et les corrélations) portant sur les mesures {{mvar|y{{ind|i}}}} ''et'' les mesures {{mvar|x{{ind|i}}}} doivent être prises en compte. Ce cas sera traité dans la section suivante.

La prescription des moindres carrés s'écrit pour ce type de modèle :

<center><math>\chi^2(\alpha, \beta) = \sum_{i=1}^N \left( \frac{y_i - \alpha x_i - \beta}{\sigma_i} \right)^2 = \sum_{i=1}^N w_i \left(y_i - \alpha x_i - \beta \right)^2 </math></center>

Le minimum de cette somme des carrés pondérés est atteint pour {{math|grad χ{{2}} {{=}} 0}}, ce qui donne :

<center><math>
\begin{pmatrix}
\sum w_i x_i^2 & \sum w_i x_i \\
\sum w_i x_i   & \sum w_i \\
\end{pmatrix} \times 
\begin{pmatrix}
\alpha_{\min} \\
\beta_{\min} \\
\end{pmatrix} = 
\begin{pmatrix}
\sum w_i x_i y_i \\
\sum w_i y_i \\
\end{pmatrix}
</math></center>

ou, plus explicitement :

<center><math>
\begin{pmatrix}
\alpha_{\min} \\
\beta_{\min} \\
\end{pmatrix} = 
\begin{pmatrix}
\sum w_i x_i^2 & \sum w_i x_i \\
\sum w_i x_i   & \sum w_i \\
\end{pmatrix}^{-1}
\begin{pmatrix}
\sum w_i x_i y_i \\
\sum w_i y_i \\
\end{pmatrix}
</math></center>

Là encore, il s'agit d'une estimation par moindres carrés généralisée ou pondérés. La détermination des paramètres « optimaux » (au sens des moindres carrés) {{math|''α''{{ind|min}}}} et {{math|''β''{{ind|min}}}} se ramène donc à la résolution d'un système d'équations linéaires. Il s'agit là d'une propriété très intéressante, liée au fait que le modèle lui-même est linéaire. On parle d'[[régression linéaire|ajustement]] ou de [[régression linéaire|régression]] linéaire. Dans le cas général, la détermination du minimum du {{math|χ{{2}}}} est un problème plus compliqué, et généralement coûteux en temps de calcul (cf. sections suivantes).

La valeur des paramètres {{math|''α''{{ind|min}}}} et {{math|''β''{{ind|min}}}} dépend des mesures {{mvar|y{{ind|i}}}} réalisées. Comme ces mesures sont entachées d'erreur,
on conçoit bien que si l'on répète {{mvar|M}} fois les {{mvar|N}} mesures d’étalonnage, et que l'on réalise à l'issue de chaque série l'ajustement décrit plus haut, on obtiendra {{mvar|M}} valeurs numériquement différentes de {{math|''α''{{ind|min}}}} et {{math|''β''{{ind|min}}}}. Les paramètres de l'ajustement peuvent donc être considérés comme des [[variable aléatoire|variables aléatoires]], dont la loi est fonction du modèle ajusté et de la loi des {{mvar|y{{ind|i}}}}.

En particulier, l'espérance du vecteur {{math|(''α''{{ind|min}} ; ''β''{{ind|min}})}} est le vecteur des vraies valeurs des paramètres : l'estimation est donc sans-biais. Qui plus est, on montre que la dispersion qui affecte les valeurs de {{math|''α''{{ind|min}}}} et {{math|''β''{{ind|min}}}} dépend du nombre de points de mesure, {{mvar|N}}, et de la dispersion qui affecte les mesures (moins les mesures sont précises, plus {{math|''α''{{ind|min}}}} et {{math|''β''{{ind|min}}}} fluctueront). Par
ailleurs, {{math|''α''{{ind|min}}}} et {{math|''β''{{ind|min}}}} ne sont généralement pas des variables [[variable indépendante|indépendantes]]. Elles sont généralement corrélées, et leur corrélation dépend du modèle ajusté (on a ici supposé les {{mvar|y{{ind|i}}}} indépendants).

=== Ajustement d'un modèle linéaire quelconque ===

Un modèle {{math|''y'' {{=}} ''f'' (''x'' ; ''θ'')}} est linéaire si sa dépendance en {{mvar|θ}} est linéaire. Un tel modèle s'écrit :
<center> <math>y= f(x;\theta) = \sum_{k=1}^n  \theta_k \phi_k(x) </math></center>
où les {{mvar|ϕ{{ind|k}}}} sont ''n'' fonctions quelconques de la variable {{mvar|x}}. Un tel cas est très courant en pratique : les deux modèles étudiés plus haut sont linéaires. Plus généralement tout modèle polynomial est linéaire, avec {{math|''ϕ{{ind|k}}''(''x'') {{=}} ''x{{exp|k}}''}}. Enfin, de très nombreux modèles utilisés en sciences expérimentales sont des développements sur des bases fonctionnelles classiques ([[spline]]s, [[série de Fourier|base de Fourier]], bases d'[[ondelette]]s{{etc.}})

Si on dispose de ''N'' mesures, {{math|(''x{{ind|i}}'', ''y{{ind|i}}'', ''σ{{ind|i}}'')}}, le {{math|χ{{2}}}} peut être écrit sous la forme : 
<center> <math> \chi^2(\mathbf{\theta}) = \sum_{i=1}^N \frac{1}{\sigma_i^2} \left(\sum_{k=1}^n \theta_k \phi_k(x_i) -y_i \right)^2 </math></center>

On peut alors exploiter la linéarité du modèle pour exprimer le {{math|χ{{2}}}} sous une forme matricielle plus simple. En effet, en définissant :
<center> <math> \mathbf{J} = \begin{pmatrix}
                        \phi_1(x_1) & \ldots & \phi_n(x_1) \\
                        \vdots      &        & \vdots \\
                        \phi_1(x_N) & \ldots & \phi_n(x_N) \\
                      \end{pmatrix} \ , \ 
          \mathbf{\theta} = \begin{pmatrix}
                       \theta_1 \\
                       \vdots \\
                       \theta_n \\
                      \end{pmatrix}
\ , \ 
          \mathbf{y} = \begin{pmatrix}
                       y_1 \\
                       \vdots \\
                       y_N \\
                       \end{pmatrix}
\quad \text{   et   } \quad
          \mathbf{W} = \begin{pmatrix}
                       \frac{1}{\sigma_1^2} & \ldots & 0 \\
                       \vdots             & \ddots & \vdots \\
                       0                  & \ldots & \frac{1}{\sigma_N^2}\\
                       \end{pmatrix} = \begin{pmatrix}
                       w_1 & \ldots & 0 \\
                       \vdots & \ddots & \vdots \\
                       0 & \ldots & w_N \\
                       \end{pmatrix}
  </math></center>
on montre facilement que le {{math|χ{{2}}}} s'écrit sous la forme :
<center> <math> \chi^2(\mathbf{\theta}) = (\mathbf{J\theta} - \mathbf{y})^T \mathbf{W} (\mathbf{J\theta} - \mathbf{y}) </math></center>
La matrice {{math|'''J'''}} est appelée ''matrice jacobienne'' du problème. C'est une matrice rectangulaire, de dimension ''N'' × ''n'', avec généralement ''N'' ≫ ''n''. Elle contient les valeurs des fonctions de base {{mvar|ϕ{{ind|k}}}} pour chaque point de mesure. La matrice diagonale {{math|'''W'''}} est appelée ''matrice des poids''. C'est l'inverse de la [[Covariance|matrice de covariance]] des {{mvar|y{{ind|i}}}}. On montre que si les {{mvar|y{{ind|i}}}} sont corrélés, la relation ci-dessus est toujours valable. {{math|'''W'''}} n'est simplement plus diagonale, car les covariances entre les {{mvar|y{{ind|i}}}} ne sont plus nulles.

En différenciant la relation ci-dessus par rapport à chaque {{mvar|θ{{ind|k}}}}, on obtient : 
<center> <math> {\rm grad}\ \chi^2(\mathbf{\theta}) = 2\ \mathbf{J}^T \mathbf{W J \theta} - 2\ \mathbf{J}^T \mathbf{Wy} </math></center>

et le minimum du {{math|χ{{2}}}} est donc atteint pour {{math|''θ''{{ind|min}}}} égal à : 
<center> <math> \theta_{\min} = \left(\mathbf{J}^T \mathbf{WJ}\right)^{-1}\ \mathbf{J}^T \mathbf{Wy}</math></center>

On retrouve la propriété remarquable des problèmes linéaires, qui est que le modèle optimal peut être obtenu en une seule opération, à savoir la résolution d'un système ''n'' × ''n''.

==== Équations normales ====
{{Article détaillé|Pseudo-solution}}

Dans le cas d'[[Équation linéaire|équations linéaires]] surdéterminées à coefficients constants, il existe une solution simple<ref>« 3.6 système surdéterminé » dans ''Analyse numérique première partie'', Professeur F.X. LITT, Centrale des cours de l'AEES (ULg).</ref>. Si on dispose d'équations expérimentales surdéterminées sous la forme

<center> <math>A \vec x = \vec b,</math></center>

on peut représenter l'erreur commise par le vecteur résidu  

<center> <math>\vec r = \vec b - A \vec x.</math></center>

La [[Norme (mathématiques)|norme]] du résidu <math>\left\| \vec r \right\|_2 = \left\| \vec b- A \vec x \right\|_2</math> est minimum ''si et seulement si'' <math> \vec x  </math> satisfait les '''équations normales''' :

<center> <math> (A^T A) \vec x = A^T \vec b,</math></center>

où {{mvar|A{{exp|T}}}}  est la transposée de {{mvar|A}}. Et donc :

<center> <math> \vec x = (A^T A)^{-1}A^T \vec b</math></center>

=== Ajustement de modèles non linéaires ===
{{Article détaillé|moindres carrés non linéaires}}

Dans de nombreux cas, la dépendance du modèle en {{mvar|θ}} est non linéaire. Par exemple, si {{math|''f'' (''x'' ; ''θ'') {{=}} ''f'' (''x'' ; (''A'',''ω'',''ϕ'')) {{=}} ''A'' cos(''ω x'' + ''ϕ'')}}, ou {{math|''f'' (''x'' ; ''θ'') {{=}} ''f'' (''x'' ; ''τ'') {{=}} exp(-''x''/''τ'')}}. Dans ce cas, le formalisme décrit à la section précédente ne peut pas être appliqué directement. L'approche généralement employée consiste alors à partir d'une estimation de la solution, à linéariser le {{math|χ{{2}}}} en ce point, résoudre le problème linéarisé, puis itérer. Cette approche est équivalente à l'algorithme de minimisation de [[Gauss-Newton]]. D'autres techniques de minimisation existent. Certaines, comme l'[[algorithme de Levenberg-Marquardt]], sont des raffinements de l'algorithme de Gauss-Newton. D'autres sont applicables lorsque les dérivées du {{math|χ{{2}}}} sont difficiles ou coûteuses à calculer.

Une des difficultés des problèmes de [[moindres carrés non linéaires]] est l'existence fréquente de plusieurs minima locaux. Une exploration systématique de l'espace des paramètres peut alors se révéler nécessaire.

=== Ajustement sous contraintes ===
{{...}}

==== Contraintes linéaires d'égalité ====

Dans le cas où les contraintes sont linéaires et d'égalité, 

<center><math>\mathbf{y} = \mathbf{X}\boldsymbol{\beta} + \boldsymbol{\varepsilon}</math> sous contraintes <math>\mathbf{R}\boldsymbol{\beta} = \mathbf{s}</math></center>

l'estimateur peut s'écrire comme un estimateur des moindres carrés corrigé :
<center><math>\widehat{\boldsymbol{\beta}}_{\textrm{MCC}} = (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{X}^T \mathbf{y} - (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{R}^T \left( \mathbf{R} (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{R}^T \right)^{-1} \left( \mathbf{R} (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{X}^T \mathbf{y} - \mathbf{s} \right)</math></center>

Ce résultat peut être obtenu par application des conditions d'optimalité du premier ordre.

{{démonstration|contenu=
Considérons le [[lagrangien (optimisation)|lagrangien]] du problème de régression ci-dessus :

:<math>\ell (\boldsymbol{\beta} , \boldsymbol{\lambda}) = \dfrac12 \left\| \mathbf{y} - \mathbf{X}\boldsymbol{\beta} \right\|^2 + \boldsymbol{\lambda}^T \left( \mathbf{R}\boldsymbol{\beta} - \mathbf{s} \right).</math>

Les conditions d'optimalité du premier ordre donnent les résultats :

:<math>\dfrac{\partial \ell}{\partial \boldsymbol{\beta}} (\boldsymbol{\beta}^* , \boldsymbol{\lambda}^*) = \mathbf{X}^T\left( \mathbf{X}\boldsymbol{\beta}^* - \mathbf{y} \right) + \mathbf{R}^T\boldsymbol{\lambda}^* =0 \ , \ 
\dfrac{\partial \ell}{\partial \boldsymbol{\lambda}} (\boldsymbol{\beta}^* , \boldsymbol{\lambda}^*) = \mathbf{R}\boldsymbol{\beta}^* - \mathbf{s} = 0</math>

La première équation donne :
:<math>\boldsymbol{\beta}^* = (\mathbf{X}^T \mathbf{X})^{-1}\mathbf{X}^T \mathbf{y} - (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{R}^T\boldsymbol{\lambda}^*</math>

que l'on réinjecte dans la seconde :
:<math>\mathbf{R}( (\mathbf{X}^T \mathbf{X})^{-1}\mathbf{X}^T \mathbf{y} -  (\mathbf{X}^T \mathbf{X})^{-1}  \mathbf{R}^T\boldsymbol{\lambda}^* ) = \mathbf{s}</math>

ce qui donne la valeur des coefficients de Lagrange :
:<math> \boldsymbol{\lambda}^* = ( \mathbf{R}  (\mathbf{X}^T \mathbf{X})^{-1}  \mathbf{R}^T)^{-1} \left[\mathbf{R} (\mathbf{X}^T \mathbf{X})^{-1}\mathbf{X}^T \mathbf{y} - \mathbf{s} \right] </math>

On obtient ainsi le résultat voulu sur <math>\boldsymbol{\beta}^* </math>.
}}

=== Ajustement de modèles implicites ===
{{...}}

== Interprétation statistique ==

=== Estimation statistique ===

==== Modèle standard : moindres carrés ordinaires ====
Pour le modèle matriciel
<center><math>\mathbf{y} = \mathbf{X} \boldsymbol{\beta} + \boldsymbol{\varepsilon}</math></center>
on conserve les hypothèses conventionnelles que <math>\mathbb{E}(\boldsymbol{\varepsilon})=\mathbf{0}</math> et que <math>\mathbb{E} (\boldsymbol{\varepsilon} \boldsymbol{\varepsilon}^T) = \sigma^2 I_n</math>, où <math>I_n</math> est la matrice d'identité. Dans ce cas, l'estimateur par '''moindres carrés ordinaire (MCO)''' est
<center><math>\boldsymbol{\widehat{\beta}} = (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{X}^T \mathbf{y}</math></center>
Une formalisation supplémentaire (on suppose par exemple en plus que les aléas sont normaux) permet d'obtenir les propriétés asymptotiques de l'estimateur :
<center><math>\boldsymbol{\widehat{\beta}} \sim \mathcal{N} \left(\boldsymbol{\beta}_0 ; \sigma_0^2 (\mathbf{X}^T \mathbf{X})^{-1} \right)</math></center>
Les indices 0 indiquent qu'il s'agit de la vraie valeur des paramètres.

==== Moindres carrés généralisés ====
Lorsqu'on relâche (un peu) l'hypothèse sur la structure de la matrice de variance-covariance des erreurs, on peut toujours obtenir un estimateur par moindres carrés. On suppose donc que <math>\mathbb{E} (\boldsymbol{\varepsilon} \boldsymbol{\varepsilon}^T) = \boldsymbol{\Omega}</math>, où cette dernière matrice est ''connue''. L'estimateur par moindres carrés (dit par '''moindres carrés généralisé''', MCG) s'écrit toujours :
<center><math>\boldsymbol{\widehat{\beta}} = (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{X}^T \mathbf{y}</math></center>
Les propriétés asymptotiques changent par rapport au cas standard :
<center><math>\boldsymbol{\widehat{\beta}} \sim \mathcal{N} \left(\boldsymbol{\beta}_0 ; (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{X}^T \boldsymbol{\Omega} \mathbf{X} (\mathbf{X}^T \mathbf{X})^{-1}\right)</math></center>

==== Moindres carrés pondérés ====
Si l'on connaît parfaitement la matrice de variance-covariance {{math|'''Ω'''}}, on peut considérer la méthode des '''moindres carrés pondérés'''. Pour cela, on considère la [[Factorisation de Cholesky|décomposition de Cholesky]] de cette matrice : {{math|'''P'''{{exp|T}} '''P''' {{=}} '''Ω'''{{-1}}}} et on prémultiplie chaque membre de la régression par {{math|'''P'''{{exp|T}}}}, pour obtenir
<center><math>\mathbf{y}^\ast = \mathbf{X}^\ast \boldsymbol{\beta} + \boldsymbol{\varepsilon}^\ast</math></center>
avec <math>\mathbf{y}^\ast = \mathbf{P}^T\mathbf{y}</math>, <math>\mathbf{X}^\ast = \mathbf{P}^T\mathbf{X}</math> et <math>\boldsymbol{\varepsilon}^\ast = \mathbf{P}^T \boldsymbol{\varepsilon}</math>. Ainsi transformé, ce modèle vérifie toutes les hypothèses requises par les MCO et l'estimateur en résultant présentera toutes les bonnes propriétés (notamment du point de vue de la matrice de variance-covariance) :
<center><math>\boldsymbol{\widehat{\beta}} = (\mathbf{X}^T \boldsymbol{\Omega}^{-1} \mathbf{X})^{-1} \mathbf{X}^T \boldsymbol{\Omega}^{-1}\mathbf{y}</math></center>
La loi asymptotique sera :
<center><math>\boldsymbol{\widehat{\beta}} \sim \mathcal{N} \left(\boldsymbol{\beta}_0 ; (\mathbf{X}^T \boldsymbol{\Omega}^{-1} \mathbf{X})^{-1}\right)</math></center>

=== Le critère du χ² ===
{{...}}

La méthode des moindres carrés se base sur une évaluation des résidus de l'erreur commise par rapport à un modèle. On peut donc comparer la valeur estimée de l'erreur par rapport à une variance :
<center><math> \chi_{\nu}^2(\theta) = \frac{1}{\nu} \sum_{i=1}^N \left(\frac{y_i - f(x_i;\theta)}{\sigma_i}\right)^2.</math></center>

L'entier {{mvar|ν}} représente le nombre de degrés de liberté dans notre estimation, soit la différence entre le nombre d'échantillons {{mvar|N}} et le nombre de paramètres qui caractérisent le modèle. Ainsi, dans le cas du modèle linéaire, puisqu'il faut deux paramètres pour le caractériser, on a {{math|''ν'' {{=}} ''n'' –2}}.

On considère que l'estimation est bonne si {{math|χ{{indexp|''ν''|2}} < 1}} (trop d'erreur de mesures) et {{math|χ{{indexp|''ν''|2}} > 0,1}} (surestimation des erreurs commises).

=== Optimalité de la méthode des moindres carrés ===

Dans la régression linéaire classique,
<center><math>\mathbf{y} = \mathbf{X}\boldsymbol{\beta} + \boldsymbol{\varepsilon}</math></center>

On suppose généralement que <math>\mathbb{E}(\boldsymbol{\varepsilon})=\mathbf{0}</math> et que <math>\mathbb{E} (\boldsymbol{\varepsilon} \boldsymbol{\varepsilon}^T) = \sigma^2 I_n</math>, où {{mvar|I{{ind|n}}}} est la matrice d'identité. La dernière hypothèse porte sur la structure de variance-covariance des aléas : on suppose que pour tout ''i'', {{math|Var(''ε{{ind|i}}'') {{=}} ''σ''{{2}}}} ([[homoscédasticité]]) et que {{math|Cov(''ε{{ind|i}}'',''ε{{ind|j}}'') {{=}} 0}} pour ''i'' ≠ ''j'' (indépendance).

L'estimation par moindres carrés ordinaires (MCO) est
<center><math>\boldsymbol{\widehat{\beta}} = (\mathbf{X}^T \mathbf{X})^{-1} \mathbf{X}^T \mathbf{y}</math></center>

Sous les hypothèses précédentes, cet estimateur est connu pour être le meilleur estimateur linéaire sans biais (voir le [[théorème de Gauss-Markov]]) : cela signifie que parmi les estimateurs du type <math>\boldsymbol{\tilde{\beta}} = \mathbf{B} \mathbf{y} </math> non biaisé, l'estimateur MCO présente une variance minimale.

Enfin, si on suppose de plus que les aléas sont gaussiens, le modèle peut s'estimer par la méthode du [[maximum de vraisemblance]]. Cet estimateur se trouve être celui par moindres carrés MCO et atteignant la [[borne de Cramér-Rao]].

Enfin, sous les hypothèses du paragraphe sur les moindres carrés généralisés, l'estimateur reste le [[meilleur estimateur linéaire non biaisé]].

== Robustesse ==

La méthode des moindres carrés gère mal les valeurs aberrantes (ou ''{{lang|en|outliers}}''), qui peuvent « brouiller » les points en sortant de la moyenne. En effet, chercher la solution d'un problème de moindres carrés revient à résoudre une équation sur les résidus {{math|''r{{ind|i}}'' (''θ'')}} :
<center><math> \operatorname{grad} \chi^2 (\theta) = \operatorname{grad} \sum_{i=1}^n r_i(\theta)^2 = 0 \Longrightarrow \forall j, \sum_{i=1}^n r_i(\theta) \frac{\partial r_i(\theta)}{\partial \theta_j} = 0 </math></center>

Or pour une [[donnée aberrante]], le résidu associé est élevé et entraîne une surestimation de cette donnée dans la résolution (effet de masquage ou ''{{lang|en|masking effect}}'') ; à l'inverse, des données correctes peuvent se retrouver négligées par rapport à d'autres (''{{lang|en|swamping effect}}'')<ref>{{article|langue=en|titre=Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography|auteur1 = Martin A. Fischler |auteur2 = Robert C. Bolles|périodique=Communications of the ACM|année=1981|volume=24|numéro=6|lire en ligne=https://www.sri.com/sites/default/files/publications/ransac-publication.pdf}}</ref>{{,}}<ref>{{article|langue=en|titre=Robust statistics for outlier detection|auteur1=Peter J. Rousseeuw|auteur2=Mia Hubert|année=2011|éditeur=John Wiley & Sons, Inc.|périodique=WIREs Data Mining Knowledge Discovery|volume=1|pages=73–79}}</ref>.

Plusieurs méthodes existent pour éviter une influence trop forte des valeurs aberrantes :
* modifier le {{math|χ{{2}}}} en ne calculant plus le carré des résidus mais une fonction {{mvar|ρ}} bien choisie de ceux-ci (méthodes des M-estimateurs)
* remplacer la somme par la [[médiane (statistiques)|médiane]], qui contrairement à la moyenne est un estimateur robuste (méthode des moindres carrés médians).

== Notes et références ==
{{Références}}

== Voir aussi ==
{{Autres projets
 | commons     = <!-- Commons -->
 | wikispecies = <!-- Wikispecies -->
 | wiktionary  = <!-- Wiktionary --> méthode des moindres carrés 
 | wikiversity = <!-- Wikiversity -->
 | wikibooks   = <!-- Wikibooks -->
 | wikisource  = <!-- Wikisource -->
 | wikiquote   = <!-- Wikiquote -->
 | wikinews    = <!-- Wikinews -->
 | meta        = <!-- Meta-Wiki -->
 | outreach    = <!-- Outreach -->
 | wikivoyage  = <!-- Wikivoyage -->
}}

=== Bibliographie ===
* {{Ouvrage |langue=fr |auteur1=Pierre-André Cornillon |auteur2=Éric Matzner-Løber |titre=Régression |sous-titre=théorie et applications |lieu=Paris |éditeur=Springer |année=2007 |pages totales=302 |isbn=978-2-287-39692-2}}.
* {{Ouvrage
|auteur1=[[Sabine Van Huffel]]
|auteur2=Joos Vandewalle
|préface=Gene H. Golub
|titre=The Total Least Squares Problem
|sous-titre=Computational Aspects and Analysis
|éditeur=SIAM
|collection=Frontiers in Applied Mathematics
|numéro dans collection=9
|année=1991
|pages totales=xiii + 300
|isbn=978-0-89871-275-9
|math reviews=1118607
|présentation en ligne=http://bookstore.siam.org/fr09/
}}

=== Articles connexes ===
* [[Méthode des doubles moindres carrés]]
* [[Test du χ²]]
* [[Loi du χ²]]
* [[Apprentissage supervisé]]
* [[Simulation de profil]]
* [[M-estimateur]]
* [[Conditions d'optimalité (dimension finie)]]
* [[Algorithme de Levenberg-Marquardt]]
* [[Algorithme des moindres carrés récursifs]]
* [[Indice de Gallagher]]
* [[Méthode des moindres carrés ordinaire]]

=== Liens externes ===
* ''(histoire des sciences)'' [http://bibnum.education.fr/math%C3%A9matiques/alg%C3%A9bre/legendre-et-la-m%C3%A9thode-des-moindres-carr%C3%A9s La méthode des moindres carrés], à partir du texte de Legendre (1805), site [[Bibnum]]
* ''(histoire des sciences)'' [http://bibnum.education.fr/math%C3%A9matiques/alg%C3%A9bre/sur-la-r%C3%A9solution-num%C3%A9rique-des-syst%C3%A8mes-d%C3%A9quations-lin%C3%A9aires La méthode de Cholesky], 1910 (cf. [[#Moindres carrés généralisés|supra]]), site Bibnum
* ''[http://www.incertitudes.fr/livre.pdf Calcul d'incertitudes]'' Un livre de 198 pages qui traite de la régression linéaire et non-linéaire. Un [[tableur]] permet les calculs avec ou sans barres d'erreurs M(x<sub>i</sub>±&Delta;x<sub>i</sub>; y<sub>i</sub>±&Delta;y<sub>i</sub>). 
* [http://www.artelys.com/knitro Artelys Knitro] (logiciel) solveur non-linéaire implémentant les algorithmes de Gauss-Newton et Levenberg-Marquardt, interfaces pour  [[C_(langage)|C]]/[[C++]], [[Python_(langage)|Python]], [[Java_(technique)|Java]], [[C_sharp|C#]], [[MATLAB]], et [[R_(langage_de_programmation_et_environnement_statistique)|R]]
* {{en}} [http://apps.jcns.fz-juelich.de/doku/sc/lmfit lmfit] (logiciel) minimisation selon l'algorithme de Levenberg-Marquardt, pour utilisation dans des programmes en C ou C++
* {{PDF}} [http://www.isima.fr/~leborgne/IsimathMoindrescarres/moindrescarres.pdf Méthodes des moindres carrés : meilleure approximation linéaire]

{{Palette|Probabilités et statistiques}}
{{Portail|probabilités et statistiques}}

[[Catégorie:Estimation (statistique)]]
[[Catégorie:Régression|Moindres carrés]]
[[Catégorie:Carl Friedrich Gauss]]