Chapitre 1
Chapitre 1
Chapitre 1
E(Y/X’)
E(Y/X)
La droite de régression (en rouge) E(Y)=aX+b passe par les points E(Y/Xi), pour tout
i=1,…n et donc en particulier en E(Y/X) et E(Y/X’) représentés sur ce graphique.
ESTIMATION DES PARAMETRES
ESTIMATION DES PARAMETRES :
Introduction
On veut obtenir de bonnes estimations des paramètres b0 et b1 de la droite de
régression E(Y)= b0 + b1X . On voudra également évaluer l’ampleur de la variabilité
des observations Yi autour de la droite de régression cad obtenir une estimation de
la variance des erreurs.
Comme tout travail statistique, nous nous servons des données de l’expérience
pour calculer les statistiques qui servent d’estimateurs des paramètres. En
régression linéaire simple l’objectif est d’obtenir une droite qui s’ajuste le mieux
possible aux points du diagramme de dispersion. On verra comment.
Pour chaque échantillon de taille n issu de la population, on obtiendra une
estimation différente de la droite de régression E(Y)= b0 + b1X . Soit une estimation
de cette droite notée 𝑌= b0+b1X où b0 (estimateur de b0) représente l’ordonnée à
l’origine et b1 (estimateur de b1) la pente de la droite. On montrera que la
méthode des moindres carrés ordinaires assurent que b0 et b1 ont des propriétés
importantes.
ESTIMATION DES PARAMETRES :
Principe des MCO
On cherche donc la droite 𝑌𝑖 = b0+b1Xi qui ajuste le mieux le nuage de points
(X1,Y1), (X2,Y2),…,(Xn,Yn). La valeur estimée 𝑌𝑖 de Yi est l’ordonnée d’un point de
la droite dont l’abscisse est Xi. Comme le montre la figure ci-dessous certains
points du couple(Xi,Yi) sont au-dessus de la droite d’autres en-dessous. Ces
écarts notés ei par rapport à la droite et définis par : ei = Yi - 𝑌𝑖 = Yi - b0+b1Xi
sont appelés résidus.
Le meilleur ajustement suppose que ces écarts mesurés verticalement entre
les points du nuage et la droite de régression soient aussi faibles que possible.
La méthode des MCO consiste à minimiser la somme des carrés des écarts
donc la somme des carrés des résidus :
MCO min 𝑛 2
𝑖=1 𝑒𝑖 = 𝑛
𝑖=1 Yi − 𝑌𝑖 ² = 𝑛
𝑖=1 Yi − b0+b1Xi ²
empirique
Valeur estimée
Ecart ei = Yi - 𝑌𝑖
Valeur observée
ESTIMATION DES PARAMETRES :
Application des MCO
Etape 1 : Annulation des dérivées partielles : Etape 2 : Positivité des dérivées
𝜕 𝑛 2 secondes
𝑖=1 𝑒𝑖
=0 −2 𝑛
𝑖=1 𝑌𝑖 − 𝑏0 − 𝑏1 𝑋𝑖 = 0 (1)
𝜕𝑏0
𝑛 2
𝜕² 𝑖=1 𝑒𝑖
(1) 𝑛
𝑖=1 Yi − 𝑌𝑖 = 0 = 2n ≥ 0
𝜕²𝑏0
(1) 𝑛
𝑖=1 𝑌𝑖 − 𝑛𝑏0 − 𝑏1 𝑛
𝑖=1 𝑋𝑖 =0
𝑛 2
𝜕² 𝑖=1 𝑒𝑖
𝜕 𝑛 2
𝑖=1 𝑒𝑖 = 2 𝑋𝑖2 ≥ 0
=0 −2 𝑛
𝑖=1 𝑌𝑖 − 𝑏0 − 𝑏1 𝑋𝑖 𝑋𝑖 = 0 (2) 𝜕²𝑏1
𝜕𝑏1
(2) 𝑛
𝑖=1 Yi − 𝑌𝑖 𝑋𝑖 = 0 b0 et b1 sont donc des minimums
(2) 𝑛
𝑖=1 𝑌𝑖 𝑋𝑖 − 𝑏0 𝑛
𝑖=1 𝑋𝑖 − 𝑏1 𝑛 2
𝑖=1 𝑋𝑖 =0
CSQ :
Lorsque que les variables sont centrées, cad lorsque les observations sont
centrées sur leur moyenne telles que 𝑥𝑖 = 𝑋𝑖 − 𝑋 et 𝑦𝑖 = 𝑌𝑖 − 𝑌 ,
𝒏
𝒊=𝟏 𝒙𝒊 𝒚𝒊
Alors 𝒃𝟎 = 𝒀 − 𝒃𝟏 𝑿 et 𝒃𝟏 = 𝒏 𝒙𝟐
𝒊=𝟏 𝒊