Correction TD Econo 3 2023
Correction TD Econo 3 2023
Correction TD Econo 3 2023
30 novembre, 2023
yi = a0 + a1 x i + εi , i = 1, . . . , n (1)
L’estimation par le maximum de vraisemblance est basée sur la vraisemblance de l’échantillon. Nous partons
de l’hypothèse selon laquelle l’échantillon que nous tirons est représentatif de la population par conséquent
est l’échantillon qui a le plus de chance d’être tiré. En d’autres termes il s’agit de l’échantillon avec la
1
probabilité maximale.
Pn
On montre alors qu’à σ2 fixé, la fonction de vraisemblance (ou sa forme log ln L) est maximale si i=1 ( yi −
n
a0 − a1 x i )2 = i=1 ε2i est minimale. Ce qui tombe sur le problème de minimisation des MCO. On conclue alors
P
que l’estimateur du maximum de vraisemblance de a0 et a1 est égale à celui des moindres carrés ordinaires sous
hypothèse classique.
::: {.proof} Quel est la probabilité d’obtenir ( y1 , y2 , . . . , yn )? Puisque yi = f (εi ) alors yi suit une loi normale de
moyenne
E( yi ) = E(a0 + a1 x i + εi ) = a0 + a1 x i + E(εi ) = a0 + a1 x i
et variance
var( yi ) = var(a0 + a1 x i + εi ) = var(εi ) = σ2
De plus
cov( yi , y j ) = E( yi − E( yi ))( y j − E( y j )) = E(εi , ε j ) = 0
or 2
1 1 ( yi −E( yi ))
f ( yi ) = p e − 2 σ2
2πσ2
ceci implique que n
1
Pn
1
e− 2σ2 i=1 ( yi −a0 −a1 x i )
2
f ( y1 , y2 , . . . , y n ) = p
2πσ 2
La vraisemblance de cet échantillon en fonction des paramètres a0 , a1 et σ2 n’est rien d’autres que la probabilité
associé à l’échantillon ( y1 , y2 , . . . , yn ):
n
1
Pn
1
e− 2σ2 i=1 ( yi −a0 −a1 x i )
2
L(a0 , a1 , σ2 | y1 , y2 , . . . , yn ) = p
2πσ 2
Maximiser la vraisemblance est pareil que maximiser la log vraisemblance car le logarithme est une transformation
monotone1 .
n
n 1 X
ln L(a0 , a1 , σ2 , y1 , y2 , . . . , yn ) = − ln 2πσ2 − 2 ( yi − a0 − a1 x i )2
2 2σ i=1
Pn Pn
On constate bien qu’à σ2 fixé, la fonction ln L est maximale si i=1 ( yi − a0 − a1 x i )2 = i=1 ε2i est minimale. ::: 1.
Montrez que â0 et â1 sont linéaires en yi
1
Par conséquent, nous pouvons prendre le logarithme de la fonction de vraisemblance puisque maximiser la somme est relativement plus
aisé que maximiser le produit.
2
On montre que les estimateurs â0 et â1 sont linéaires en yi
n
X
â1 = ωi yi
i=1
n (5)
X
â0 = mi yi
i=1
avec
(x i − x̄) 1
ωi = et mi = − x̄ωi (6)
Sx x n
::: {.proof} Commençons par â1 ,
Pn n n
i=1 (x i − x̄) yi (x i − x̄)
Sx y X X
â1 = = = yi = ωi yi
Sx x Sx x i=1
Sx x i=1
Ensuite,
n n n
1
X X X
â0 = ȳ − â1 x̄ = ȳ − ωi yi x̄ = − x̄ωi yi = mi yi
i=1 i=1
n i=1
Des relations précédentes on conclu que â0 et â1 sont des estimateurs linéaires en yi affectées respectivement des
coefficients mi et ωi . ::: 1. Montrez que â0 et â1 sont sans biais
Un estimateur â est dit sans biais de a lorsque E(â) = a.
Avant de montrer que â0 et â1 sont des estimateurs sans biais de a0 et a1 respectivement. Nous allons (i) prendre
quelques résultats sur les coefficients ωi et mi et (2i) réécrire chaque estimateur des MCO en fonction de son
paramètre. 1. Quelques résultats sur ωi et mi
n n
X 1 X
ωi = (x i − x̄) = 0
i=1
S x x i=1
n
Pn
i=1 x i (x i − x̄)
X
x i ωi = =1
i=1
Sx x
n
Pn
i=1 (x i − x̄)
2
X 1
2
ωi = 2
=
i=1
S xx S xx
3
Ecriture des estimateurs en fonction des paramètres
Pour â1 on a:
n
X
â1 = ωi yi
i=1
Xn
= ωi (a0 + a1 x i + εi )
i=1
n
X n
X n
X
= a0 ωi + a1 ωi x i + ωi εi
i=1 i=1 i=1
n
X
= a1 + ωi εi
i=1
et
n
X n
X
E(â0 ) = E(a0 + m i ε i ) = a0 + mi E(εi ) = a0
i=1 i=1
On conclue alors que l’estimateur des MCO est sans biais. 1. Montrez que â0 et â1 sont des estimateurs consistants
Indication: α̂ est dit consistant si pr o b lim α̂ = α lorsque la taille de l’échantillon augmente.
On sait que â1 = a1 + i ωi εi , alors â1 = a1 + i ωi εi , alors
P P
X
pl imâ1 = a1 + plim ωi εi
i
1
n S xε
= a1 + plim 1
n Sx x
cov(x, ε)
= a1 + plim
var(x x)
= a1
4
De même,
X
pl imâ0 = a0 + plim mi εi
i
1X X
= a0 + plim εi − x̄ plim ωi εi
n i i
= a0
Pn
1. Montrez que l’estimateur MV de la variance vaut σ̂2mv = i ei2 /n
Indication: dériver la log-vraisemblance par rapport à σ2 .
n
∂ ln L(a0 , a1 , σ2 , yi , x i ) n 1 X
= − + ( yi − â0 − â1 x i )2 = 0
∂ σ2 2σ2 2σ4 i=1
X n
X
=⇒ nσ2 = ei2 d’où σ̂2mv = ei2 /n
i i
où ŷi = β̂0 + β̂1 x i . ŷi est l’estimateur yi est ses valeurs sont appelées valeurs ajustées. Les valeurs ajustées
donnent une estimation de E[ yi ]. La différence entre une erreur et un résidu est qu’une erreur est une variable
aléatoire non observée alors qu’un résidu est une variable aléatoire observée.
Dans un premier temps nous allons écrire le résidu ei en fonction du terme d’erreur εi . Nous avons,
2
P
Ensuite nous allons obtenir i ei ,
2
ei2 = (εi − ε̄) − (β̂1 − β1 )(x i − x̄)
= (εi − ε̄)2 + (β̂1 − β1 )2 (x i − x̄)2 − 2(β̂1 − β1 )(x i − x̄)(εi − ε̄)
5
ceci implique que,
n
X X X X
ei2 = (εi − ε̄)2 + (β̂1 − β1 )2 (x i − x̄)2 − 2(β̂1 − β1 ) (x i − x̄)(εi − ε̄)
i i i i
i (x i −x̄)εi
P
S xε
or, β̂1 = β1 + ω i ε i = β1 + =⇒ β̂1 − β1 = en d’autres termes, S xε = (β̂1 − β1 )S x x on obtient
P
i Sx x Sx x
finalement,
n
X
ei2 = Sεε + (β̂1 − β1 )2 S x x − 2(β̂1 − β1 )S xε
i
n
X
E ei2 = E (Sεε ) − S x x E (β̂1 − β1 )2
i
= (n − 2)σ2
d’où,
(n − 2) 2
E σ̂2mv = σ
n
1. Montrez que l’estimateur MV de la variance est asymptotiquement sans biais
Indication Calculer la limite lorsque la taille de l’échantillon augmente.
(n − 2) 2
lim E σ̂2mv = lim σ = σ2
n
yi = a0 + a1 x i + εi , i = 1, . . . , n (8)
Soit
n
X
Sab = (ai − ā)(bi − b̄) (9)
i=1
6
4. Montrez en utilisant l’approche des MCO que
n
X n
X
ε2i = ( yi − a0 − a1 x i )2 (11)
i i
Minimiser l’equation (11) revient à trouver les valeurs des paramètres qui annulent les dérivées partielles.
Les dérivées partielles par rapport à chaque paramètre donnent:
n n
∂ ε2i
P
X X
i
= −2 yi − na0 − a1 xi
∂ a0 i=1 i=1
n n n
(12)
∂ i ε2i
P
X X X
= −2 x i yi − a0 x i − a1 x i2
∂ a1 i=1 i=1 i=1
7
Les équations normales2 s’obtiennent en egalisant à zéro, chaque équation du système (12)
n
X n
X
yi = na0 + a1 xi
i=1 i=1
n n n (13)
X X X
x i yi = a0 x i + a1 x i2
i=1 i=1 i=1
En résolvant ces deux équations, on trouve l’estimateur de a0 que nous noterons â0 et celui de a1 qu’on
notera â1
â0 = ȳ − â1 x̄
Sx y (14)
â1 =
Sx x
avec
n
X
Sab = (ai − ā)(bi − b̄)
i=1
n
X
= (ai − ā)bi
i=1
n (15)
X
= ai (bi − b̄)
i=1
Xn
= ai bi − nā b̄
i=1
Les formules du système (14) sont respectivement appelés estimateur de a0 et a1 obtenu par la méthode
des MCO.
De la première équation du système (13) on tire le a0 qui minimise notre somme des carrées: nous le
noterons â0 : C’est l’estimateur de a0
â0 = ȳ − â1 x̄
2
équations normales car ce sont ces équation que nous utiliserons pour obtenir des estimateur de a0 (â0 ) et a1 (â2 ).
8
â0 dans la seconde equation du système (13) donne â1
n
X n
X n
X
x i yi = a0 x i + a1 x i2
i=1 i=1 i=1
n
X n
X
= ( ȳ − â1 x̄) x i + â1 x i2
i=1 i=1
n
X n
X n
X
= ȳ x i − â1 x̄ x i + â1 x i2
i=1 i=1 i=1
n
X n
X Xn Xn
x i yi − ȳ x i = â1 x i2 − â1 x̄ xi
i=1 i=1 i=1 i=1
n n
n n
X X X X
â1 x i2 − x̄ xi = x i yi − ȳ xi
i=1 i=1 i=1 i=1
n n
X X
â1 x i2 − nx̄ 2
= x i yi − n ȳ x̄
i=1 i=1
â1 S x x = S x y
var(â1 ) = E(â1 − a1 )2
Pn Pn
or â1 = a1 + i=1 ωi εi =⇒ â1 − a1 = i=1 ωi εi alors
Xn
var(â1 ) = E( ωi εi )2
i=1
Xn n
X
= E( ω2i ε2i + ωi ω j εi ε j )
i=1 i̸= j
n
X n
X
= ω2i E(ε2i ) + ωi ω j E(εi ε j ) (16)
i=1 i̸= j
n
X
= ω2i E(ε2i )
i=1
σ 2
=
Sx x
9
De même,
Xn
var(â0 ) = E( mi εi )2
i=1
Xn n
X
= E( m2i ε2i + mi m j εi ε j )
i=1 i̸= j
n
X n
X
= m2i E(ε2i ) + mi m j E(εi ε j ) (17)
i=1 i̸= j
n
X
= m2i E(ε2i )
i=1
Pn
σ2 i x i2
=
nS x x
d’où
10
2
P
Ensuite nous allons obtenir i ei ,
2
ei2 = (εi − ε̄) − (β̂1 − β1 )(x i − x̄)
= (εi − ε̄)2 + (β̂1 − β1 )2 (x i − x̄)2 − 2(β̂1 − β1 )(x i − x̄)(εi − ε̄)
i (x i −x̄)εi
P
S xε
or, β̂1 = β1 + i ω i ε i = β1 + =⇒ β̂1 − β1 = en d’autres termes, S xε = (β̂1 − β1 )S x x on obtient
P
Sx x Sx x
finalement,
n
X
ei2 = Sεε + (β̂1 − β1 )2 S x x − 2(β̂1 − β1 )S xε
i
n
X
E ei2 = E (Sεε ) − S x x E (β̂1 − β1 )2
i
= (n − 2)σ2
n−2 2
lim E σ̂2mco = σ = σ2
n−2
4 Statistique de student
Considérons le modèle de régression linéaire simple avec paramètre constant.
yi = a0 + a1 x i + εi , i = 1, . . . , n (19)
où epsilon est normalement distribué d’espérance nulle et de variance σ2 . On veut tester l’hypothèse nulle suivante
H0 : a1 = θ .
11
(â1 − θ )
∼ N (0, 1)
σ/S x x
et
X e2
i 2
∼ χn−2
i
σ2
y i = β 0 + β1 x i + ε i , i = 1, . . . , n (20)
où εi est une variable aléatoire telle que E(εi ) = 0 et cov(εi ε j ) = σ2 si i = j et zéros sinon. On cherche des
estimateurs β̂0∗ et β̂1∗ de β0 et β1 respectivement qui possèdent les propriétés suivantes:
1. En utilisant ces propriétés, déterminez ces estimateurs et montrez qu’ils sont égaux aux estimateurs de
moindres carrés ordinaires
Puisque ces nouveaux estimateurs sont linéaires alors il peuvent s’écrirent :
β̂0∗ = i ci yi et β̂1∗ = i di yi
P P
= 1 et = 0. De même,
P P
implique que i ci i ci x i
X X X X X
E(β̂1∗ ) = β0 d i + β1 di x i + di E(εi ) = β0 d i + β1 d i x i = β1
i i i i i
12
De même, on montre que: X
var(β̂1∗ ) = σ2 di2
i
Or on se souvient que les estimateur des MCO β̂0 et β̂1 s’écrivent comme suit:
X X
β̂0 = β0 + mi εi et β̂1 = β1 + ωi εi
i i
où X X
var(β̂0 ) = σ2 m2i et var(β̂1 ) = σ2 ω2i
i i
Prenons par exemple β̂1 et β̂1∗ . appelons hi = di − ωi la différence qu’il y a entre le coefficient di de β̂1∗ et le
coefficient ωi de β̂1 . Si on admet que la variance de β̂1∗ est plus petite que celle de β̂1 alors cette différence
hi doit être négative. Remplaçons di = hi + ωi dans var(β̂1∗ ) :
X
var(β̂1∗ ) = σ2 di2
i
X X X X
= σ2 (hi + ωi )2 = σ2 h2i + σ2 ω2i + 2σ2 hi ωi
i i i i
X X
=σ 2
h2i + var(β̂1 ) + 2σ 2
hi ωi
i i
or
X X σ2 X X
σ2 hi ωi = σ2 hi ωi =
( hi x i − x̄ hi ) = 0
i i
Sx x i i
implique que X
var(β̂1∗ ) = σ2 h2i + var(β̂1 )
i
Il est claire que var(β̂1∗ ) ne peut jamais être inférieur à var(β̂1 ). La seule façon pour que var(β̂1∗ ) = var(β̂1 )
est que la quantité i h2i = 0 en d’autres termes que la différence soit nulle. La démonstration peut aussi se
P
faire en passant par β̂0∗ ; elle sera laissée à la discretion de chaque étudiant.
2. Quel résultat retrouve t-on ici? Il s’agit ici du célèbre résultat du théorème de Gauss-Markov.
Y (L, K) = AK α L β (21)
yi = a + αki + β l i + υi (22)
13
où les υi sont iid et normaux d’espérance nulle et de variance σ2 . On supposera de plus que υi orthogonal ki et l i .
a + αk1 + β l1 + υ1 a + αk1 + β l1 υ1
y1 1 k1 l1 a
.. .. .. .. .. .. ..
y = . = = + . = . α +υ
. . . .
yn a + αkn + β l n + υn a + αkn + β l n υn 1 kn ln β
soit y = X b + υ
3. Donner l’expression de l’estimateur des MCO b̂ en fonction de y et X
On sait qu’en appliquant les MCO, b̂ = (X ′ X )−1 X ′ y.
4. On se propose de centrer les variables du modèles pour cela on défini la variable z̃i = zi − z̄.
a. Déduire de modèle (22), le modèle des variables ( ỹi , k̃i , l̃ i )
Puisque ȳ = a + αk̄ + β l̄ + ῡ alors ỹi = αk̃i + β l̃ i + υ̃i
b. Ecrire ce nouveau modèle sous forme matricielle ỹ = X̃ b̃ + υ̃
Faisons varier i = 1, · · · , n on obtient
soit ỹ = X̃ b̃ + υ̃
c. Préciser les dimension de X̃ et b̃
X̃ est de format n × 2 et b̃ est un vecteur colonne d’ordre 2.
d. On fait l’hypothèse que i k̃i l̃ i = 0. Interpretez cette hypothèse.
P
P1 2
!
0
′ −1 i k̃i
(X̃ X̃ ) =
0 P1 2
i l̃ i
14
De ce qui précède, on peut on a:
P
k̃ ỹ
P1 2
! P
Pi i 2 i
0 k̃i ỹi
i k̃i P i k̃i
b̃ = (X̃ ′ X̃ )−1 X̃ ′ ỹ = Pi =
0 P1 l̃ ỹ
2 i l̃ i ỹi Pi i 2 i
i l̃ i i l̃ i
g. En déduire l’estimateur
Pdes coefficients
du modèle (22)
k̃ i ỹ i
Pi 2
α k̃
Puisque b̃ = = P il̃ ỹi on peut tirer le dernier paramètre â = ŷ − k̄α̂ − l̄ β̂.
β Pi i 2 i
i l̃ i
5. On se propose de tester la significativité globale du modèle.
a. Présenter le tableau ANOVA du modèle (22)
b. Tester la significativité globale du modèle. Conclure
6. On se propose de tester la significativité de α̂ et β̂.
a. Donner l’expression de la SCR en fonction des zi , z̄, α̂ et β̂ où (z = { y, k, l}).
b. En déduire l’expression de σ̂2 . Application Numérique
c. Donner l’expression de σ̂α̂2 et σ̂2 en fonction de zi , z̄ et σ2 où (z = {k, l}). Application Numérique
β̂
d. Tester la significativité de α̂ et β̂ à 5% près. Conclure
e. Tester la significativité de α̂ et β̂ à 10% près. Conclure
7. on se propose de tester l’hypothèse de rendements d’échelles constants
a. Formaliser cette hypothèse.
b. Ecrire le modèle contraint associé à l’hypothèse nulle dans lequel β n’intervient plus.
c. Quels sont les variables dépendantes et indépendantes de ce modèle?
d. Calculer la SCR du modèle contraint.
e. Estimer les paramètres du modèle contraint
f. Effectuer le test en utilisant la Wald, la LM, la LR et la Fisher au seuil de 5%. Conclure
Données
n = 1000,
l = 500, i ki = 490, i yi = 1490,
P P P
Pi i2
l i = 330, i ki = 320, i yi2 = 3200,
P 2 P
i
i l i yi = 800, i ki yi = 770,
P P
15