Clase 1 - Introducción a las series de tiempo

Teorı́a asintótica, OLS y MLE

Cristian Maravi Meneses

Universidad de Piura

2020-II

Cristian Maravi (UdeP) E1EMA1 2020-II 1 / 21

Desigualdades
Desigualdad de Markov: Sea X una v.a. no negativa, y assuma que
E[X ] existe. Para todo t, se cumple que:

E[X ]
P(X > t ) ≤
t
Desigualdad de Chebyshev: sea µ = E[X ] y σ2 = V(X ), entonces
se cumple que:

σ2 1
P(|X − µ| ≥ t ) ≤ y P(|Z | ≥ k ) ≤
t k2
donde Z = (X − µ)/σ
Desigualdad de Mill: Sea Z ∼ N (0, 1), entonces:
r
2 e − t 2 /2
P(|Z | > t ) ≤
π t

Cristian Maravi (UdeP) E1EMA1 2020-II 2 / 21

Teorı́a Asintótica
Convergencia en probabilidad: Un vector {zt } converge en
probabilidad a una constante no aleatoria α si para cualquier ε > 0

lim Pr(|zt − α| > ε) = 0

t →∞

α es llamado a ser la probabilidad lı́mite de zt o vale decir

equivalentemente el p limt →∞ zt = α o también ”zt →p α”
Convergencia en media cuadrática: Un vector {zt } converge en
media cuadrática a α si:

lim E (|zt − α|2 ) = 0

t →∞

Convergencia a una variable aleatoria: Un vector {zt } converge a

otra variable aleatoria z si el vector {zt − z} converge a cero. Se
escribe como:

zt → p z asi como zt − z → p 0

Cristian Maravi (UdeP) E1EMA1 2020-II 3 / 21

 Convergencia en distribución: Sea {zt } un vector de variables
aleatorias y Ft su rerspectiva función de distribución acumulativa
(c.d.f.). Se dice que {zt } converge en distribución a un escalar z si la
c.d.f. Ft de zt converge a la c.d.f. F de z punto a punto. Se denota
por:
zt →d z ó zt →L z
Ademas a F llamaremos la distribución lı́mite o distribución
asintótica de zt .
Teorema de Slutzky:
Si ”xt →d x” además ”yt →p α”, entonces: ”xt + yt →d x + α”
Si ”xt →d x” además ”yt →p 0”, entonces: ”yt0 xt →p 0”
Si ”xt →d x” además ”At →p A”, entonces: ”At xt →d Ax”
Si ”xt →d x” además ”At →p A”, entonces: ”xt0 At−1 xt →d x 0 A−1 x”
Cuando zt − xt →p 0 decimos que que los dos vectores son
asintóticamente equivalentes y se escribe como:

zt ∼ xt ó zt = xt + op
a

Cristian Maravi (UdeP) E1EMA1 2020-II 4 / 21

 Ley debil de los grandes números: Un vector de variables
aleatorias {zt }, su media muestral es definido como:
T
1
z̄t ≡
T ∑ zi
i =1

Entonces la WLLN dice que sı́ limt →∞ E (zt ) = µ < ∞ y

limt →∞ Var (zt ) < ∞ entonces
z̄t →p µ
Varianza asintótica: Sea θ̂t un estimador del vector de parametros θ
sobre una muestra de tamaño t. El vector {θ̂t } es un estimador
consistente de θ sı́:
p lim θ̂t = θ ó θ̂t →p θ
t →∞

El estimador consistente θ̂t es asintóticamente normal sı́:

√
T (θ̂t − θ ) →d N (0, σ2 )
Donde var (θ ) = σ2 y Avar (θ̂t ) ≡ σ2 /T es llamado a ser la varianza
asintótica del estimador θ̂t
Cristian Maravi (UdeP) E1EMA1 2020-II 5 / 21
Cristian Maravi (UdeP) E1EMA1 2020-II 6 / 21
 Teorema central del lı́mite (CLT - Lindeberg-Levy): Sea {zt } un
vector de variables aleatorias iid con E (zt ) = µ y var (zt ) = Σ
entonces:
√ 1 T
T (z̄t − µ) = √
T
∑ (zt − µ) →d N (0, Σ)
t =0

El método Delta:√ Sea {xt } un vector de variables aleatorias tales

que x̄t →p µx y T (x̄t − µx ) →d x. Entonces:
√
T (g (x̄t ) − g (µx )) →d [g 0 (µx )]T x
√
del mismo modo si T (x̄t − µx ) →d N (0, Σ) entonces:
√
T (g (x̄t ) − g (µx )) →d N (0, [g 0 (µx )]Σ[g 0 (µx )]T )

Cristian Maravi (UdeP) E1EMA1 2020-II 7 / 21

Cristian Maravi (UdeP) E1EMA1 2020-II 8 / 21
Cristian Maravi (UdeP) E1EMA1 2020-II 9 / 21
Estimador de mı́nimos cuadrados ordinarios - OLS

Se observa las siguientes series temporales: {yt , xt }Tt =0 donde la

variable xt = [1 x1,t · · · xk −1,t ], donde para cada periodo de tiempo t
tenemos que:
yt = xt β + ut
Asumamos que:
E (x0 u ) = 0
Rando de E (x0 x) = k
Bajo los dos supuestos:
 −1 
β = E (x0 x ) E (x0 y )
 

Donde su análogo muestral es:

β̂ = (X 0 X )−1 X 0 y

Cristian Maravi (UdeP) E1EMA1 2020-II 10 / 21

OLS
El estimador de mı́nimos cuadrados ordinarios proviene de minimizar
los errores de la estimación al cuadrado, es decir: et = yt − xt β̂.
Entonces los residuos al cuadrado son:
RSS ( β̂) = (y − X β̂)T (y − X β̂)
Minimizando respecto a β̂ tenemos que:
∂RSS ( β̂)
= [−2X 0 y + 2X 0 X β̂] = 0
∂ β̂
donde
β̂ ols = (X 0 X )−1 (X 0 y ) = β + (X 0 X )−1 (X 0 u )
La condición de segundo orden nos indica que de hecho estamos en
un problema de minimización:
∂2 RSS ( β̂)
= 2X 0 X > 0
∂ β̂2
Cristian Maravi (UdeP) E1EMA1 2020-II 11 / 21
Propiedades del OLS

β̂ ols es insesgado pues

E ( β̂ ols ) = β + E (X 0 u ) = β

β̂ ols es consistente pues: Sea A = E (X 0 X ) :

  −1  
1 0 1 0
p lim β̂ = β + p lim X X p lim X u
t →∞ t →∞ T t →∞ T
−1 0
= β+A .E (X u ) = β

β̂ ols tiene la siguiente distribución asintótica: Sea B = E (u 2 X 0 X )

√
T ( β̂ ols − β) →d N (0, A−1 BA−1 )

Cristian Maravi (UdeP) E1EMA1 2020-II 12 / 21

Propiedades del OLS

Sı́ asumimos homocedasticidad, i.e. E (u 2 X 0 X ) = σ2 E (X 0 X ) donde

σ2 ≡ E (u 2 ), entonces:
√
T ( β̂ ols − β) ∼ N (0, σ2 A−1 )
a

Entonces, β̂ ols se distribuye asintóticamente como una normal con

media β y varianza σ2 [E (X 0 X )]−1 /T
σ puede ser aproximado por usar los residuos et
T
1
σ̂2 =
T −K ∑ (yt − Xt β)2
t =0

de modo que
c ( β̂ ols ) = σ̂2 (X 0 X )−1
Avar

Cristian Maravi (UdeP) E1EMA1 2020-II 13 / 21

Propiedades del OLS
Sı́ no asumimos homocedasticidad, i.e.
E (u 2 X 0 X ) 6= σ2 E (X 0 X ) donde σ2 ≡ E (u 2 ), entonces:
√
T ( β̂ ols − β) ∼ N (0, A−1 BA−1 )
a

Entonces, β̂ ols se distribuye asintóticamente como una normal con

media β y varianza Avar ( β̂ ols )

A−1 BA−1
Avar ( β̂ ols ) =
T
Ası́:
Â−1 B̂ Â−1
c ( β̂ ols ) =
Avar
T !
T
= (X 0 X ) −1 ∑ et2 xt0 xt (X 0 X ) −1
t =0

Cristian Maravi (UdeP) E1EMA1 2020-II 14 / 21

Test de hipotesis

H0 : R β = r
Test t de student
β̂ ols
t= ∼ χ2T −K
var ( β̂ ols )
Test de Wald

W = (R β̂ ols − r )0 (RAvar
c ( β̂ ols )R 0 )−1 (R β̂ ols − r ) ∼ χ2Q

Test F
ẽ0 ẽ − e0 e T − K1 − K2
F = × ∼ F (K2 , T − (K1 + K2 ))
e0 e K2

Cristian Maravi (UdeP) E1EMA1 2020-II 15 / 21

Máxima verosimilitud - MLE

La función de verosimilitud:
T
L( β, x, y) = ∏ f ( β, xt , yt )
t =0

El logaritmo de la verosimilitud es:

T
l ( β, x, y) = ∑ log f ( β, xt , yt )
t =0

Y la función score se obtiende de las condiciones de primer orden:

∂l ( β, x, y) 
s ( β̂) =  β= β̂
∂β

Cristian Maravi (UdeP) E1EMA1 2020-II 16 / 21

Máxima verosimilitud - MLE

El estimador de máxima verosimilitud se obtiene de:

β̂ MLE = arg max l ( β, x, y)

β̂

En caso que l ( β̂, x, y) sea diferenciable, la solución es:

∂l ( β, x, y)
| β= β̂ = 0
∂β
∂2 l ( β, x, y) 
 β= β̂ = H ( β) < 0
∂β2

Ejemplo(MCO): Supuesto - ut se distribuye como una normal

N (µ, σ2 ).
T
1 1 2
L( β, σ2 , x, y) = ∏ √ e − 2σ2 (yt −xt β)
t =0 σ 2π

Cristian Maravi (UdeP) E1EMA1 2020-II 17 / 21

Máxima verosimilitud - MLE

El estimador de máxima verosimilitud es encontrado através de:

T T 1
l ( β, σ2 , x, y) = − ln 2π − ln σ2 − 2 (y 0 y − β0 x 0 x β − 2β0 x 0 y )
2 2 2σ
CPO:
∂l ( β, σ2 , x, y) 1
= − (2x 0 x β − 2x 0 y ) = 0
∂β 2σ2
∂l ( β, σ2 , x, y) T 1
= − 2 + 4 (y − x β ) 0 (y − x β ) = 0
∂σ2 2σ 2σ

β̂ MLE = (x 0 x ) −1 (x 0 y )
1 1
2
σ̂MLE = (y − x β̂ MLE )0 (y − x β̂ MLE ) = e0 e
T T

Cristian Maravi (UdeP) E1EMA1 2020-II 18 / 21

Máxima verosimilitud - MLE

Condiciones de segundo orden

∂2 l ( β,σ2 ,x,y) ∂2 l ( β,σ2 ,x,y)
∂β∂β0 = − σ12 x 0 x ∂β∂σ2
= − 2σ1 4 (x 0 y − x 0 x β)

∂2 l ( β,σ2 ,x,y) ∂2 l ( β,σ2 ,x,y)

∂σ2 ∂β
= − 2σ1 4 x 0 u ∂σ4
= T
2σ4
− 1 0
σ6
uu

Matriz de información:
∂2 l ( β, σ2 , x, y)
 
I11 = E − = σ−2 E [(x 0 x )]
∂β∂β0
 2
∂ l ( β, σ2 , x, y)

T
I22 = E − 4
= 4
∂σ 2σ
 2 2

∂ l ( β, σ , x, y)
I12 = I21 = E − =0
∂β∂σ2

Cristian Maravi (UdeP) E1EMA1 2020-II 19 / 21

MLE - Propiedades

El estimador MLE de β es insegado:

E ( β̂ MLE ) = β

El estimador MLE de β es eficiente(Varianza asintótica mı́nima):

V ( β̂ MLE ) = σ2 (E [x 0 x ])−1 = I11

−1

Regla de Cramer-Rao es alcanzada.

Cristian Maravi (UdeP) E1EMA1 2020-II 20 / 21

MLE - Propiedades
El estimador MLE de σ2 es segado:

2 T −K 2
E (σ̂MLE ) = σ
T
K
sesgo = − σ2
T
El estimador MLE de σ2 no es eficiente(Varianza asintótica mı́nima):
2(T − K ) 4
V (σ̂2 ) = σ
T2
2(T − K ) + K 2 4
MSE (σ̂2 ) = σ
T2
la cota Cramer-Rao es:
2(T − K )2 σ 4
CRLB =
T3
Regla de Cramer-Rao no es alcanzada.
Cristian Maravi (UdeP) E1EMA1 2020-II 21 / 21