Introducción a la Econometría

Clase 5: MRLCK

Profesora: Mag. Tania Paredes Zegarra

(correo: [email protected], [email protected] )
Modelo de Regresión Lineal en K
variables (caso general)
1. Modelo de Regresión Lineal Clásico
en K variables
Por qué usamos un MRLC en k variables y no el modelo bivariado?

• El modelo de dos variables es muy simple y poco aplicable a la realidad,

pues en economía suele observarse relaciones entre más de dos variables.

• A diferencia del modelo bivariado, el MRLCK permite incluir en el análisis a

muchos factores observados que afectan a la variable dependiente y

• Por lo que, de esta manera, podremos tener más información al momento de

estimar la relación entre las variables que estamos incluyendo como
exógenas en el modelo y la dependiente.
1. Modelo de Regresión Lineal Clásico
en K variables
• El modelo de regresión lineal clásico múltiple (o en k variables) puede
expresarse de la siguiente manera:

𝑦𝑖 = 𝛽1 + 𝛽2 𝑥2𝑖 + 𝛽3 𝑥3𝑖 + ⋯ + 𝛽𝑘 𝑥𝑘𝑖 + 𝑢𝑖 , 𝑖 = 1…𝑛

• Asumimos que 𝑥1𝑖 = 1, ∀i como la constante
• Donde:
• 𝛽1 es el intercepto
• 𝛽2 es el parámetro asociado a 𝑥2
• 𝛽3 es el parámetro asociado a 𝑥3 y así sucesivamente
• 𝑢𝑖 es el término de perturbación o error de medición
1. Modelo de Regresión Lineal Clásico
en K variables
• Planteamiento matricial del modelo:

𝑦𝑖 = 𝛽1 + 𝛽2 𝑥2𝑖 + 𝛽3 𝑥3𝑖 + ⋯ + 𝛽𝑘 𝑥𝑘𝑖 + 𝑢𝑖 , 𝑖 = 1 … 𝑛

• Donde los componentes de esta expresión son:

𝑦1 = 𝛽1 + 𝛽1 𝑥21 + 𝛽3 𝑥31 + ⋯ + 𝛽𝑘 𝑥𝑘1 + 𝑢1

𝑦2 = 𝛽1 + 𝛽1 𝑥22 + 𝛽3 𝑥32 + ⋯ + 𝛽𝑘 𝑥𝑘2 + 𝑢2
𝑦3 = 𝛽1 + 𝛽1 𝑥23 + 𝛽3 𝑥33 + ⋯ + 𝛽𝑘 𝑥𝑘3 + 𝑢3

𝑦𝑛 = 𝛽1 + 𝛽2 𝑥2𝑛 + 𝛽3 𝑥3𝑛 + ⋯ + 𝛽𝑘 𝑥𝑘𝑛 + 𝑢𝑛

1. Modelo de Regresión Lineal Clásico
en K variables
• Finalmente:

𝑦1 1 𝑥21 … 𝑥𝑘1 𝛽1 𝑢1
𝑦2 1 𝑥22 … 𝑥𝑘2 𝛽2 𝑢
= ፧ ፧ + 2
፧ ፧ ፧ ፧ ፧
𝑦𝑛 1 𝑥2𝑛 … 𝑥𝑘𝑛 𝛽𝑘 𝑢𝑛
1. Modelo de Regresión Lineal Clásico
en K variables
• Definimos 𝒙𝑖 = 1 𝑥2𝑖 … 𝑥𝑘𝑖 , como el vector fila de observaciones del
individuo i.
𝛽1
𝛽
• Sea 𝜷 = 2 el vector columna de 𝛃′s
፧
𝛽𝑘

• En forma compacta tenemos:

𝒚𝑛𝑥1 = 𝒙𝑛𝑥𝑘 𝜷𝑘𝑥1 + 𝒖𝑛𝑥1

k incluye la constante
2. Supuestos del MRLCK

2. Exogeneidad
1. Linealidad en 3. Rango
estricta de los
parámetros Completo
regresores

4. Perturbaciones 5. No 6. Normalidad de
esféricas aleatoriedad los errores
2. Supuestos del MRLCK
Supuesto 1: Linealidad en parámetros

• La relación entre la variable endógena (𝒚) y las variables exógenas (𝒙) es

lineal en parámetros.
𝒚 = 𝒙𝜷 + 𝒖

• Donde 𝛽’s son parámetros desconocidos a ser estimados, y , 𝒖 son

términos de errores observados.

Nota: La propiedad de linealidad es una propiedad de los parámetros,

no de las variables.
2. Supuestos del MRLCK
Supuesto 2: Exogeneidad estricta

• La esperanza condicional del término de perturbación o error es igual a cero para

cualquier observación de 𝒙.

𝐸[𝑢1 |𝒙] 0
𝐸[𝑢2 |𝒙]
𝐸𝝁𝒙 = = 0 = 𝟎, 𝑖 = 1 … 𝑛
⋮ ⋮
𝐸[𝑢𝑛 |𝒙] 0

• En otras palabras, para cualquier valor de 𝑥1 , 𝑥2 … 𝑥𝑘 en la población, el promedio

no observable es igual a cero
2. Supuestos del MRLCK
Supuesto 2: Exogeneidad estricta

• Al igual que en el MRLC, este supuesto implica que 𝐸 𝒖 = 𝟎 y 𝐶𝑜𝑣 𝒙, 𝒖 = 𝟎.

• También se cumple que:

𝐸 𝒚 𝒙 = 𝐸 𝒙𝜷 + 𝒖 𝒙 = 𝐸 𝒙𝜷 𝒙 + 𝐸 𝒖 𝒙 = 𝒙𝜷
2. Supuestos del MRLCK
Supuesto 3: Rango completo

Asume que ninguna de las variables en el modelo es una combinación lineal exacta
de las otras.

x es una matriz nxk con rango k

Significa que x tiene un rango de columnas completo o linealmente independientes.

Nota: El rango de una matriz es igual al número de columnas linealmente independientes de la

matriz. También se le conoce como condición de rango completo.
2. Supuestos del MRLCK
Supuesto 4: Perturbaciones esféricas

• Homocedasticidad y No autocorrelación se reducen en:

𝑉𝑎𝑟 𝒖 𝒙 = 𝝈2 𝑰𝒏𝒙𝒏
• La matriz de varianzas y covarianzas del término de perturbación, asumiendo
homocedasticidad y no autocorrelación se expresa de la siguiente manera:

𝝈2 ⋯ 0 𝐸[𝑢12 |𝑥] ⋯ 0
𝑉𝑎𝑟 𝝁 𝒙 = ⋮ ⋱ ⋮ = ⋮ ⋱ ⋮
0 ⋯ 𝝈2 0 ⋯ 𝐸[𝑢𝑛2 |𝑥]
2. Supuestos del MRLCK
Supuesto 5: Regresores no estocásticos

• Las observaciones de las variables exógenas 𝒙 son fijas en muestras repetidas.

• Asumir que los 𝒙 son fijos quiere decir que, en repetidas muestras de 𝒙, los
valores obtenidos 𝑥1 , 𝑥2 … 𝑥𝑘 van a ser siempre los mismos; es decir, dejan de ser
aleatorios

• Bajo este supuesto, ya no es necesario hablar de esperanzas condicionales:

𝐸 𝒖 =0
𝑉𝑎𝑟 𝒖 = 𝜎 2
𝐶𝑜𝑣 𝑢𝑖 , 𝑢𝑗 = 0
2. Supuestos del MRLCK
Supuesto 6: Normalidad de los errores

• 𝒖 se distribuye con media cero y varianza 𝝈2 condicional a 𝒙 :

𝒖 | 𝒙 ∼ 𝑁(0, 𝝈2 ) 𝑖 = 1 … 𝑛

• Dada la condición 5 de x fijo para muestras repetidas, el supuesto anterior queda

expresado como:
𝒖 ∼ 𝑁(0, 𝝈2 ) 𝑖 = 1 … 𝑛
3. Estimación por Mínimos Cuadrados
Ordinarios (MCO)
• La función de regresión muestral en matrices es:

෡
ෝ = 𝒙𝜷
𝒚
• Definimos el vector de residuos (con dimensión nx1) como:

ෝ =𝒚−𝒚
𝒖 ෡
ෝ = 𝒚 − 𝒙𝜷

• La suma de residuos al cuadrado (SCR):

𝑆𝐶𝑅 = 𝒖 ෝ ′ෝ
𝒖
𝑆𝐶𝑅 = 𝒚 − 𝒙𝜷 ෡ ′ 𝒚 − 𝒙𝜷 ෡
𝑆𝐶𝑅 = 𝒚′ − 𝜷෡ ′ 𝒙′ ′ 𝒚 − 𝒙𝜷 ෡ ya que (𝒙𝜷) ෡
𝑆𝐶𝑅 = 𝒚′ 𝒚 − 𝒚′ 𝒙𝜷 ෡−𝜷 ෡ ′ 𝒙′ 𝒚 + 𝜷
෡ ′ 𝒙′𝒙𝜷
෡
3. Estimación por Mínimos Cuadrados
Ordinarios (MCO)
• La suma de residuos al cuadrado (SCR):

ෝ ′ෝ
𝑆𝐶𝑅 = 𝒖 𝒖

෡ ′ 𝒚 − 𝒙𝜷
𝑆𝐶𝑅 = 𝒚 − 𝒙𝜷 ෡

′
෡ ′ 𝒙′ 𝒚 − 𝒙𝜷
𝑆𝐶𝑅 = 𝒚′ − 𝜷 ෡ ya que 𝒙𝜷
෡ ෡ ′ 𝒙′
=𝜷

෡−𝜷
𝑆𝐶𝑅 = 𝒚′ 𝒚 − 𝒚′ 𝒙𝜷 ෡ ′ 𝒙′ 𝒚 + 𝜷
෡ ′ 𝒙′𝒙𝜷
෡

෡ y𝜷
• Notar que: 𝒚′ 𝒙𝜷 ෡ ′ 𝒙′ 𝒚 son expresiones 1x1, y al ser una la transpuesta de la
otra, son exactamente iguales.
3. Estimación por Mínimos Cuadrados
Ordinarios (MCO)
• Derivamos las condiciones de primer orden mediante derivadas parcial respecto
෡ que sean iguales a cero.
a𝜷

෡ con el cual minimizamos la SCR.

• Ello con la finalidad de encontrar el valor de 𝜷

෡−𝜷
𝑆𝐶𝑅 = 𝒚′ 𝒚 − 𝒚′ 𝒙𝜷 ෡ ′ 𝒙′ 𝒚 + 𝜷
෡ ′ 𝒙′ 𝒙𝜷
෡

෡ ′ 𝒙′ 𝒚 + 𝜷
𝑆𝐶𝑅 = 𝒚′ 𝒚 − 2𝜷 ෡ ′ 𝒙′ 𝒙𝜷
෡
Expresiones
equivalentes
෡+𝜷
𝑆𝐶𝑅 = 𝒚′ 𝒚 − 𝟐𝒚′ 𝒙𝜷 ෡ ′ 𝒙′𝒙𝜷
෡

𝜕𝑆𝐶𝑅
෡=𝟎
= −2𝒙′ 𝒚 + 2𝒙′ 𝒙𝜷
෡
𝜕𝜷
3. Estimación por Mínimos Cuadrados
Ordinarios (MCO)

෡
2𝒙′ 𝒚 = 2𝒙′ 𝒙𝜷

𝒙′ 𝒙 −𝟏 𝒙′ 𝒚
= 𝒙′ 𝒙 ෡
−𝟏 𝒙′ 𝒙𝜷

෡ = 𝒙′ 𝒙
𝜷 −1 𝒙′ 𝒚

kx1 kxk kx1

 ෡ 𝑴𝑪𝑶
4. Propiedades numéricas de 𝜷
1. 𝑥 ′ 𝑢ො = 0

෢0 + 𝛽
2. 𝑦ത = 𝛽 ෢1 𝑥1 + 𝛽
෢𝑘 𝑥𝑘 → Matricialmente expresado como 𝑦ത = 𝑥ҧ 𝛽መ

3. 𝑦ത = 𝑦ොഥ

4. Matriz generadora de residuos “M”

Los residuos se definen como 𝑀 = [𝐼 − 𝑥 𝑥 ′ 𝑥 −1

𝑥′], la cual cumple con las
propiedades de

• Simetría 𝑀 = 𝑀′
• Idempotencia 𝑀 = 𝑀𝑀
• Ortogonal a x: 𝑀′ 𝑋 = 𝑀𝑋 = 0
• La traza de M es n-k
• El Rango de M es n-k
 ෡ 𝑴𝑪𝑶
4. Propiedades estadísticas de 𝜷
෡
1. Media de 𝜷:

෡ = 𝜷 + 𝒙′ 𝒙
𝜷 −𝟏 𝒙′ 𝒖

෡ =𝜷
𝑬 𝜷

෡
2. Varianza de 𝜷

𝑉𝑎𝑟 𝜷 ෢−𝐸 𝜷
෡ = [(𝜷 ෢−𝐸 𝜷
෡ )(𝜷 ෡ )′]

෡ = 𝜎 2 𝑥 ′𝑥
𝑉𝑎𝑟 𝜷 −1

3. Teorema de Gauss Marcov (estimador MELI / BLUE)

 ෡ 𝑴𝑪𝑶
4. Propiedades estadísticas de 𝜷
Propiedad 1: Insesgadez del Estimador de MCO
Definición: Un estimador 𝜃መ para 𝜃 es insesgado si se cumple que 𝐸 𝜃መ = 𝜃
Demostración:
෡ = 𝒙′ 𝒙 −1 𝒙′ 𝒚
𝜷

෡ = 𝒙′ 𝒙
𝜷 −1 𝒙′ 𝒙𝜷 + 𝒖

෡ = 𝒙′ 𝒙
𝜷 −1 ′
𝒙 𝒙𝜷 + 𝒙′ 𝒙 −1 ′
𝒙𝑢

෡ = 𝜷 + 𝒙′ 𝒙
𝜷 −1 𝒙′ 𝑢
 ෡ 𝑴𝑪𝑶
4. Propiedades estadísticas de 𝜷
Propiedad 1: Insesgadez del Estimador de MCO
Definición: Un estimador 𝜃መ para 𝜃 es insesgado si se cumple que 𝐸 𝜃መ = 𝜃
Demostración:
෡ = 𝒙′ 𝒙 −1 𝒙′ 𝒚
𝜷

෡ = 𝒙′ 𝒙
𝜷 −1 𝒙′ 𝒙𝜷 + 𝝁

෡ = 𝒙′ 𝒙
𝜷 −1 ′
𝒙 𝒙𝜷 + 𝒙′ 𝒙 −1 ′
𝒙𝝁

෡ = 𝜷 + 𝒙′ 𝒙
𝜷 −1 𝒙′ 𝒖
 ෡ 𝑴𝑪𝑶
4. Propiedades estadísticas de 𝜷
Propiedad 1: Insesgadez del Estimador de MCO

෡ = 𝐸[𝜷 + 𝒙′ 𝒙
𝑬[𝜷] −1 𝒙′ 𝒖]

෡ = 𝜷 + 𝐸[ 𝒙′ 𝒙
𝑬[𝜷] −1 𝒙′ 𝒖]

෡ = 𝜷 + 𝒙′ 𝒙
𝑬[𝜷] −1 𝒙′ 𝐸[𝒖]

෡ =𝜷
𝑬[𝜷] Se cumple con que el
෡ es
estimador de 𝜷
insesgado
 ෡ 𝑴𝑪𝑶
4. Propiedades estadísticas de 𝜷
Propiedad 2: Varianza del Estimador de MCO
• Definición: Un estimador 𝛽መ para 𝛽 es eficiente porque presenta la menor
varianza.
• Demostración:
′
෡ =𝐸
𝑉𝑎𝑟 𝜷 ෡−𝑬 𝜷
𝜷 ෡ ෡−𝑬 𝜷
𝜷 ෡

′
෡ =𝐸
𝑉𝑎𝑟 𝜷 ෡ −𝜷 𝜷
𝜷 ෡−𝜷
෡ = 𝜷 + 𝒙′ 𝒙 −1 𝒙′ 𝝁
• Usamos:𝜷
෡ = 𝐸 𝜷 + 𝒙′ 𝒙 −1 𝒙′ 𝝁 − 𝜷 𝜷 + 𝒙′ 𝒙 −1 𝒙′ u − 𝜷
𝑉𝑎𝑟 𝜷 ′

𝑉𝑎𝑟 𝜷 ෡ = 𝐸 𝒙′ 𝒙 −1 𝒙′ 𝝁 𝒙′ 𝒙 −1 𝒙′ u ′
𝑉𝑎𝑟 𝜷෡ = 𝐸 𝒙′ 𝒙 −1 𝒙′ 𝝁𝝁′ 𝒙 𝒙′ 𝒙 −𝟏 ]
 ෡ 𝑴𝑪𝑶
4. Propiedades estadísticas de 𝜷
Propiedad 2: Varianza del Estimador de MCO

෡ = 𝒙′ 𝒙
𝑉𝑎𝑟 𝜷 −1 𝒙′ 𝐸[𝒖𝒖′ ]𝒙 𝒙′ 𝒙 −𝟏

• Recordamos que 𝑉𝑎𝑟(𝜇) = 𝐸 𝑢′ 𝑢 = 𝜎 2 𝐼, entonces:

෡ = 𝒙′ 𝒙
𝑉𝑎𝑟 𝜷 −1 ′ 𝟐
𝒙 𝝈 𝑰𝒙 𝒙′ 𝒙 −𝟏

෡ = 𝝈𝟐 𝒙′ 𝒙
𝑉𝑎𝑟 𝜷 −1 Matriz de varianzas y
covarianzas de 𝜷෡ que
tiene dimensión kxk
 ෡ 𝑴𝑪𝑶
4. Propiedades estadísticas de 𝜷
Propiedad 2: Varianza del Estimador de MCO
• Recordamos que en el modelo multivariado o con k variables,

𝐸 𝑢′ 𝑢 = 𝜎 2 𝑛 − 𝑘

෡ usando
• Ello se demuestra a partir de la propiedad numérica del estimador 𝜷
la matriz generadora de residuos.

𝑢′ 𝑢
• Encontramos que el valor estimado de ෝ𝜎 2 = y que este es insesgado.
𝑛−𝑘
 ෡ 𝑴𝑪𝑶
4. Propiedades estadísticas de 𝜷
Propiedad 3: Teorema de Gaus-Marcov
• Bajo todos los supuestos, el estimador MCO es eficiente en la clase de
estimadores lineales insesgados. Es decir, para cualquier estimador insesgado
෩ que es lineal en 𝒚:
𝜷

෩ ≥ 𝑉𝑎𝑟𝑂𝐿𝑆 (𝜷|𝒙)
𝑉𝑎𝑟 𝜷 ෡

Este teorema señala que el estimador MCO es eficiente en el sentido que su

෡
matriz de varianza-covarianza 𝑉𝑎𝑟𝑂𝐿𝑆 (𝜷|𝒙) es el más pequeño entre todos los
estimadores insesgados. Por esta razón, al estimador MCO se le conoce como
Mejor Estimador Lineal Insesgado (MELI) [Best Lineal Unbiased Estimator
(BLUE)].
4. Estimador ෝ
𝝈 𝟐

Recordamos del modelo bivariado que definimos: 𝐸 ∑𝑒𝑖2 = 𝜎 2 (𝑛 − 𝑘)

Ahora vamos a demostrar que 𝐸 𝑒 ′ 𝑒 = 𝜎 2 (𝑛 − 𝑘), donde el resultado del caso bivariado es
especial porque consideramos k=2.

Si consideramos

𝐸 𝑒 ′ 𝑒 = 𝐸 𝑢′ 𝑀𝑢 = 𝐸 𝑡𝑟 𝑢′ 𝑀𝑢 = 𝐸 𝑡𝑟 𝑢𝑢′ 𝑀 = 𝑡𝑟 𝐸 𝑢𝑢′ 𝑀 = 𝜎 2 𝑡𝑟 𝑀 = 𝜎 2 (𝑛 − 𝑘)

Si definimos:
𝑢′ 𝑢
𝜎ො 2 =
𝑛−𝑘

Este estimador será insesgado para 𝜎 2 dado que se cumple que 𝐸 𝝈

ෝ𝟐 = 𝜎 2