Regressão Linear Múltipla

Econometria
Alexandre Gori Maia
Ementa:
• Definição;
• Estimadores Mínimos de Mínimos Ordinários;
• Teorema de Gauss-Markov

Bibliografia Básica:
Maia, Alexandre Gori (2017). Econometria: conceitos e aplicações. Cap. 6.
 Definição MQO Gauss-Markov

Função de Regressão Populacional

Seja a relação entre Y e X na população:
Yi =  + Xi + ei Modelo de Regressão
Y ou Linear Simples para Y
Yi
E(Y/Xi) =  + Xi na população

ei Onde:
E(Y/Xi) Y é a variável dependente ou regressando
X é a variável independente ou regressor
 é o intercepto ou constante do modelo
Xi X  é o coeficiente angular do modelo

Erro de previsão:
Seja Xi a i-ésima observação de X, teremos:
Yi é o valor observado em Y para o i-ésimo valor de X
E(Y/Xi) é a esperança condicional de Y e representa o valor esperado de Y
para o i-ésimo valor de X
ei é o erro, ou variação de Yi não explicada pelo modelo 2/11
 Definição MQO Gauss-Markov

Função de Regressão Amostral

A relação entre Y e X estimada na amostra será dada por:

Y Função de regressão amostral:

Yi = ^ + ^Xi + ^ei
^ Y previsto pelo ajuste:
ei
^ ^
Y i Y^i = ^ + Xi
Resíduo, valor não previsto pelo ajuste:
^e = Y – Y^
i i i
Xi
X
Função de Erro Quadrático Total (EQT):
EQT  eˆ1  eˆ2  ...  eˆn
2 2 2

EQT  (Y1  Yˆ1 ) 2  (Y2  Yˆ2 ) 2  ...  (Yn  Yˆn ) 2

n
EQT   (Yi  Yˆi ) 2   [Yi  (αˆ  βˆX i )]
n
2

i 1 i 1 3/11
 Definição MQO Gauss-Markov

Regressão Múltipla
Regressão Linear Simples: Regressão Linear Múltipla:
Yi    X i  ei Yi    1 X 1i   2 X 2i  ei

X1 X2
Onde: Onde:
EQT (ˆ , ˆ )   eˆi2   [Yi  (ˆ  ˆX i )]2 EQT (ˆ , ˆ1 , ˆ2 )   eˆi2   [Yi  (ˆ  ˆ1 X 1i  ˆ2 X 2i )]2
Minimizando EQT: Minimizando EQT:
EQT
EQT  0  ˆ  Y  ˆ1 X1  ˆ2 X 2
 0  ˆ  Y  ˆX ˆ
ˆ
EQT ˆ ( yi x1i )(  x22i )  ( yi x2i )(  x1i x2i )
EQT  xi yi  0  1 
 0  ˆ  ˆ1 ( x12i )(  x22i )  ( x1i x2i ) 2
ˆ  xi2 EQT ( yi x2i )(  x12i )  ( yi x1i )(  x1i x2i )
 0  ˆ2 
ˆ2 ( x12i )(  x22i )  ( x1i x2i ) 2

4/11
 Definição MQO Gauss-Markov

Regressão Múltipla
Regressão Linear Simples: Regressão Linear Múltipla:
Yi    X i  ei Yi    1 X1i   2 X 2i  ei

X1 X2

Temos que: Temos que:

Valor esperado de Y
E[Y / X  0]   Valor esperado de Y quando X é E[Y / X1  0, X 2  0]   quando ambos X1 e X2
nulo. são nulos.
dY Y
 Variação marginal esperada em
 1
Variação marginal esperada em Y para
dX Y para cada variação unitária em X 1 cada variação unitária em X1,
X. mantendo X2 constante.
Y
 2 Variação marginal esperada em Y para
X 2 cada variação unitária em X2,
mantendo X1 constante.
5/11
 Definição MQO Gauss-Markov

Regressão Múltipla - Exemplo

Seja a relação para consumo de energia (Kwh), horas de ar condicionado
ligado (AC) e horas de secadora ligada (SEC):
Kwhi    ACi  ei Kwhi    1 ACi   2 SECi  ei

O coeficiente  indicará o consumo esperado de

energia quando ambos ar condicionado e secadora
O coeficiente  indicará o consumo esperado de permanecerem desligados.
energia quando o ar condicionado permanecer
O coeficiente 1 indicará o aumento no consumo de
desligado. energia esperado para cada hora adicional com ar
O coeficiente  indicará o consumo de energia condicionado ligado, mantendo-se constante o tempo
adicional esperado para cada hora adicional com ar de uso da secadora. Analogamente, O coeficiente 2
condicionado ligado. indicará efeito isolado de uma hora adicional com a
secadora ligada sobre o consumo esperado de
energia.
6/11
 Definição MQO Gauss-Markov

Regressão Múltipla - Definição

Regressão Múltipla
Em um modelo de regressão múltipla, a variável dependente (Y) será
determinada por mais de uma variável independente (X). Genericamente, um
modelo de regressão linear múltipla com k variáveis independentes e p parâmetros
(p=k+1) pode ser representado por:
Yi    1 X 1i   2 X 2i  ...   k X ki  ei
Onde:
 é o valor esperado de Y quando todos as variáveis independentes forem
nulas;
1 é a variação esperada em Y dado um incremento unitário em X1,
mantendo-se constantes todas as demais variáveis independentes;
...
k é a variação esperada em Y dado um incremento unitário em Xk,
mantendo-se constantes todas as demais variáveis independentes;
ei é o erro não explicado pelo modelo;

7/11
 Definição MQO Gauss-Markov

MQO em Notação Matricial - RLS

Dada a equação: A equivalente matricial:
Yi    X i  ei y  Xβ  e
Que representa o sistema: Que representa o sistema:
Y1    X 1  e1  Y1  1   X 1   e1   Y1  1 X1   e1 
             
Y2    X 2  e2  Y2  1   X 2   e2   Y2  1 X 2     e2 
 ...    ...     
 ...     ...    ...    ...  
...    ...
...              
Y  1   X  e   Y  1  e 
Yn    X n  en  n    n  n  n  Xn 
p1
 n
yn1 Xnp en1
Para obter os
Para obter os estimadores de MQO:
estimadores de MQO:
EQT   eˆi2 ˆ 
yˆ  Xβˆ eˆ  y  yˆ EQT  eˆ eˆT
onde β̂   
ˆ
 
e
EQT Então:
 0  ˆ  Y  ˆX
ˆ
EQT
EQT  xi yi  0  βˆ  ( XT X) 1 ( XT y )
 0  ˆ  βˆ
ˆ  xi2
8/11
 Definição MQO Gauss-Markov

MQO em Notação Matricial - RLM

Dada a equação: A equivalente matricial:
Yi    1 X 1   2 X 2  ...   k X k  ei y  Xβ  e
Que representa o sistema: Que representa o sistema:

Y1    1 X 11   2 X 21  ...   k X k1  e1  Y1   1 X 11 X 21 ... X k1     e1 
      
Y2    1 X 12   2 X 22  ...   k X k2  e2  Y2   1 X 12 X 22 ... X k2  1   e2 
 ...    ... ... ...

... ...  ...   ... 
...       
Yn    1 X 1n   2 X 2n  ...   k X kn  en Y   1 X
 n  1n X 2n ... X kn   k   en 

yn1 Xnp p1 en1

Para obter os estimadores de MQO: Para obter os estimadores de MQO:
EQT   eˆi
e
yˆ  Xβˆ eˆ  y  yˆ EQT  eˆ T eˆ
EQT Então:
 0  ˆ  ...
ˆ EQT
...  0  βˆ  ( XT X) 1 ( XT y )
EQT βˆ
 0  ˆk  ...
ˆk 9/11
 Definição MQO Gauss-Markov

Regressão Múltipla - Exemplo

Seja a relação entre renda familiar em SM (Y), anos de estudo (X1) e idade (X2) do
responsável pela família:

Yi    1 X 1i   2 X 2i  ei y  Xβ  e Y X1 X2
(Renda) (Anos (Idade)
Estudo)
A função de regressão amostral será dada por:
 4  1 1 20  ˆ  eˆ1  4 1 20
      
ˆ  8  1 4 30  ˆ   eˆ2  8 4 30
y  Xβ  e
ˆ 10   1 6 40  1    eˆ 
 ˆ   3 
10 6 40
  
12  1 7 50  2   eˆ 
     4 12 7 50
^
y41 X43 31 ê41
E as estimativas de MQO:
1
 4 18 140   34   1,9 
     
βˆ  (XT X)1(XT y)   18 102 730   180    1 
140 730 5400  1320   0,06 
     
Espera-se, para cada ano adicional de estudo do
responsável pela família, um aumento de 1 SM e,
para cada ano de idade adicional, um aumento de
0,06 SM na renda familiar. 10/11
 Definição MQO Gauss-Markov

Teorema de Gauss-Markov
Método de Mínimos Quadrados
Seja o modelo de regressão múltipla representado matricialmente por:
y  Xβ  e
O estimador de MQO para o vetor de coeficientes  que minimizará o erro
quadrático total do modelo será dado por:

βˆ p1  (X T X) 1 (XT y)
Caso os pressupostos do Teorema de Gauss-Markov sejam válidos, os estimadores
de MQO serão os MELNV dos coeficientes de um modelo de RLM.
1. A v.a. Yi é uma função linear das variáveis explanatórias (Xij, j=1..k);
2. Os valores de Xj são fixos;
3. Os erros possuem esperança condicional zero, ou seja, E(ei)=0;
4. Os erros são homocedásticos, ou seja, E(ei2)=2; E(ee’)=I2
5. Os erros são não-correlacionados, ou seja, E(eiej)=0, para ij;
E, para que tenhamos um modelo clássico de regressão linear:
6. Os erros estão normalmente distribuídos;
11/11