Revisão de Regressão Múltipla

Prof. Alexandre Gori Maia

Instituto de Economia - UNICAMP

Ementa
Método de Mínimos Quadrados Ordinários
Análise de Variabilidade
Inferência para os Coeficientes

Bibliografia
Gori Maia, A. 2017. Econometria: Conceitos e Aplicações. Caps. 1-8.
Wooldridge, J. M. 2001. Introductory Econometrics. Caps. 1-5. 1
Função de Regressão Populacional
Seja a relação entre Y e X na população:
Yi = a + bXi + ei Modelo de
Y ou Regressão Linear
Simples para Y na
Yi
E(Y/Xi) = a + bXi população
ei Onde:
E(Y/Xi) Y é a variável dependente ou regressando
X é a variável independente ou regressor
a é o intercepto ou constante do modelo
Xi b é o coeficiente angular do modelo
X
Erro de previsão:
Seja Xi a i-ésima observação de X, teremos:
Yi é o valor observado em Y para o i-ésimo valor de X
2
E(Y/Xi) é a esperança condicional de Y e representa o valor esperado de Y
para o i-ésimo valor de X
ei é o erro, ou variação de Yi não explicada pelo modelo
Função de Regressão Amostral
A relação entre Y e X estimada na amostra será dada por:

Y Função de regressão amostral:

Yi = ^a + b^Xi + ^ei
^ Y previsto pelo ajuste:
ei
Y^i ^ ^ ^
Yi = a + bXi
Resíduo, valor não previsto pelo ajuste:
^e = Y – Y^
i i i
Xi
X
Função de Erro Quadrático Total (EQT):
2 2 2
EQT = eˆ1 + eˆ2 + ... + eˆn
EQT = (Y1 - Yˆ1 ) 2 + (Y2 - Yˆ2 ) 2 + ... + (Yn - Yˆn ) 2 3
n n
EQT = å (Yi - Yˆi ) 2 = å [Yi - (αˆ + βˆX i )]
2

i =1 i =1
MQO – Notação Matricial
• Obtém os estimadores da função de regressão de tal forma
que os erros sejam mínimos ;
Seja a função: Yi = a + b1 X1 + b 2 X 2 + ... + b k X k + ei

E a equivalente matricial: y = Xβ + e

Que representa o sistema: æ Y1 ö æ 1 X 11 X 21 ... X k1 öæ a ö æ e1 ö

ç ÷ ç ÷ç ÷ ç ÷
ç Y2 ÷ ç 1 X 12 X 22 ... X k2 ÷ç b1 ÷ ç e2 ÷
ç ... ÷ = ç ... ... ... ÷
... ... ... ç ÷ +ç ÷
ç ÷ ç ÷ç ÷ ç ... ÷
çY ÷ ç 1 X
è nø è 1n X 2n ... X kn ÷øçè b k ÷ø çè en ÷ø
yn´1 Xn´p bp´1 en´1

Minimizando, chegaremos a: ¶EQT = 0 Þ βˆ = ( XT X) -1 ( XT y )

¶βˆ
4
Interpretação dos Coeficientes
Regressão Linear Simples: Regressão Linear Múltipla:
Yi = a + bX i + ei Yi = a + b1 X 1i + b 2 X 2i + ei

X1 X2

Temos que: Temos que:

Valor esperado de Y
E[Y / X = 0] = a Valor esperado de Y quando X E[Y / X1 = 0, X 2 = 0] = a quando ambos X1 e X2
é nulo. são nulos.
dY Variação marginal esperada ¶Y Variação marginal esperada em Y
=b = b1
dX em Y para cada variação
¶X 1 para cada variação unitária em X1,
unitária em X. mantendo X2 constante.
¶Y Variação marginal esperada em Y 5
= b2
¶X 2 para cada variação unitária em X2,
mantendo X1 constante.
Distribuição Amostral
• Enquanto o parâmetro ! é uma constante, o estimador !" é uma
variável aleatória;
• Ou seja, as estimativas de !" podem assumir quaisquer valores
segundo uma dada distribuição de probabilidade (Normal);
Suponha uma população com 10 observações( ) ^ ^
b0 + b1 X
Y b0 + b1 X Regressão
Regressão Y Amostral #2
Populacional

^ ^
b0 + b1 X
Regressão Amostral
#1 6
X
Amostra Aleatória #1 ( ) X
Amostra Aleatória #2 ( )
 Teste t
• Estima a significância de cada coeficiente do modelo, ou seja, qual a
probabilidade de erro (p) se afirmarmos que a j-ésima variável
independente contribui isoladamente para explicar a variabilidade
da variável dependente (rejeitar H0).
Onde:
Dado o modelo: Y = a + b1 X1 + ... + b k X k + e Sβˆ2 = ( XT X) -1sˆ 2
ìï H 0 : b j = 0 t = bˆ j Sbˆ p/2 e:
p/2 y T y - βˆ T XT y
E as hipóteses: í j
sˆ =
2
ïî H1 : b j ¹ 0 t n - (k + 1)
Rejeitar b1=0 e b2=0 Rejeitar apenas b2=0 Rejeitar apenas b1=0 Não Rejeitar b1=0 e b2=0

Y Y Y Y

X1 X2 X1
X2
X1 X2 X1 X2

b1¹0 b2¹0 b1=0 b2¹0 b1¹0 b2=0 b1=0 b2=0

X1 e X2 contribuem Nenhuma variável 7
Apenas X2 contribui Apenas X1 contribui
para explicar Y. Os contribui para explicar
para explicar Y. H0 :b2=0 para explicar Y. H0 :b1=0
dois testes t deveriam Y. Nenhum dos testes t
deveria ser rejeitado deveria ser rejeitado
ser rejeitados deveria ser rejeitado.
Análise de Variabilidade
• A variabilidade total de Y representa a diversidade de valores que Y
pode assumir;
• Uma parcela da variabilidade de Y pode ser explicada isoladamente
pela variável independente X1, outra explicada isoladamente por X2 e
outra explicada conjuntamente por X1 e X2;
• A variabilidade não explicada por X será refletida nos erros do modelo
de regressão;

Efeito isolado Efeito isolado

de X1 em Y Variabilidade
total de Y de X2 em Y

Variabilidade
Variabilidade total de X2
total de X1 8

Efeito conjunto de X1
e X2 sobre Y
 Soma dos Quadrados
• Permitem estimar a qualidade Y
STQ
do ajuste; n
STQ = å (Yi - Y ) 2 = y T y - nY 2
• Bons modelos implicam i =1
X1 X2
variabilidade relativamente
baixa dos resíduos (SQRes) e
variabilidade relativamente alta
do ajuste de regressão (SQReg); SQReg = n (Yˆ - Y ) 2 = βˆ T XT y - nY 2 Y
å
i =1
i

SQReg
Y X1 X2

Y n Y
SQRes = å (Yi - Yˆi ) 2 = y T y - βˆ T XT y SQRes
i =1

^ X1 X2 9
Y

X
 Coeficiente de Determinação
• Estima a proporção da variabilidade da variável dependente Y
que é explicada pelo conjunto das k variáveis independentes
do modelo de regressão X.
Y
SQ Re g SQ Re s
R2 = = 1-
STQ STQ X1 X2

Escala de R2:

0 A relevância do R2 depende muito do tipo de 1 10

Independência variável dependente (Y) sendo analisada Relação
linear linear exata
 Teste F
• Estima a significância do ajuste, ou seja, qual a probabilidade de
erro (p) se afirmarmos que o modelo contribui para explicar a
variabilidade da variável dependente (rejeitar H0).

Dado o modelo: Y = a + b1 X1 + ... + b k X k + e

SQ Re g/k
F=
ì H 0 : b1 = ... = b k = 0 SQ Re s/ [n-(k + 1)]
E as hipóteses: ïí
p
ïî H1 : Pelo menos um b k ¹ 0 F
Rejeitar H0 Rejeitar H0 Rejeitar H0 Não Rejeitar H0

Y Y Y Y

X1 X2 X1
X2
X1 X2 X1 X2

b1¹0 b2¹0 b1=0 b2¹0 b1¹0 b2=0 b1=0 b2=0

Nenhuma variável 11
X1 e X2 contribuem Apenas X2 contribui Apenas X1 contribui
contribui para explicar
para explicar Y. H0 para explicar Y. H0 para explicar Y. H0
Y. H0 não deveria ser
deveria ser rejeitado deveria ser rejeitado deveria ser rejeitado
rejeitado
Tabela Anova - Definição
• Resume os resultados da Análise de Variância do modelo.
• Valores de p pequenos (usualmente menores que 5%) indicam
que o modelo contribui significativamente para explicar a
variabilidade da variável dependente (R2 > 0);

Fonte gl SQ QM F p
SQReg QMReg
Regressão k βˆ T XT y - nY 2 valor p
k QMRes
SQRes
Resíduos n-(k+1) y T y - βˆ T XT y n - (k + 1)

Total n -1 y T y - nY 2 12
Exemplo Aplicado no R
1) O arquivo Data_TravelCosts.csv contém informações sobre
o custo de viagem de vários municípios brasileiros ao
Parque Nacional da Serra Geral (referência: MAIA, A. G. ,
ROMEIRO, A. Validade e confiabilidade do método de custo
de viagem: um estudo aplicado ao Parque Nacional da Serra
Geral. Revista de Economia Aplicada, v. 12, p. 103-123,
2008):
a) Analise os coeficientes da regressão para a taxa de visitação
como uma função linear simples do custo de viagem;
b) Analise a significância do modelo e dos coeficientes;
c) Adicione variáveis explicativas adicionais e análise suas
relações com a taxa de visitação;
d) Compare a qualidade dos ajustes dos modelos lineares sem (a)
e com controles (c); 13