Tema 4.

Regresión lineal simple

Contenidos
I El objeto del análisis de regresión
I La especificación de un modelo de regresión lineal simple
I Estimadores de mı́nimos cuadrados: construcción y propiedades
I Inferencias sobre el modelo de regresión:
I Inferencia sobre la pendiente
I Inferencia sobre la varianza
I Estimación de una respuesta promedio
I Predicción de una nueva respuesta
Tema 4. Regresión lineal simple

Objetivos de aprendizaje
I Saber construir un modelo de regresión lineal simple que describa
cómo influye una variable X sobre otra variable Y
I Saber obtener estimaciones puntuales de los parámetros de dicho
modelo
I Saber contruir intervalos de confianza y resolver contrastes sobre
dichos parámetros
I Saber estimar el valor promedio de Y para un valor de X
I Saber predecir futuros de la variable respuesta, Y
Tema 4. Regresión lineal simple

Referencias en la bibliografı́a
I Newbold, P. “Estadı́stica para los negocios y la economı́a” (1997)
I Capı́tulo 10
I Ross, S. “Introducción a la Estadı́stica” (2007)
I Capı́tulo 12
I Peña, D. “Regresión y análisis de experimentos”(2005)
I Capı́tulo 5
Introducción

Un modelo de regresión es un modelo que permite describir cómo influye

una variable X sobre otra variable Y .

I X: Variable independiente o explicativa o exógena

I Y: Variable dependiente o respuesta o endógena

El objetivo es obtener estimaciones razonables de Y para distintos valores

de X a partir de una muestra de n pares de valores (x1 , y1 ), . . . , (xn , yn ).
Introducción

Ejemplos
I Estudiar cómo influye la estatura del padre sobre la estatura del hijo.

I Estimar el precio de una vivienda en función de su superficie.

I Predecir la tasa de paro para cada edad.

I Aproximar la calificación obtenida en una materia según el número

de horas de estudio semanal.

I Prever el tiempo de computación de un programa en función de la

velocidad del procesador.
Introducción

Tipos de relación
I Determinista: Conocido el valor de X , el valor de Y queda
perfectamente establecido. Son del tipo:

y = f (x)

Ejemplo: La relación existente entre la temperatura en grados

centı́grados (X ) y grados Fahrenheit (Y ) es:

y = 1.8x + 32
Plot of Grados Fahrenheit vs Grados centígrados
112
Grados Fahrenheit

92

72

52

32
0 10 20 30 40

Grados centígrados
Introducción
Tipos de relación
I No determinista: Conocido el valor de X , el valor de Y no queda
perfectamente establecido. Son del tipo:

y = f (x) + u

donde u es una perturbación desconocida (variable aleatoria).

Ejemplo: Se tiene una muestra del volumen de producción (X ) y el
costo total (Y ) asociado a un producto en un grupo de empresas.
Plot of Costos vs Volumen
80

60
Costos

40

20

0
26 31 36 41 46 51 56

Volumen

Existe relación pero no es exacta.

Introducción
Tipos de relación
I Lineal: Cuando la función f (x) es lineal, y la representación gráfica de los
datos tiene un aspecto lineal,

f (x) = β0 + β1 x

I Si β1 > 0 hay relación lineal positiva.

I Si β1 < 0 hay relación lineal negativa.

Relación lineal positiva Relación lineal negativa

10 10

6 6
Y

Y
2 2

-2 -2

-6 -6
-2 -1 0 1 2 -2 -1 0 1 2

X X
Introducción

Tipos de relación
I No lineal: Cuando la función f (x) no es lineal. Por ejemplo,
f (x) = log (x), f (x) = x 2 + 3, . . .
Relación no lineal
2

0
Y

-1

-2

-3

-4
-2 -1 0 1 2

Los datos no tienen un aspecto lineal.

Introducción

Tipos de relación
I Ausencia de relación: Cuando f (x) = c.
Ausencia de relación
2,5

1,5

0,5
Y

-0,5

-1,5

-2,5
-2 -1 0 1 2

X
Medidas de dependencia lineal

La covarianza
Una medida de la dependencia lineal es la covarianza:
n
X
(xi − x̄) (yi − ȳ )
i=1
cov (x, y ) =
n−1

I Si hay relación lineal positiva, la covarianza será positiva y grande.

I Si hay relación lineal negativa, la covarianza será negativa y grande
en valor absoluto.
I Si hay no hay relación entre las variables o la relación es
marcadamente no lineal, la covarianza será próxima a cero.

PERO la covarianza depende de las unidades de medida de las variables.

Medidas de dependencia lineal

El coeficiente de correlación lineal

Una medida de la dependencia lineal que no depende de las unidades de
medida es el coeficiente de correlación lineal:
cov(x, y )
r(x,y ) = cor(x, y ) =
sx sy

donde:
n
X n
X
2 2
(xi − x̄) (yi − ȳ )
i=1 i=1
sx2 = y sy2 =
n−1 n−1

I -1≤ cor (x, y ) ≤ 1

I cor (x, y ) = cor (y , x)
I cor (ax + b, cy + d) = sign(a) sign(c) cor (x, y )
para cualesquiera valores a, b, c, d.
El modelo de regresión lineal simple
El modelo de regresión lineal simple supone que,

y i = β0 + β1 x i + u i

donde:
I yi representa el valor de la variable respuesta para la observación
i-ésima.
I xi representa el valor de la variable explicativa para la observación
i-ésima.
I ui representa el error para la observación i-ésima que se asume
normal,
ui ∼ N(0, σ)
I β0 y β1 son los coeficientes de regresión:
I β0 : intercepto
I β1 : pendiente
Los parámetros que hay que estimar son: β0 , β1 y σ.
El modelo de regresión lineal simple
El objetivo es obtener estimaciones βˆ0 y βˆ1 de β0 y β1 para calcular la recta de
regresión:
ŷ = βˆ0 + βˆ1 x
que se ajuste lo mejor posible a los datos.

Ejemplo: Supongamos que la recta de regresión del ejemplo anterior es:

Costo = −15.65 + 1.29 Volumen

Plot of Fitted Model

80

60
Costos

40

20

0
26 31 36 41 46 51 56

Volumen

Se estima que una empresa que produce 25 mil unidades tendrá un costo:

costo = −15.65 + 1.29 × 25 = 16.6 mil euros

El modelo de regresión lineal simple
La diferencia entre cada valor yi de la variable respuesta y su estimación ŷi se
llama residuo:
ei = yi − ŷi

Valor observado
Dato (y)

Recta de
regresión
estimada

Ejemplo (cont.): Indudablemente, una empresa determinada que haya

producido exactamente 25 mil unidades no va a tener un gasto de exactamente
16.6 mil euros. La diferencia entre el costo estimado y el real es el residuo. Si
por ejemplo el costo real de la empresa es de 18 mil euros, el residuo es:

ei = 18 − 16.6 = 1.4 mil euros

Hipótesis del modelo de regresión lineal simple

I Linealidad: La relación existente entre X e Y es lineal,

f (x) = β0 + β1 x

I Homogeneidad: El valor promedio del error es cero, E [ui ] = 0

I Homocedasticidad: La varianza de los errores es constante,
Var(ui ) = σ 2
I Independencia: Las observaciones son independientes, E [ui uj ] = 0
I Normalidad: Los errores siguen una distribución normal,

ui ∼ N(0, σ)
Hipótesis del modelo de regresión lineal simple
Linealidad
Los datos deben ser razonablemente rectos:
Plot of Fitted Model
80

60
Costos

40

20

0
26 31 36 41 46 51 56

Volumen

Si no, la recta de regresión no representa la estructura de los datos.

Plot of Fitted Model
34

24
Y

14

-6
-5 -3 -1 1 3 5

X
Hipótesis del modelo de regresión lineal simple

Homocedasticidad
La dispersión de los datos debe ser constante:

Plot of Costos vs Volumen

80

60
Costos

40

20

0
26 31 36 41 46 51 56
Volumen

Datos homocedásticos Datos heterocedásticos

Hipótesis del modelo de regresión lineal simple

Independencia
I Los datos deben ser independientes.
I Una observación no debe dar información sobre las demás.
I Habitualmente, se sabe por el tipo de datos si son adecuados o no
para el análisis.
I En general, las series temporales no cumplen la hipótesis de
independencia.
 21
22
23
- Relación lineal 24

Hipótesis del modelo de regresión lineal simple

25
26
27

Regresión lineal simple 28

29
30

Regresión Lineal 2 Regresión

Normalidad
I Se asume que los datos son normales a priori.
Modelo H

yi E 0  E 1 xi  u i , u i o N (0, V 2 ) „ L

yi „ N
E 0  E1 x
„ H

xi „ In
2
E 0 , E1 ,V : parámetros desconocidos
Regresión Lineal 4 Regresión
 yi
Estimadores de mı́nimos
y cuadrados

Gauss propuso en 1809 el método de mı́nimos cuadrados para obtener los

valores βˆ0 y βˆ1 que mejor se ajustan a los datos:
x xi
6 Regresión Lineal ŷi = βˆ0 + βˆ1 xi 7

El método consiste en minimizar la suma de los cuadrados de las distancias

verticales entre los datos y las estimaciones, es decir, minimizar la suma de los
residuos al cuadrado,
n
Residuosn n “
X X X “ ””2
ei2 = (yi − ŷi )2 = y − β̂ + β̂ x
yi Eˆ0  Eˆ1 xi  N
i
ei
0 1 i
i=1 N
i=1   i=1

Valor Observado Valor Previsto Residuo

ei

yi
iente
1
yˆi Eˆ0  Eˆ1xi

xi

8 Regresión Lineal 9
Estimadores de mı́nimos cuadrados
Modelo Recta de regresión
El resultado que se obtiene es:
yi E 0  E 1 xi  u i , u i o N (0, V 2 )
yi : Variable dependiente
Xn yi
xi : Variable independiente (xi − x̄) (yi − ȳ ) y
cov
ui : (x,
Parte y )
aleatoria i=1
β̂1 = = n V
sx2 X 2
0
(xi − x̄) x xi
Regresión Lineal i=1 6 Regresión Lineal

β̂0 = ȳ − β̂1 x̄
Recta de regresión Residuos

yˆ Eˆ 0  Eˆ1 x y Eˆ0  Eˆ1 x

Ni   

Valor Observado Valor Prev

ei

y yi
Pendiente
Eˆ1
yˆi Eˆ
Eˆ 0 y  Eˆ1 x
x xi

Regresión Lineal 8 Regresión Lineal

Estimadores de mı́nimos cuadrados
Ejercicio 4.1
Los datos de la producción de trigo en toneladas (X ) y el precio del kilo de
harina en pesetas (Y ) en la década de los 80 en España fueron:

Producción de trigo 30 28 32 25 25 25 22 24 35 40
Precio de la harina 25 30 27 40 42 40 50 45 30 25

Ajusta la recta de regresión por el método de mı́nimos cuadrados

Estimadores de mı́nimos cuadrados
Ejercicio 4.1
Los datos de la producción de trigo en toneladas (X ) y el precio del kilo de
harina en pesetas (Y ) en la década de los 80 en España fueron:

Producción de trigo 30 28 32 25 25 25 22 24 35 40
Precio de la harina 25 30 27 40 42 40 50 45 30 25

Ajusta la recta de regresión por el método de mı́nimos cuadrados

Resultados
10
X
xi yi − nx̄ ȳ
i=1 9734 − 10 × 28.6 × 35.4
β̂1 = = = −1.3537
X10 8468 − 10 × 28.62
xi2 − nx̄ 2
i=1

β̂0 = ȳ − β̂1 x̄ = 35.4 + 1.3537 × 28.6 = 74.116

La recta de regresión es: ŷ = 74.116 − 1.3537x

Estimadores de mı́nimos cuadrados
Estimación de la varianza

Para estimar la varianza de los errores, σ 2 , podemos utilizar,

n
X
ei2
i=1
σ̂ 2 =
n
que es el estimador máximo verosı́mil de σ 2 , pero es un estimador
sesgado.

Un estimador insesgado de σ 2 es la varianza residual,

n
X
ei2
i=1
sR2 =
n−2
Estimación de la varianza
Ejercicio 4.2
Calcula la varianza residual en el ejercicio 4.1.
Estimación de la varianza
Ejercicio 4.2
Calcula la varianza residual en el ejercicio 4.1.

Resultados
Calculamos primero los residuos, ei , usando la recta de regresión,

ŷi = 74.116 − 1.3537xi

xi 30 28 32 25 25 25 22 24 35 40
yi 25 30 27 40 42 40 50 45 30 25
ŷi 33.5 36.21 30.79 40.27 40.27 40.27 44.33 41.62 26.73 19.96
ei -8.50 -6.21 -3.79 -0.27 1.72 -0.27 5.66 3.37 3.26 5.03

La varianza residual es:

n
X
ei2
i=1 207.92
sR2 = = = 25.99
n−2 8
Estimación de la varianza
Inferencias sobre el modelo de regresión

I Hasta ahora sólo hemos obtenido estimaciones puntuales de los

coeficientes de regresión.

I Usando intervalos de confianza podemos obtener una medida de la

precisión de dichas estimaciones.

I Usando contrastes de hipótesis podemos comprobar si un

determinado valor puede ser el auténtico valor del parámetro.
Inferencia para la pendiente
El estimador β̂1 sigue una distribución normal porque es una combinación lineal
de normales,
n n
X (xi − x̄) X
β̂1 = y =
2 i
wi yi
i=1
(n − 1)sX i=1

donde yi = β0 + β1 xi + ui , que cumple que yi ∼ N β0 + β1 xi , σ 2 . Además, β̂1

` ´

es un estimador insesgado de β1 ,
n
h i X (xi − x̄)
E β̂1 = E [yi ] = β1
i=1
(n − 1)sX2

y su varianza es,
n „ «2
h i X (xi − x̄) σ2
Var β̂1 = 2
Var [yi ] =
i=1
(n − 1)sX (n − 1)sX2

Por tanto,
σ2
„ «
β̂1 ∼ N β1 ,
(n − 1)sX2
Intervalo de confianza para la pendiente
Queremos ahora obtener el intervalo de confianza para β1 de nivel 1 − α.
Como σ 2 es desconocida, la estimamos con sR2 . El resultado básico
cuando la varianza es desconocida es:

β̂1 − β1
s ∼ tn−2
sR2
(n − 1)sX2

que nos permite obtener el intervalo de confianza para β1 :

s
sR2
β̂1 ± tn−2,α/2
(n − 1)sX2

La longitud del intervalo disminuirá si:

I Aumenta el tamaño de la muestra.

I Aumenta la varianza de las xi .
I Disminuye la varianza residual.
Contrastes sobre la pendiente
Usando el resultado anterior podemos resolver contrastes sobre β1 . En
particular, si el verdadero valor de β1 es cero entonces Y no depende
linealmente de X . Por tanto, es de especial interés el contraste:

H 0 : β1 = 0
H1 : β1 6= 0

La región de rechazo de la hipótesis nula es:

 
 β̂1 
 > tn−2,α/2
 
p 2
 sR /(n − 1)sX2 

Equivalentemente, si el cero está fuera del intervalo de confianza para β1

de nivel 1 − α, rechazamos la hipótesis nula a ese nivel. El p-valor del
contraste es:
 !
 β̂1 
p-valor = 2 Pr tn−2 >  p 2
 
 sR /(n − 1)sX2 

Inferencia para la pendiente
Ejercicio 4.3
1. Calcula un intervalo de confianza al 95% para la pendiente de la recta de
regresión obtenida en el ejercicio 4.1.
2. Contrasta la hipótesis de que el precio de la harina depende linealmente de
la producción de trigo, usando un nivel de significación de 0.05.
Inferencia para la pendiente
Ejercicio 4.3
1. Calcula un intervalo de confianza al 95% para la pendiente de la recta de
regresión obtenida en el ejercicio 4.1.
2. Contrasta la hipótesis de que el precio de la harina depende linealmente de
la producción de trigo, usando un nivel de significación de 0.05.

Resultados
1. tn−2,α/2 = t8,0.025 = 2.306,

−1.3537 − β1
−2.306 ≤ q ≤ 2.306, −2.046 ≤ β1 ≤ −0.661
25.99
9×32.04

2. El intervalo no contiene al cero y rechazamos β1 = 0 al nivel 0.05. De hecho:

˛ ˛ ˛˛ ˛
˛
β̂1 ˛ ˛ −1.3537 ˛˛
˛ ˛ ˛
= ˛ = 4.509 > 2.306
˛
˛p 2 ˛ q
˛ sR / (n − 1) sX2 ˛ ˛˛ 25.99 ˛
9×32.04

p-valor= 2 Pr(t8 > 4.509) = 0.002

Inferencia para la pendiente
Inferencia para el intercepto
El estimador β̂0 sigue una distribución normal porque es una combinación lineal
de normales,
n „ «
X 1
β̂0 = − x̄wi yi
i=1
n
2
donde w`i = (xi − x̄) /ns
´ X y donde yi = β0 + β1 xi + ui , que cumple que
yi ∼ N β0 + β1 xi , σ 2 . Además, β̂0 es un estimador insesgado de β0 ,
n „ «
h i X 1
E β̂0 = − x̄wi E [yi ] = β0
i=1
n

y su varianza es,
n „ «2
x̄ 2
„ «
h i X 1 1
Var β̂0 = − x̄wi Var [yi ] = σ 2 +
i=1
n n (n − 1)sX2

y por tanto,
x̄ 2
„ „ ««
1
β̂0 ∼ N β0 , σ 2 +
n (n − 1)sX2
Intervalo de confianza para el intercepto
Queremos ahora obtener el intervalo de confianza para β0 de nivel 1 − α.
Como σ 2 es desconocida, la estimamos con sR . El resultado básico cuando la
varianza es desconocida es:

β̂0 − β0
s « ∼ tn−2
x̄ 2
„
1
sR2 +
n (n − 1)sX2

que nos permite obtener el intervalo de confianza para β0 :

r “ ”
x̄ 2
β̂0 ± tn−2,α/2 sR2 n1 + (n−1)s 2
X

La longitud del intervalo disminuirá si:

I Aumenta el tamaño de la muestra.

I Aumenta la varianza de las xi .
I Disminuye la varianza residual.
I Disminuye la media de las xi .
Contrastes sobre el intercepto
Usando el resultado anterior podemos resolver contrastes sobre β0 . En
particular, si el verdadero valor de β0 es cero entonces la recta de regresión
pasa por el origen. Por tanto, es de especial interés el contraste:

H0 : β0 = 0
H1 : β0 6= 0

La región de rechazo de la hipótesis nula es:

˛ ˛
˛ ˛
˛ ˛
˛ β̂ 0 ˛
” ˛ > tn−2,α/2
˛r ˛
˛ “ 2
˛ s 2 1 + x̄ ˛
˛ R n (n−1)s 2
X
˛

Equivalentemente, si el cero está fuera del intervalo de confianza para β0 de

nivel 1 − α, rechazamos la hipótesis nula a ese nivel. El p-valor es:
0 ˛ ˛1
˛ ˛
˛ ˛
B ˛ β̂0 ˛C
p-valor = 2 Pr B t n−2 > ˛r
˛ “ ”
˛C
˛A
˛ s 2 1 + x̄ 2
@
˛
˛ R n (n−1)s 2 X
˛
Inferencia para el intercepto

Ejercicio 4.4
1. Calcula un intervalo de confianza al 95% para el intercepto de la recta de
regresión obtenida en el ejercicio 4.1.
2. Contrasta la hipótesis de que la recta de regresión pasa por el origen,
usando un nivel de significación de 0.05.
Inferencia para el intercepto

Ejercicio 4.4 - Resultados

1. tn−2,α/2 = t8,0.025 = 2.306

74.1151 − β0
−2.306 ≤ r “ ” ≤ 2.306 ⇔ 53.969 ≤ β0 ≤ 94.261
1 28.62
25.99 10 + 9×32.04

2. Como el intervalo no contiene al cero, rechazamos que β0 = 0 al nivel

0.05.
˛ ˛ ˛ ˛
˛ ˛ ˛ ˛
˛ ˛ ˛ ˛
˛
˛r β̂ 0 ˛ ˛
˛ = ˛r 74.1151 ˛
˛ = 8.484 > 2.306
˛ “ ” ˛ ˛ “ ” ˛
˛ s 2 1 + x̄ 2 ˛ ˛ 25.99 1 + 28.62 ˛
˛ R n (n−1)s 2
X
˛ ˛ 10 9×32.04 ˛

p-valor= 2 Pr(t8 > 8.483) = 0.000

Inferencia para el intercepto
Inferencia para la varianza

El resultado básico es que:

(n − 2) sR2
∼ χ2n−2
σ2
Utilizando este resultado podemos:
I Construir el intervalo de confianza para la varianza:

(n − 2) sR2 (n − 2) sR2
2 ≤ σ2 ≤ 2
χn−2,α/2 χn−2,1−α/2

I Resolver contrastes del tipo:

H0 : σ 2 = σ02
H1 : σ 2 6= σ02
Estimación de una respuesta promedio y predicción de una
nueva respuesta
Se distiguen dos tipos de problemas:
1. Estimar el valor medio de la variable Y para cierto valor X = x0 .
2. Predecir el valor que tomará la variable Y para cierto valor X = x0 .

Por ejemplo, en el ejercicio 4.1:

1. ¿Cuál será el precio medio del kg. de harina para los años en que se
producen 30 ton. de trigo?
2. Si un determinado año se producen 30 ton. de trigo, ¿cuál será el
precio del kg. de harina?

En ambos casos el valor estimado es:

ŷ0 = β̂0 + β̂1 x0

= ȳ + β̂1 (x0 − x̄)

Pero la precisión de las estimaciones es diferente.

Estimación de una respuesta promedio

Teniendo en cuenta que:

 
2
Var (ŷ0 ) = Var (ȳ ) + (x0 − x̄) Var β̂1
!
2
2 1 (x0 − x̄)
=σ +
n (n − 1) sX2

El intervalo de confianza para la respuesta promedio es:

v !
2
u
u 1 (x 0 − x̄)
ŷ0 ± tn−2,α/2 tsR2 +
n (n − 1) sX2
Predicción de una nueva respuesta

La varianza de la predicción de una nueva respuesta es el error cuadrático

medio de la predicción:
h i
2
E (y0 − ŷ0 ) = Var (y0 ) + Var (ŷ0 )
!
2
2 1 (x0 − x̄)
=σ 1+ +
n (n − 1) sX2

El intervalo de confianza para la predicción de una nueva respuesta es:

v !
2
u
u
2 1 (x0 − x̄)
ŷ0 ± tn−2,α/2 sR 1 + +
t
n (n − 1) sX2

La longitud de este intervalo es mayor que la del anterior (menos

precisión) porque no corresponde a un valor medio sino a uno especı́fico.
Estimación de una respuesta promedio y predicción de una
nueva respuesta

En rojo se muestran los intervalos para las medias estimadas y en rosa los
intervalos de predicción. Se observa que la amplitud de estos últimos es
considerablemente mayor.

Plot of Fitted Model

50

45
Precio en ptas.

40

35

30

25
22 25 28 31 34 37 40

Produccion en kg.
Recta de regresión: R-cuadrado y descomposición de la
variabilidad
I El coeficiente de determinación, R-cuadrado se emplea para valorar la
bondad de ajuste del modelo. Se define como

R 2 = r(x,y
2
) ∈ [0, 1]

I R 2 nos indica el porcentaje de la variabilidad muestral de la variable y que

es explicada por el modelo, esto es, por su dependencia lineal de x
I Los valores próximos a 100% indican que el modelo de regresión
proporciona un buen ajuste para los datos (valores menores del 60%
indican un ajuste pobre)
I Descomposición de la variabilidad y R 2 . La suma de cuadrados total
ȳ )2 puede descomponerse en: la suma de cuadrados
P
i (yi − P P de los
residuos i (yi − ŷ )2 + la suma de cuadrados del modelo i (ŷ − ȳ )2

SCT = SCR + SSM

y se cumple que R 2 = 1 − SSR

SST
= SSM
SST
Recta de regresión: R-cuadrado y descomposición de la
variabilidad

De Wikipedia:
Tabla ANOVA

La tabla ANOVA (Análisis de la Varianza) para el modelo de regresión

lineal simple es:

Fuente de variabilidad SC GL Media razón F

Modelo SCM 1 SCM/1 SCM/sR2
Residuos/errores SCR n−2 SCR/(n − 2) = sR2
Total SCT n−1
Obsérvese que el valor de la razón F coincide con el cuadrado del valor
del estadı́stico t para el contraste de significación del modelo de regresión
lineal simple.