Modelo lineal

En estadística, el término modelo lineal es usado en diferentes maneras de acuerdo al contexto. La manera más frecuente es en conexión con modelos de regresión y el término a menudo se toma como un sinónimo del modelo de regresión lineal. Sin embargo, el término es también usado en análisis de series de tiempo con un significado diferente. En cada caso, la denominación como "lineal" es usada para identificar una subclase de modelos para los cuales la reducción en complejidad de la teoría estadística relacionada es posible.

Modelos de Regresión Lineal

Para el caso de regresión, el modelo estadístico es como sigue: un modelo lineal predice el valor de una variable a través de otras que llamaremos factores mediante una función lineal de estos.^[1] Estos factores están determinados por el escenario donde observamos la variable a predecir, a la cual llamaremos variable endógena. Dada una muestra (aleatoria) $(Y_{i},X_{i1},\ldots ,X_{ip}),\,i=1,\ldots ,n$ la relación entre las observaciones Y_i y las variables independientes X_ij se fórmula como

Y_{i}=\beta _{0}+\beta _{1}\phi _{1}(X_{i1})+\cdots +\beta _{p}\phi _{p}(X_{ip})+\varepsilon _{i}\qquad i=1,\ldots ,n

donde $\phi _{1},\ldots ,\phi _{p}$ pueden ser funciones no lineales. En la ecuación anterior, las cantidades ε_i son variables aleatorias representando errores en la relación. La parte "lineal" se refiere a la apariencia de los coeficientes de regresión, β_j en esta ecuación. Alternativamente, se puede decir que los valores ajustados correspondientes al anterior modelo, notados

{\hat {Y}}_{i}=\beta _{0}+\beta _{1}\phi _{1}(X_{i1})+\cdots +\beta _{p}\phi _{p}(X_{ip})\qquad (i=1,\ldots ,n),

son funciones lineales de los β_j.

Dado que la estimación se toma en la base de un análisis de mínimos cuadrados, las estimaciones de los parámetros desconocidos β_j se determinan al minimizar una función de suma de cuadrados

S=\sum _{i=1}^{n}\left(Y_{i}-\beta _{0}-\beta _{1}\phi _{1}(X_{i1})-\cdots -\beta _{p}\phi _{p}(X_{ip})\right)^{2}.

Por lo tanto, se puede ver que el aspecto "lineal" del modelo implica lo siguiente:

la función a ser minimizada es una función cuadrática de los β_j para lo cual el problema de minimización es relativamente simple;
las derivadas de la función son funciones lineales de los β_j haciendo fácil de encontrar los valores estimados que la minimizan;
los valores estimados de β_j son funciones lineales de las observaciones Y_i;
los valores estimados de β_j son funciones lineales de los errores aleatorios ε_i lo cual hace relativamente fácil determinar sus propiedades estadísticas.

Algunas expresiones del modelo de regresión lineal

Modelos polinomiales

Los modelos lineales sirven para estimar modelos polinomiales. Por ejemplo, si las potencias de una variable explican la variable endógena, el modelo sería:

$Y=\beta _{0}+\beta _{1}X+\beta _{2}X^{2}+\cdots +\beta _{n}X^{n}+\varepsilon$

Modelos multinomiales

También podemos recurrir a los modelos lineales para estimar modelos multinomiales. Un ejemplo es el siguiente:

$Y=\beta _{0}+\beta _{1}X+\beta _{2}Y+\beta _{3}X^{2}+\beta _{4}XY+\beta _{5}Y^{2}+\varepsilon$

Estimación del modelo

Para estimar el modelo, tenemos que observar el valor de la variable dependiente y de los factores en $m$ casos. En este caso, las ecuaciones serán:

$\left\{{\begin{matrix}y_{1}=\beta _{0}+\beta _{1}x_{11}+\beta _{2}x_{12}+...+\beta _{n}x_{1m}+\varepsilon _{1}\\y_{2}=\beta _{0}+\beta _{1}x_{21}+\beta _{2}x_{22}+...+\beta _{n}x_{2m}+\varepsilon _{2}\\\vdots \\y_{n}=\beta _{0}+\beta _{1}x_{n1}+\beta _{2}x_{n2}+...+\beta _{n}x_{nm}+\varepsilon _{n}\end{matrix}}\right.$

Este sistema de ecuaciones admite la siguiente expresión vectorial:

$\mathbf {Y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }}$

Los símbolos que aparecen en este modelo vectorial representan lo siguiente:

$\mathbf {Y} =\;{\begin{bmatrix}y_{1}\\y_{2}\\\vdots \\y_{n}\end{bmatrix}}\quad \mathbf {X} =\;{\begin{bmatrix}1&x_{1,1}&x_{1,2}&...&x_{1,m}\\1&x_{2,1}&x_{2,2}&...&x_{2,m}\\\vdots &\vdots &\vdots &\ddots &\vdots \\1&x_{n,1}&x_{n,2}&...&x_{n,m}\end{bmatrix}}\quad {\boldsymbol {\beta }}=\;{\begin{bmatrix}\beta _{0}\\\beta _{1}\\\vdots \\\beta _{m}\end{bmatrix}}\quad {\boldsymbol {\varepsilon }}=\;{\begin{bmatrix}\varepsilon _{1}\\\varepsilon _{2}\\\vdots \\\varepsilon _{n}\end{bmatrix}}$

El vector de errores cometido por el modelo viene dado por:

${\boldsymbol {\varepsilon }}=\mathbf {Y} -\mathbf {X} {\boldsymbol {\beta }}$

El estimador mínimo cuadrático es aquel que hace mínima la suma de los cuadrados de estos errores. Esta suma es:

$S({\boldsymbol {\hat {\beta }}})=\sum _{i=1}^{n}\varepsilon _{i}^{2}={\boldsymbol {\varepsilon }}'{\boldsymbol {\varepsilon }}=(\mathbf {Y} -\mathbf {X} {\boldsymbol {\hat {\beta }}})^{T}(\mathbf {Y} -\mathbf {X} {\boldsymbol {\hat {\beta }}})$

Observemos que no hemos establecido ninguna restricción para el valor de ${\boldsymbol {\beta }}$ . Estamos pues ante un problema de optimización sin restricciones. Los cálculos llevan a las llamadas ecuaciones normales que tiene que verificar el valor de $\mathbf {\beta }$ que hace mínima la suma de los cuadrados de los errores.

$\mathbf {X} ^{T}\mathbf {X} {\boldsymbol {\hat {\beta }}}=\mathbf {X} ^{T}\mathbf {Y}$

El estimador mínimo-cuadrático para $\mathbf {\beta }$ resulta ser:

${{\boldsymbol {\hat {\beta }}}=(\mathbf {X} ^{T}\mathbf {X} )^{-1}\mathbf {X} ^{T}\mathbf {Y} }$

El Teorema de Gauss-Márkov nos informa sobre la eficacia de este estimador.

Insesgado

Si los errores -que son variables aleatorias- son insesgados $E({\boldsymbol {\varepsilon }})=\mathbf {0}$ , el estimador mínimo-cuadrático también lo es:

$E({\boldsymbol {\hat {\beta }}})=E((\mathbf {X} '\mathbf {X} )^{-1}\mathbf {X} '(\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }}))={\boldsymbol {\beta }}+E((\mathbf {X} '\mathbf {X} )^{-1})X'{\boldsymbol {\varepsilon }})={\boldsymbol {\beta }}$

Es importante que incluyamos en el modelo todos los factores relevantes: si falta alguno, es posible que los errores no tengan media cero y el estimador de los coeficientes será sesgado. No obstante, cualquier buen modelo lineal ayuda a comprender un fenómeno y a hacer buenas estimaciones. Si incluimos factores de influencia dudosa, también podemos provocar un sesgo en el estimador mínimo-cuadrático. Desde hace muchos años, existe una teoría de inferencia en modelos lineales que nos permite decidir -con un pequeño margen de error- si un factor es o no relevante.

Residuos

Los errores cometidos por el modelo cuando se usa el verdadero valor del parámetro son ${\boldsymbol {\varepsilon }}=\mathbf {Y} -\mathbf {X} {\boldsymbol {\beta }}$ . No obstante, nosotros no conocemos el verdadero valor del parámetro $\mathbf {\beta }$ , sino sólo su estimación $\mathbf {\hat {\beta }}$ y esto provoca que no manejemos los verdaderos errores cometidos, sino su estimación, a la que llamaremos residuos y que vienen dados por:

${\boldsymbol {\hat {\varepsilon }}}=\mathbf {y} -\mathbf {X} {\boldsymbol {\hat {\beta }}}$

En nuestros cálculos, tampoco manejaremos la suma de los cuadrados de los errores, sino la suma de los cuadrados de los residuos:

$SCR=\sum _{i=1}^{n}{\hat {\varepsilon _{i}}}^{2}={\boldsymbol {\hat {\varepsilon }}}'{\boldsymbol {\hat {\varepsilon }}}=(\mathbf {y} -\mathbf {X} {\boldsymbol {\hat {\beta }}})'(\mathbf {y} -\mathbf {X} {\boldsymbol {\hat {\beta }}})$

Se dice que los errores son homocedásticos cuando:

$\exists \sigma ^{2}\quad \forall i\quad E(\varepsilon _{i}^{2})=\sigma ^{2}$

Si el error presenta una varianza distinta en cada caso, hablamos de heterocedasticidad.

Modelos de series temporales

Un ejemplo de modelo lineal en series temporales es el Modelo autorregresivo de media móvil, en el que los valores {X_t} de la serie pueden representarse de la forma

X_{t}=c+\varepsilon _{t}+\sum _{i=1}^{p}\varphi _{i}X_{t-i}+\sum _{i=1}^{q}\theta _{i}\varepsilon _{t-i}.\,

donde, de nuevo, las cantidades ε_t son variables aleatorias que representan las innovaciones o nuevos efectos aleatorios que aparecen en un instante determinado pero solo afectan a X en lo sucesivo de la serie. En este contexto, el término modelo lineal se refiere a la estructura de la relación que representa a X_t como una función lineal de los valores anteriores de la misma serie de tiempo y de innovaciones en el mismo instante e instantes pasados.^[2] Este aspecto particular de la estructura indica que hay una manera simple de encontrar relaciones para la media y las propiedades de covarianza de las series. Note que la parte "lineal" del término "modelo lineal" no se refiere a los coeficientes φ_i y θ_i, como era el caso en el modelo de regresión, pero se ve estructuralmente similar.

Otros usos en estadística

Hay otras instancias donde los "modelos no lineales" son usados en contraste con un modelo estructuralmente lineal, aunque el término "modelo lineal" no sea particularmente usado. Un ejemplo de esto es la "reducción de dimensionalidad no lineal".

Véase también

Referencias

↑ "Linear Regression Analysis" G.A.F Seber Editorial Wiley-Interscience
↑ Priestley, M.B. (1988) Non-linear and Non-stationary time series analysis, Academic Press. ISBN 0-12-564911-8

Datos: Q3339222

[1] "Linear Regression Analysis" G.A.F Seber Editorial Wiley-Interscience

[2] Priestley, M.B. (1988) Non-linear and Non-stationary time series analysis, Academic Press. ISBN 0-12-564911-8

[1]

[2]