Algoritmo Del Descenso Más Rápido

Descargar como docx, pdf o txt
Descargar como docx, pdf o txt
Está en la página 1de 3

a) ALGORITMO DEL DESCENSO MÁS RÁPIDO

θ^ 1=θ^ 0−λ ∇ F ( θ^ 0) , λ >0

1
λ= , α 0 =1 , β 0=2
2
F ( θ ) =SR ( θ )
θ=( α , β )

La gradiente de la función objetivo:


T
2
F ( θ^ )=∑ ( Y t− α^ ^β X ) t

T T

(
∇ F ( θ^ ) = 2 ∑ u^ t (− ^β X ) , 2 ∑ u^ t ( −^α X t ^β X −1 )
1
t

1
t

)
T
∇ F ( θ^ ) =−2 ∑ ( β^ X , α^ X t ^β X −1 ) u^ t
[ t t
]
1

T
α^ 1 α0 1
()( ) {
^β 1
= − −2 ∑ ( β^ X , α^ X t ^β X −1 ) u^ t
β0 2 1
[ t t
] }
T
α^ 1 α
( ) ( ) ∑ [(
β^ 1
= 0 +
β0 1
^β X , α^ X t β^ X −1 ) u^ t
t t
]
T
α^ 1
= 1 + ∑ ( 2 X , X t 2 X −1 ) u^ t
( ) ()
β^ 1 2 1
[ t t
]
b) ALGORITMO DE NEWTON RAPHSON

ESTIMADOR MINIMOS CUADRADOS:

F ( θ ) =SR ( θ )
θ=( α , β )
α 0=1 , β0 =2

Primero la gradiente de la función objetivo:


T
∇ F ( θ^ ) =−2 ∑ ( β^ X , α^ X t ^β X −1 ) u^ t
[ t t
]
1
Segundo, la matriz Hessiana de la función objetivo:
T T T
2 ∑ (− ^β X ) (− ^β X ) 2 ∑ u^ t (− X t ^β X −1 ) +2 ∑ (− β^ X ) ( −^α X t ^β X −1 )

(
t t t t t

∇ 2 F ( θ^ )= T
1
T T
1 1
T
2 ∑ u^ t ( −X t ^β X −1 ) +2 ∑ ( −α^ X t β^ X −1) ( − ^β X ) 2 ∑ u^ t (−α^ X t ( X t −1 ) ^β X −2 )+ 2 ∑ ( −α^ X t ^β X −1 )(−α^ X t
t t t t t

1 1 1 1

2X X t −1
( α^ ^β X −u^ t )
[( β^ X t β^
)]
T t t
2
∇ F ( θ^ )=2 ∑ X t −1
1 X t ^β ( α^ ^β X −^ut )
t
α^ X t ^β
X −2
( α^ X t ^β X −^ut ( X t −1 ) )
t t

−1
^β 2 X X −1
(α^ ^β X −u^ t )
[( X t ^β
)] [ (
T T X
β^
α^ α^
]
t t t

)
t

() ()
^β n= ^β n−1
+ ∑
1 X t β^ X −1 ( α^ ^β X −u^ t )
t t
α^ X t β^ X −2 ( α^ X t β^ X −^ut ( X t−1 ) )
t t

1
t
u^
α^ X t β^ X −1 t

Reemplazamos los valores iniciales:


−1
2 Xt Xt −1
(2 X −u^ t )
[( )] [ ∑ ( ) ]
T T Xt
α^ 1 2 Xt 2 t
2
() ()
^β n= 2 + ∑
1 X t 2 X −1 ( 2 X −^ut ) X t 2X −2 ( X t 2 X −u^ t ( X t −1 ) )
t t t t
1
t
u^
X t 2 X −1 t

ESTIMADOR MAXIMA VEROSIMILITUD:

En este caso, a diferencia de la estimación por Mínimos Cuadrados, se considera la estimación de


2
la varianza del término de error, σ u , simúltaneamente con la de los parámetros que comoponen
2
el vector ( α , β ), por lo que θ=( α , β , σ u ). Esto se debe a la función de verosimilitud, que tiene

como supuesto que el termino de error tiene una distribución normal.

F ( θ ) =−lnL ( θ )

θ=( α , β , σ 2u )

Donde:

−T T 1
lnL ( θ )= ln 2 π − ln σ 2u− 2 SR(α , β )
2 2 2 σu
Además, el algoritmo:

∂2 lnL( θ)
−1 T
∂lnL (θ)
(
θ^ n =θ^ n−1−
∂θ ∂θ' ) (
n−1

1 ∂θ ) n−1

T T T
∂lnL (θ) 1 1 T 1
∂θ ( ^ X ^
= 2 ∑ u^ t (− β ) , 2 ∑ u^ t (−^α X t β
σ^ u 1
t

σ^ u 1
X −1
) ,− 2 + 4 ∑ u^ 2t
2 σ^ u 2 σ^ u 1
t

)
T T T
1 1 1
2∑
(− β^ X )( − ^β X )
t t
u^ −X t ^β X −1 ) + 2 ∑ (− ^β X ) (−^α X t
2 ∑ t(
t t

(
σ^ u 1 σ^ u 1 σ^ u 1
T T T T
1 1 1 1
2
∂ lnL (θ) u^ − X t ^β X −1 ) + 2 ∑ ( − ^β X ) (− α^ X t ^β X −1 )
2 ∑ t(
t t t
u^ −^α X t ( X t −1 ) ^β X −2 )+ 2 ∑ (−^α X t ^β X −1
2 ∑ t(
t t

= σ^ u 1 σ^ u 1 σ^ u 1 σ^ u 1
∂ θ ∂θ '
T T
−1 X −1 X −1
u^ (− β^ )
4 ∑ t
t
u^ − α^ X t β^
4 ∑ t(
t
)
σ^ u 1 σ^ u 1

También podría gustarte