PROGRAMACIÓN DINÁMICA CON HORIZONTE TEMPORAL INFINITO

Existen problemas de optimización dinámica donde el horizonte temporal relevante es infinito. El

problema general de programación dinámica es el siguiente:
∞

𝑀𝑎𝑥𝑖𝑚𝑖𝑧𝑎𝑟 𝑉 = ∑ 𝑓𝑡 (𝑦𝑡 , 𝑢𝑡 )
𝑡=0 ∀ 𝑡 = 0, 1, 2, … (1)
𝑦𝑡+1 = 𝑔𝑡 (𝑦𝑡 , 𝑢𝑡 )
𝑠𝑢𝑗𝑒𝑡𝑜 𝑎
𝑦0 𝑑𝑎𝑑𝑜
Se debe poder garantizar la convergencia de la serie ∑∞ 𝑡=0 𝑓𝑡 (𝑦𝑡 , 𝑢𝑡 ). Si existe un factor de
descuento 𝛽 ∈ (0, 1), la convergencia está garantizada si 𝑓𝑡 es acotada (misma cota para todo t) o
creciente, siempre y cuando ∑∞ 𝑡
𝑡=0 𝛽 𝑓𝑡 (𝑦𝑡 , 𝑢𝑡 ) converja.

Como en economía casi siempre aparece el factor de descuento, suponemos entonces que el
problema general estará dado por:
∞

𝑀𝑎𝑥𝑖𝑚𝑖𝑧𝑎𝑟 𝑉 = ∑ 𝛽 𝑡 𝑓𝑡 (𝑦𝑡 , 𝑢𝑡 )
𝑡=0 ∀ 𝑡 = 0, 1, 2, … (2)
𝑦𝑡+1 = 𝑔𝑡 (𝑦𝑡 , 𝑢𝑡 )
𝑠𝑢𝑗𝑒𝑡𝑜 𝑎
𝑦0 𝑑𝑎𝑑𝑜
En este caso, no tiene sentido empezar con el último período y proceder recursivamente hacia t =
0 dado que no hay un periodo terminal. No obstante, la función valor se define, igual que antes,
como el máximo a partir del periodo t, es decir:
𝑉𝑡 (𝑦𝑡 ) = 𝑚𝑎𝑥𝑖𝑚𝑖𝑧𝑎𝑟[𝑓(𝑦𝑡 , 𝑢𝑡 ) + 𝛽𝑉𝑡+1 (𝑦𝑡+1 )]
𝑠𝑢𝑗𝑒𝑡𝑜 𝑎 𝑦𝑡 = 𝑔𝑡 (𝑦𝑡 , 𝑢𝑡 ), 𝑦0 𝑑𝑎𝑑𝑜
El problema (2) se resuelve mediante la ecuación de Bellman y las condiciones de primer orden,
al igual que en el caso del horizonte temporal finito. Para hallar la función de valor, 𝑉𝑡 se toma
límite cuando 𝑇 → ∞.

Ejemplo:
Resolver:
∞

𝑀𝑎𝑥𝑖𝑚𝑖𝑧𝑎𝑟 𝑉 = ∑ 𝛽 𝑡 𝐿𝑛 𝑐𝑡
𝑡=0
𝑘𝑡+1 = (1 + 𝑟)𝑘𝑡 − 𝑐𝑡
𝑠𝑢𝑗𝑒𝑡𝑜 𝑎
𝑘0 𝑑𝑎𝑑𝑜, 𝑘𝑡 𝑎𝑐𝑜𝑡𝑎𝑑𝑜
Solución:
Utilizamos las condiciones de primer orden:
1
− 𝛽𝑉 ′ 𝑡+1 = 0
𝑐𝑡
𝑉𝑡′ = 𝛽(1 + 𝑟)𝑉𝑡+1
′

Despejando 𝑉 ′ 𝑡+1 en la primera ecuación:

1
𝑉 ′ 𝑡+1 =
𝛽𝑐𝑡
Reemplazando en la segunda ecuación:
1
𝑉𝑡′ = 𝛽 (1 + 𝑟)
𝛽𝑐𝑡
Tomando el siguiente período, tenemos:

′
1 1+𝑟
𝑉𝑡+1 = 𝛽 (1 + 𝑟 ) =
𝛽𝑐𝑡+1 𝑐𝑡+1
Igualando ambas ecuaciones para 𝑉 ′ 𝑡+1 :
1 1+𝑟
=
𝛽𝑐𝑡 𝑐𝑡+1
𝑐𝑡+1 − 𝛼𝛽𝑐𝑡 = 0
donde 𝛼 = (1 + 𝑟).
Junto con la ecuación de movimiento, tenemos el siguiente sistema de ecuaciones en diferencias:
𝑐𝑡+1 − 𝛼𝛽𝑐𝑡 = 0
𝑘𝑡+1 − 𝛼𝑘𝑡 = − 𝑐𝑡
Resolviendo la primera ecuación en diferencias, tenemos:
𝑐𝑡 = 𝑐1 (𝛼𝛽 )𝑡
Reemplazamos la expresión de 𝑐𝑡 en la segunda ecuación en diferencias:
𝑘𝑡+1 − 𝛼𝑘𝑡 = −𝑐1 (𝛼𝛽 )𝑡
La solución general de la ecuación homogénea es:
𝑘𝑡 = 𝑐2 𝛼 𝑡
Una solución particular sería: 𝑘̅𝑡 = 𝐴(𝛼𝛽 )𝑡 .
Sustituyendo en la ecuación en diferencias:
𝐴(𝛼𝛽 )𝑡+1 − 𝛼𝐴(𝛼𝛽 )𝑡 = −𝑐1 (𝛼𝛽 )𝑡
𝐴(𝛼𝛽 − 𝛼 ) = −𝑐1
𝑐1
𝐴=
𝛼 (1 − 𝛽 )
Luego,
𝑐𝑡 = 𝑐1 (𝛼𝛽 )𝑡
𝑐1
𝑘𝑡 = 𝑐2 𝛼 𝑡 + (𝛼𝛽 )𝑡
𝛼 (1 − 𝛽 )
Tenemos que 𝛼 = 1 + 𝑟 > 1, entonces 𝛼 𝑡 → ∞ cuando 𝑡 → ∞. Como 𝑘𝑡 es acotado, debemos
tener que 𝑐2 = 0. Es decir,
𝑐1
𝑘𝑡 = (𝛼𝛽 )𝑡
𝛼 (1 − 𝛽 )
es acotado si 𝛼𝛽 < 1.
Usamos la condición inicial:
𝑐1
𝑘0 = ⇒ 𝑐1 = 𝑘0 𝛼(1 − 𝛽 )
𝛼 (1 − 𝛽 )
Reemplazando en la expresión de 𝑘𝑡 y 𝑐𝑡 :
𝑘𝑡 = 𝑘0 (𝛼𝛽 )𝑡
𝑐𝑡 = 𝑘0 𝛼 (1 − 𝛽 )(𝛼𝛽 )𝑡
Podemos concluir que 𝑘𝑡 decrece y tiende a cero cuando 𝑡 → ∞.
Además 𝑐𝑡 → 0 cuando 𝑡 → ∞.

Método Para Encontrar la Función Valor 𝑽𝒕

Bajo ciertos supuestos generales, es posible proceder a encontrar la función valor explícitamente,
para luego determinar las trayectorias óptimas. Describiremos dos métodos para encontrar la
función valor.
Buscamos una función V tal que se cumpla la ecuación de Bellman (en tiempo corriente):
𝑉 (𝑦𝑡 ) = 𝑚𝑎𝑥𝑖𝑚𝑖𝑧𝑎𝑟[𝑓 (𝑦𝑡 , 𝑢𝑡 ) + 𝛽𝑉 (𝑦𝑡+1 )]
𝑠𝑢𝑗𝑒𝑡𝑜 𝑎 𝑦𝑡 = 𝑔𝑡 (𝑦𝑡 , 𝑢𝑡 ), 𝑦𝑡 𝑑𝑎𝑑𝑜
Definimos 𝑊 = {𝑉: 𝐷 → ℝ/𝑉 𝑒𝑠 𝑐𝑜𝑛𝑡𝑖𝑛𝑢𝑎. Podemos pensar la ecuación de Bellman como una
ecuación funcional de la forma:
𝑉 = 𝒪(𝑉)
en donde 𝒪: 𝑊 → 𝑊 es un operador del espacio vectorial de funciones en sí mismo. Resolver la
ecuación equivale a encontrar un punto fijo del operador, es decir, una función V tal que 𝒪 (𝑉 ) =
𝑉.
Para encontrar esta función comenzamos con cualquier función inicial F0, continua y acotada,
después aplicamos el operador, esto es, se elige ut de tal manera que resuelva el problema:
max{𝑓(𝑦𝑡 , 𝑢𝑡 ) + 𝛽𝐹0 (𝑦𝑡+1 )
𝑠𝑢𝑗𝑒𝑡𝑜 𝑎 𝑦𝑡+1 = 𝑔𝑡 (𝑦𝑡 , 𝑢𝑡 )
Si 𝑢𝑡∗ es solución a este problema, entonces definimos:
𝐹1 (𝑦𝑡 ) = 𝑓(𝑥𝑡 , 𝑢𝑡∗ ) + 𝛽𝐹0 (𝑦𝑡+1 )
Ahora aplicamos el operador a F1 y llamamos al resultado F2, y así sucesivamente, de manera que:
𝐹𝑛+1 (𝑦𝑡 ) = max{𝑓(𝑦𝑡 , 𝑢𝑡 ) + 𝛽𝐹𝑛 (𝑦𝑡+1 )}
Proposición:
Si se tiene una sucesión de funciones {Fn} como arriba, entonces lim 𝐹𝑛 = 𝑉, es decir, el límite
𝑛→∞
existe y es un punto fijo del operador, el cual además es único.

Ejemplo:
Consideremos el siguiente problema:
 ∞

𝑀𝑎𝑥𝑖𝑚𝑖𝑧𝑎𝑟 ∑ 𝛽 𝑡 ln 𝑐𝑡
𝑡=0
𝑘𝑡+1 = 𝑘𝑡𝛼 − 𝑐𝑡
𝑠𝑢𝑗𝑒𝑡𝑜 𝑎
𝑘0 𝑑𝑎𝑑𝑜
donde 𝛼 ∈ (0,1).
Solución:
Sea 𝐹0 = 0 (continua y acotada). Construimos la sucesión:
𝐹𝑛+1 (𝑘𝑡 ) = max{ln 𝑐𝑡 + 𝛽𝐹𝑛 (𝑘𝑡+1 )}
𝑠𝑢𝑗𝑒𝑡𝑜 𝑎 𝑘𝑡+1 = 𝑘𝑡𝛼 − 𝑐𝑡 , 𝑘0 𝑑𝑎𝑑𝑜
Tenemos:
𝐹1 (𝑘𝑡 ) = max{ln 𝑐𝑡 }
Sujeto a la ecuación de movimiento. El máximo se obtiene cuando 𝑐𝑡 es lo más grande posible, es
decir, cuando 𝑘𝑡+1 = 0 y 𝑐𝑡 = 𝑘𝑡𝛼 . Así,
𝐹1 = ln 𝑘𝑡𝛼 = 𝛼 ln 𝑘𝑡
El siguiente término en la sucesión es:
𝐹2 (𝑘𝑡 ) = max{ln 𝑐𝑡 + 𝛽𝐹1 (𝑘𝑡+1 )}
𝐹2 (𝑘𝑡 ) = max{ln 𝑐𝑡 + 𝛽𝛼 ln 𝑘𝑡+1 }
sujeto a la ecuación de movimiento.
𝐹2 (𝑘𝑡 ) = max{ln 𝑐𝑡 + 𝛽 αln(𝑘𝑡𝛼 − 𝑐𝑡 )}
Derivamos la expresión de F2 con respecto a la variable de control e igualamos a cero:
1 𝛼𝛽
− 𝛼 =0
𝑐𝑡 𝑘𝑡 − 𝑐𝑡
𝑘𝑡𝛼
𝑘𝑡𝛼 − 𝑐𝑡 = 𝛼𝛽𝑐𝑡 ⇒ 𝑐𝑡 =
1 + 𝛼𝛽
Reemplazando en la ecuación de movimiento:
𝑘𝑡𝛼 1 𝛼𝛽
𝑘𝑡+1 = 𝑘𝑡𝛼 − = (1 − ) 𝑘𝑡𝛼 = ( ) 𝑘𝛼
1 + 𝛼𝛽 1 + 𝛼𝛽 1 + 𝛼𝛽 𝑡
Reemplazando en F2:
𝑘𝑡𝛼 𝛼𝛽
𝐹2 (𝑘𝑡 ) = ln + 𝛽𝛼 ln ( ) 𝑘𝑡𝛼
1 + 𝛼𝛽 1 + 𝛼𝛽
1 𝛼𝛽
𝐹2 (𝑘𝑡 ) = ln + 𝛼 ln 𝑘𝑡 + 𝛼𝛽 ln ( ) + 𝛼 2 𝛽 ln 𝑘𝑡
1 + 𝛼𝛽 1 + 𝛼𝛽
1 𝛼𝛽
𝐹2 (𝑘𝑡 ) = [ln + 𝛼𝛽 ln ( )] + 𝛼(1 + 𝛼𝛽 ) ln 𝑘𝑡
1 + 𝛼𝛽 1 + 𝛼𝛽
El siguiente término en la sucesión es:
𝐹3 (𝑘𝑡 ) = max{ln 𝑐𝑡 + 𝛽𝐹2 (𝑘𝑡+1 )}
 1 𝛼𝛽
𝐹3 (𝑘𝑡 ) = max {ln 𝑐𝑡 + 𝛽 {[ln + 𝛼𝛽 ln ( )] + 𝛼(1 + 𝛼𝛽 ) ln 𝑘𝑡+1 }}
1 + 𝛼𝛽 1 + 𝛼𝛽
sujeto a la ecuación de movimiento.
1 𝛼𝛽
𝐹3 (𝑘𝑡 ) = max {ln 𝑐𝑡 + 𝛽 {[ln + 𝛼𝛽 ln ( )] + 𝛼 (1 + 𝛼𝛽 ) ln(𝑘𝑡𝛼 − 𝑐𝑡 )}}
1 + 𝛼𝛽 1 + 𝛼𝛽
Derivamos la expresión de F3 con respecto a la variable de control e igualamos a cero:
1 𝛼𝛽 (1 + 𝛼𝛽 )
− =0
𝑐𝑡 𝑘𝑡𝛼 − 𝑐𝑡
𝑘𝑡𝛼 − 𝑐𝑡 = 𝛼𝛽(1 + 𝛼𝛽 )𝑐𝑡
𝑘𝑡𝛼
𝑐𝑡 =
1 + 𝛼𝛽 + 𝛼 2 𝛽 2
𝑘𝑡𝛼 𝛼𝛽 + 𝛼 2 𝛽 2
𝑘𝑡+1 = 𝑘𝑡𝛼 − 2 2
=( 2 2
) 𝑘𝑡𝛼
1 + 𝛼𝛽 + 𝛼 𝛽 1 + 𝛼𝛽 + 𝛼 𝛽

Reemplazando en la expresión de 𝐹3 :
1 1 𝛼𝛽(1 + 𝛼𝛽 )
𝐹3 (𝑘𝑡 ) = {ln ( ) + 𝛽 ln ( ) + 𝛼𝛽 ( 1 + 𝛼𝛽 ) ln ( )
1 + 𝛼𝛽 + 𝛼 2 𝛽 2 1 + 𝛼𝛽 1 + 𝛼𝛽 + 𝛼 2 𝛽 2
𝛼𝛽
+𝛽 [𝛼𝛽 ln ( )]} + 𝛼(1 + 𝛼𝛽 + 𝛼 2 𝛽 2 ) ln 𝑘𝑡
1 + 𝛼𝛽
Continuando con el procedimiento, tenemos:
1 1 1
𝐹4 (𝑘𝑡 ) = {ln ( 2 2 3 3
) + 𝛽 ln ( 2 2
) + 𝛽 2 ln ( )
1 + 𝛼𝛽 + 𝛼 𝛽 + 𝛼 𝛽 1 + 𝛼𝛽 + 𝛼 𝛽 1 + 𝛼𝛽
𝛼𝛽(1 + 𝛼𝛽)
𝛼𝛽 (1 + 𝛼𝛽 + 𝛼 2 𝛽 2 ) ln ( )+
1 + 𝛼𝛽 + 𝛼 2 𝛽 2 + 𝛼 3 𝛽 3
𝛼𝛽 𝛼𝛽(1 + 𝛼𝛽) 2
𝛼𝛽
𝛽 [𝛼𝛽 ln ( ) ln ( )] + 𝛽 [𝛼𝛽 ln ( )]} +
1 + 𝛼𝛽 1 + 𝛼𝛽 + 𝛼 2 𝛽 2 1 + 𝛼𝛽
𝛼 (1 + 𝛼𝛽 + 𝛼 2 𝛽 2 + 𝛼 3 𝛽 3 ) ln 𝑘𝑡
Siguiendo este proceso y tomando límite de 𝐹𝑛 cuando 𝑛 → ∞, se tiene:
lim 𝐹𝑛 = 𝑉(𝑘𝑡 )
𝑛→∞

Observación:
En la expresión de 𝐹𝑛 tenemos una serie de la forma:
∞

∑(𝛼𝛽 )𝑡
𝑛=0

La cual es la serie geométrica, la cual converge si 𝛼𝛽 < 1.

El valor al cual converge la serie es:
 ∞
1
∑ (𝛼𝛽 )𝑡 =
1 − 𝛼𝛽
𝑛=0

Reemplazando en el límite de 𝐹𝑛 , tendremos:

1 𝛼𝛽 𝛼
𝑉 (𝑘 𝑡 ) = {ln(1 − 𝛼𝛽 ) + ln 𝛽} + ln 𝑘𝑡
1−𝛽 1−𝛽 1 − 𝛼𝛽
Coeficientes Indeterminados:
Vamos a usar el hecho de que, dada una función logarítmica, la función valor debe tener la misma
forma. Es decir, se propone una función valor (en tiempo corriente) de la forma:
𝑉 (𝑘𝑡 ) = 𝐸 + 𝐹 ln 𝑘𝑡
El problema ahora consiste en encontrar los coeficientes indeterminados E y F.
Sustituyendo está función en la ecuación de Bellman:
𝐸 + 𝐹 ln 𝑘𝑡 = max{ln 𝑐𝑡 + 𝛽(𝐸 + 𝐹 ln 𝑘𝑡+1 )}
Sujeto a 𝑘𝑡+1 = 𝑘𝑡𝛼 − 𝑐𝑡 , 𝑘𝑡 dado.
𝐸 + 𝐹 ln 𝑘𝑡 = max{ln 𝑐𝑡 + 𝛽(𝐸 + 𝐹 ln(𝑘𝑡𝛼 − 𝑐𝑡 )}
Derivamos la expresión de 𝑉𝑡 con respecto a la variable de control e igualamos a cero:
1 𝛽𝐹
− 𝛼 =0
𝑐𝑡 𝑘𝑡 − 𝑐𝑡

𝑘𝑡𝛼 − 𝑐𝑡 = 𝛽𝐹𝑐𝑡
𝑘𝑡𝛼
𝑐𝑡 =
1 + 𝛽𝐹
𝑘𝑡𝛼 𝛽𝐹
𝑘𝑡+1 = 𝑘𝑡𝛼 − =( ) 𝑘𝛼
1 + 𝛽𝐹 1 + 𝛽𝐹 𝑡
Reemplazamos en la ecuación de Bellman:
1 𝛽𝐹
𝐸 + 𝐹 ln 𝑘𝑡 = ln + 𝛼 ln 𝑘𝑡 + 𝛽𝐸 + 𝛽𝐹 ln ( ) + 𝛼𝛽𝐹 ln 𝑘𝑡
1 + 𝛽𝐹 1 + 𝛽𝐹
1 𝛽𝐹
𝐸 + 𝐹 ln 𝑘𝑡 = [ln + 𝛽𝐸 + 𝛽𝐹 ln ( )] + 𝛼(1 + 𝛽𝐹) ln 𝑘𝑡
1 + 𝛽𝐹 1 + 𝛽𝐹
Igualando los coeficientes de ambos lados de la ecuación:
1 𝛽𝐹
𝐸 = ln + 𝛽𝐸 + 𝛽𝐹 ln ( )
1 + 𝛽𝐹 1 + 𝛽𝐹
𝐹 = 𝛼(1 + 𝛽𝐹)
Resolviendo para E y F, tenemos:
𝛼
𝐹=
1 − 𝛼𝛽
1 𝛼𝛽
𝐸= [ln(1 − 𝛼𝛽 ) + ln 𝛼𝛽]
1−𝛽 1−𝛽
Luego, la función de valor 𝑉 (𝑘𝑡 ) es:
1 𝛼𝛽 𝛼
𝑉 (𝑘 𝑡 ) = [ln(1 − 𝛼𝛽 ) + ln 𝛼𝛽] + ln 𝑘𝑡
1−𝛽 1−𝛽 1 − 𝛼𝛽