Université Paris-Dauphine

Master MASEF
Année 2013-2014

Contrôle stochastique
Bibliography and former exams

Short bibliography

• M2 courses of the web

1. Bruno Bouchard “Introduction to stochastic control of mixed diffusion processes,

viscosity solutions and applications in finance and insurance”
https://www.ceremade.dauphine.fr/%7Ebouchard/bouchard.htm
2. Nizar Touzi “Deterministic and Stochastic Control, Application to Finance”
http://www.cmap.polytechnique.fr/ touzi/]Lecture

• Standard monographs on the subject:

1. Fleming W.H. & Rischel R.W. (1975) Deterministic and stochastic optimal con-
trol. Springer-Verlag, New York.
2. Fleming W.H. & Soner H.M. (1993) Controlled Markov processes and viscosity
solution. Springer-Verlag, New-York.
3. Lamberton, D., & Lapeyre, B. (2011). Introduction to stochastic calculus applied
to finance. Chapman and Hall/CRC.
4. Pham, H. (2007). Optimisation et contrôle stochastique appliqués à la finance
(Vol. 61). Berlin: Springer.
5. Yong, J., & Zhou, X. Y. (1999). Stochastic controls: Hamiltonian systems and
HJB equations (Vol. 43). Springer Science & Business Media.
Université Paris-Dauphine
Master MASEF
Année 2012-2013

Examen de contrôle stochastique

Lundi 10 Juin 2013 — durée 3h.

Let (Ω, F, P) be a stochastic basis, (Bt )t≥0 a d−dimensional Brownian motion adapted to a
filtration (Ft )t≥0 on Ω. For  > 0 we consider the stochastic differential equation in Rd
 p
dXs = (2) σ(Xs )dBs
X0 = x0

where x0 ∈ Rd is the intial condition and σ : Rd → Rd×d is a C 2 map which is bounded and
has bounded derivatives. We assume that σ is invertible with a bounded inverse. We denote by
(Xsx0 )s≥0 the unique solution of the SDE.
Let φ : Rd → R be a C 2 map on Rd . We assume that the open set O := {x ∈ Rd ; φ(x) < 0} is
nonempty and bounded and that Dφ(x) 6= 0 if φ(x) = 0. The it is known that O = {x ∈ Rd ; φ(x) ≤
0} and that ∂O = {x ∈ Rd ; φ(x) = 0}.
If x0 ∈ O, we define the exit time from O as

τO (x0 ) = inf {t ≥ 0 ; Xtx0 ∈

/ O}

(+∞ if the set is empty) and set h i

V (x0 ) = E e−τO (x0 ) .

We admit that V is continuous on O with V = 1 in ∂O.

1. Show that, for any x0 ∈ O, V (x0 ) → 0 as  → 0.

The aim of the problem is to quantify this convergence.

2. Use the Markov property to prove that for any stopping time θ > 0 and for any x0 ∈ O, one
has h  i
x0
V (x0 ) = E e−θ∧τO (x0 ) V Xθ∧τ O (x0 )
.

(where a ∧ b = inf{a, b}).

3. We set a(x) = σ(x)σ ∗ (x) (∗ denotes the transpose). Prove that V is a viscosity solution to


V (x) − Tr a(x)D2 V (x) = 0 in O
V (x) = 1 in ∂O

(please give the details).

4. In order to understand the behavior of V as  → 0, we set

√
W (x0 ) = −  log(V (x0 )).

Check that W is continuous in O and is a viscosity solution of equation

 √

−  Tr a(x)D2 W (x) + |σ ∗ (x)DW (x)|2 = 1 in O
(1)
W (x) = 0 in ∂O

(where | · | denotes the euclidean norm on Rd )

1
 5. Use the definition of V to show that W (x) ≥ 0 for any x ∈ Ω.
We admit that equation (1) satisfies a comparison principle: if u is a continuous viscosity
subsolution of (1) while v is a continuous supersolution, and if u ≤ v in ∂O, then u ≤ v in O.

6. We assume, in this question only, that φ is strictly convex in Rd : D2 φ > 0 in Rd (in the sense
of symmetric matrices).

(a) Show that there exists a constant λ > 0 such that the map −λφ is a viscosity superrso-
lution of (1) for any  ∈ (0, 1].
(b) Deduce from this that the maps W are uniformly bounded in O.

We admit the existence of a constant C > 0, independent of , such that W is Lipschitz

continuous in O with a Lipschitz constant C :

W (x) − W (y)
sup ≤C ∀ > 0.
x6=y |x − y|

7. (a) We assume that there is a sequence n → 0 such that (Wn ) converges uniformly to a
map W in O. Show that W is Lipschitz continuous with a constant not larger than C.
(b) Show that W is a viscosity solution of
 ∗
|σ (x)DW (x)|2 = 1 in O
(2)
W (x) = 0 in ∂O

(c) Using results from the course, show that equation (2) has a unique viscosity solution
with a Lipschitz constant not larger than C.
(d) Deduce from this that, as  → 0, W tends to the unique viscosity solution of (2) with
a Lipschitz constant not larger than C.

8. Let A = L2 ([0, +∞[, Rd ) and, for any x0 ∈ Ω and α ∈ A, (xαs )s≥0 the solution to the ordinary
differential equation  d α α
ds xs = σ(xs )αs
α
x0 = x0
We set
τ (xα ) = inf{t ≥ 0 ; xαs ∈
/ O}
(+∞ if the set is empty) and
Z τ (xα )   !
1 2
Z(x0 ) = inf 1 + |αs | ds .
α∈A 0 4

After writing a dynamic programming principle for Z, check that Z is a viscosity solution of
equation (2) and infer that Z = W .

9. Check that W (x0 ) > 0 for any x0 ∈ O.

10. We assume (in this question only) that σ(x) is the identity
√ matrix for any x ∈ Rd . Compute
the map W in O. What is the limit in this case of −  log(V (x0 )) as  → 0 ?

2
Université Paris-Dauphine
Master MASEF
Année 2012-2013

Examen de contrôle stochastique

Lundi 10 Juin 2013 — durée 3h.

Soit (Ω, F, P) un espace de probabilité, (Bt )t≥0 un mouvement brownien d−dimensionnel adapté
à une filtration (Ft )t≥0 sur Ω. On fixe un paramètre  > 0 et on considère l’équation différentielle
stochastique dans Rd  p
dXs = (2) σ(Xs )dBs
X0 = x0
où x0 ∈ Rd est la donnée initiale et σ : Rd → Rd×d est une application de classe C 2 bornée et à
dérivées premières bornées. On suppose de plus que σ est inversible et d’inverse bornée. On note
(Xsx0 )s≥0 l’unique solution de cette EDS.
Soit φ : Rd → R une application de classe C 2 sur Rd . On suppose que l’ouvert O := {x ∈
R ; φ(x) < 0} est non vide et borné et que Dφ(x) 6= 0 si φ(x) = 0. On sait alors que O = {x ∈
d

Rd ; φ(x) ≤ 0} et que ∂O = {x ∈ Rd ; φ(x) = 0}.

Si x0 ∈ O, on définit le temps de sortie de O comme

τO (x0 ) = inf {t ≥ 0 ; Xtx0 ∈

/ O}

(+∞ si l’ensemble est vide) et on pose

h i
V (x0 ) = E e−τO (x0 ) .

On admettra que V est continue sur O avec V = 1 dans ∂O.

1. Démontrer que, pour tout x0 ∈ O, V (x0 ) → 0 lorsque  → 0.

L’objet du problème est de quantifier cette convergence.

2. Utiliser la propriété de Markov pour démontrer que, pour tout temps d’arrêt θ > 0 et pour
tout x0 ∈ O, on a h  i
x0
V (x0 ) = E e−θ∧τO (x0 ) V Xθ∧τ (x
O 0 ) .

(où a ∧ b = inf{a, b}).

3. On pose a(x) = σ(x)σ ∗ (x) (∗ désigne la transposition). Démontrer que V est solution de
viscosité de l’équation


V (x) − Tr a(x)D2 V (x) = 0 dans O
V (x) = 1 dans ∂O

(on soignera l’explication).

4. Afin de comprendre le comportement de V lorsque  → 0, on pose

√
W (x0 ) = −  log(V (x0 )).

Vérifier que W est continue dans O et est solution de viscosité de l’équation

 √

−  Tr a(x)D2 W (x) + |σ ∗ (x)DW (x)|2 = 1 dans O
(1)
W (x) = 0 dans ∂O

(où | · | désigne la norme euclidienne de Rd )

1
 5. En utilisant la définition de V , vérifier que W (x) ≥ 0 pour tout x ∈ Ω.
On admet que l’équation (1) vérifie un principe de comparaison: si u est une sous-solution
continue de (1) tandis que v est en est une sur-solution continue, et si u ≤ v sur ∂O, alors
u ≤ v dans O.

6. On suppose, dans cette question seulement, que φ est strictement convexe dans Rd : D2 φ > 0
dans Rd (au sens des matrices symétriques).

(a) Montrer qu’il existe λ > 0 tel que la fonction −λφ est sursolution de viscosité de (1)
pour tout  ∈ (0, 1].
(b) En déduire alors que les fonctions W sont uniformément bornées dans O.

On admet l’existence d’une constante C > 0, indépendante de , telle que W est lipschitzienne
dans O de constante de Lipschitz C :

W (x) − W (y)
sup ≤C ∀ > 0.
x6=y |x − y|

7. (a) On suppose qu’il existe une suite n → 0 telle que (Wn ) converge uniformément vers
une fonction W dans O. Démontrer que W est lipschitzienne de constante de Lipschitz
inférieure ou égale à C.
(b) Montrer que W est solution de viscosité de
 ∗
|σ (x)DW (x)|2 = 1 dans O
(2)
W (x) = 0 dans ∂O

(c) Expliquer, en utilisant des résultats de cours, pourquoi l’équation (2) possède une unique
solution de viscosité de constante de Lipschitz inférieure ou égale à C.
(d) En déduire que, lorsque  → 0, W tend vers vers l’unique solution de viscosité de (2) de
constante de Lipschitz inférieure ou égale à C.

8. Soit A = L2 ([0, +∞[, Rd ) et, pour tout x0 ∈ Ω et α ∈ A, (xαs )s≥0 la solution de l’équation
différentielle ordinaire  d α α
ds xs = σ(xs )αs
α
x0 = x0
On pose
τ (xα ) = inf{t ≥ 0 ; xαs ∈
/ O}
(+∞ si l’ensemble est vide) et
Z τ (xα )   !
1 2
Z(x0 ) = inf 1 + |αs | ds .
α∈A 0 4

En écrivant un principe de programmation dynamique sur Z, vérifier que Z est solution de

viscosité de l’équation (2) et en déduire que Z = W .

9. Vérifier que W (x0 ) > 0 pour tout x0 ∈ O.

√ tout x ∈ R .
10. On suppose (dans cette question seulement) que σ(x) est la matrice identité pour d

Déterminer alors la fonction W dans O. Quelle est dans ce cas la limite de −  log(V (x0 ))
lorsque  → 0 ?

2
Université Paris-Dauphine
Master MASEF
Année 2013-2014

Examen de rattrapage de contrôle stochastique

Lundi 05 Mai 2014 — durée 3h.

Toutes les questions sont indépendantes, à condition d’admettre le résultat des questions précédentes.

Notations : Dans tout le problème, N est un entier ≥ 2, | · | désigne la norme euclidienne de

RN , et h·, ·i est le produit scalaire associé. Si φ : RN → R, Dφ(x) désigne le gradient de φ en x et
P ∂2φ
∆φ(x) = N i=1 ∂x2i (x) son laplacien. Si s, t ∈ R, on pose s ∧ t := min{s, t}. Enfin, pour A ∈ F, 1A
désigne la fonction indicatrice de A : 1A (ω) = 1 si ω ∈ A, 0 sinon.

Soit (Ω, F, P) un espace probabilisé sur lequel est défini un mouvement brownien standard
N −dimensionnel (Bt ). On note (Ft ) la complétion de la filtration engendrée par (Bt ). Soit L2ad
l’ensemble des processus α : [0, +∞) × Ω → RN , progressivement mesurables par rapport à (Ft ) et
tels que : Z 
+∞
E e−t |αt |2 dt < +∞ .
0

Etant donnés α ∈ L2ad et une position initiale x ∈ RN , on note (Xtx,α ) l’unique solution de l’EDS
 √
dXt = αt dt + 2dBt
X0 = x

Le problème concerne l’analyse de contrôles stochastiques sous contrainte d’état. La contrainte O

est la boule unité ouverte de RN :

O = {x ∈ RN , |x| < 1}.

On cherche à optimiser un coût sous la contrainte que la trajectoire (Xtx,α ) reste dans O: pour
x ∈ O, on notera A(x) l’ensemble des contrôles α ∈ L2ad tels que

P [Xtα,x ∈ O , ∀t ≥ 0] = 1 .

Les éléments de A(x) sont appelés contrôles admissibles. Le coût est défini à l’aide d’une fonction
h : RN → R, de classe C 1 : si x ∈ O et α ∈ A(x), on pose
Z +∞   
1
J(x, α) = E e−t h(Xtx,α ) + |αt |2 dt
0 2

On remarquera que, comme h est bornée dans O, J(x, α) est bien défini. La fonction valeur du
problème, u(x), en un point x ∈ O, est alors définie, par

u(x) = inf J(x, α) si A(x) 6= ∅, u(x) = +∞ sinon.

α∈A(x)

L’objectif de ce problème est d’étudier quelques propriétés de la fonction valeur u.

1
Partie I : existence de contrôles admissibles
On admet qu’il existe une fonction radiale v : O → (0, +∞), de classe C ∞ , telle que

lim v(x) = +∞
|x|→1−

et
1
−∆v(x) + |Dv(x)|2 + v(x) ≥ 0 ∀x ∈ O .
2
Pour x ∈ O, on considère Xt la solution maximale de l’EDS
 √
dXt = −Dv(Xt )dt + 2dBt
X0 = x

Cela signifie que (Xt ) est définie sur un intervalle aléatoire [0, θ[ (où θ est un temps d’arrêt stricte-
ment positif) et ne peut pas être prolongé à un intervalle strictement plus grand. Pour M > v(x),
on définit le temps d’arrêt τM = inf{t ∈ [0, θ[ , v(Xt ) ≥ M } (avec convention τM = θ si v(Xt ) < M
pour tout t < θ). Par définition de (Xt ), on a θ = limM →+∞ τM , P−p.s.

(I.1) En utilisant la formule d’Itô, montrer que, pour tout t ≥ 0,

h i Z t∧τM 
−(t∧τM ) −s 1 2
E v(Xt∧τM )e ≤ v(x) − E e |Dv(Xs )| ds
0 2

(I.2) En remarquant que v(Xt∧τM )1{τM ≤t} = M 1{τM ≤t} , en déduire que

v(x)et
P [τM ≤ t] ≤ .
M

(I.3) Montrer alors que θ = +∞ P−p.s.

(I.4) Démontrer que Z 

+∞
−t 2
E e |Dv(Xt )| dt < +∞
0

et en déduire que le processus (ᾱt := −Dv(Xt )) est un contrôle admissible au point x (i.e.,
ᾱ ∈ A(x)).

(I.5) Soit a ∈ RN fixé et x ∈ O. On cherche à construire un contrôle admissible α ∈ A(x) tel qu’il
existe un temps d’arrêt τ > 0 avec αt = a p.p. dans ]0, τ [. Pour cela, on fixe r = (1 − |x|)/2
et on définit le temps d’arrêt

τ = inf{t > 0, |Xtx,a − x| > r}.

On considère la solution maximale (Xt )t≥τ de

 √
dXt = −Dv(Xt )dt + 2dBt , t≥τ
Xτ = Xτx,a

On pose alors αt = a si t ∈]0, τ [ et αt = −Dv(Xt ) si t > τ . Vérifier que α satisfait les

propriétés demandées.

2
 Deuxième partie : analyse de la fonction valeur u. On suppose dans toute la suite que u
est continue dans O.

(II.1) (Programmation dynamique) Expliquer de façon heuristique pourquoi, pour tout temps d’arrêt
θ > 0,   
Z θ
1
u(x) = inf u(Xθx,α )e−θ + e−t h(Xtx,α ) + |αt |2 dt .
α∈A(x) 0 2
On insistera sur les différences avec le cas sans contrainte d’état.

(II.2) En utilisant la question (I.5) démontrer que u est sous-solution de viscosité de l’équation
1
−∆u(x) + |Du(x)|2 + u(x) = h(x) dans O .
2
On admet que u est sur-solution de viscosité de cette équation.

Troisième partie : comportement au bord de la fonction valeur u.

(III.1) Soit w : O → R une fonction de classe C 2 dans O, et vérifiant l’inéquation

1
−∆w(x) + |Dw(x)|2 + w(x) ≤ h(x) dans O .
2
(i) Montrer que, pour tout x ∈ O, pour tout α ∈ A(x) et pour tout t > 0,
Z t 
 x,α −t  −s x,α x,α x,α
E w(Xt )e = w(x) + E e (−w(Xs ) + hDw(Xs ), αs i + ∆w(Xs )) ds
0

(ii) En déduire que, pour tout x ∈ O, pour tout α ∈ A(x), et pour tout t > 0
 Z t   
x,α −t −s x,α 1 2
E w(Xt )e + e h(Xs ) + |αs | ds ≥ w(x) .
0 2

(iii) Conclure que w ≤ u dans O.

(III.2) (i) Montrer qu’il existe une constante D > 0 telle que, pour tout  > 0 suffisamment petit,
la fonction w (x) = − ln(1 − |x|2 + ) − D satisfait
1
−∆w (x) + |Dw (x)|2 + w (x) ≤ h(x) dans O .
2
(Indication : on pourra par exemple distinguer suivant que |x| ≤ 1/2 et 1/2 < |x| < 1).
(ii) En déduire finalement que lim u(x) = +∞.
|x|→1−

3
Université Paris-Dauphine
Master MASEF
Année 2014-2015

Examen de contrôle stochastique

Jeudi 16 Avril 2015 — durée 3h.

Toutes les questions sont indépendantes, à condition d’admettre le résultat des questions précédentes.

On étudie dans ce sujet un problème de maximisation d’utilité de consommation en horizon in-

fini, dans un marché composé d’un actif sans risque et d’un actif risqué (suivant une dynamique de
Black-Scholes). La particularité du modèle est que l’agent peut effectuer des transactions unique-
ment à des dates discrètes aléatoires exogènes.

Soit (Ω, F, Ft , P) un espace de probabilité filtré sur lequel sont définis :

• un mouvement Brownien standard (Bt )t≥0 ,

• une suite croissante de temps d’arrêt (τn )n≥1 , tels que τ1 et les τi+1 − τi soient indépendants,
indépendants de B et suivent une distribution exponentielle de paramètre λ > 0 (c’est à dire
par exemple P(τ1 ≥ h) = e−λh pour h ≥ 0).

Une stratégie sera donnée par un couple γ = (c, α) où :

• c = (ct )t≥0 est un processus progressivement mesurable à valeurs dans R+ ,

• α = (αn )n≥0 où chaque αn est Fτn -mesurable, à valeurs dans R.

Pour x, y ≥ 0 donnés, on considère alors le couple de processus (Xtγ,x , Ytγ,y )t≥0 définis comme
les solutions des EDS :
 Rt P

Xt = x −R 0 cs ds + τn ≤t αn , P
t
Yt = y + 0 Ys− (b ds + σ dBs ) − τn ≤t αn . (1)


X0 = x, Y0 = y.

Intuitivement, cette dynamique correspond à un agent ayant un montant Xt investi dans l’actif
sans risque, et Yt dans l’actif risqué, consommant en continu, mais effectuant des transferts de fonds
entre ses positions sans risque et risquées uniquement aux dates τn , n ≥ 1.
On dira que γ est admissible, noté γ ∈ A(x, y), si presque sûrement

Xtγ,x ≥ 0, Ytγ,y ≥ 0 ∀t ≥ 0,

et on considère le problème de maximisation d’utilité

Z ∞ 
−ρs
v(x, y) = sup E e U (cs )ds ,
(c,α)∈A(x,y) 0

où ρ > 0 est fixé et U est une fonction croissante concave sur R+ telle que pour une constante KU
et un p ∈]0, 1[,
U (c) ≤ KU cp .

1
Partie I : une borne sur la fonction valeur v

(I.1) Soit Ũ (z) := supc≥0 (U (c) − cz). Montrer qu’il existe K̃ > 0 tel que pour tout z > 0,

Ũ (z) ≤ K̃z −q ,
p
où q = 1−p .

(I.2) On suppose que

1
ρ > sup (πpb − π 2 σ 2 p(1 − p)).
π∈[0,1] 2

Montrer que pour K assez grand, w(x, y) = K(x + y)p satisfait sur ]0, +∞[2 :

1
ρw − y 2 σ 2 ∂yy
2
w − yb∂y w − Ũ (∂x w) ≥ 0. (2)
2
y
(On pourra noter π = x+y ).
Dans la suite de cette partie, on supposera que K est choisi tel que (2) est vérifiée.

(I.3) Soit ζ = inf{t ≥ 0, Xtγ,x + Ytγ,y = 0}. Montrer que si (c, α) ∈ A(x, y), alors p.s.

Xsγ,x + Ysγ,y = 0, ∀s ≥ ζ.

(I.4) Déduire des questions précédentes que pour tous t, x, y ≥ 0 et γ ∈ A(x, y),
 Z t 
−ρt γ,x γ,y −ρs
w(x, y) ≥ E e w(Xt , Yt ) + e U (cs )ds .
0

(I.5) En déduire que pour tout (x, y) ∈ R2+ ,

v(x, y) ≤ K(x + y)p .

Dans le reste du problème, on admettra que v est continue sur R2+ .

Partie II : équation de HJB du problème

L’objectif de cette partie est de relier v à l’équation de HJB suivante (dont la fonction u est
l’inconnue) :
1
ρu − y 2 σ 2 ∂yy
2
u − yb∂y u − Ũ (∂x u) − λ [(Hv)(x + y) − u(x, y)] = 0, (3)
2
où on définit (Hv)(r) = sup0≤a≤r v(a, r − a) pour tout r ≥ 0.
On admet le principe de programmation dynamique : pour tout temps d’arrêt fini τ̃ ,
Z τ̃ 
−ρs −ρτ̃ x,γ y,γ
v(x, y) = sup E e U (cs )ds + e v(Xτ̃ , Yτ̃ ) .
γ=(c,α)∈A(x,y) 0

2
(II.1) Montrer qu’on a pour tout h ≥ 0
hZ τ1 ∧h
v(x, y) = sup E e−ρs U (cs )ds + e−ρh v(Xhγ,x , Yhγ,y )1{τ1 >h}
γ=(c,α)∈A(x,y) 0
i
+e−ρτ1 (Hv)(Xτγ,x
1 − + Yτ
γ,y
1 − )1{τ 1 ≤h} .

(On pourra admettre l’existence d’une fonction mesurable ξ telle que

(Hv)(r) = v(ξ(r), r − ξ(r)) pour tout r ≥ 0.)

(II.2) Soient x, y > 0, c ≥ 0 fixés. Montrer qu’il existe γ = (c, α) ∈ A(x, y) tels que (ct )t≥0 est
déterministe et ct = c pour tout t assez petit.

(II.3) Soient x, y, γ comme dans la question précédente. Montrer que pour toute fonction φ continue
et bornée sur R2+ , on a
 
lim E e−ρτ1 φ (Xτ1 − , Yτ1 − ) |τ1 ≤ h = φ(x, y).
h→0

En déduire que
1  −ρτ1 
lim E e φ (Xτ1 − , Yτ1 − ) 1{τ1 ≤h} = λφ(x, y).
h→0 h

(II.4) Montrer que v est sur-solution de viscosité de (3).

On admettra que v est aussi sous-solution de viscosité de (3).

Partie III : comportement asymptotique quand λ → ∞

Dans cette partie, on s’intéresse au comportement de la fonction valeur quand λ → ∞. On

notera v λ la fonction valeur correspondant au paramètre λ.
On rappelle que v λ est solution de viscosité de
1
ρu − y 2 σ 2 ∂yy
2
u − yb∂y u − Ũ (∂x u) − λ(Hv λ (x + y) − u(x, y)) = 0.
2
0
(III.1) On admet que v λ ≥ v λ quand λ0 ≥ λ, et qu’il existe une constante C telle que pour tout
λ ≥ 0,
|v λ (x, y) − v λ (x0 , y 0 )| ≤ C(|x − x0 |p + |y − y 0 |p ).
Montrer qu’il existe une fonction v ∞ continue sur R2+ telle que v λ → v ∞ uniformément sur
tout compact.

(III.2) En utilisant la propriété de sous-solution de v λ et un théorème de convergence pour les

solutions de viscosité, montrer qu’on a nécessairement pour tous x, y ≥ 0

v ∞ (x, y) ≥ lim ↑ Hv λ (x + y),

λ→∞

et en déduire qu’on a v ∞ (x, y) = ṽ(x + y) pour une fonction ṽ définie sur R+ .

(III.3) En utilisant une propriété de sur-solution de viscosité de v ∞ , montrer que pour tout π ∈ [0, 1],
ṽ = ṽ(r) est sur-solution de
1
ρw − π 2 r2 σ 2 w00 − πrbw0 − Ũ (w0 ) = 0.
2

3
(III.4) On admet qu’on peut en fait montrer que ṽ = ṽ(r) est l’unique solution de viscosité sur
]0, +∞[ de  
1 2 2 2 00
ρu − sup π r σ u + πrbu − Ũ (u0 ) = 0
0
(4)
π∈[0,1] 2

satisfaisant 0 ≤ u(r) ≤ Krp pour tout r ≥ 0.

Ecrire un problème de contrôle associé à (4) et interpréter ce résultat.

4
Université Paris-Dauphine
Master MASEF
Année 2014-2015

Examen de rattrapage de contrôle stochastique

Vendredi 20 Mai 2015 — durée 3h.

Notation : Si φ = φ(t, s) est une application définie dans un ouvert de R2 , on désigne par
∂t φ sa dérivée partielle première par rapport à la variable t, et par respectivement φs et φss ses
dérivées partielles première et seconde par rapport à la variable s.

Le modèle étudié dans cet exercice est un problème de couverture dans lequel l’évolution du
portefeuille est contrainte à être une semi-martingale contrôlée, avec des bornes sur le contrôle.
Soit T un horizon fixé, t ∈ [0, T ] et s ∈]0, +∞[ une position initiale d’un actif risqué (Sut,s )t≤u≤T de
loi  
σ2
Sut,s = s exp σ(Wu − Wt ) − (u − t)
2
où σ > 0 est un réel fixé et où (Wu ) est un brownien standard défini sur un espace de probabilité
(Ω, F, P) muni d’une filtration (Fu ) vérifiant les conditions usuelles.

Un contrôle est un triplet ν = (y, α, β), où y ∈ R et où (αt ) et (βt ) sont des processus progres-
sivement mesurables par rapport à la filtration (Ft ), à valeurs réelles, et essentiellement bornés,
i.e., il existe C = C(ν) > 0 tel que

|αt | ≤ C et |βt | ≤ C pour presque tout t ∈ [0, T ], P−p.s.

Etant donné un contrôle ν = (y, α, β), le nombre de parts d’actif risqué détenus à l’instant t est la
semi-martingale (Yut,ν )t≤u≤T donnée par
Z u Z u
Yut,ν = y + αr dr + σβr dWr t≤u≤T .
t t

Si la valeur initiale du portefeuille est x ≥ 0, sa valeur Xut,x,ν à l’instant u est alors donnée par
Z u
Xut,x,ν = x + Yrt,ν dSrt,s t≤u≤T .
t

Etant donnés une constante Γ > 0 fixé et x ≥ 0, on dit qu’un contrôle ν = (y, α, β) est admissible—
et on notera dans ce cas ν ∈ N (t, x)—si

Xut,x,ν ≥ 0 et βu ≤ Γ pour presque tout u ∈ [t, T ], P−p.s.

On cherche à résoudre le problème de couverture suivant :

n o
v(t, s) = inf x ≥ 0 ; ∃ν ∈ N (t, x) avec XTt,x,ν ≥ g(STt,s ) P − p.s.

où g : [0, +∞[→ [0, +∞[ est une fonction continue et bornée fixée. On admettra qu’il existe une
plus petite fonction continue ĝ : [0, +∞[→ [0, +∞[ telle que

ĝ ≥ g et s → ĝ(s) − Γs ln(s) est concave dans ]0, +∞[.

On supposera dans toute la suite qu’il existe une constante C0 ∈ R telle que l’application s →
ĝ(s) − C0 s ln(s) est convexe dans ]0, +∞[.

1
 L’objectif de ce problème est de montrer que la fonction valeur v est donnée par
h i
v(t, s) = E ĝ(STt,s )
h i
On pose v̂(t, s) = E ĝ(STt,s ) .
Pour alléger les arguments, on travaillera sous les hypothèses simplificatrices suivantes : on
supposera que la fonction v est continue sur ]0, T [×]0, +∞[ et que, pour tout (t, s) ∈]0, T [×]0, +∞[,
t,v(t,s),ν
il existe un contrôle admissible ν ∈ N (t, v(t, s)) tel que g(STt,s ) ≥ XT P−p.s. Enfin, on
admettra que v̂ est de classe C ∞ dans ]0, T [×]0 + ∞[, et continue sur [0, T ] × [0 + ∞[.

1. Montrer que, pour tout t ∈ [0, T ], la fonction s → v̂(t, s) − Γs ln(s) est concave sur ]0, +∞[ et
que la fonction s → v̂(t, s) − C0 s ln(s) est convexe sur ]0, +∞[. En déduire que

C0 ≤ sv̂ss (t, s) ≤ Γ dans ]0, T [×]0, +∞[.

2. Montrer, en utilisant la formule d’Itô et la propriété de Markov de S, que

−(∂t + L)v̂ = 0 dans ]0, T [×]0, +∞[ .

où
σ2 2
Lφ(t, s) = s φss (t, s).
2
3. L’objectif de cette question est de montrer que v(t, s) ≤ v̂(t, s). Pour cela on pose y = v̂s (t, s),
αu = (∂t + L)v̂s (u, Su ), βu = Su v̂ss (u, Su ) et x = v̂(t, s).

(i) Vérifier que Yut,ν = v̂s (u, Su ) et Xut,x,ν = v̂(u, Su ) sur [t, T ]. En déduire que
Z T
g(ST ) ≤ ĝ(ST ) = v̂(t, s) + Yut,ν dSut,s sur [t, T ].
t

(ii) Calculer l’équation satisfaite par v̂s et en déduire que ν est un contrôle admissible.
(iii) Conclure que v(t, s) ≤ v̂(t, s).

4. (Semi-programmation dynamique) Soit x ∈ R et ν ∈ N (t, x) tels que g(STt,s ) ≤ XTx,ν P−p.s.

et θ un temps d’arrêt à valeurs dans [t, T ]. Expliquer heuristiquement pourquoi

Xθx,ν ≥ v(θ, Sθ ) P − p.s.

5. Démontrer que v est sur-solution de viscosité de

−(∂t + L)v ≥ 0 dans ]0, T [×]0, +∞[ .

6. L’objet de cette question est de montrer que la fonction s → v(t, s) − Γs ln(s) est concave sur
]0, +∞[ quel que soit t ∈]0, T [. Pour cela on admet le résultat suivant : si z ∈ R, (au )t≤u≤T
et (bu )t≤u≤T sont des processus progressivement mesurables et bornés, et si θ est un temps
d’arrêt sur ]t, T ], tels que
Z (t+h)∧θ  Z u Z u 
C(h ∧ (θ − t)) ≥ z+ ar dr + br dSr dSu
t t t

(où Su = Sut,s ) pour tout h > 0 petit et pour une certaine constante C, alors

lim ess − inf t≤u≤h bu ≤ 0 .

h→0+

2
 (i) On rappelle qu’une fonction continue w :]0, T [×]0, +∞[ est telle que s → w(t, s) est
concave sur ]0, +∞[ pour tout t ∈]0, T [ si et seulement si w est sur-solution, au sens
viscosité, de
−wss ≥ 0 dans ]0, T [×]0, +∞[ .
En déduire que, pour montrer que la fonction s → v(t, s)−Γs ln(s) est concave sur ]0, +∞[
quelque soit t ∈]0, T [, il suffit de prouver que v est sur-solution, au sens viscosité, de

−s vss + Γ ≥ 0 dans ]0, T [×]0, +∞[ .

(ii) Soit (t0 , s0 ) ∈]0, T [×]0, +∞[ et φ :]0, T [×]0, +∞[ une fonction test de classe C 2 telle que
v(t, s) ≥ φ(t, s) pour tout (t, s) et v(t0 , s0 ) = φ(t0 , s0 ). Montrer que, si x0 = v(t0 , s0 ) et
si ν ∈ N (t0 , x0 ) est tel que XTt0 ,x0 ,ν ≥ E[g(STt0 ,s0 )], alors, pour un temps d’arrêt θ sur
]t, T ] et une constante C > 0 bien choisis, on a
Z (t0 +h)∧θ  Z u Z u 
C(h ∧ (θ − t0 )) ≥ z+ ar dr + br dSr dSu P − p.s.
t0 t0 t0

où Sr := Srt0 ,s0 et

z = φs (t0 , s0 ), ar = (∂t + L)φs (r, Sr ) − αr et br = φss (r, Sr ) − βr /Sr

(iii) Conclure.

7. Montrer que, si le contrôle ν est admissible, alors X t,x,ν est une martingale locale positive, et
donc une sur-martingale. En déduire que

v∗ (T, s) := lim inf v(t, s0 ) ≥ g(s) ,

t→T − ,s0 →s

puis que
v∗ (T, s) ≥ ĝ(s) .

Conclusion : Comme v̂ est solution de l’équation −Lv̂ = 0 tandis que v est une sur-solution
de cette équation, et comme on a v∗ (T, s) ≥ v̂(T, s), on peut démontrer par un principe de
comparaison adapté que v ≥ v̂. L’inégalité inverse ayant été prouvée, on en déduit que v = v̂.1

1
Le sujet est une adaptation d’un travail de M. Soner et N. Touzi, SIAM J.Control and Opt. 39, 73-96.

3
Université Paris-Dauphine
Master MASEF
Année 2015-2016
Examen de contrôle stochastique
Jeudi 14 Avril 2016 — durée 3h.
Toutes les questions sont indépendantes, à condition d’admettre le résultat des questions précédentes.

Le but de ce sujet est l’étude d’un problème de contrôle stochastique singulier, au sens où les
contrôles ne sont pas forcément absolument continus par rapport à la mesure de Lebesgue.

Soit (Ω, F, Ft , P) un espace de probabilité filtré sur lequel est défini un mouvement Brownien
standard (Bt )t≥0 .
On note
U = {(Ut )t≥0 adapté, continu à gauche et à variation finie } .
Soient b, σ : R → R Lipschitz, on admettra que pour tout U ∈ U, x ∈ R il existe une unique solution
X x,U à Z Z t t
Xt = x + Ut + b(Xs )ds + σ(Xs )dBs , ∀t ≥ 0.
0 0
On fixe ρ > 0, c > 0 et une fonction continue f , et on définit alors
Z ∞ Z ∞ 
−ρt x,U −ρt
v(x) = sup J(x; U ), où J(x; U ) = E e f (Xt )dt − e c |dUt | .
U ∈U 0 0

Quelques précisions sur les fonctions à variation finie :

On rappelle qu’une fonction à valeurs réelles At est dite à variation finie si elle se décompose
−
en At = A+t − At , où A
+ et A− sont croissants en t. On peut alors définir la mesure signée

dA = dA − dA et la mesure positive |dA| = dA+ + dA− .

+ −

Pour donner deux exemples (non-exhaustifs !), si f est une fonction continue, on a
Z t Z t Z t Z t Z t
At = as ds ⇒ f (s)dAs = f (s)as ds, f (s)|dAs | = f (s)|as |ds,
0 0 0 0 0
X Z t X Z t X
At = A0 + (As+ −As ) ⇒ f (s)dAs = f (s)(As+ −As ), f (s)|dAs | = f (s) |As+ − As | .
0≤s<t 0 0≤s<t 0 0≤s<t
P
Dans tous les cas, At se décompose en At = Act + Jt où Ac est continu et Jt = 0≤s<t (As+ − As )
est un terme de saut. On a de plus |dA| = |dAc | + |dJ|.
Notons également l’inégalité triangulaire :
Z t Z t
f (s)dAs ≤ |f (s)| |dAs |.
0 0
On a enfin la formule d’Itô suivante : si la semimartingale X est de la forme
Z t Z t
Xt = x + At + bs ds + σs dBs
0 0

(avec A càg à variation finie, A, b, σ adaptés), et φ ∈ alors C 1,2 ,

Z t Z t
1
φ(t, Xt ) = φ(0, x) + ∂x φ(s, Xs )(bs ds + σs dBs ) + (∂t φ + σs2 ∂xx φ)(s, Xs )ds
0 0 2
Z t X
+ ∂x φ(s, Xs )dAcs + (φ(s, Xs+ ) − φ(s, Xs )) . (1)
0 s<t

1
Partie I : vérification dans un cas particulier
√
Dans cette partie, on se place dans le cas particulier où b ≡ 0, σ ≡ 2, c = 1, ρ = 1 et
f (x) = −x2 .
1
(I.1) (i) Montrer que l’équation tanh(x) = x − 2 admet une unique solution x dans ]0, +∞[.
(ii) Déterminer une solution w ∈ C 2 (R)
de
 
min −w00 + w + x2 , 1 − |w0 | = 0

telle que P := {x t.q. |w0 (x)| < 1} soit de la forme ] − x̄, x̄[ pour un x̄ ∈ R à déterminer.
(Indication : les solutions de y 00 (x) = y(x) + x2 sont de la forme y(x) = A cosh(x) +
B sinh(x) − x2 − 2, A, B ∈ R. )

(I.2) (i) Montrer que si U ∈ U est

h tel que J(x;i U ) > −∞, alors il existe une suite (déterministe)
Tn → +∞ avec limn E e−Tn w(XTx,U
n
) = 0.
(ii) Montrer (à l’aide de la formule d’Itô (1)) que w ≥ v.

(I.3) (i) Soit x ∈ [−x̄, x̄]. On admet qu’il existe U ∗ ∈ U, U ∗ = U + − U − avec U + , U − croissants
continus, tels que presque sûrement, on ait
 √
∗ := x + 2 B + U ∗ ∈ [x, x̄],
∀t
R∞ > 0, X t R∞ t t
+ −
0 1 {X ∗ 6=−x̄} dU
t t = 0 1 {Xt
∗ 6=x̄} dU
t =0

Montrer que w(x) = J(x; U ∗ ) = v(x).

(ii) Pouvez-vous donner un contrôle optimal dans le cas où la condition initiale x ∈
/ [−x̄, x̄] ?
√
(I.4) Dessiner un graphe typique de la trajectoire optimale Xt∗ (si possible avec la trajectoire 2Bt
correspondante).

Dans la suite, les fonctions b, σ sont de nouveau des fonctions Lipschitz arbitraires, c, ρ des
constantes strictement positives, et f une fonction continue supposée bornée.

Partie II : Equation de HJB et propriété de viscosité

L’équation de HJB associée à ce problème s’écrit :

 
min (ρ − L)w − f, c − |w0 | = 0, (2)

où Lφ(x) = b(x)φ0 (x) + 12 σ 2 (x)φ00 (x).

(II.1) Montrer que pour tous x, y ∈ R, pour tout U ∈ U, il existe U 0 ∈ U tel que
J(x; U 0 ) ≥ J(y; U ) − c|x − y|.
En déduire que v est c-Lipschitz, puis que v est sursolution de viscosité de c − |v 0 | = 0.

On admet le principe de programmation dynamique : pour toute famille de temps d’arrêt

(θU )U ∈U , "Z U #
θ
U
 
x,U x,U
v(x) = sup E e−ρt (f (Xt )dt − c |dUt |) + e−ρθ v XθU .
U ∈U 0

(II.2) Montrer que v est sur-solution de viscosité de (ρ − L)v − f = 0.

2
(II.3) Dans cette question, on veut montrer que v est sous-solution de viscosité de (2).
On fixe x0 ∈ R, V un intervalle voisinage compact de x0 , et une fonction φ ∈ C 2 (R) telle que
φ(x0 ) = v(x0 ), φ ≥ v. De plus on suppose que pour un certain δ > 0, on a (ρ − L)φ − f ≥ δ
sur V , |φ0 | ≤ c sur V et φ ≥ v + δ en dehors de V .

(i) Montrer qu’il existe une fonction ψ c-Lipschiz, qui coı̂ncide avec φ sur V , et telle que
ψ ≥ v + δ en dehors de V .
(ii) Pour U fixé, soit θ le temps de sortie de V pour le processus X x0 ,U . Montrer que
Z θ   Z θ 
ψ(x0 ) ≥ E e −ρt
(f (Xtx,U )dt − c |dUt |) − ce −ρθ
|Uθ+ − Uθ | + e −ρθ
ψ x,U
Xθ+ −δ e −ρt
dt .
0 0

(iii) On admet le PPD ”en θ+” : pour toute famille de temps d’arrêt (θU )U ∈U
"Z U #
θ  
−ρθU −ρθU
v(x) = sup E e −ρt
(f (Xtx,U )dt − c |dUt |) − ce |Uθ+ − Uθ | + e v Xθx,U
U+ .
U ∈U 0

Conclure.

Partie III : Un théorème de comparaison

Dans cette partie, on veut montrer le théorème de comparaison pour (2) pour les sur/sous-
solutions classiques :

u, v ∈ C 2 (R) bornées, u sous-solution de (2), v sur-solution de (2) ⇒ u ≤ v sur R.

(III.1) On suppose tout d’abord que u, v ∈ C 2 (R) bornées sont telles que pour un c0 < c, l’on ait
   
min (ρ − L)u − f, c − |u0 | ≤ 0 ≤ min (ρ − L)v − f, c0 − |v 0 | .

Pour δ > 0, on pose Mδ = maxx∈R u(x) − v(x) − δ|x|2 , et on note xδ un point où ce maximum
est atteint.

(i) Montrer que limδ→0 Mδ = sup(u − v), et que limδ→0 δ|xδ |2 = 0.

(ii) Montrer qu’il existe C > 0 tel que pour δ assez petit, on ait ρMδ ≤ Cδ(1 + |xδ |2 ). En
déduire que u ≤ v.

(III.2) On suppose maintenant que u, v ∈ C 2 (R) bornées sont respectivement sous-solution et sur-
solution de (2). Montrer que pour λ ∈]0, 1[, v λ := λv + (1 − λ)kf k∞ est sur-solution de
 
min (ρ − L)w − f, λc − |w0 | = 0.

Conclure.

Dans la suite, on admet que ce résultat de comparaison reste valable pour les sous/sur-solutions
(bornées) au sens de viscosité.

Partie IV: Dépendence en c

Dans cette partie, on fait varier le paramètre c > 0, et on notera v c la fonction valeur corre-
spondante.

3
 0
(IV.1) Montrer que si c ≤ c0 alors v c ≥ v c .

(IV.2) Montrer que quand c → 0, v c converge localement uniformément vers une limite que l’on
identifiera.

(IV.3) On admet que v ∞ := limc↑+∞ v c est une fonction continue. Montrer que
Z ∞  Z t Z t
∞
v (x) = E e −ρt
f (Xtx,0 )dt , où Xtx,0 =x+ b(Xsx,0 )ds + σ(Xsx,0 )dBs.
0 0 0

4
Université Paris-Dauphine
Master MASEF
Année 2015-2016

Examen de contrôle stochastique

Vendredi 17 Juin 2016 — durée 3h.

Soit (Ω, F, P) un espace de probabilité, (Bt )t≥0 un mouvement brownien M −dimensionnel

adapté à une filtration (Ft )t≥0 sur Ω. On suppose que l’ensemble A des actions possibles est
un compact d’un espace de dimension finie et, pour t ≥ 0, on note A(t) l’ensemble des contrôles
adaptés, i.e., des processus α : [t, +∞[×Ω → A progressivement mesurables par rapport à la fil-
tration (Fs )s≥t . Etant donnés b : Rd × A → Rd et σ : Rd × A → Rd×M , une position initiale
(t, x) ∈ [0, +∞[×Rd et un contrôle α ∈ A(t), on considère l’EDS

dXs = b(Xs , αs )ds + σ(Xs , αs )dBs
Xt = x

On supposera que les fonctions b et σ sont globalement lipschitziennes et bornées, de sorte que l’EDS
ci-dessus possède une unique solution, notée Xst,x,α . On appelle g : Rd → R le paiement terminal
(le paiement courant est nul) et on supposera également que g est globalement lipschitzienne et
vérifie la relation :
1 ≤ g(x) ≤ 2 ∀x ∈ Rd .
On rappelle que, si Y est une variable aléatoire essentiellement bornée, alors l’essentiel supremum
de Y est la quantité
ess − supΩ Y = inf {a ∈ R , Y ≤ a P − p.s.}
Pour un horizon T > 0 fixé, on cherche à minimiser l’essentiel supremum de g(XT ). Pour cela on
introduit la fonction valeur

V (t, x) = inf ess − supΩ g(XTt,x,α ) . (1)

α∈A(t)

Comme la caractérisation de V est assez délicate, on va approcher V par la suite de fonctions

suivantes : pour n ∈ N∗ , on pose
 h n i1/n
Vn (t, x) = inf E g(XTt,x,α )
α∈A(t)

Partie I : Préliminaires

(I.1) Vérifier que 1 ≤ Vn (t, x) ≤ 2 pour tout (t, x) ∈ [0, T ) × Rd .

(I.2) Montrer que, pour tout (t, x) ∈ [0, T ] × Rd et pour tout 0 ≤ n ≤ m, on a

Vn (t, x) ≤ Vm (t, x) ≤ V (t, x).

(I.3) Montrer que pour α ∈ A(t) fixé, on a

 h n i1/n
lim E g(XTt,x,α ) = ess − supΩ g(XTt,x,α ).
n→∞

1
(I.4) On suppose, dans cette question seulement, que, pour tout x ∈ Rd , b(x) = 0, M = d et σ(x)
est la matrice identité de Rd . Vérifier que

lim Vn (t, x) = V (t, x) = sup g(y) ∀(t, x) ∈ [0, T ] × Rd .

n→+∞ y∈Rd

Dans la suite du problème on admettra que pour tout (t, x) ∈ [0, T ] × Rd ,

V (t, x) = lim Vn (t, x)

n→+∞

Partie II : Propriétés de viscosité de V

On pose Wn (t, x) = (Vn (t, x))n .

(II.1) Expliquer rapidement pourquoi, pour tout n ∈ N∗ , Wn est continue sur [0, T ] × Rd .
(II.2) (Question de cours) Soit n ∈ N∗ .
(i) Enoncer sans démonstration le principe de programmation dynamique pour Wn .
(ii) Donner l’équation de Hamilton-Jacobi satisfaite par Wn au sens viscosité.
(iii) Rappeler la preuve de propriété de sous-solution de viscosité de cette équation pour Wn .
(II.3) Déduire de la question précédente que, pour n ≥ 3, Vn est solution de viscosité de l’équation
de Hamilton-Jacobi suivante :
  
 −∂t Vn − inf 1 Tr(σσ ∗ (x, a)D2 Vn ) + (n − 1) Vn−1 kσ ∗ (x, a)DVn k2 + hb(x, a), DVn i = 0


a∈A 2 2

 dans (0, T ) × Rd

Vn (T, x) = g(x) dans R d

On suppose, pour simplifier, que Vn converge uniformément vers V sur [0, T ] × Rd .

Posons, pour tout (x, p, X) ∈ Rd × Rd × Rd×d avec X symétrique,
 
1
H(x, p, X) = inf Tr(σσ ∗ (x, a)X) + hb(x, a), pi
a∈A, σ ∗ (x,a)p=0 2

On suppose, pour simplifier, que H est continue sur Rd × Rd × Rd×d .

(II.4) En utilisant une propriété de stabilité des solutions de viscosité, montrer que V est sous-
solution de viscosité de l’équation

−∂t V − H(x, DV, D2 V ) = 0 dans (0, T ) × Rd . (2)

(II.5) Montrer que V est également solution de viscosité de l’équation

− inf kσ ∗ (x, a)DV k2 = 0 dans (0, T ) × Rd .

a∈A

Partie III : Un résultat de vérification

Soit U ∈ C 1,2 ((0, T ) × Rd ) ∩ C([0, T ] × Rd ) solution de


−∂t U − H(x, DU, D2 U ) = 0 dans (0, T ) × Rd
U (T, x) = g(x) dans Rd

2
(III.1) On suppose que, pour (t, x) ∈ (0, T ) × Rd , il existe un contrôle ᾱ ∈ A(t) tel que, P − p.s. et
pour tout s ∈ [t, T ],
σ ∗ (Xst,x,ᾱ , ᾱs )DU (s, Xst,x,ᾱ ) = 0
et

1
Tr(σσ ∗ (Xst,x,ᾱ , ᾱs )D2 U (s, Xst,x,ᾱ )) + hb(Xst,x,ᾱ , ᾱs ), DU (s, Xst,x,ᾱ )i
2
= H(Xst,x,ᾱ , DU (s, Xst,x,ᾱ ), D2 U (s, Xst,x,ᾱ ))

Vérifier que
U (t, x) = ess − supΩ g(XTt,x,ᾱ ).

(III.2) On suppose en plus qu’il existe ε > 0 tel que pour tout a ∈ A, (t, x) ∈ [0, T ] × Rd ,

|σ ∗ (x, a)DU (t, x)| =

6 0 ⇒ |σ ∗ (x, a)DU (t, x)| ≥ ε.

Montrer que pour tout α ∈ A(t), on a

n h n io
lim sup U (t, x)n − E g(XTt,x,α ) ≤ 0.
n→∞

(On pourra appliquer la formule d’Itô, et distinguer suivant les s tels que σ ∗ (Xst,x,α , αs )DU (s, Xst,x,α )
est nul ou non-nul).
En déduire que U (t, x) ≤ V (t, x).

(III.3) On suppose que A = {0, 1}, M = d et pour tout x ∈ Rd ,

b(x, 0) = b(x, 1) = 0,

σ(x, 0) = 0, σ(x, 1) = Id.

On suppose également que g ∈ C 2 (Rd ) et qu’il existe ε > 0 tel que kDg(x)k ≥ ε > 0 pour
tout x ∈ Rd . Déterminer V et les contrôles optimaux.

3
Université Paris-Dauphine
Masters MASEF et A&P
Année 2016-2017

Written exam : Stochastic control

Monday, March 13, 2017 — 3h.

All the questions can be treated independently, as long as the results from previous questions are
assumed true.

The goal of this problem is to study a stochastic control problem where the final gain depends
on the maximum value attained by the norm of the controlled diffusion.

Let (Ω, F, Ft , P) be a filtered probability space, on which is defined a standard Brownian motion
(Bt )t≥0 .
Let A ⊂ Rd be a compact, and denote A the set of A-valued progressively measurable processes.
Let b and σ be bounded functions, Lipschitz in (t, x) ∈ [0, T ] × R uniformly in a ∈ A. Given
t, x ∈ [0, T ] × R, and α ∈ A, denote X t,x,α the unique solution to the SDE

dXs = b(s, Xs , αs )ds + σ(s, Xs , αs )dBs , Xt = x.

Given z ≥ 0, we also denote

 
Zst,x,α,z = max z, sup Xut,x,α .
t≤u≤s

Let ψ be a Lipschitz and bounded function, and define

h  i
J(t, x, z; α) = E ψ ZTt,x,z,α

v(t, x, z) = sup J(t, x, z; α).

α∈A

In order to approximate this problem, we consider for 1 ≤ p < +∞ the process Z p defined by
 Z s 1
p
p
Zst,x,α,z,p = p
z + Xut,x,α ds
t

and also h  i
Jp (t, x, z; α) = E ψ ZTt,x,z,α,p

vp (t, x, z) = sup Jp (t, x, z; α).

α∈A

1
Part I : Properties and HJB equation for the function vp
0
Let t, x, x0 , z, z 0 , α and p be fixed, and denote X = X t,x,α , X 0 = X t,x ,α , Z = Z t,x,z,α,p
0 0
and Z 0 = Z t,x ,z ,α,p .

(I.1) Show that

Z T 1/p
ZT − ZT0 ≤ |z − z | + 0
|Xs − Xs0 |p ds .
t

(Hint : check that

Z T  p 1/p
−1/p
ZT = z1s≤t t + |Xs |1s>t ds
0

(idem for Z 0 ) and use Minkowski’s inequality

Z T 1/p 
p
|kf kp − kgkp | ≤ kf − gkp where kf kp = |f (s)| ds .
0

Conclude that vp is Lipschitz in x.

(We recall that there exists a constant Cp such that
" #1/p
E sup |Xs − Xs0 |p ≤ Cp |x − x0 |.)
t≤s≤T

(I.2) Assume z > 0. Show that Z satisfies the differential equation

 
Zs |Xs | p
dZs = ds.
p Zs

It follows that the pair (X, Z) is solution to a controlled SDE, and we are reduced to a
standard stochastic control problem.

(I.3) (As seen in class)

(i) Recall the Dynamic Programming Principle satisfied by vp .

(ii) Show that vp is a viscosity supersolution of the HJB equation

F (t, x, ∂t vp , ∂x vp , ∂xx vp ) + Gp (x, z, ∂z vp ) = 0 on [0, T ) × R × R∗+ , (1)

where  
1 2
F (t, x, qt , qx , qxx ) = −qt − sup b(t, x, a)qx + σ (t, x, a)qxx ,
a∈A 2
 p
|x|
Gp (x, z, qz ) = −qz z .
z

In the rest of the problem, we assume known that vp is a viscosity solution to (1).

2
 Partie II : A verification theorem

In this section, we fix a C 1,2 function w with partial derivatives ∂t w, ∂x w, ∂xx w, ∂z w bounded
on [0, T ] × RN × R+ . We further assume that w satisfies :

 F (t, x, ∂t w, ∂x w, ∂xx w) ≥ 0 on (0, T ) × {(x, z) | |x| ≤ z}
−∂z w ≥ 0 on (0, T ) × {(x, z) | |x| ≥ z}

w(T, x, z) ≥ ψ(z)
We then want to show that w ≥ v.
Recall that there exists a constant C > 0 such that for all (t, x, α),
" #
E sup Xst,x,α ≤ C(1 + |x|).
t≤s≤T

Fix α ∈ A, (t, x, z) ∈ [0, T ] × R × R∗+ , and denote X = X t,x,α and Z p = Z t,x,z,α,p , Z = Z t,x,z,α .
(II.1) Show that for all s ∈ (t, T ]
lim E [ |Zsp − Zs |] = 0
p→∞

et deduce that
lim Jp (t, x, z; α) = J(t, x, z; α).
p→∞

(II.2) Let s ∈ (t, T ]. We take for granted that P(|Xs | = Zs ) = 0. Show that

lim P(|Xs | > Zsp ) = 0.

p→+∞

((II.3) Using Itô’s formula, show that there exists a constant C > 0 such that for all (t, x, z, α),
Z T Z T 
 p
 Zsp
w(t, x, z) ≥ E ψ ZT − CE 1{Xs >Zs } ds +
p 1{Xs ≤Zs } ds .
p
t t p

(II.4) Conclude that w ≥ v.

Partie III: HJB equation for v

In this section, we assume known that vp converges to v locally uniformly as p → ∞.

Recall that if wp are viscosity solutions to the equations Hp = 0 and wp converges to w locally
uniformly, then w is a viscosity supersolution to H ∗ = 0 and a viscosity subsolution toH∗ = 0,
where
H ∗ (ξ) = lim sup Hp (ζ), H∗ (ξ) = lim inf Hp (ζ).
p→∞,ζ→ξ p→∞,ζ→ξ

(Here ξ = (t, x, z, qt , qx , qxx , qz ) is the argument taken by H).

(III.1) Let Hp = F + Gp , compute H ∗ and H∗ .

(Hint : distinguish between the cases |x| < z, |x| > z and |x| = z, and the sign of qz ).
(III.2) Deduce that v satisfies in viscosity sense :


 F (t, x, ∂t w, ∂x w, ∂xx w) = 0 on (0, T ) × {(x, z) | |x| < z}

−∂z w = 0 on (0, T ) × {(x, z) | |x| > z}

 min{F (t, x, ∂ t w, ∂x w, ∂xx w), −∂z w} ≤ 0 on (0, T ) × {(x, z) | |x| = z} .

max{F (t, x, ∂t w, ∂x w, ∂xx w), −∂z w} ≥ 0 on (0, T ) × {(x, z) | |x| = z} .

3
 Partie IV : A C 2 comparison theorem

In this section we are given u and w C 2 on [0, T ] × R × R+ , bounded, and such that

 F (t, x, ∂t w, ∂x w, ∂xx w) ≥ 0 ≥ F (t, x, ∂t u, ∂x u, ∂xx u) on (0, T ) × {(x, z) | |x| ≤ z}
−∂z w ≥ 0 ≥ −∂z u on (0, T ) × {(x, z) | |x| ≥ z}

w(T, ·, ·) ≥ u(T, ·, ·) on R × R+

We want to show that this implies u ≤ w.

(IV.1) Show that there exists γ > 0 such that denoting ψ(t, x) = eγ(T −t) |x|2 + 1 , one has

F (t, x, ∂t ψ, ∂x ψ, ∂xx ψ) ≥ 1 on [0, T ) × R.

(Recall that b and σ are bounded.) In the rest of the section we fix such a γ.
Also fix φ, a C 1 bounded function such that φ0 > 0 on R.

(IV.2) We then consider for α, η, β ∈ (0, 1]

Mα,η,β = sup u(t, x, z) − w(t, x, z) − αψ(t, x) + ηφ(z) − β|z|2 .
(t,x,z)∈[0,T ]×R×R+

(i) Show that Mα,η,β is attained at a (t̂, x̂, ẑ) (depending on (α, η, β)) and that there exists
C > 0 such that
1
|x̂| ≤ C √ .
α

(ii) Show that for all ξ, ξ˜ ∈ R3 and (t, x) ∈ [0, T ] × R, one has
˜ ≥ F (t, x, ξ) + αF (t, x, ξ).
F (t, x, ξ + αξ) ˜

(iii) Suppose that t̂ < T and |x̂| < ẑ. Using some relations satisfied by the derivatives at the
maximum point and the previous question, show that we are led to the contradiction

α ≤ 0.

(iv) Assume t̂ < T and |x̂| ≥ ẑ. Show similarly that in that case

β
−ηKα + 2C √ ≥ 0
α

where C is the constant from question (i) and Kα = inf [0,Cα−1/2 ] φ0 .

(v) Deduce from the previous questions that there exists a sequence (αn , ηn , βn ) → (0, 0, 0)
such that for the corresponding (t̂n , x̂n , ẑ n ), one has t̂n = T and deduce

lim Mαn ,ηn ,βn = 0.

n→∞

(IV.3) Conclude.

4
Université Paris-Dauphine
Masters MASEF et A&P
Année 2016-2017

Examen de contrôle stochastique

Lundi 13 Mars 2017 — durée 3h.

Toutes les questions sont indépendantes, à condition d’admettre le résultat des questions précédentes.

Le but de ce sujet est l’étude d’un problème de contrôle stochastique où le gain final dépend de
la valeur maximale atteinte par la norme de la diffusion contrôlée.

Soit (Ω, F, Ft , P) un espace de probabilité filtré sur lequel est défini un mouvement Brownien
standard (Bt )t≥0 .
Soit A ⊂ Rd un compact, et on note A l’ensemble des processus progressivement mesurables à
valeurs dans A.
Soit b et σ des fonctions bornées et Lipschitz en (t, x) ∈ [0, T ] × R uniformément en a ∈ A.
Etant donnés t, x ∈ [0, T ] × R, et α ∈ A, on note X t,x,α l’unique solution de l’EDS

dXs = b(s, Xs , αs )ds + σ(s, Xs , αs )dBs , Xt = x.

Etant donné z ≥ 0, on note également

 
Zst,x,α,z = max z, sup Xut,x,α .
t≤u≤s

Soit ψ une fonction Lipschitzienne et bornée, on définit

h  i
J(t, x, z; α) = E ψ ZTt,x,z,α

v(t, x, z) = sup J(t, x, z; α).

α∈A

Pour approximer ce problème, on introduit pour 1 ≤ p < +∞ le processus Z p défini par

 Z s 1
p
p
Zst,x,α,z,p p
= z + Xut,x,α ds
t

et de même h  i
Jp (t, x, z; α) = E ψ ZTt,x,z,α,p

vp (t, x, z) = sup Jp (t, x, z; α).

α∈A

1
Partie I : Propriétés et équation HJB de la fonction vp
0
Pour t, x, x0 , z, z 0 , α et p fixés, on notera X = X t,x,α , X 0 = X t,x ,α , Z = Z t,x,z,α,p
0 0
et Z 0 = Z t,x ,z ,α,p .

(I.1) Montrer qu’on a

Z T 1/p
ZT − ZT0 ≤ |z − z | + 0
|Xs − Xs0 |p ds .
t

(Indication : on pourra vérifier que

Z T  p 1/p
ZT = z1s≤t t−1/p + |Xs |1s>t ds
0

(idem pour Z 0 ) et utiliser l’inégalité de Minkowski

Z T 1/p 
p
|kf kp − kgkp | ≤ kf − gkp où kf kp = |f (s)| ds .
0

En déduire que vp est Lipschitzienne en x.

(On rappelle l’existence d’une constante Cp telle que
" #1/p
E sup |Xs − Xs0 |p ≤ Cp |x − x0 |.)
t≤s≤T

(I.2) On suppose z > 0. Montrer que Z satisfait l’équation différentielle

 
Zs |Xs | p
dZs = ds.
p Zs

Le couple (X, Z) est donc solution d’une EDS contrôlée, et on est ramenés à la situation d’un
problème de contrôle standard.

(I.3) (Question de cours)

(i) Rappeler le principe de programmation dynamique satisfait par vp .

(ii) Montrer que vp est sur-solution de viscosité de l’équation de HJB

F (t, x, ∂t vp , ∂x vp , ∂xx vp ) + Gp (x, z, ∂z vp ) = 0 sur [0, T ) × R × R∗+ , (1)

où  
1
F (t, x, qt , qx , qxx ) = −qt − sup b(t, x, a)qx + σ 2 (t, x, a)qxx ,
a∈A 2
 p
z |x|
Gp (x, z, qz ) = −qz .
p z

Dans la suite de l’énoncé on admet que vp est solution de viscosité de (1).

2
 Partie II : Un (demi-)théorème de vérification

Dans cette partie, on fixe une fonction w C 1,2 et à dérivées partielles ∂t w, ∂x w, ∂xx w, ∂z w
bornées sur [0, T ] × RN × R+ . On suppose de plus que w satisfait :

 F (t, x, ∂t w, ∂x w, ∂xx w) ≥ 0 sur (0, T ) × {(x, z) | |x| ≤ z}
−∂z w ≥ 0 sur (0, T ) × {(x, z) | |x| ≥ z}

w(T, x, z) ≥ ψ(z)

On veut montrer qu’alors w ≥ v.

On rappelle l’existence d’une constante C > 0 telle que pour tous (t, x, α),
" #
E sup Xst,x,α ≤ C(1 + |x|).
t≤s≤T

Fixons α ∈ A, (t, x, z) ∈ [0, T ] × R × R∗+ , et notons X = X t,x,α et Z p = Z t,x,z,α,p , Z = Z t,x,z,α .

(II.1) Montrer que pour on a pour tout s ∈ (t, T ]

lim E [ |Zsp − Zs |] = 0
p→∞

et en déduire
lim Jp (t, x, z; α) = J(t, x, z; α).
p→∞

(II.2) Soit s ∈ (t, T ]. On admet que P(|Xs | = Zs ) = 0. Montrer que

lim P(|Xs | > Zsp ) = 0.

p→+∞

((II.3) Montrer à l’aide de la formule d’Itô qu’il existe une constante C > 0 telle que pour tous
(t, x, z, α),
Z Z 

 T T
Zsp
w(t, x, z) ≥ E ψ ZTp − CE 1{|Xs |>Zsp } ds + 1{|Xs |≤Zsp } ds .
t t p

(II.4) Conclure que w ≥ v.

Partie III: Equation de HJB pour v

Dans cette partie on admet que vp converge vers v localement uniformément quand p → ∞.
On rappelle que si wp sont des solutions de viscosité pour les équations Hp = 0 et que wp
converge vers w localement uniformément, alors w est sur-solution de viscosité de H ∗ = 0 et
sous-solution de viscosité de H∗ = 0, où

H ∗ (ξ) = lim sup Hp (ζ), H∗ (ξ) = lim inf Hp (ζ).

p→∞,ζ→ξ p→∞,ζ→ξ

(Ici ξ = (t, x, z, qt , qx , qxx , qz ) désigne l’argument pris par H).

(III.1) Soit Hp = F + Gp , calculer H ∗ et H∗ .

(Indication : on distinguera suivant les cas |x| < z, |x| > z et |x| = z, et suivant le signe de
qz ).

3
(III.2) En déduire que v satisfait au sens des solutions de viscosité :


 F (t, x, ∂t w, ∂x w, ∂xx w) = 0 sur (0, T ) × {(x, z) | |x| < z}

−∂z w = 0 sur (0, T ) × {(x, z) | |x| > z}

 min{F (t, x, ∂ t w, ∂x w, ∂xx w), −∂z w} ≤ 0 sur (0, T ) × {(x, z) | |x| = z} .

max{F (t, x, ∂t w, ∂x w, ∂xx w), −∂z w} ≥ 0 sur (0, T ) × {(x, z) | |x| = z} .

Partie IV : Un résultat de comparaison C 2

Dans cette partie on se donne u et w C 2 sur [0, T ] × R × R+ , bornées, et telles que


 F (t, x, ∂t w, ∂x w, ∂xx w) ≥ 0 ≥ F (t, x, ∂t u, ∂x u, ∂xx u) sur (0, T ) × {(x, z) | |x| ≤ z}
−∂z w ≥ 0 ≥ −∂z u sur (0, T ) × {(x, z) | |x| ≥ z}

w(T, ·, ·) ≥ u(T, ·, ·) sur R × R+
On veut alors montrer que u ≤ w.


(IV.1) Montrer qu’il existe γ > 0 tel que pour ψ(t, x) = eγ(T −t) |x|2 + 1 , on ait

F (t, x, ∂t ψ, ∂x ψ, ∂xx ψ) ≥ 1 sur [0, T ) × R.

(On rappelle que b et σ sont bornées.) Dans la suite on fixe un tel γ.

On fixe également une fonction φ C 1 bornée et telle que φ0 > 0 sur R.
(IV.2) On considère alors pour α, η, β ∈ (0, 1]


Mα,η,β = sup u(t, x, z) − w(t, x, z) − αψ(t, x) + ηφ(z) − β|z|2 .
(t,x,z)∈[0,T ]×R×R+

(i) Montrer que Mα,η,β est atteint en un (t̂, x̂, ẑ) (dépendant de (α, η, β)) et qu’il existe
C > 0 telle que
1
|x̂| ≤ C √ .
α
(ii) Montrer que pour tous ξ, ξ˜ ∈ R3 et (t, x) ∈ [0, T ] × R, on a
˜ ≥ F (t, x, ξ) + αF (t, x, ξ).
F (t, x, ξ + αξ) ˜

(iii) On suppose que t̂ < T et |x̂| < ẑ. En utilisant des relations entre les dérivées au point
de maximum et la question précédente, montrer qu’on est conduit à la contradiction

α ≤ 0.

(iv) On suppose que t̂ < T et |x̂| ≥ ẑ. Montrer de même que dans ce cas
β
−ηKα + 2C √ ≥ 0
α
où C est la même constante que dans la question (i) et Kα = inf [0,Cα−1/2 ] φ0 .
(v) Déduire des questions précédentes qu’il existe une suite (αn , ηn , βn ) → (0, 0, 0) telle que
pour les (t̂n , x̂n , ẑ n ) correspondants, on ait t̂n = T et en déduire

lim Mαn ,ηn ,βn = 0.

n→∞

(IV.3) Conclure.

4
Université Paris-Dauphine
Masters MASEF et A&P
Année 2017-2018

Written exam : Stochastic control

Wednesday, March 21, 2018 — 3h.

No documents are allowed.

All the questions can be treated independently, as long as the results from previous questions are
assumed true.

The goal of this problem is to study the asymptotic behaviour of an infinite horizon control
problem when the discounting parameter goes to 0.

Let (Ω, F, Ft , P) be a filtered probability space, on which is defined an n-dimensional Brownian

motion (Bt )t≥0 .
Let A ⊂ Rd be a compact, and denote A the set of A-valued progressively measurable processes.
We will say that a function h : Rn → R is periodic if for all x ∈ Rn , k ∈ Zn , h(x + k) = h(x).
Let b : Rn × A → Rn , σ : Rn × A → Rn×n be bounded continuous functions, periodic in x, and
Lipschitz in (x, a). Given x ∈ Rn , and α ∈ A, we denote X x,α the unique solution to the SDE

dXt = b(Xt , αt )dt + σ(Xt , αt )dBt , X0 = x.

Let f : Rn × A be continuous and periodic in x (and therefore bounded), we define for a given
ρ > 0 and α ∈ A Z ∞ 
−ρt x,α
Jρ (x; α) = E e f (Xt , αt )dt ,
0
and we consider the value function

vρ (x) = sup Jρ (x; α).

α∈A

Furthermore, we define for (x, p, A) ∈ Rn × Rn × Rn×n the function

 
1 T
F (x, p, A) = − sup b(x, a) · p + T r(σσ (x, a)A) + f (x, a) .
a∈A 2

In order to study the behaviour as ρ → 0, we will be led to considering the equation

λ + F (x, Du, D2 u) = 0 sur Rn (E)

with unknowns (λ, u) where λ ∈ R and u : Rn → R is periodic.

1
Preliminary question :
(0.1) Show that vρ is a periodic and bounded function.

Part I : A verification approach

In this part we assume to be given λ ∈ R and u ∈ C 2 (Rn , R) periodic satisfying equation (E).
We want to show that ρvρ converges uniformly to the constant λ as ρ → 0.

(I.1) Let x ∈ Rn and α ∈ A be fixed. Show that for all T ≥ 0 one has
 Z T 
u(x) ≥ E e−ρT u(XTx,α ) + e−ρt (f (Xtx,α , αt ) − λ + ρu(Xtx,α )) dt .
0

Deduce that for all x ∈ Rn ,

λ
u(x) ≥ vρ (x) − − kuk∞ .
ρ
(I.2) We assume there exists a Lipschitz function â : Rn → A such that
1
∀x ∈ Rn , F (x, Du(x), D2 u(x)) = −b(x, â(x))·Du(x)− T r(σσ T (x, â(x))D2 u(x))−f (x, â(x)).
2
Show that for all x ∈ Rn ,
λ
u(x) ≤ vρ (x) − + kuk∞ .
ρ
(I.3) Conclude that (assuming the hypothesis of the previous question), ρvρ → λ uniformly as
ρ → 0.

Part II : Uniqueness of the ergodic constant

In this part we want to show that there exists at most one λ such that (E) has a solution.
We therefore consider λ, µ ∈ R, and u, w continuous and periodic, respective solutions (in a
sense to be precised) to
λ + F (x, Du, D2 u) = 0 sur Rn , (Eλ )
µ + F (x, Dw, D2 w) = 0 sur Rn . (Eµ )

(II.1) We assume that u and w are C 2 on Rn , and solutions to (Eλ )-(Eµ ). By considering the points
of maximum and minimum of u − w, show that λ = µ.

We now assume that u and w are viscosity solutions to (Eλ )-(Eµ ), and we want to show again
that λ = µ.
(II.2) Does the equation (Eλ ) satisfy a comparison theorem ? (Hint : u + c, c ∈ R). What
assumption from the lectures is not satisfied by this equation ?

(II.3) We assume that λ < µ, fix δ ∈ (λ, µ) and given ε > 0 we consider the equation

δ + εv + F (x, Dv, D2 v) = 0 sur Rn . (Eδ,ε )

We recall that this equation admits a comparison principle (for continuous and bounded
viscosity solutions on Rn ).
Show that there exists ε > 0 such that u and w are respectively viscosity super-solution and
sub-solution of (Eδ,ε ), and deduce that it must hold that u ≥ w.

2
(II.4) Deduce from the previous question that we must have λ = µ.

Part III: Convergence of ρvρ under equicontinuity

In this part, we assume that the functions vρ , ρ > 0 are equicontinuous, and more precisely that
∃C > 0, ∀ρ > 0, vρ is C-Lipschitz.
We recall that by Arzelà-Ascoli’s theorem, a family of periodic functions Rn → R which is
equicontinuous and uniformly bounded admits a converging subsequence (with respect to uniform
convergence).
(III.1) (As seen in class) Recall the Dynamic Programming Principle satisfied by vρ . Show that vρ
is a viscosity super-solution to
ρv + F (x, Dv, D2 v) = 0 sur Rn . (HJB)
In the remaining questions, we assume known that vρ is also a viscosity sub-solution to this
equation.
(III.2) Show that there exists a subsequence ρn → 0 such that vρn (x) − vρn (0) → u uniformly and
ρn vρn (0) → λ as n → ∞ (for some periodic continuous function u : Rn → R and a constant
λ ∈ R).
(III.3) Show that with (u, λ) given by the previous question, u is a viscosity solution to (E).
(III.4) Using the result from Part II, show that ρvρ converges to λ uniformly as ρ → 0.

Part IV: A few examples

We want to study the convergence of ρvρ as ρ goes to 0 in three specific cases. In all these
exemples, we assume that the dimension n is equal to 1 and that f (x, a) = f (x) for all x, a (we
recall that f is continuous and periodic).

(IV.1) In this question, we suppose that

√
A = {0}, b(x, 0) = 0, σ(x, 0) = 2,
f (x) = sin(2πkx), pour un k ∈ Z \ {0}.
Find an explicit formula for vρ (by using (HJB)). Show that ρvρ and vρ − vρ (0) converge
uniformly to a pair (λ, u) ∈ R × C 2 (R) to be determined.
(IV.2) In this question, we suppose that
A = [−1, 1], b(x, a) = a |sin(πx)| , σ(x, 0) = 0,
f (0) = inf f < sup f = f (1/2).
Reasoning directly on the control problem, compute vρ (0) and vρ (1/2). Deduce that ρvρ does
not converge uniformly to a constant. Show that nevertheless ρvρ (x) converges to f (1/2) for
almost every x in R.
(IV.3) In this question, we suppose that
√
A = {0, 1}, b(x, a) = 0, σ(x, a) = 2a.
Show that ρvρ converges uniformly to a constant λ (depending on f ) to be determined.

3
Université Paris-Dauphine
Masters MASEF et A&P
Année 2017-2018

Examen de contrôle stochastique

Mercredi 21 Mars 2018 — durée 3h.

Aucun document n’est autorisé.

Toutes les questions sont indépendantes, à condition d’admettre le résultat des questions précédentes.

Le but de ce sujet est l’étude asymptotique d’un problème de contrôle stochastique en horizon
infini lorsque le paramètre d’actualisation tend vers 0.

Soit (Ω, F, Ft , P) un espace de probabilité filtré sur lequel est défini un mouvement Brownien
n-dimensionnel (Bt )t≥0 .
Soit A ⊂ Rd un compact, et on note A l’ensemble des processus progressivement mesurables à
valeurs dans A.
On dira qu’une fonction h : Rn → R est périodique si pour tout x ∈ Rn , k ∈ Zn , h(x+k) = h(x).
Soit b : Rn × A → Rn , σ : Rn × A → Rn×n des fonctions continues bornées, périodiques par
rapport à la variable x, et Lipschitziennes en (x, a). Etant donnés x ∈ Rn , et α ∈ A, on note X x,α
l’unique solution de l’EDS

dXt = b(Xt , αt )dt + σ(Xt , αt )dBt , X0 = x.

Soit f : Rn × A continue, périodique en x (et donc bornée), on définit pour ρ > 0 et α ∈ A

Z ∞ 
Jρ (x; α) = E e−ρt f (Xtx,α , αt )dt ,
0

et on considère la fonction valeur

vρ (x) = sup Jρ (x; α).
α∈A

De plus, on définit pour (x, p, A) ∈ ×Rn Rn× Rn×n la fonction

 
1
F (x, p, A) = − sup b(x, a) · p + T r(σσ T (x, a)A) + f (x, a) .
a∈A 2

Pour étudier le comportement quand ρ → 0, on sera amené à considérer l’équation

λ + F (x, Du, D2 u) = 0 sur Rn (E)

d’inconnues (λ, u) où λ ∈ R et u : Rn → R est périodique.

1
Question préliminaire :

(0.1) Montrer que vρ est une fonction périodique et bornée.

Partie I : Une approche par vérification

Dans cette partie on suppose donnés λ ∈ R et u ∈ C 2 (Rn , R) périodique satisfaisant l’équation

(E).
On veut montrer que ρvρ converge uniformément vers la constante λ quand ρ → 0.

(I.1) Soit x ∈ Rn et α ∈ A fixés. Montrer que pour tout T ≥ 0 on a

 Z T 
x,α
u(x) ≥ E e −ρT
u(XT ) + e −ρt
(f (Xtx,α , αt ) −λ+ ρu(Xtx,α )) dt .
0

En déduire que pour tout x ∈ Rn ,

λ
u(x) ≥ vρ (x) − − kuk∞ .
ρ

(I.2) On suppose qu’il existe une fonction â : Rn → A Lipschitzienne et telle que

1
∀x ∈ Rn , F (x, Du(x), D2 u(x)) = −b(x, â(x))·Du(x)− T r(σσ T (x, â(x))D2 u(x))−f (x, â(x)).
2
Montrer que pour tout x ∈ Rn ,
λ
u(x) ≤ vρ (x) − + kuk∞ .
ρ

(I.3) Conclure que (sous l’hypothèse de la question précédente), ρvρ → λ uniformément lorsque
ρ → 0.

Partie II : Unicité de la constante ergodique

Dans cette partie on veut montrer qu’il existe au plus une constante λ telle que (E) admette une
solution.
On va donc considérer λ, µ ∈ R, et u, w continues et périodiques, solutions (dans un sens à
préciser) respectives de
λ + F (x, Du, D2 u) = 0 sur Rn , (Eλ )
µ + F (x, Dw, D2 w) = 0 sur Rn . (Eµ )

(II.1) On suppose que u et w sont C 2 sur Rn , et solutions de (Eλ )-(Eµ ). En considérant les points
où u − w atteint son maximum et minimum, montrer que λ = µ.

Dans la suite on suppose que u et w sont solutions de viscosité des équations (Eλ )-(Eµ ), et on
veut montrer qu’on a encore λ = µ.

(II.2) L’équation (Eλ ) admet-elle un théorème de comparaison ? (Indication : u + c, c ∈ R). Quelle

hypothèse du cours n’est pas satisfaite par cette équation ?

2
(II.3) On suppose que λ < µ, on fixe δ ∈ (λ, µ) et on considère pour ε > 0 l’équation

δ + εv + F (x, Dv, D2 v) = 0 sur Rn . (Eδ,ε )

On rappelle que cette équation admet un principe de comparaison (pour les solutions de
viscosité continues et bornées sur Rn ).
Montrer qu’il existe ε > 0 telle que u et w soient respectivement sur-solution et sous-solution
de viscosité de (Eδ,ε ), et en déduire que nécessairement u ≥ w.

(II.4) Déduire de la question précédente que nécessairement on a λ = µ.

Partie III: Convergence de ρvρ sous une hypothèse d’équicontinuité

Dans cette partie, on suppose que les fonctions vρ , ρ > 0 sont équicontinues, et plus précisément

∃C > 0, ∀ρ > 0, vρ est C-Lipschitzienne.

On rappelle que par le théorème d’Arzelà-Ascoli, une famille de fonctions périodiques Rn →

R équicontinue et bornée uniformément admet une sous-suite convergente (pour la convergence
uniforme).

(III.1) (Question de cours) Rappeler le principe de programmation dynamique satisfait par vρ . Mon-
trer que vρ est sur-solution de viscosité de

ρv + F (x, Dv, D2 v) = 0 sur Rn . (HJB)

On admet dans la suite du problème que vρ est également sous-solution de viscosité de cette
équation.

(III.2) Montrer qu’il existe une sous-suite ρn → 0 telle que vρn (x) − vρn (0) → u uniformément et
ρn vρn (0) → λ quand n → ∞ (pour une certaine fonction périodique continue u : Rn → R et
une constante λ ∈ R).

(III.3) Montrer que pour (u, λ) donnés par la question précédente, u est solution de viscosité de (E).

(III.4) En utilisant le résultat de la partie II, montrer que ρvρ converge vers λ uniformément quand
ρ → 0.

Partie IV: Quelques exemples

On veut étudier la convergence de ρvρ quand ρ tend vers 0 dans trois cas particulier. Dans tous
ces exemples, on suppose que la dimension n est égale à 1 et que f (x, a) = f (x) pour tous x, a (on
rappelle que f est continue et périodique).

(IV.1) Dans cette question, on suppose

√
A = {0}, b(x, 0) = 0, σ(x, 0) = 2,

f (x) = sin(2πkx), pour un k ∈ Z \ {0}.

Déterminer vρ explicitement (on pourra utiliser (HJB)). Montrer que ρvρ et vρ − vρ (0)
convergent uniformément vers un couple (λ, u) ∈ R × C 2 (R) à déterminer.

3
(IV.2) Dans cette question, on suppose

A = [−1, 1], b(x, a) = a |sin(πx)| , σ(x, 0) = 0,

f (0) = inf f < sup f = f (1/2).

En raisonnant directement sur le problème de contrôle, déterminer vρ (0) et vρ (1/2). En
déduire que ρvρ ne converge pas uniformément vers une constante. Montrer ensuite que
néanmoins ρvρ (x) converge vers f (1/2) pour presque tout x de R.

(IV.3) Dans cette question, on suppose

√
A = {0, 1}, b(x, a) = 0, σ(x, a) = 2a.

Montrer que ρvρ converge uniformément vers une constante λ (dépendant de f ) à déterminer.