Examen du cours Optimisation Continue - Programmation Stochastique F.

Bonnans
Mast`ere de Mathematiques de la Modelisation Parcours OJME
Ecole Polytechnique et Universite Pierre et Marie Curie 04 janvier 2011, 14h30 `a 17h00
Documents autorises : polycopies et notes de cours.
Conseils de redaction : verier soigneusement les arguments et ne pas negliger des reponses partielles.
Probl`eme 1 : Calcul rapide de lenveloppe convexe en dimension 1
Soit f une fonction R

R, de domaine [0, 1]. On rappelle que conv() designe lenveloppe convexe fermee
dune fonction. On note T = (t
k
) une subdivision de [0, 1], cest `a dire une suite nie 0 = t
1
< t
2
< t
N+1
=
1. On note a
i
:= f(t
i
), f
T
la fonction R

R, de domaine [0, 1], telle que f
T
(t
i
) = a
i
, i = 1 `a N + 1, et
ane sur [t
i
, t
i+1
], i = 1 `a N, et

f
T
:= conv(f
T
). Les tailles des intervalles et les pentes sont notees
h
i
:= t
i+1
t
i
; y
i
:=
a
i+1
a
i
h
i
, i = 1 `a N. (1)
On note lensemble des vecteurs croissants dans X
N
:= R
N
par
K
N
:= x R
N1
; x
1
x
2
x
N
, (2)
et on munit X
N
de la norme |x|
X
N
:=
_

N
i=1
h
i
x
2
i
_
1/2
. La projection sur K
N
, dans la norme hilbertienne
ci-dessus, est notee P
N
. Donc y := P
N
(y) est solution de
Min
z
1
2
|z y|
2
X
; z
i
z
i+1
0, i = 1, . . . , N 1. (3)
On va montrer le resultat suivant :
Theor`eme 0.1 (i) Les pentes de

f
T
sont la projection de celles de f
T
sur K
N
.
(ii) Il existe un algorithme de calcul de

f
T
en O(N) operations.
1/ Montrer que, si f
T
est concave sur [0, 1], alors

f
T
(t) = (1 t)a
1
+ta
N+1
.
2/ On etudie lexemple suivant : N = 2, t
2
= 1/3, a = (0, 1, 1). Calculer y,

f
T
et montrer que les pentes
de

f
T
sont la projection de y sur K
N
(un dessin est recommande).
3/ Montrer plus generalement que si N = 2, si

f
T
(t) = (1 t)a
1
+ ta
N+1
alors les pentes de

f
T
sont la
projection de y sur K
N
(on pourra noter que ceci a lieu ssi y
2
y
1
).
4/ Montrer que

f
T
(t) = (1 t)a
1
+ta
N+1
ssi on a
a
k+1
a
1
=
k

i=1
h
i
y
i
t
k+1
(a
N+1
a
1
), k = 1, . . . , N. (4)
5/ On note y la projection de y sur K
N
et R
N1
le multiplicateur associe aux contraintes de (3).
Montrer que les conditions doptimalite impliquent
h
i
( y
i
y
i
) +
i

i1
= 0, i = 2, . . . , N 1. (5)
Quelles sont les relations correspondantes satisfaites par h
i
( y
i
y
i
) quand i = 1 ou N ?
6/ Montrer que
a
k+1
a
1
=
k

i=1
h
i
y
i
+
k
. (6)
En deduire que si

f
T
(t) = (1 t)a
1
+ta
N+1
, alors les pentes de

f
T
sont la projection de celles de f
T
sur K
N
.
1
7/ On introduit la notion dagregation pour le probl`eme de calcul de

f
T
. Montrer que si
y
i
y
i+1
, pour un certain i 1, . . . , N 1 (7)
alors les pentes de

f
T
sont egales sur ]t
i
, t
i+1
[ et ]t
i+1
, t
i+2
[. En deduire que

f
T
est lenveloppe convexe
de la fonction egale `a f
T
hors de ]t
i
, t
i+2
[, et ane sur [t
i
, t
i+2
].
8/ Deduire un algorithme de calcul de

f
T
en O(N) operations.
9/ Montrer que si (7) est satisfait, alors y
i
= y
i+1
.
10/ On introduit la notion dagregation pour le calcul de projection sur K. Montrer que si (7) est satisfait,
on peut ramener le calcul de y = P
N
(y) `a celui du calcul dune projection sur K
N1
, en agregeant
les intervalles [t
i
, t
i+1
] et [t
i+1
, t
i+2
]. On pourra utiliser lidentite suivante. Notant
_
_
_
A := h
1
(z
1
y
1
)
2
+h
2
(z
2
y
2
)
2
,
B := (h
1
+h
2
)
_
h
1
z
1
+h
2
z
2
h
1
+h
2

h
1
y
1
+h
2
y
2
h
1
+h
2
_
2
,
(8)
alors
AB =
h
1
h
2
h
1
+h
2
_
(z
1
z
2
)
2
2(z
1
z
2
)(y
1
y
2
) + (y
1
y
2
)
2
_
. (9)
11/ Deduire un algorithme de calcul de y en O(N) operations.
12/ Prouver le point (i) du theor`eme 0.1.
13/ Calculer

f
T
(x) pour tout x.
14/ Verier que f
T
et

f
T
ont meme conjuguee de Fenchel, et calculer f

T
pour tout x

.
15/ On suppose f lipchitzienne de constante L sur [0, 1]. Peut-on donner une estimation derreur quand
on approche conv(f) par conv(f
T
).
Probl`eme 2 : Optimisation dynamique stochastique
Nous allons etendre ici la theorie du polycopie (section 4.4) du cadre hilbertien `a celui des espaces de
Banach. Soient U un espace de Banach, K une partie convexe fermee de U, U
1
un sous espace vectoriel
ferme de U (qui muni de la norme induite par U est donc un espace de Banach). On pose K
1
:= K U
1
et on suppose lexistence dun projecteur note P
1
de U sur U
1
, cest `a dire une application dans L(U) tel
que P
1
u U
1
pour tout u U, et P
1
u
1
= u
1
pour tout u
1
U
1
. On suppose la condition suivante de
compatibilite satisfaite :
P
1
u K, pour tout u K. (10)
1/ Montrer que (i) P
1
u = u ssi u U
1
, et que (ii) Im(P

1
I) (U
1
)

.
2/ Montrer que N
K
1
(u) = N
K
(u) + (U
1
)

, pour tout u K
1
.
3/ Soit F : U R convexe continue. Montrer que u K
1
est solution du probl`eme
Min
u
F(u); u K
1
, (11)
ssi on a
F( u) +N
K
( u) + (U
1
)

0. (12)
4/ On se donne F : U R convexe continue, et pour t = 0, . . . , N 1, U
t
un sous espace ferme de U,
P
t
un projecteur associe, et K
t
partie convexe et fermee de U veriant la condition de compatibilite
P
t
u K
t
, pour tout u K
t
. (13)
Montrer que u est solution du probl`eme
Min
u
F(u); u = (u
0
, . . . , u
N1
); u
t
U
t
K
t
, t = 0, . . . , N 1, (14)
ssi il est realisable et tel que
Il existe (q
0
, . . . , q
N1
) F( u); q
t
+N
K
t
( u
t
) + (U
t
)

0, t = 0, . . . , N 1. (15)
2
5/ On rappelle la notion desperance conditionnelle introduite dans les notes de cours dans le cadre
hilbertien : Si T
t
est une ltration, avec t = 1, . . . , N, on pose (changeant par rapport `a la notation
du polycopie) H
t
:= L
2
(, R
m
, T
t
), et on note IE
2
[[T
t
] la projection de H
N
sur H
t
, appelee esperance
conditionnelle (dans le cadre hilbertien, do` u lindice 2) suivant T
t
. On va montrer que lesperance
conditionnelle admet un prolongement `a L
1
(, R
m
, T
t
). On pose H = H
N
.
Soient u, u

dans H. On dit que u u

si u
i
() u

i
() p.s., i = 1 `a m. Montrer que si u H
+
(u 0
p.s.), alors IE
2
[u[T
t
] H
+
p.s. (ce qui revient `a dire que IE
2
[[T
t
] est une application croissante).
6/ Montrer que si w H
t
, et u H, alors
(w, IE
2
[u[T
t
])
H
= (w, u)
H
. (16)
En deduire que, si v = IE
2
[u[T
t
], alors :
_
(i) IE [v] = IE[u],
(ii) IE [[v[] IE[[u[].
(17)
7/ Posons U
t
:= L
1
(, R
m
, T
t
). Soit u U
N
, et denissons pour > 0 sa troncature par u

() :=
max(
1
, min(
1
, u())). Comme u

H, on peut denir v

(u) := IE
2
[u

[T
t
]. Montrer que, quand
0, v

(u) a dans U
t
une limite v quon notera IE
1
[u[T
t
]. On sappuiera sur la decomposition de u
en parties positive et negative : u = u
+
+u

, o` u (u
+
)
i
:= (u
i
)
+
et (u

)
i
:= (u
i
)

= min(u
i
, 0), et on
veriera que v

(u) = v

(u
+
) +v

(u

) et que
IE[[v[] IE[[u[], pour tout u U
N
. (18)
8/ Montrer que lapplication U
N
U
t
, u IE
1
[u[T
t
] est :
(i) croissante,
(ii) homog`ene (de degre 1) :
IE
1
[u[T
t
] = IE
1
[u[T
t
], pour tout u U
N
, et R, (19)
(iii) additive : IE
1
[u

+u

[T
t
] = IE
1
[u

[T
t
] +IE
1
[u

[T
t
].
(iv) lineaire continue.
9/ Montrer que, si w U
t,
:= L

(, R
m
, T
t
), et u U
N
, alors la fonction wv denie par (wu)
i
() =
w
i
()u
i
(), i = 1 `a m, verie
IE
1
[w u[T
t
] = w IE
1
[u[T
t
] p.s. (20)
10/ On pose Y
t
:= L
1
(, R
n
, T
t
), t = 0 `a N et on consid`ere le syst`eme dynamique suivant :
y
t+1
= A
t
y
t
+B
t
y
t
+D
t
, t = 0, . . . , N 1; y
0
= Y
0
(21)
avec y
0
Y
0
. Les matrices A
t
, B
t
et le vecteur D
t
sont supposes T
t+1
mesurables et essentiellement
bornes. Montrer que si u = (u
1
, . . . , u
N1
) est adapte, cest `a dire que u
t
U
t
pour tout t, alors (21)
a une solution unique y[u] adaptee, au sens o` u y
t
Y
t
, t = 1 `a N. On note U, Y ces espaces de
fonctions adaptees.
11/ On consid`ere le probl`eme suivant :
Min
u
F(u) :=
N1

t=0
IE

(y[u]
t
(), u
t
(), )dt +IE(y[u]
N
(), ); u
t
K
t
, t = 1, . . . , N 1. (P)
On suppose que

et sont p.s. convexes en y et u, et pour tout y, u fonctions mesurables de , telles
que convexes, `a croissance lineaire :

(y, u, )

+[(y, )[ C(1 +[y[ +[u[), pour tout (y, u) R

n
R
m
. (22)
Montrer que F est convexe continue U R.
12/ On suppose satisfaite la condition de compatibilite (13). Exprimer les conditions doptimalite du
probl`eme (P).
3
SOLUTION
Probl`eme 1 : Calcul rapide de lenveloppe convexe en dimension 1
1/ Si f
T
est concave, t (t) := (1 t)a
1
+ta
N+1
est une minorante convexe de f
T
. Si g est une autre
minorante convexe, alors pour t [0, 1], par convexite de g
g(t) (1 t)a
1
+ta
N+1
= (t) (23)
et est donc la plus grande minorante convexe de f.
2/ On est dans le cas de la question precedente, donc

f
T
(t) = t, de pente constante egale `a -1.
On a ici y = (3, 3), h
1
= 1/3, h
2
= 2/3 et y est donc solution du probl`eme
Min
z
(z
1
3)
2
+ 2(z
2
+ 3)
2
; z
1
z
2
. (24)
Si linegalite netait pas active z minimiserait le crit`ere sans contrainte (car le probl`eme est convexe)
et donc on aurait z = y qui nest pas realisable, donc = y
1
= y
2
minimise ( 3)
2
+2( +3)
2
, soit
= 1, et donc y est egal aux pentes de

f
T
.
3/ Si y
1
= y
2
alors

f
T
= f
T
et la conclusion est veriee avec y = y. Sinon y
1
> y
2
, et comme dans
la question precedente la contrainte y
1
y
2
est necessairement active, de sorte que = y
1
= y
2
minimise
1
2
_
h
1
( y
1
)
2
+h
2
( y
2
)
2
_
, soit = h
1
y
1
+h
2
y
2
= a
3
a
1
comme il fallait le prouver.
4/ On a

f
T
(t) = (1 t)a
1
+ta
N+1
ssi a
k+1
(1 t
k+1
)a
1
+t
k+1
a
N+1
, k = 1 `a N 1, qui equivaut `a la
relation cherchee.
5/ Le lagrangien du probl`eme (3) a pour expression
L(z, ) :=
1
2
N

i=1
h
i
[z
i
y
i
[
2
+
N1

i=1

i
(z
i
z
i+1
) . (25)
Derivant par rapport `a z
i
, i = 2 `a N 1 on obtient (4), et il vient de plus
0 =
L
z
1
( y, ) = h
1
( y
1
y
1
) +
1
; 0 =
L
z
N
( y, ) = h
N
( y
N
y
N
)
N1
. (26)
6/ Des resultats precedents on deduit que
0 =
k

i=1
L
z
i
( y, ), k = 1, . . . , N, =
k

i=1
h
i
( y
i
y
i
) +
k
, (27)
et comme

k
i=1
h
i
y
i
= a
k+1
a
1
, la relation cherchee en decoule. Cette famille de relation equivaut
`a la stationarite du lagrangien par rapport aux variables primales. Or y deni par y
i
= a
N+1
a
1
,
i = 1 `a N, verie ces relations et appartient `a K. Cest donc la projection de y sur K est cest aussi
la valeur des pentes de

f
T
.
7/ Quand (7) est realise, la plus grande minorante convexe de f
T
sur [t
i
, t
i+2
] est la fonction ane
egale `a f
T
en t
i
et t
i+2
. On obtient donc la meme enveloppe convexe en rempla cant f
T
par sur
[t
i
, t
i+2
], ce qui revient au format general avec la pente moyenne
a
i+2
a
i
t
i+2
t
i
=
h
i
y
i
+h
i+1
y
i+1
h
i
+h
i+1
. (28)
8/ Lidee est de parcourir les y
i
, partant de i = 1 et chaque fois que (7) est verie on agr`ege. Plus
precisement, decrivons letape i de lalgorithme : on a une collection de pentes agregees strictement
croissantes y
k
, et les largeurs dintervalles (agreges) associes

h
k
, k = 1 `a q
i
, avec q
i
i. Ces pentes
realisent la projection des i premi`eres pentes de f
T
sur le cone des vecteurs croissants.
Si y
i+1
y
q
i
on agr`ege y
q
i
et y
i+1
. Notons y

q
i
la pente agregee. Il faut alors iterer pour assurer la
croissance des pentes : si y
q
i
y

q
i
1
on agr`ege ces deux pentes, et ainsi de suite.
Lalgorithme consiste ainsi en deux boucles imbriquees. A chaque etape, soit on ajoute une pente,
soit on en supprime une et il y a donc au plus 2N etapes. Chaque etape necessite O(1) operations.
Lalgorithme en necessite donc au total O(N).
4
9/ Supposons au contraire que y
i
< y
i+1
. Denissons y par y
j
= y
j
si j , i, i + 1, y
i
= y
i
+ /h
i
,
y
i+1
= y
i+1
/h
i+1
avec > 0 assez petit pour que y K. Par denition de la projection on a
0 | y y|
2
X
| y y|
2
X
= h
i
( y
i
+/h
i
y
i
)
2
+h
i+1
( y
i+1
/h
i+1
y
i+1
)
2
h
i
( y
i
y
i
)
2
h
i+1
( y
i+1
y
i+1
)
2
= 2 ( y
i
y
i+1
+y
i+1
y
i
) +O(
2
).
(29)
Le coecient de est strictement negatif, ce que contredit linegalite initiale pour > 0 petit.
10/ Comme y
i
= y
i+1
, y est aussi la projection de y sur K
i
:= z K; z
i
= z
i+1
. Avec (9) on deduit
que le probl`eme agrege : intervalle de largeur h
i
+ h
i+1
, pente (h
i
y
i
+ h
i+1
y
i+1
)/(h
i
+ h
i+1
) a pour
projection sur K
N1
lagregation de y.
11/ Reponse semblable `a celle de la question 8.
12/ Par recurrence sur N, les operations dagregation ayant le meme resultat sur les pentes.
13/ Le sous dierentiel est lensemble des pentes des minorantes anes exactes en un point et on a donc
f
T
(t) =
_

_
] , y
1
], t = 0,
y
i
, t ]t
i
, t
i+1
[,
[ y
i
, y
i+1
] , t = t
i+1
, 1 i N 1,
[y
N
, +[ , t = 1.
(30)
14/ Dapr`es le cas degalite de la formule de Fenchel-Young, on a
f

T
(s) =
_
_
_
a
1
s ] , y
1
],
st
i+1
f
T
(t
i+1
), s [ y
i
, y
i+1
], 1 i N 1,
s a
N+1
, s y
N
.
(31)
15/ Lerreur sur chaque intervalle est donc dau plus
1
2
h
i
, donc aussi de
1
2
max
i
h
i
sur lenveloppe convexe
et la conjuguee (par denition de cette derni`ere).
Probl`eme 2 : Optimisation dynamique stochastique
1/ (i) Par denition P
1
u = u si u U
1
. Mais comme P
1
u U
1
, si u , U
1
on a P
1
u ,= u, do` u le resultat.
(ii) Soient u U et u

. Alors P

1
u

, u
U
= u

, P
1
u u
U
est nul pour tout u

si u U
1
.
2/ Soit u K
1
. On sait que, meme sans condition de compatibilite, N
K
1
( u) N
K
( u) + (U
1
)

.
Reciproquement, soient u

N
K
1
( u) et v K. Notons v
1
= P
1
v. Dapr`es la condition de com-
patibilite, v
1
K
1
et donc :
0 u

, v
1
u
U
= u

, P
1
(v u)
U
= P

1
u

, v u)
U
, (32)
donc P

1
u

N
K
( u). Mais u

= P

1
u

, avec Im(P

1
I). Dapr`es la question precedente,
(U
1
)

comme il fallait le montrer.

3/ Application directe du cours, compte tenu de la question precedente et du fait que F est convexe
continue.
4/ Application de la question precedente ; on a vu que le cone normal dun produit est le produit des
cones normaux.
Nota Le resultat resterait vrai quand F est convexe s.c.i. propre avec la condition de qualication
B K
1
dom(F). (33)
5/ Si u 0 p.s. et v = IE
2
[u[T
t
], alors |u v
+
|
H
|u v|
H
. Comme v
+
H
t
, ceci prouve que v = v
+
donc v 0.
6/ En eet on a notant P
t
la projection sur H
t
et notant que cest un operateur autoadjoint et que
P
t
v = v puisque w H
t
:
(w, IE
2
[u[T
t
])
H
= (w, P
t
u)
H
= (P
t
w, u)
H
= (w, u)
H
. (34)
5
Prenant w = e
i
(i`eme vecteur de base de R
m
) p.s. on deduit que (w, P
t
u)
H
= (w, u)
H
= IE[u
i
] do` u
(17)(i).
Posant v := IE
2
[u[T
t
] et prenant w() := v()/[v()[ (w() = 0 si v() = 0), il vients
IE [[IE
2
[u[T
t
][] = IE[[v[] = (w, v)
H
= (w, u)
H
= IE[w u] IE[[u[], (35)
comme il fallait le montrer.
7/ Il est clair que u

= (u
+
)

+(u

et, comme IE
2
[] est lineaire, que v

(u) = v

(u
+
) +v

(u

). Quand
0, on a v

(u) et v

(u) ; notons v
a
et v
b
les limites qui sont des fonctions mesurables. Par le
theor`eme de convergence monotone (applique `a la premi`ere et derni`ere egalite) on a
IE[1 (v
a
v
b
)] = lim

IE[1 (v

(u
+
) v

(u

))] = lim

(1, (u
+
)

(u

)
H
= IE[[u[
1
], (36)
o` u par [ [
1
on note la norme
1
dans R
m
.
Donc v
a
v
b
est sommable, et donc aussi v = v
a
+ v
b
qui verie [v[ v
a
v
b
p.s. Passant `a la
limite dans (17)(ii) quand u est remplace par u

, en utilisant le theor`eme de convergence dominee,

on obtient (18).
8/ (i) Consequence directe du fait que IE
2
[[T
t
] et u u

sont croissants.
(ii) Pour = 0 le resultat est immediat, et sinon lobtient en notant que
(u)

= u
||
. (37)
Posant

= on conclut facilement.
(iii) Soient u

et u

dans L
1
() et u := u

+u

. Posons v := IE[u[T
t
] et v

:= IE
2
[u

[T
t
], et de meme
pour u

et u

. On sait que les variables v

, v

, v

sont dominees. Utilisant le theor`eme de convergence

dominee pour les premi`ere et derni`ere egalites, et (17)(ii) pour linegalite, il vient
IE [v v

[ = lim

IE [v

[ = lim

IE [IE
2
[u

[T
t
][
lim

IE [u

[ = 0,
(38)
d` u le resultat.
9/ Il sut de verier legalite de lesperance des produits scalaires des deux membres avec un element
quelconque z de U
t,
, or en raison de la convergence dans L
1
vu precedemment
IE[z IE
1
[w u[T
t
]] = lim

IE[z IE
2
[w u

[T
t
] = lim

IE[(z w u

)]
= lim

IE
2
[(w z) u

)] = lim

IE[(w z) IE
2
[u

[T
t
]]
= lim

IE[z (w (IE
2
[u

[T
t
]))].
= IE[z (w (IE
1
[u

[T
t
]))].
(39)
10/ Extension directe du cours.
11/ Application directe de la theorie des integrandes normales convexes du polycopie, et des questions
precedentes.
12/ Consequence directe du polycopie et des questions precedentes.
6