Fnctions Convexes
Fnctions Convexes
Fnctions Convexes
FONCTIONS CONVEXES
Définition 3.1 Soit une fonction f : C 7→ R, où C est un ouvert de IRn . f est dite
semi-continue inférieurement (sci) en x ∈ C si, pour toute suite {xk } ⊂ C convergente
vers x, on a lim inf f (xk ) ≥ f (x).
Une notion fondamentale est celle de la dérivée directionnelle dont on rappelle les
définitions :
Les composantes du gradient sont alors les dérivées partielles de f par rapport à chaque
variable xj , j = 1, . . . , n notées ∂f /∂xj (x).
Si F = [f1 · · · fp ]T est un vecteur de fonctions fi : C 7→ R, i = 1, . . . , p différentiables,
le Jacobien de la fonction vectorielle de IRn dans IRp est la matrice JF (x) de p lignes et n
colonnes dont les lignes sont les gradients ∇fi (x), i = 1, . . . , p.
Si une fonction f est deux fois différentiable en x, le Hessien est la matrice symétrique
(n × n) dont les éléments sont les dérivées secondes partielles par rapport aux variables xj
et xk notées ∂ 2 f /∂xj ∂xk , j, k = 1, . . . , n.
1
2 CHAPITRE 3. FONCTIONS CONVEXES
(x2 , f (x2 ))
x = λx1 + (1 − λ)x2
(x1 , f (x1 ))
Définition 3.3 : Soit une fonction f : S 7→ R, où S est un ensemble convexe non vide
de IRn . f est dite convexe sur S si :
Sα
f (x) = |x|
Le domaine de définition de f sera noté Dom(f ), c.a.d. :
On appelle propres les fonctions qui ne prennent jamais la valeur −∞ et qui ne sont pas
identiques à +∞. Par convention, la fonction convexe f prendra la valeur +∞ en dehors
de Dom(f ) et l’opération ∞ − ∞ est interdite.
On utilisera deux outils de représentation des fonctions de IRn :
L’épigraphe qui décrit f dans IRn+1 et les ensembles de niveaux qui sont des surfaces de
IRn .
Définition 3.5 : L’épigraphe d’une fonction f de IRn est noté epi(f ) et est défini par :
!
x
epi(f ) = { ∈ IRn+1 | z ≥ f (x)}
z
L’ensemble de niveau α est l’ensemble des x de IRn tels que f (x) = α. On lui associe
la section, notée Sα :
Sα = {x ∈ IRn | f (x) ≤ α}
L’épigraphe sera particulièrement utile pour transférer les propriétés des fonctions sur les
ensembles de IRn+1 . Par exemple, un épigraphe fermé signifie que la fonction est semi-
continue inférieurement (sci).
On a la caractérisation fondamentale suivante :
Une fonction est convexe si et seulement si son épigraphe est convexe.
Par contre, s’il est vrai qu’une fonction convexe possède des sections convexes (par
convention, l’ensemble vide est convexe), il existe des fonctions non convexes dont toutes
les sections sont convexes.
Définition 3.6 : Une fonction dont toutes les sections sont convexes est dite quasiconvexe
(Fig. 3.2). Une fonction convexe est donc quasiconvexe.
4 CHAPITRE 3. FONCTIONS CONVEXES
i) f1 + f2 est convexe
ii) af1 est convexe ∀a ≥ 0
iii) sup{f1 , f2 } est convexe
iv) inf z {f1 (z) + f2 (x − z)} est convexe
Démonstration :
i) et ii) sont des conséquences immédiates de la définition.
iii) équivaut à epi(f1 ) ∩ epi(f2 ) est un ensemble convexe de IRn+1 .
iv) équivaut à epi(f1 ) + epi(f2 ) est un ensemble convexe de IRn+1 . Cette dernière opé-
ration est appelée l’inf-convolution de f1 et f2 , notée f1 2f2 .
Lemme 3.1 Soit f une fonction convexe sur le sous-ensemble C de IRn , et φ une fonction
convexe non décroissante de f (C) dans IR. Alors h = φ ◦ f est convexe sur C.
Démonstration : Exercice.
est convexe sur IRp . Cette fois-ci, l’épigraphe de Af est l’image directe de l’épigraphe de f
par la transformation affine précédente.
Application : Soit une fonction f de IRn × IRp , convexe en (x, y) ∈ IRn × IRp 7→ f (x, y).
Alors la fonction
x 7→ h(x) = inf p f (x, y)
y∈IR
est convexe sur IRn . En effet, elle s’écrit Af où A est l’opérateur de projection de IRn × IRp
sur IRn .
3.3. CONTINUITÉ ET DIFFÉRENTIABILITÉ 5
Observez que l’infimum est borné car, C étant un ouvert, il existe t < 0 tel que f ′ (x; d) ≥
q(t).
Théorème 3.1 : Une fonction convexe est continue sur rint(Dom(f )), c’est-à-dire en tout
point de l’intérieur de Dom(f ) relativement à la topologie induite dans aff{Dom(f )}.
En résumé, une fonction convexe est continue et différentiable presque partout sur
l’intérieur de son domaine. Si f est différentiable en x, on a :
Théorème 3.2 Si f est différentiable sur l’ouvert convexe C, alors les 3 affirmations
suivantes sont équivalentes :
f convexe sur C
∀x, y ∈ C h∇f (x), y − xi ≤ f (y) − f (x) (3.1)
∀x, y ∈ C h∇f (y) − ∇f (x), y − xi ≥ 0 (3.2)
Démonstration Montrons que (3.1) implique que f est convexe. Cette inégalité peut
s’écrire :
∀y ∈ C, sup{f (x) + h∇f (x), y − xi ≤ f (y)
x∈C
qui est en fait une égalité car on peut échanger les rôles de x et y. Donc, f est convexe en
tant que supremum d’une famille de fonctions affines.
6 CHAPITRE 3. FONCTIONS CONVEXES
Montrons maintenant que (3.2) implique (3.1) par l’absurde. Supposons un segment [x, y]
tel que h∇f (x), y − xi > f (y) − f (x). Grâce au théorème de Rolle, il existe un z =
(1 − λ)x + λy, λ ∈ [0, 1], satisfaisant f (y) = f (x) + h∇f (z), y − xi. On en déduit :
Proposition 3.3 : Soit une fonction f de IRn dans IR fortement convexe de constante α
sur un ensemble convexe C et différentiable sur C ; alors :
Corollaire 3.1 (Fonctions convexes deux fois différentiables) Si f est deux fois diffé-
rentiable sur C, f est convexe si et seulement si le Hessien ∇2 f (x) est semi-définie positif
sur C.
Démonstration : Exercice.
Exercice : Montrer le résultat suivant :
Si f est deux fois différentiable et fortement convexe (de paramètre α), alors la matrice
∇2 f (x) − αI est définie positive.
Démonstration Il est clair qu’une fonction qui est l’enveloppe supérieure de fonctions
affines de IRn est dans Γ0 .
Soit f ∈ Γ0 ; puisque f est ! propre, il existe au moins un x tel que f (x) est fini. On
x
en déduit que le point avec z < f (x) n’appartient pas à epi(f ). On peut donc le
z
séparer par un hyperplan qui est clairement non vertical. Il correspond donc à l’épigraphe
d’une fonction affine qui minore f . Supposons que f ne soit pas l’enveloppe supérieure
de ses minorantes affines. Cela implique qu’il existe x̄ ∈ Dom(f ) tel que f (x̄) > z̄, où
z̄ = sup{hai , x̄i + bi , i ∈ I}, I représentant ici les indices des fonctions affines qui minorent
3.4. SUPPORTS AFFINES ET FONCTIONS CONJUGUÉES 7
epi(f )
ai
hai , xi + bi ≤ f (x)
epi(f )
H0
x
x0
−f ∗ (y0 ) Y
w z
epi(f )
[−1/2, 7/4]
epi(f ∗ )
x
y
z = −2x + 3/4
[−2, −3/4]
z = −1/2x − 7/4
1 1
b) f (x) = 1/pkxkp −→ f ∗ (y) = 1/qkykq , où p + q =1
n
c) Dans IR , f (x) = ha, xi + b =⇒ f ∗ (y) = −b + χ{a} (y)
d) Soient f1 et f2 deux fonctions convexes de IRn et soit f = f1 2f2 . Alors
f ∗ = f1∗ + f2∗
(f1 2f2 )∗ (y) = supx {hy, xi − inf{f1 (x1 ) + f2 (x2 ) | x1 + x2 = x}}
= supx sup{hy, xi − f1 (x1 ) − f2 (x2 ) | x1 + x2 = x}
En effet,
= sup{hy, x1 i + hy, x2 i − f1 (x1 ) − f2 (x2 ) | x1 , x2 }
= f1∗ (y) + f2∗ (y)
e) Dans IR, f (x) = x2 − x + 1 =⇒ f ∗ (y) = sup{x.y − x2 + x − 1} = 1/4(y + 1)2 − 1
3.5 Sous-différentiabilité
Si on reprend l’équation de l’hyperplan support H0 , on a la relation :
Exemple :
Dans IR, f (x) = max{ax + b, cx + d} où a < 0 et c > 0.
d−b
On notera x0 = a−c le point qui minimise f , et f0 = f (x0 ) (Figure 3.6) L’ensemble des
sous-gradients est le segment [a, c]
Des résultats précédents, on tire donc que les 3 conditions suivantes sont équivalentes :
10 CHAPITRE 3. FONCTIONS CONVEXES
epi(f )
a
−1
c
−1
γ
−1
x0
i) y0 ∈ ∂f (x0 )
ii) x0 ∈ ∂f ∗ (y0 )
iii) f (x0 ) + f ∗ (y0 ) = hx0 , y0 i
On va voir maintenant que ces sous-gradients généralisent le concept de gradient dans
certains cas non différentiables.
On a vu plus haut que les dérivées directionnelles existent en tout point intérieur
au domaine et dans toute direction. Observons que f ′ (x; ·) est une fonction positivement
homogène et sous-additive, i.e. :
Elle est donc la fonction support d’un ensemble qui n’est autre que le sous-différentiel.
En effet, soit g ∈ ∂f (x0 ). On a donc f (x0 + td) ≥ f (x0 ) + thg, di, ce qui implique :
Le sous-différentiel est donc l’ensemble (convexe compact) dont la fonction support est
la dérivée directionnelle, soit :
On rejoint alors l’inégalité (3.1) trouvée à la section 3.2 qui exprime que la tangente se
situe au dessous du graphe.
On peut généraliser ce résultat au cas d’une fonction ’max’ comme f (x) = max{fi (x), i ∈
I} où les fi sont convexes, différentiables. En x0 ∈ i∈I Dom(fi ), on a :
T
3.6 Optimalité
Quand on cherche à minimiser une fonction de IRn , on distingue minimum global de
minimum local : un minimum global de f est un point m ∈ Dom(f ) tel que f (x) ≥
f (m), ∀x ∈ Dom(f ) ; pour définir un minimum local, on remplace x ∈ Dom(f ) par x ∈
Dom(f )∩Vǫ(m), où Vǫ (m) est un voisinage de m de rayon ǫ, i.e. Vǫ (m) = {x | kx−m|| ≤ ǫ}
pour un ǫ > 0.
Théorème 3.6 Soit f une fonction convexe de IRn et m un point où f est sous-différentiable.
Une condition nécessaire et suffisante pour qu’un point x soit un minimum global d’une
fonction convexe est 0 ∈ ∂f (m).
12 CHAPITRE 3. FONCTIONS CONVEXES
2
On retrouve dans le cas différentiable la condition nécessaire d’optimalité du premier
ordre : si m minimise f , le gradient de f en m est nul. Cette relation est locale, alors que
tout minimum local d’une fonction convexe est un minimum global. Dans le cas
convexe, la condition d’optimalité du premier ordre est nécessaire et suffisante (Observez
que la condition du deuxième ordre est satisfaite en tout point car le Hessien d’une fonction
convexe deux fois différentiable est semi-défini positif).
3.6. OPTIMALITÉ 13
Références :
C. Berge et A. Ghouila-Houri, Programmes, Jeux et Transport, Dunod, 1962
J.B. Hiriart-Urruty et C. Lemarechal, Convex Analysis and Minimization Algorithms,
Springer V., 1993
P.J. Laurent, Approximation et Optimisation, Hermann, 1972
R.T Rockafellar, Convex Analysis, Princeton U. , 1970
J. Stoer et C. Witzgall, Convexity and Optimization, Springer V., 1970