Éléments d’analyse convexe

Zakia ANKHILI

Université Cadi Ayyad

ENSA, Marrakech

Zakia ANKHILI Chapitre 1 Cours d’optimisation ENSA (Marrakech) 2023/2024 1/24

1) Ensemble convexe

Définition
Soit E ⊂ IRn . E est dit convexe si

∀x1 , x2 ∈ E, ∀λ ∈ [0, 1], λx1 + (1 − λ)x2 ∈ E.

Exercice
Supposons que E est convexe. Soit x1 , x2 , ..., xn ∈ E, alors
n
X n
X
∀λ = (λ1 , λ2 , ..., λn ), λi = 1, λi ∈ [0, 1], on a λ i xi ∈ E
i=1 i=1

Zakia ANKHILI Chapitre 1 Cours d’optimisation ENSA (Marrakech) 2023/2024 2/24

 Théorème
Soit E1 , E2 deux ensembles convexes de IRn . Alors,
1 E1 ∩ E2 est convexe.
2 E1 + E2 = {x1 + x2 / x1 ∈ E1 , x2 ∈ E2 } est convexe.
3 E1 − E2 = {x1 − x2 / x1 ∈ E1 , x2 ∈ E2 } est convexe.

2) Enveloppe convexe
Définition
Soit E ⊂ IRn . L’enveloppe convexe de E, noté Co(E) ou conv(E)
est l’ensemble de toute les combinaisons convexes d’éléments de
E.
n n
X X
conv(E) = λi xi tel que xi ∈ E, λi = 1, λi ∈ [0, 1] .
i=1 i=1

Zakia ANKHILI Chapitre 1 Cours d’optimisation ENSA (Marrakech) 2023/2024 3/24

 Théorème
Soit E ⊂ IRn un ensemble convexe tel que int E ̸= ∅. Soit x1 ∈ cl
◦
E et x2 ∈ int E (où cl E = Ē et int E = E), alors

λx1 + (1 − λ)x2 ∈ int E, ∀λ ∈ [0, 1[.

Corollaire
E est convexe ⇒ int E est convexe.
E est convexe et int E ̸= ∅ ⇒ cl(int E)=cl E.
E est convexe et int E ̸= ∅ ⇒ int (cl E)=int E.
E est convexe et int E ̸= ∅ ⇒ cl E est convexe.

Preuve : ex.

Zakia ANKHILI Chapitre 1 Cours d’optimisation ENSA (Marrakech) 2023/2024 4/24

3) Fonction convexe

Définition
Soit f : E ⊂ IRn → IR une fonction. Supposons que E est
convexe non vide.
f est dite convexe ssi ∀x1 , x2 ∈ E, ∀λ ∈ [0, 1],

f (λx1 + (1 − λ)x2 ) ≤ λf (x1 ) + (1 − λ)f (x2 ).

f est dite concave ssi ∀x1 , x2 ∈ E, ∀λ ∈ [0, 1],

f (λx1 + (1 − λ)x2 ) ≥ λf (x1 ) + (1 − λ)f (x2 ).

f est dite strictement convexe ssi

∀x1 , x2 ∈ E, x1 ̸= x2 , ∀λ ∈]0, 1[,

f (λx1 + (1 − λ)x2 ) < λf (x1 ) + (1 − λ)f (x2 ).

Zakia ANKHILI Chapitre 1 Cours d’optimisation ENSA (Marrakech) 2023/2024 5/24

 f est dite strictement concave ssi
∀x1 , x2 ∈ E, x1 ̸= x2 , ∀λ ∈]0, 1[,

f (λx1 + (1 − λ)x2 ) > λf (x1 ) + (1 − λ)f (x2 ).

Proposition
Soit E ⊂ IRn un ensemble convexe non vide et soit f : E → IR
une fonction convexe. Alors l’ensemble de niveaux
Eα = {x ∈ E/ f (x) ≤ α} est un ensemble convexe.

Preuve :
Théorème
Soit E ⊂ IRn un ouvert convexe non vide et soit f : E → IR une
fonction convexe. Alors f est continue sur E.

Zakia ANKHILI Chapitre 1 Cours d’optimisation ENSA (Marrakech) 2023/2024 6/24

4) Dérivée directionnelle

Définition
Soint E ⊂ IRn un ouvert non vide, f : E → IR une application,
x̄ ∈ E et d ∈ IRn tel que x̄ + λd ∈ E pour un λ > 0 (suffisamment
petit). La dérivée directionnelle de f au point x̄ dans la direction
d, notée f ′ (x̄, d) est donnée quand
f (x̄elle − fpar
existe
+ λd) (x̄):
f ′ (x̄, d) = lim
λ→0+ λ

Proposition
f : E → IR une application convexe. Soit x̄ ∈ E et d ∈ IRn .
Alors, f ′ (x̄, d) existe et on a

f (x̄ + λd) − f (x̄)

f ′ (x̄, d) = inf
λ>0 λ

Zakia ANKHILI Chapitre 1 Cours d’optimisation ENSA (Marrakech) 2023/2024 7/24

5) Sous gradient, sous différentiel d’une fonction convexe

Définition
Soit E ⊂ IRn un ouvert convexe non vide et soit f : E → IR une
fonction convexe.
On appelle sous différentielle de f en a ∈ E et on le note
∂f (a) l’ensemble défini par

∂f (a) = {x∗ ∈ E/ f (x) ≥ f (a) + x∗ T (x − a) ∀x ∈ E}

Un vecteur x∗ ∈ ∂f (a) est dit sous gradient de f en a.

Relions maintenant la notion de sous différentiel et de la dérivée

directionnelle.

Zakia ANKHILI Chapitre 1 Cours d’optimisation ENSA (Marrakech) 2023/2024 8/24

 Théorème
Soient E ⊂ IRn un ouvert convexe non vide, f : E → IR une
fonction convexe et a ∈ E. Alors on a,

∂f (a) = {x∗ ∈ E/ x∗ T d ≤ f ′ (a, d) ∀d ∈ E}

Preuve : Soit x∗ ∈ ∂f (a), d ∈ E et λ > 0/ a + λd ∈ E. Par

définition de ∂f (a),

f (a + λd) − f (a) ≥ λx∗ T d

donc f ′ (a, d) ≥ x∗ T d. Réciproquement, soit x∗ ∈ E tel que

f ′ (a, d) ≥ x∗ T d, ∀d ∈ E. Soit x ∈ E. Par hypothèse, on a

x∗ T (x − a) ≤ f ′ (a, x − a)
f (a + λ(x − a)) − f (a)
= inf
λ>0 λ
≤ f (a+(x−a))−f
1
(a)

Par conséquent x∗ ∈ ∂f (a).

Zakia ANKHILI Chapitre 1 Cours d’optimisation ENSA (Marrakech) 2023/2024 9/24
6) Épigraphe d’une fonction

Définition
Soit f : E → IR une application.
L’ensemble {(x, f (x)) ∈ E × IR} est dit graphe de f .
epi f = {(x, y) ∈ E × IR/ f(x) ≤ y} est dit épigraphe de f .

Théorème
Soit E ⊂ IRn un ens convexe non vide et soit f : E → IR une
application.
f est convexe ssi epi(f ) est convexe.

Preuve : ex

Zakia ANKHILI Chapitre 1 Cours d’optimisation ENSA (Marrakech) 2023/2024 10/24

 Théorème
Soit E ⊂ IRn un ens convexe non vide et soit f : E → IR une
application. Si pour tout x̄ ∈ E, il existe un vecteur sous gradient
x∗ ∈ IRn de f en x̄

(i.e. f (x) ≥ f (x̄) + x∗ T (x − x̄) ∀x ∈ E),

alors f est convexe sur int E.

Preuve: Soit x1 , x2 ∈int E et soit λ ∈ [0, 1].On a int E est

convexe donc λx1 + (1 − λ)x2 ∈ int E. Par hypothèse on a
f (x1 ) ≥ f (λx1 + (1 − λ)x2 ) + (1 − λ)x∗ T (x1 − x2 )
f (x2 ) ≥ f (λx1 + (1 − λ)x2 ) + λx∗ T (x2 − x1 ). D’où

λf (x1 ) + (1 − λ)f (x2 ) ≥ f (λx1 + (1 − λ)x2 ).

Zakia ANKHILI Chapitre 1 Cours d’optimisation ENSA (Marrakech) 2023/2024 11/24

7) Fonction différentiable

Définition
Soit E ⊂ IRn un ens non vide et soit f : E → IR une
application. f est dite différentiable au point x̄ ∈ int E s’il
existe un vecteur noté ∇f (x) appelé vecteur gradient de f au
point x̄ et une fonction α : IRn → IR t.q

∀x ∈ E, f (x) = f (x̄) + ∇f (x̄)T (x − x̄) + ∥x − x̄∥α(x)

où lim α(x) = 0.
x→x̄
Si f est diff aupoint x̄, alors le vecteur
 gradient est unique et
∂f ∂f
on a ∇f (x̄) = (x̄), ..., (x̄)
∂x1 ∂xn
f est dite diff sur l’ouvert E ′ ⊂ E si f est diff en tout point
de E ′ .

Zakia ANKHILI Chapitre 1 Cours d’optimisation ENSA (Marrakech) 2023/2024 12/24

 Corollaire
Soit f : E ⊂ IRn → IR une application diff en x ∈ E. Alors
f ′ (x, d) existe et on a f ′ (x, d) = ∇f (x)T d.

Théorème
Soit f une fonction diff définie sur un ouvert convexe E de IRn .
Alors, f est convexe ssi

∀(x, y) ∈ E × E, f (y) − f (x) ≥ ∇f (x)T (y − x)

Zakia ANKHILI Chapitre 1 Cours d’optimisation ENSA (Marrakech) 2023/2024 13/24

 Preuve Supposons que f est convexe.
∀x, y ∈ E, ∀λ ∈ [0, 1], f (λy + (1 − λx)) ≤ λf (y) + (1 − λ)f (x).
f (x + λ(y − x)) − f (x) ≤ λ(f (y) − f (x))
ce qui implique que
f (x + λ(y − x)) − f (x)
f (y) − f (x) ≥ .
λ
On a le résultat en tendant λ → 0. Réciproquement, soient
x, y ∈ E et λ ∈ [0, 1]. S est convexe, donc λx1 + (1 − λ)y ∈ E.
Par hypothèse on a,
(1) f (y) − f (λx + (1 − λ)y) ≥ λ∇f (λx + (1 − λ)y)T (y − x)

(2) f (x) − f (λx + (1 − λ)y) ≥ (1 − λ)∇f (λx + (1 − λ)y))T (x − y)

En multipliant (1) par (1 − λ) et (2) par λ et en sommant on
trouve
λf (x) + (1 − λ)f (y) ≥ f (λx + (1 − λ)y).
D’où f est convexe.
Zakia ANKHILI Chapitre 1 Cours d’optimisation ENSA (Marrakech) 2023/2024 14/24
 Théorème
Soit E ⊂ IRn un ensemble convexe non vide et soit f : E → IR
une app convexe.
Si f est différentiable au point x̄ ∈ int E, alors

∂f (x̄) = {∇f (x̄)}

Théorème
Soit E ⊂ IRn un ouvert convexe non vide et soit f : E → IR une
app diff sur E. Alors
f est convexe ssi
∀x1 , x2 ∈ E, (∇f (x2 ) − ∇f (x1 ))T (x2 − x1 ) ≥ 0.
f est strictement convexe ssi
∀x1 , x2 ∈ E, (∇f (x2 ) − ∇f (x1 ))T (x2 − x1 ) > 0.

Zakia ANKHILI Chapitre 1 Cours d’optimisation ENSA (Marrakech) 2023/2024 15/24

 Preuve : Supposons que f est convexe. ∀x1 , x2 ∈ E, on a

f (x1 ) ≥ f (x2 ) + ∇f (x2 )T (x1 − x2 )

f (x2 ) ≥ f (x1 ) + ∇f (x1 )T (x2 − x1 ).

En sommant,

f (x1 ) + f (x2 ) ≥ f (x2 ) + f (x1 ) + (∇f (x1 )T − ∇f (x2 )T )(x2 − x1 ).

càd (∇f (x1 )T − ∇f (x2 )T )(x1 − x2 ) ≥ 0. Inversement, supposons

que (∗) est vérifiée. Soit x1 , x2 ∈ E. Il existe alors
x = λx1 + (1 − λx2 ), λ ∈]0, 1[ tel que

f (x2 ) − f (x1 ) = ∇f (x)T (x2 − x1 ).

Par hypothèse, on a (∇f (x) − ∇f (x1 ))T (x − x1 ) ≥ 0. Donc,

(1 − λ)(∇f (x) − ∇f (x1 ))T (x2 − x1 ) ≥ 0, d’où
∇f (x)T (x2 − x1 ) ≥ ∇f (x1 )T (x2 − x1 ). Par conséquent,
f (x2 ) − f (x1 ) ≥ ∇f (x1 )T (x2 − x1 ). D’où f est convexe
Zakia ANKHILI Chapitre 1 Cours d’optimisation ENSA (Marrakech) 2023/2024 16/24
8) Fonction 2 fois différentiable

Définition
Soit E ⊂ IRn , f : E → IR une app et x̄ ∈ int E.
On dit que f est 2 fois diiffen x̄ s’il existe un vecteur
∇f (x̄) ∈ IRn , une matrice carré H(x̄) d’ordre n appelée le
hessien de f au point x̄ et α : IRn → IR tq ∀x ∈ E, f (x) =
1
f (x̄)+∇f (x̄)T (x− x̄)+ (x− x̄)T H(x̄)(x− x̄)+∥x− x̄∥2 α(x),
2
où lim α(x) = 0.
x→x̄
f est dite 2 fois diff sur l’ouvert E ′ ⊂ E si f est diff en tout
point de E ′ .
!
∂2f
H(x̄) =
∂xi ∂xj i,j=1,...,n

Zakia ANKHILI Chapitre 1 Cours d’optimisation ENSA (Marrakech) 2023/2024 17/24

 Exemple

f (x1 , x2 ) = 2x1 + 6x2 − 2x21 − 3x22 + 4x1 x2 .

f est 2 fois diff au point (0, 0).

Théorème
Soit E ⊂ IRn un ouvert convexe non vide et soit f : E → IR une
app 2 fois diff sur E. f est convexe ssi ∀x̄ ∈ E, H(x̄) est semi
défini positif. i.e.

xT H(x̄)x ≥ 0 ∀x ∈ IRn .

Preuve: Supposons f convexe. montrons que

∀x̄ ∈ E, xT H(x̄)x ≥ 0, ∀x ∈ IRn . En effet, ∀x ∈ IRn il existe λ
suffisamment petit tel que x̄ + λx ∈ E

f (x̄ + λx) ≥ f (x̄) + λ∇f (x̄)T x

Zakia ANKHILI Chapitre 1 Cours d’optimisation ENSA (Marrakech) 2023/2024 18/24

 D’autre part,
f (x̄ + λx) = f (x̄) + λ∇f (x̄)T x + 12 λ2 xT H(x̄)x + λ2 ∥x∥2 α(x̄ + λx).
Donc
1 2 T
λ x H(x̄)x + λ2 ∥x∥2 α(x̄ + λx) ≥ 0.
2
En simplifiant par λ2 et en tendant λ → 0, on obtient
xT H(x̄)x ≥ 0, ∀x ∈ IRn . Inversement, supposons le hessien est
semi-défini positif. Soit x, x̄ ∈ E
1
f (x) = f (x̄) + ∇f (x̄)T (x − x̄) + (x − x̄)T H(x̂)(x − x̄)
2
où x̂ = λx + (1 − λ)x̄, pour un λ ∈]0, 1[. puisque x̂ ∈ E et H(x̂)
est semi-défini positif, donc (x − x̄)T H(x̂)(x − x̄) ≥ 0. D’où
f (x) ≥ f (x̄) + ∇f (x̄)T (x − x̄).

Zakia ANKHILI Chapitre 1 Cours d’optimisation ENSA (Marrakech) 2023/2024 19/24

 Théorème
Soit E ⊂ IRn un ouvert non vide et soit f : E → IR une
application 2 fois diff sur E. Alors,
Si ∀x̄ ∈ E, H(x̄) est défini positif (i.e.
∀x̄ ∈ E, xT H(x̄)x > 0, ∀x ∈ IRn∗ ), alors f est strictement
convexe.

Zakia ANKHILI Chapitre 1 Cours d’optimisation ENSA (Marrakech) 2023/2024 20/24

 Soit A une matrice carré symétrique.
1 Les assertions suivantes sont équivalentes

A est semi définie positive

Toutes ses valeurs propres sont ≥ 0
Tous ses mineurs principaux sont ≥ 0
2 Les assertions suivantes sont équivalentes
A est définie positive
Toutes ses valeurs propres sont > 0
Tous ses mineurs principaux diagonaux sont > 0
3 Les assertions suivantes sont équivalentes
A est semi définie négative
Toutes ses valeurs propres sont ≤ 0
Ses mineurs principaux ont un signe alterné large tel que
∆1 ≤ 0
4 Les assertions suivantes sont équivalentes
A est définie négative
Toutes ses valeurs propres sont < 0
Ses mineurs principaux diagonaux ont un signe alterné strict
tel que ∆1 < 0
Zakia ANKHILI Chapitre 1 Cours d’optimisation ENSA (Marrakech) 2023/2024 21/24
 Soit A une matrice carré symétrique d’ordre n.
1 Un mineur principal d’ordre k est le déterminant de la sous
matrice de A d’ordre k obtenue en supprimant les (n − k)
lignes et les (n − k) colonnes correspondantes dans A.
2 Un mineur principal diagonal d’ordre k (noté ∆k ) est le
déterminant de la sous-matrice de A d’ordre k obtenue en
supprimant les (n − k) dernières lignes et les (n − k) dernières
colonnes correspondantes dans A. Une matrice carré d’ordre
n admet n mineurs principaux diagonaux.

Remarque
Le mineur principal diagonal d’ordre k d’une matrice est l’un de ses
mineurs principaux d’ordre k.

Zakia ANKHILI Chapitre 1 Cours d’optimisation ENSA (Marrakech) 2023/2024 22/24

Exemple 1

 
a11 a12 a13
Soit A = a21 a22 a23 
 
a31 a32 a33
1 Les mineurs principaux d’ordre 1 de A sont a11 , a22 et a33
a22 a23
2 Les mineurs principaux d’ordre 2 de A sont ,
a32 a33
a11 a13 a a
et 11 12
a31 a33 a21 a22
3 Le mineur principal d’ordre 3 est det A

Zakia ANKHILI Chapitre 1 Cours d’optimisation ENSA (Marrakech) 2023/2024 23/24

Exemple 2

 
a11 a12 a13
Soit A = a21 a22 a23 
 
a31 a32 a33
1 Le mineur principal diagonal d’ordre 1 de A est :∆1 = a11
2 Le mineur principal diagonal d’ordre 2 de A est
a a
∆2 = 11 12
a21 a22
3 Le mineur principal diagonal d’ordre 3 est ∆3 = det A

Zakia ANKHILI Chapitre 1 Cours d’optimisation ENSA (Marrakech) 2023/2024 24/24