Chapitre 1 - RAPPELS MATHEMATIQUES DANS L'OPTIMISATION

CHAPITRE 1 RAPPELS MATHEMATIQUES DANS L’OPTIMISATION
CHAPITRE 1
RAPPELS MATHEMATIQUES DANS L’OPTIMISATION
1
1. Définition
Le problème d'optimisation est d'arriver à la meilleure décision possible dans n'importe quelle situation.
Il faut noter que la meilleure ne peut pas être toujours atteinte pour une raison ou une autre.
Dans un problème d'optimisation est de choisir une fonction à plusieurs variables (modélisation) pour
être maximiser ou minimiser qui peut être soumise à des contraintes. Le type de contraintes est :
d'égalité, d’inégalité…
2. Structure générale d'un problème d'optimisation

Minimiser ou maximiser f(X), X ∈ ℝn , X = (x1 , x2 , … , xn ):
hk (X) = 0 , k = 1. . K
sachant {
g j (X) ≥ 0 , j = 1. . J
(x1 , x2 , … ; xn ) ∈ ℝn : Variables de décision
fest la fonction objective (cout, parfait)
Un élément de ℝn est une solution x̂. Cette solution x̂ est une solution admissible si x̂ ∈
Ω (Ω ensemble des solutions admissible)
on dit que la solution x̂ est optimal si : f(x̂) ≤ f(x) ∀x
On appelle f(x̂): fonction coût.
Maximiser une fonction f revient à minimiser son opposée −f. Ainsi nous nous limiterons aux résultats
qui concernent le problème de minimisation.
3. Conditions d’optimalité
3.1 Définition
Figure 1: Fonction unimodal Figure 2: Fonction multimodal
 Minimum globale 𝑋̂ = 𝑠𝑖 𝑓(𝑋̂) ≤ 𝑓(𝑋)∀𝑋 ∈ Ω

 Minimum local 𝑋̂ = 𝑠𝑖 𝑓(𝑋̂) ≤ 𝑓(𝑋) ∀𝑋 ∈ [𝑋̂ +
−
𝜀]: [𝑋̂ − 𝜀; 𝑋̂ + 𝜀] (∀𝑋 ∈ voisinage de 𝑋̂ dans le
domaine d’intervalle admissible)
Remarque : C’est le même cas pour un problème d’optimisation de maximation(≥)
2
3.2 Conditions d'optimalité pour une fonction à une seule variable

 Condition nécessaire
Pour qu’un optimum locale (max ou min) d'une fonction f(x) différentiable existe :
𝝏𝒇
| =𝟎
𝝏𝒙 𝒙=𝟎
 Conditions suffisantes
𝝏𝟐 𝒇
> 𝟎 ∶ 𝒐𝒑𝒕𝒊𝒎𝒖𝒎 𝒍𝒐𝒄𝒂𝒍𝒆
𝝏𝒙𝟐
𝝏𝟐 𝒇
< 𝟎 ∶ 𝒐𝒑𝒕𝒊𝒎𝒖𝒎 𝒈𝒍𝒐𝒃𝒂𝒍𝒆
𝝏𝒙𝟐
3.3 Conditions d'optimalité pour une fonction à plusieurs variables

3.3.1 Vecteur gradient
Si toutes les dérivées partielles existent et constantes, le vecteur gradient de f est un vecteur colonne
notée 𝛁𝒇(𝒙) :
𝝏𝒇(𝒙)
𝛁𝒇(𝒙) =
𝝏𝒙𝒊
𝝏𝒇(𝒙)
𝝏𝒙𝟏
𝝏𝒇(𝒙)
𝛁𝒇(𝒙) = 𝝏𝒙𝟐
:
:
𝝏𝒇(𝒙)
( 𝝏𝒙𝒏 )
3.3.2 Matrice hessienne (le Hessien)
Si les dérivées partielles secondes existent et constantes, la matrice hessienne de f est définie comme
suit :
𝝏𝟐 𝒇 𝝏𝟐 𝒇 𝝏𝟐 𝒇
.. ..
𝝏𝒙𝟏 , 𝝏𝒙𝟏 𝝏𝒙𝟏 , 𝝏𝒙𝟐 𝝏𝒙𝟏 , 𝝏𝒙𝒏
𝝏𝟐 𝒇
𝟐
𝝏 𝒇(𝒙)
𝐇(𝒙) = (𝒉𝒊𝒋 ) = (𝒙) = 𝝏𝒙𝟏 , 𝝏𝒙𝟐
𝝏𝒙𝒊 𝝏𝒙𝒋 :
:
𝝏𝟐 𝒇 𝝏𝟐 𝒇
.. .. .. ..
( 𝝏𝒙𝟏 , 𝝏𝒙𝒏 𝝏𝒙𝒏 , 𝝏𝒙𝒏 )
3
3.3.3 Matrice définit positive
𝟏
Soit la forme quadratique 𝐟(𝐱) = 𝟐 𝐗 𝐓 𝐀𝐗 :
La matrice A est définie positive (DP) si 𝐗 𝐓 𝐀𝐗 > 𝟎, ∀𝐗 ≠ 𝟎 et 𝐟(𝐱)

La matrice A est semi-définie positive (SDP) si 𝐗 𝐓 𝐀𝐗 ≥ 𝟎 c'est-à-dire ∃ 𝐗 ≠ 𝟎 𝐭𝐞𝐥𝐪𝐮𝐞 𝐗 𝐓 𝐀𝐗 = 𝟎
La matrice A de 𝒇 est définie positive (négative) ; si ses valeur propres 𝝀𝒊 > 𝟎(< 𝟎)∀𝒊
La matrice A de 𝒇 est semi-définie positive (négative) ; si ses valeur propres 𝝀𝒊 ≥ 𝟎(≤ 𝟎)∀𝒊
La matrice A de 𝒇 est indéfinie ; si certains valeur propres de A sont positives et d’autres sont négatives
̂ est une solution optimale 𝛁𝒇(𝑿
Condition d'optimalité nécessaire 𝑿 ̂) = 𝟎
̂ est une solution optimale :
Conditions d'optimalité stationnaire suffisantes 𝑿
̂ ) = 𝟎 et H(𝑿
𝛁𝒇(𝑿 ̂ ) = 𝛁 𝟐 𝒇( 𝐱) est définie positive
 Matrice définie positive ou (DP)
𝟏
Soit 𝒇 est une forme quadratique𝒇(𝑿) = 𝟐 𝑿𝑻 𝑨𝑿, la matrice A est définie positif Si :𝑿𝒕 𝑨𝑿 > 𝟎; 𝑿 ≠ 𝟎
A est une matrice définie positive ou (DP) si tout les principaux mineurs associés à la matrice A sont
positifs :
𝒂𝟏𝟏 𝒂𝟏𝟐 …… 𝒂𝟏𝒏

𝒂 𝒂𝟐𝟐 𝒂𝟐𝟑 𝒂𝟐𝒏
(𝒂𝟐𝟏 𝒂𝟑𝟐 𝒂𝟑𝟑 𝒂𝟑𝒏 )
𝟑𝟏
𝒂𝟒𝟏 … …… 𝒂𝒏𝒏
1er mineur ∆𝟏 = 𝒂𝟏𝟏
𝒂𝟏𝟏 𝒂𝟏𝟐
2ème mineur ∆𝟐 = |𝒂 |
𝟐𝟏 𝒂𝟐𝟐
𝒂𝟏𝟏 𝒂𝟏𝟐 𝒂𝟏𝟑
3 mineur ∆𝟑 = |𝒂𝟐𝟏 𝒂𝟐𝟐 𝒂𝟐𝟑 |
ème
𝒂𝟑𝟏 𝒂𝟑𝟐 𝒂𝟑𝟑

Si ∆𝟏 > 𝟎 ; ∆𝟐 > 𝟎 𝒆𝒕 ∆𝟑 > 𝟎 ⇒ 𝑨 𝒆𝒔𝒕 (𝐃𝐏)
 Matrice définie négative (DN):
∆𝟏 > 𝟎 ; ∆𝟐 > 𝟎 𝒆𝒕 ∆𝟑 < 𝟎 ⇒ 𝑨 𝒆𝒔𝒕 (𝐃𝐍)

 Matrice semi définie positive (SDP):
∆ 𝒆𝒔𝒕 𝑺𝑫𝑷: 𝒔𝒊 𝑿𝑻 . 𝑨𝑿 ≥ 𝟎; ∃𝑿 ≠ 𝟎 𝒕𝒆𝒍𝒒𝒖𝒆 𝑿𝑻 . 𝑨𝑿 = 𝟎
4. Notion de convexité dans un problème d'optimisation
4
4.1 Définition
Soit S un ensemble tel que 𝐒 ⊂ ℝ𝐧

S est convexe ∀𝐱 ∈ 𝐒 𝐞𝐭 𝐲 ∈ 𝐒 : 𝛌𝐱 + (𝟏 − 𝛌)𝐲 ∈ 𝐒 tel que 𝟎 ≤ 𝛌 ≤ 𝟏
𝛌=𝟎→𝐲
𝛌=𝟏→𝐱
Expression du segment [x y] : 𝛌𝐱 + (𝟏 − 𝛌)𝐲 tel que 𝟎 ≤ 𝝀 ≤ 𝟏 :
Figure 3: Ensemble Convexe et Non convexe
4.2 Définition 2
Soit f une fonction 𝐟: 𝐒 → ℝ S est Convexe

F est dite convexe sur S si : 𝐟(𝛌𝐱 + (𝟏 − 𝛌)𝐲) ≤ 𝛌𝐟(𝐱) + (𝟏 − 𝛌)𝐟(𝐲) ∀𝐱, 𝐲 ∈ 𝐒 𝐞𝐭 ∀𝛌 ∈ [𝟎, 𝟏]
Figure 4: Fonction Convexe et Non convexe

Remarque :
Les fonctions linaires sont Convexes : 𝐟(𝛌𝐱 + (𝟏 − 𝛌)𝐲) = 𝛌𝐟(𝐱) + (𝟏 − 𝛌)𝐟(𝐲)
5. Conditions d'optimalité pour une fonction à deux variables
5
Dans cette partie on considère 𝒇: ℝ𝟐 → ℝ

5.1 Définition
Soit 𝒇: ℝ𝟐 → ℝ et (𝒙 ̂) ∈ ℝ𝟐 on dit que :

̂, 𝒚
 Le point (x̂, ŷ) est une solution minimale local (maximale local), s’il existe un disque ouvert Dr de
centre (x̂, ŷ) et de rayon r > 0 tel que
∀(x, y) ∈ Dr : f(x, y) ≥ f(x̂, ŷ) (f(x, y) ≤ f(x̂, ŷ) )
 Le point (x̂, ŷ) est une solution minimale globale sur ℝ2 (maximale globale) si
∀(x, y) ∈ ℝ2 : f(x, y) ≥ f(x̂, ŷ) (f(x, y) ≤ f(x̂, ŷ) )
 Le point (x̂, ŷ) s’appelle point stationnaire de f ou point critique si on a :
∂f ∂f
(x̂, ŷ) = 0 et (x̂, ŷ) = 0
∂x ∂y
∂f
(x̂, ŷ)
0 ∂x
∇f(x̂, ŷ) = ( ) où ∇f(x̂, ŷ) = ( ∂f )
0 (x̂, ŷ)
∂y
5.2 Conditions nécessaires d’optimalité

0
f: ℝ2 → ℝ; si (x̂, ŷ)est une solution minimale local (maximale) alors : ∇f(x̂, ŷ) = ( )
0
Soit (x̂, ŷ) ∈ ℝ2 . On appelle matrice hessienne de f au point (x̂, ŷ), la matrice symétrique d’ordre 2 :
∂2 f ∂2 f
(x
̂ , ŷ ) (x̂, ŷ)
∂x 2 ∂y ∂x
H(x̂, ŷ) =
∂2 f ∂2 f
(x̂, ŷ) (x̂, ŷ)
(∂y ∂x ∂y 2 )
La matrice 𝐇(𝒙 ̂) est dite semi définie positive, si pour tout point (𝒙, 𝒚) ∈ ℝ𝟐 on a
̂, 𝒚
𝒙
(𝒙, 𝒚)𝐇(𝒙 ̂) (𝒚) ≥ 𝟎
̂, 𝒚
La matrice 𝐇(𝒙 ̂) est dite semi définie négative, si pour tout point (𝒙, 𝒚) ∈ ℝ𝟐 on a
̂, 𝒚
𝒙
(𝒙, 𝒚)𝐇(𝒙 ̂) (𝒚) ≤ 𝟎
̂, 𝒚
La matrice 𝐇(𝒙 ̂) est dite définie positive, si pour tout point (𝒙, 𝒚) ∈ ℝ𝟐 telle que (𝒙, 𝒚) ≠ (𝟎, 𝟎) on a
̂, 𝒚
𝒙
(𝒙, 𝒚)𝐇(𝒙 ̂) (𝒚) > 𝟎
̂, 𝒚
La matrice 𝐇(𝒙 ̂) est dite définie négative, si pour tout point (𝒙, 𝒚) ∈ ℝ𝟐 telle que (𝒙, 𝒚) ≠ (𝟎, 𝟎) on
̂, 𝒚
𝒙
̂) (𝒚) < 𝟎
̂, 𝒚
a :(𝒙, 𝒚)𝐇(𝒙
Théorème
6
Soit 𝒇: ℝ𝟐 → ℝ , 𝒔𝒊 (𝒙 ̂)est une solution minimale(maximale) local alors :

̂, 𝒚
𝟎
̂) = ( ) et 𝐇(𝒙
̂, 𝒚
∀ 𝒇(𝒙 ̂) est semi définie positive (est semi définie négative).
̂, 𝒚
𝟎
La réciproque du théorème est fausse.
On obtient l’algorithme suivant :
Algorithme
Le couple (𝒙, 𝒚) ∈ ℝ𝟐 donné

Si 𝛁𝒇(𝒙, 𝒚) ≠ 𝟎, alors (𝒙, 𝒚) n’est ni une solution minimale locale ni une solution maximale locale.
Si 𝛁𝒇(𝒙, 𝒚) = 𝟎 ; calculer 𝐇(𝒙, 𝒚)
Si 𝐇(𝒙, 𝒚) n’est pas semi définie positive et n’est pas semi définie négative, alors (𝒙, 𝒚) n’est pas une
solution minimale locale et n’est pas une solution maximale locale.
Si 𝐇(𝒙, 𝒚) est semi définie positive, continuez les recherches car (𝒙, 𝒚) peut être une solution minimale
locale ou non.
Si 𝐇(𝒙, 𝒚) est semi définie négative, continuez les recherches car (𝒙, 𝒚) peut être une solution
maximale locale ou non.
5.3 Conditions suffisantes d’optimalité
Soit 𝒇: ℝ𝟐 → ℝ, 𝒇 admet le point (𝒙 ̂) comme solution optimale admet des dérivée partielles et
̂, 𝒚
dérivable et continue dans un voisinage on suppose :
𝟎
̂) = ( )
̂, 𝒚
𝛁𝒇(𝒙
𝟎
𝟐
𝝏𝟐 𝒇 𝝏𝟐 𝒇 𝝏𝟐 𝒇
𝚫 = 𝟐 (𝒙 ̂). 𝟐 (𝒙
̂, 𝒚 ̂) − [
̂, 𝒚 (𝒙 ̂)]
̂, 𝒚
𝝏𝒙 𝝏𝒚 𝝏𝒚𝝏𝒙
a) ∆≠ 0
𝝏𝟐 𝒇
↗ 𝒔𝒊 (𝒙 ̂) < 𝟎 ⇒ 𝒑𝒐𝒊𝒏𝒕(𝒙
̂, 𝒚 ̂) 𝒆𝒔𝒕 𝒖𝒏 𝒎𝒂𝒙
̂, 𝒚
∆> 𝟎 𝝏𝒙𝟐
𝝏𝟐 𝒇
↘ 𝒔𝒊 (𝒙 ̂) > 𝟎 ⇒ 𝒑𝒐𝒊𝒏𝒕 (𝒙
̂, 𝒚 ̂) 𝒆𝒔𝒕 𝒖𝒏 𝒎𝒊𝒏
̂, 𝒚
𝝏𝒙𝟐
∆< 𝟎 ⇒ 𝒑𝒐𝒊𝒏𝒕(𝒙 ̂) est ni min ni max
̂, 𝒚
b) ∆ = 0 on ne peut pas conclure.

Chapitre 1 - RAPPELS MATHEMATIQUES DANS L'OPTIMISATION

Transféré par

Droits d'auteur :

Formats disponibles

Chapitre 1 - RAPPELS MATHEMATIQUES DANS L'OPTIMISATION

Transféré par

Informations du document

Titre original

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Chapitre 1 - RAPPELS MATHEMATIQUES DANS L'OPTIMISATION

Transféré par

Droits d'auteur :

Formats disponibles

CHAPITRE 1 RAPPELS MATHEMATIQUES DANS L’OPTIMISATION

RAPPELS MATHEMATIQUES DANS L’OPTIMISATION

2. Structure générale d'un problème d'optimisation

Figure 1: Fonction unimodal Figure 2: Fonction multimodal

 Minimum globale 𝑋̂ = 𝑠𝑖 𝑓(𝑋̂) ≤ 𝑓(𝑋)∀𝑋 ∈ Ω

3.2 Conditions d'optimalité pour une fonction à une seule variable

3.3 Conditions d'optimalité pour une fonction à plusieurs variables

3.3.2 Matrice hessienne (le Hessien)

3.3.3 Matrice définit positive

La matrice A est définie positive (DP) si 𝐗 𝐓 𝐀𝐗 > 𝟎, ∀𝐗 ≠ 𝟎 et 𝐟(𝐱)

 Matrice définie positive ou (DP)

𝒂𝟏𝟏 𝒂𝟏𝟐 …… 𝒂𝟏𝒏

𝒂𝟑𝟏 𝒂𝟑𝟐 𝒂𝟑𝟑

∆𝟏 > 𝟎 ; ∆𝟐 > 𝟎 𝒆𝒕 ∆𝟑 < 𝟎 ⇒ 𝑨 𝒆𝒔𝒕 (𝐃𝐍)

∆ 𝒆𝒔𝒕 𝑺𝑫𝑷: 𝒔𝒊 𝑿𝑻 . 𝑨𝑿 ≥ 𝟎; ∃𝑿 ≠ 𝟎 𝒕𝒆𝒍𝒒𝒖𝒆 𝑿𝑻 . 𝑨𝑿 = 𝟎

4. Notion de convexité dans un problème d'optimisation

Soit S un ensemble tel que 𝐒 ⊂ ℝ𝐧

Expression du segment [x y] : 𝛌𝐱 + (𝟏 − 𝛌)𝐲 tel que 𝟎 ≤ 𝝀 ≤ 𝟏 :

Figure 3: Ensemble Convexe et Non convexe

Soit f une fonction 𝐟: 𝐒 → ℝ S est Convexe

Figure 4: Fonction Convexe et Non convexe

Dans cette partie on considère 𝒇: ℝ𝟐 → ℝ

Soit 𝒇: ℝ𝟐 → ℝ et (𝒙 ̂) ∈ ℝ𝟐 on dit que :

5.2 Conditions nécessaires d’optimalité

Soit 𝒇: ℝ𝟐 → ℝ , 𝒔𝒊 (𝒙 ̂)est une solution minimale(maximale) local alors :

Le couple (𝒙, 𝒚) ∈ ℝ𝟐 donné

5.3 Conditions suffisantes d’optimalité

b) ∆ = 0 on ne peut pas conclure.

Vous aimerez peut-être aussi