Cours :

Simulation des procédés industriels

Séance 5:
Chapitre 3: Méthodes et outils
d’optimisation

Mme Y.KHEMIES

1
Définition du problème d’optimisation

 Problème d'optimisation = minimisation (ou maximisation) d'une fonction objectif

(de coût): on appelle problème d’optimisation ou de programmation mathématique
le problème suivant: opt f(x),

Le scalaire f(x) est appelé fonction objectif ou critère

Le domaine D des variables admissibles sera supposé défini par des contraintes de
type:

Si l’optimisation est dite sans contraintes

La recherche du maximum de f(x) se ramène à la recherche du minimum de –f(x),
en effet si le point minimise f(x) alors il maximise –f(x) et :

Donc les deux types de problème (minimisation et maximisation) sont équivalents

et on les désigne par le terme optimisation

2
 Définition du problème d’optimisation

On distingue:
Le minimum (ou maximum) relatif ou local
Le minimum (ou maximum) absolu ou global

Maximum
global

Maximum
local
Minimum
Minimum
local
global

3
Caractéristiques de la fonction objectif :
Plusieurs concepts permettent de caractériser la fonction objectif. Il est important
d’identifier les caractéristiques de celle-ci car chaque algorithme d’optimisation est
basé sur ses hypothèses spécifiques.
1. Fonctions convexes et concaves
Un ensemble E est dit convexe si pour M1 et M2 deux points quelconques de E,
tous les points du segment [M1,M2] appartiennent à E.

Exemple
• Le disque est un ensemble convexe :

• Le rectangle est un ensemble convexe :

• Le cercle n’est pas un ensemble convexe : les points du

segment ]M1,M2[ n’appartiennent pas au cercle.

• Cet ensemble n’est pas convexe.

4
La Figure illustre une fonction strictement convexe et une fonction strictement concave.

5
6
2. Fonctions différentiables: du premier ordre

Soit f : une fonction continue

La fonction notée est appelée le gradient de f et est définie par :

Exemple : soit
Le gradient de f est donné par :

7
Matrice gradient:

Soit f : telle que : est différentiable pour :

Dans ce cas f est différentiable et la fonction:

Est appelée matrice gradient et est définie par :

La matrice gradient est souvent utilisée sous sa forme transposée et est

alors appelée matrice jacobienne

8
3. Fonctions différentiables: du deuxième ordre

Matrice hessienne :

Soit f : une fonction deux fois différentiable

La fonction notée:

Est appelée matrice hessienne ou hessien de f et est définie par:

Exemple : soit

9
Théorème : convexité par le hessien
Soit f une fonction deux fois différentiable. Si est semi définie positive
(respectivement définie positive pour tout x, alors f est convexe.

Relation entre le caractère de f(x) et la matrice H(x)

Les valeurs propres H(x) est F(x) est

de H(x) sont:
>0 Définie positive Strictement
convexe
≥0 Semi définie Convexe
positive
≤0 Semi définie Concave
négative
<0 Définie négative Strictement
concave

Exemple:
Classifiez f(x) en utilisant le tableau
10
4. Linéarité et non linéarité
• Une fonction f est dite linéaire si elle s’écrit :

Ou C est un vecteur indépendant de x

• Toute fonction qui n’est pas linéaire est dite non linéaire

11
Résolution du problème d’optimisation:

On considère le problème de la recherche de l’optimum d’une fonction f

soit :

 On cherche à optimiser la fonction f(x) sur l’intervalle [a,b]. Revient à chercher

le point x* tel que: y*=f(x*)= opt f(x) avec x*ϵ[a b].
• La recherche de ce point est basée sur le calcul différentiel.
• On cherche analytiquement des valeurs de x annulant la première dérivée de
f(x) dit point critique
•L’étude du signe de la dérivée seconde au point critique permet de les classer:
 Maximum
Minimum
Point d’inflexion

12
 Méthodes de résolution du problème d’optimisation
Il existe de nombreuses sortes de problèmes d’optimisation. Certaines caractéristiques
permettent de les distinguer :
1. comportent-ils des contraintes ?
2. Les fonction en jeu sont-elles linéaires ? Sont-elles quadratiques ? Sont-elles convexes
3. Les domaines de définition des fonctions sont-ils continus ou discrets ?
Tous ces problèmes possèdent des structures différentes et ne peuvent être traités de la
même façon. Le présent cours se focalise sur les problèmes d’optimisation continue et
non linéaire. Ceux-ci sont habituellement définis par un ensemble X appelé ensemble de
solutions admissibles et une fonction objectif
f:X→R
Le problème consiste à trouver l’élément de X dont le coût est minimal (ou maximal, mais
cela ne change rien à la difficulté ou aux types de méthodes employées). Cela peut être
formulé de manière plus concise comme suit :
minimiser f(x)
sous contrainte x ∈ X

I. Optimisation non linéaire:

1. sans contraintes
2. avec contraintes:
a) de type égalité
b) de type inégalité
II. Optimisation ou programmation linéaire 13
 Méthodes d’optimisation sans contraintes

Nous considérons ici les méthodes permettant de résoudre un problème d’optimisation sans
contraintes (appelées aussi parfois méthodes d’optimisation directe),
soit le problème minimiser f(x) avec x ∈ Rn pour lequel nous commencerons par décrire les
méthodes suivantes :
I. Les méthodes classiques
II. Les méthodes itératives
1. Les méthodes basées sur le gradient
2. Les méthodes de Newton
3. Les méthodes utilisant des directions conjuguées
4. La méthode du simplexe (ou méthode de Nelder et Mead)

14
 I. Méthodes classiques:

Fonction à une seule variable :

Résultat 1: si le signe de la dérivée est positif puis devient négatif quand x croit, alors
l’optimum est un maximum de la fonction.
Si le signe de la dérivée est négatif puis devient positif quand x croit, alors l’optimum
est un minimum.

Résultat 2: Soit Le point en lequel :

Alor si en ce point:
1. il s'agit d’un minimum
2. il s'agit d’un maximum

Exemple 1 :
Déterminons la nature de l’optimum en utilisant le résultat 15
Exemple 2:
un fabriquant de postes de télévisions produit q postes par semaine à un cout total de

Et son prix s’exprime par

Montrons que le bénéfice net maximum est atteint lorsque la production est de 50
postes par semaine.

Fonction à plusieurs variables :

Conditions d’optimalité

16
17
Exemple 1:
Une firme aéronautique fabrique des avions qu’elle vend sur deux marchés étrangers.
Soit q1 le nombre d’avions vendus sur le premier marché et q2 le nombre d’avions
vendus sur le deuxième marché. Les fonctions de demande dans les deux marchés
respectifs sont:
p1=60-2q1
p2=80-4q2
P1 et p2 sont les deux prix de vente. La fonction de cout total de la firme est :
C= 50+40q
Ou q est le nombre total d’avions produits. Il faut trouver le nombre d’avions que la
firme doit vendre sur chaque marché pour maximiser son bénéfice.

18
Méthode du gradient

19
20
Exemple

21
 Méthodes d’optimisation non linéaire avec contraintes

Formulation générale des problèmes d’optimisation non linéaire avec contraintes

où les fonctions f, g et h sont différentiables au moins une fois, et f est typiquement non-linéai
Cependant nous étudierons le cas où g et h sont linéaires avec un intérêt tout particulier. Nous
nous intéresserons précisément
dans ce chapitre aux problèmes
(PCE) problème avec contraintes d’égalité,
(PCI) problème avec contraintes d’inégalité,

22
 Problème avec contraintes d’égalité

On va tout d’abord s’intéresser au problème suivant, dit problème d’optimisation avec

contraintes d’égalité seulement :

Dans le cas ou les contraintes s’expriment sous forme d’égalités,

l’optimisation de la fonction peut être obtenue grâce à la méthode des
multiplicateurs de Lagrange

Dans un premier temps, introduisons cette méthode dans le cas simple ou la

fonction à optimiser (fonction objectif) est une fonction à deux variables f(x,y)
soumise à une seule contrainte de la forme g(x,y)=0.

23
La méthode des multiplicateurs de Lagrange consiste à construire une fonction auxiliaire
F(x,y,λ), appelée Lagrangien, définie ainsi:

F(x,y,λ)=f(x,y)+λg(x,y) lorsqu’on cherche un minimum

F(x,y,λ)=f(x,y)-λg(x,y) lorsqu’on cherche un maximum
Où λ (appelé multiplicateur de Lagrange) est une inconnue.
Il faut ensuite annuler ses premières dérivées partielles (condition nécessaire):

Les points candidats s’obtiennent en résolvant ce système de trois équations à trois

inconnues (x,y,λ).
Ces points candidats satisfont la contrainte mais il reste à determiner leur nature; pour
cela introduisons la matrice hessienne bordée:
24
La condition suffisante pour l’existence d’un extremum est donnée par le
résultat suivant:

Résultat:

Soit P(x0,y0, f(x0,y0)) le point en lequel :

Alors, si en ce point
Det(H)<0 → minimum au point P
Det(H)>0 → maximum au point P

25
La méthode des multiplicateurs de Lagrange peut se généraliser à l’optimisation d’une
fonction à n variables f(x1, ......., xn) soumise à k contraintes : gj(x1, ......., xn)=0 , j=1,…….., k
où 1≤k≤n.

Dans ce cas, le Lagrangien s ’écrit:

Exemple :
Trouvez les extrema de la fonction objectif:

Sous la contrainte:

26
Problème avec contraintes d’inégalité

On s’intéresse maintenant au problème suivant, dit problème d’optimisation avec

contraintes d’inégalité seulement :

Si x* est la solution de ce problème, alors deux situations sont envisageables :

27
Conditions de Kuhn et Tucker

Si x* est une solution de ce problème, alors il existe un unique vecteur λ*

tel que x* vérifie les conditions suivantes :

Exemple
Résoudre le problème suivant:

28
29
30
31
32
33
34