Ce document présente les notions de base de l'optimisation, notamment le calcul différentiel, la convexité, l'optimisation sans contraintes et avec contraintes d'égalité.
0 évaluation0% ont trouvé ce document utile (0 vote)
18 vues13 pages
Ce document présente les notions de base de l'optimisation, notamment le calcul différentiel, la convexité, l'optimisation sans contraintes et avec contraintes d'égalité.
Ce document présente les notions de base de l'optimisation, notamment le calcul différentiel, la convexité, l'optimisation sans contraintes et avec contraintes d'égalité.
Ce document présente les notions de base de l'optimisation, notamment le calcul différentiel, la convexité, l'optimisation sans contraintes et avec contraintes d'égalité.
L’optimisation est une branche des mathématiques utilisée dans beaucoup de
domaines. Elle est très utile aux mathématiques appliquées, à la théorie des jeux, ainsi qu’à la théorie du contrôle et de la commande. L’objectif de ce cours est de présenter des méthodes de résolution des pro- blémes d’optimisation non linéaires avec contraintes. Nous considérons trois ca- tégories de problémes d’optimisation non-linéaires suivantes : 1. Optimisation sans contraintes : maxx∈U ⊂Rn f (x) ou minx∈U ⊂Rn f (x). Il s’agit ici de chercher la valeur optimale ( maximale ou minimale) 2. Optimisation avec contraintes d’égalité 3. Optimisation avec contraintes d’inégalité Il sera aussi question d’aborder les problèmes d’optimisation avec des contraintes mixtes (contraintes d’égalité et d’inégalité).
2 Chapitre 1
Introduction à l’optimisation
Pour résoudre un problème d’optimisation, on se sert de la modélisation ma-
thématique. Comme vu en licence, la résolution d’un problème d’optimisation nécessite trois précisions fondamentales à la modélisation d’un problème. Un programme d’optimisation doit préciser d’abord la fonction objectif ; ensuite s’il est question de minimiser ou de maximiser cette fonction et enfin les contraintes (d’égalité et/ou d’inégalité) liées aux variables de décision. Ce chapitre présente les outils de base nécessaires à la compréhension du cours d’Optimisation.
Définition 1. Un problème d’optimisation consiste à maximiser ou minimiser une
fonction objectif donnée, de plusieurs variables de décision, soumises à des contraintes exprimées sous forme d’équations ou d’inéquations.
1.1 Notions de base
1.1.1 Calcul différentiel Définition 2. Soient un ouvert de Rn et f une fonction définie de A vers R. On dit que f est différentiable en un point a ∈ A si et seulement s’il existe une application linéaire et continue Df(a) : Rn 7→ R telle que f (a + h) − f (a) = Df(a) + ||h||(h), avec limh→0 (h) = 0 où h = (h1 , h2 , · · · , hn ) Df(a) est appelée la différentielle de f au point a.
Définition 3. Soient f une fonction définie sur un intervalle ouvert O de R et a ∈ O.
On dit que f est de classe 0 1. C 1 si f est dérivable sur O, et sa dérivée f est continue sur O ; 0 00 00 2. C 2 si les dérivées f et f existent, et f est continue sur O ; 3. C k si toutes les dérivées jusqu’à l’ordre k (fini) existent sur O, et f k est continue sur l’ouvert O ; 4. C ∞ est indéfiniment dérivable sur O. En d’autres termes, f est de classe C k pour tout k ∈ N.
Si f est de classe C 1 , on dit aussi que la fonction est continûment différentiable.
3 Remarque 1. — Soit f une une fonction définie sur un ouvert U de Rn . f est de classe C 1 si toutes ses dérivées partielles, par rapport à toutes ses variables, existent et sont continues sur U . — La plupart des fonctions usuelles comme les exponentielles, les logarithmes, les polynômes, les fonctions trigonométriques,... sont de classe C ∞
1.1.2 Convexité La convexité [4] est une notion fondamentale en Mathématiques, plus parti- culièrement en optimisation. Définition 4. Soit U un ensemble tel que U ∈ Rn . On dit que l’ensemble U est convexe si ∀x, y ∈ U , on a [x, y] ⊂ U . En d’autres termes, le segment unissant deux points quelconques de U est dans U . Définition 5 (convexité et concavité d’une fonction). Soient un ensemble convexe U ∈ Rn et une fonction f : U 7→ R. 1. f est dite convexe sur U si
f (tx + (1 − t)y) ≤ tf (x) + (1 − t)f (y), ∀x, y ∈ U , ∀t ∈ [0, 1]
2. f est dite strictement convexe sur U si
f (tx + (1 − t)y) < tf (x) + (1 − t)f (y), ∀x, y ∈ U avec x , y, ∀t ∈]0, 1[
On dit que f est cancave si f (tx+(1−t)y) ≥ tf (x)+(1−t)f (y), ∀x, y ∈ U , ∀t ∈ [0, 1]. Par conséquent, on peut remarquer que f est concave (strictement concave) si −f est convexe (strictement convexe). Définition 6 (gradiant d’une fonction). Considérons une fonction différentiable f : ∂f ∂f ∂f Rn 7→ R. On définit le gradiant de f en x comme étant ∇f (x) = [ ∂x (x), ∂x (x), · · · , ∂x (x)]. 1 2 n
Un problème d’optimisation doit pouvoir donner trois précisions fondamen-
tales à la modélisation d’un problème. Un programme d’optimisation doit pré- ciser d’abord la fonction objectif ; ensuite s’il est question de minimiser ou de maximiser cette fonction et enfin les contraintes liées aux variables de décision. Dans un PL, la fonction objectif et les contraintes sont nécessairement linéaires. En résumé, un programme linéaire est conçu pour résoudre le problème d’op- timisation consistant à maximiser ou à minimiser une fonction linéaire 1 , dans le domaine défini, sous des contraintes linéaires.
1.2 Optimisation non linéaire sans contraintes
1.2.1 Conditions du premier ordre Définition 7. Soient U ⊂ Rn , x ∈ U et f : U 7→ R. On dit que 1. On parle souvent de « fonction éconmique ».
4 1. x∗ est un minimum global (absolu) de f sur U si ∀x ∈ U , f (x) ≥ f (x∗ ) (dans ce cas, on peut simplement ; 2. x∗ est un minimum global strict de f sur U si ∀x ∈ U , f (x) > f (x∗ ) ; 3. x∗ est un minimum local (relatif) de f sur U s’il existe un voisinage V de x∗ dans Rn , tel que ∀x ∈ V , f (x) ≥ f (x∗ ) ; 4. x∗ est un minimum local strict de f sur U s’il existe un voisinage V de x∗ dans Rn , tel que ∀x ∈ V , f (x) > f (x∗ ). Pour les définitions de maximum (local, global, local strit, global strict) on renverse les inégalités. On dit qu’un point x∗ est un extrémum s’il est maximum ou minimum. Définition 8 (Point stationnaire). Un point x0 est dit stationnaire si le gradiant ∇f (x0 ) est nul. Notons qu’un point stationnaire qui n’est ni maximum ni minimum est un point singulier Proposition 1 (Conditions d’optimalité). Soit f une fonction différentiable sur un ouvert O. Si x0 est un extrémum (minimum, maximum) local alors ∇f (x0 ) = 0 Il est important de remarquer que les extrema sont des points stationnaires. Il en résulte que le maximum global et miminum global sont aussi des points stationnaires car tout extremum global est local.
1.2.2 Conditions du second ordre
Définition 9. considérons une matrice carreé symétrique A ∈ Rn ∗ Rn . — A est semi-définie positive si et seulement si X t AX ≥ 0, ∀X ∈ Rn Voir le livre [3] pour plus d’approfondissements. Définition 10 (Matrice hessienne). Soit f : Rn 7→ R une fonction de classe C 2 . La matrice hessienne est définie comme suit : ∂f 2 (x) ∂x∂f∂x (x) . . . ∂x∂f∂x ∂x1 1 2 1 n
Hf (x) = ... .. ..
. . ∂f ∂f ... ... ∂xn ∂x1 ∂xn2 ∂f ∂f D’après Schwartz, la matrice est symétrique ; on a ∂xi ∂xj = ∂xj ∂xi , ∀i, j ∈ N∗ .
Proposition 2 (Conditions nécessaire d’optimalité). Soit f une fonction de classe C 2
sur un ouvert O. Si x0 est minimum local alors 1. ∇f (x0 ) = 0 et 2. X t Hf X ≥ 0, pour tout X ∈ Rn (i.e. Hf est semi-définie positive) Proposition 3 (Condition suffisante d’optimalité). Soient un ouvert U de Rn et f une fonction, de classe C 2 en x0 , définie de U vers R. Si ∇f (x0 ) = 0 et X t Hf X ≥ 0, pour tout X ∈ Rn , alors x0 est un minimum local de f . Pour plus de détails, revoir le cours d’optimisation vu en licence.
5 1.2.3 Exemples d’application 1. Soit la fonction f (x) = 4x2 − 12xy + y 2 . Déterminer la nature des points cri- tiques pour cette fonction. 2. Une firme produit deux types de biens A et B. Son coût total de fabrication C et la demande respective des deux biens qA et qB sont donnés par :
Quels sont les niveaux de production qui maximisent le profit ? Quels sont les prix de A et B qui suscitent une demande correspondant à ces niveaux optimaux ?
6 Chapitre 2
Optimisation non-linéaire avec
contraintes d’égalité
Dans de nombreux problèmes, on désire préciser le point x∗ optimisant (maxi-
misant ou minimisant) une fonction f , parmi tous les éléments vérifant les dif- férentes contraintes. On ne considére pas uniquement les points appartenant à l’ensemble de définition mais ceux qui vérifient les contraintes du problème.
2.1 Rappels 2.1.1 Contrainte d’égalité En mathématiques, on appelle contrainte une condition que les solutions d’un problème d’optimisation doivent satisfaire. L’ensemble regroupant toutes les contraintes est appelé ensemble admissible. Nous avons essentiellement deux catégories de contraintes : 1) les contraintes d’égalité, et 2) les contraintes d’inégalité (voir cha- pitre ??).
Définition 11. Une contrainte d’égalité est une équation du type g(x) = 0 (x ∈ Rn , avec g étant une fonction donnée.
Comme en licence, la fonction f est toujours appelée fonction objectif (ou cible). La valeur de k est généralement inférieure à n.
7 2.1.2 Multiplicateur de Lagrange Définition 12. Soient λ = (λ1 , · · · , λk ) ∈ Rk . On appelle fonction lagrangienne (ou Lagrangien) associée à la fonction f sous les contraintes g1 (x), · · · , gk (x), la fonction définie par k X n k L : R × R → R, (x1 , · · · , xn , λ1 , · · · , λk ) 7→ f (x1 , · · · , xn ) − λl gl (xl ). l=1
Il est important de remarquer que le Lagrangien L(.) prend en entrée des va- riables supplémentaires λ1 , · · · , λk appelées multiplicateurs de lagrange. Les mul- tiplicateurs de Lagrange sont un outil mathématique permettant de trouver des points stationnaires d’une fonction différentiable, sous contraintes.
Remarque 2. En particulier, si on a deux variables x et y avec deux multiplicateurs
lagrangiens λ1 et λ2 , alors la fonction de Lagrange est
L(x, y, λ1 , λ2 ) = f (x, y) − λl g1 (x, y) − λ2 g2 (x, y).
2.2 Pratique Cette section permet à l’étudiant de résoudre un problème d’optimisation avec plus de facilité. Le procédé est commun et consiste en ces quatre (4) étapes suivantes 1. la détermination du Lagrangien L , 2. la détermination des points critiques ou points candidats à l’optimum, 3. la vérification des conditions de qualification et 4. la vérification des conditions d’optimalité. Nous allons prendre un example simple pour nous familiariser à cette mé- thode que nous venons de décrire. Considérons la fonction f (x, y) = 5x2 + 62 − xy sous la contrainte x + 2y = 24. On peut remarquer que g(x, y) = x + 2y − 24.
2.2.1 Détermination du Lagrangien
La fonction lagrangienne est
L : R2 × R → R, (x, y, λ) 7→ f (x, y) − λg(x, y) = 5x2 + 62 − xy − λ(x + 2y − 24)
2.2.2 Détermination des points critiques
Il suffit de vérifier que le gradiant de g est différent de zéro.
8 Conditions du premier ordre Il suffit d’annuler le gradiant ∇f (x, y). Comme d’habitude, l’objectif est de trouver les valeurs qui annulent le gradiant. Ces valeurs sont aussi appelées can- didats à l’optimum.En d’autres termes, on pose
On obtient alors le point critique (x∗ , y ∗ , λ∗ ) = (6, 9, −51).
2.2.3 Conditions d’optimalité
Etudions les conditions du second ordre. La matrice hessienne associée à la fonction de lagrange est appelée matrice bordée. ∂g ∂g 0 ∂x (x, y) ∂y (x, y) ∂g ∂2 L ∂2 L HL (x, y, λ) = ∂x (x, y) (x, y) (x, y) ∂x2 ∂y∂x ∂2 L ∂2 L ∂g (x, y) (x, y) (x, y) ∂y ∂x∂y ∂y 2
Remarque 3. On peut rappeler que
— (x∗ , y ∗ ) est un maximum si le déterminant de HL , aux points x = x∗ , y = y ∗ et λ = λ∗ , est positif — (x∗ , y ∗ ) est un manimum si le déterminant de HL , aux points x = x∗ , y = y ∗ et et λ = λ∗ est négatif.
