Corso di Laurea Magistrale in

Ingegneria Informatica
A.A. 2024-2025
II semestre

Ottimizzazione

Giovanni Giallombardo

DIMES, Università della Calabria

Sommario

1. Informazioni generali

2. Introduzione al corso

3. Richiami di algebra lineare

4. Problemi di Ottimizzazione: definizioni e classificazione

5. Richiami di calcolo differenziale

1/32
Informazioni generali
Lezioni — Esercitazioni

Docente
Giovanni Giallombardo
 DIMES, Cubo 44Z, Piano superiore
 0984494670
 [email protected]
 ricevimento
X online: tutti i giorni per appuntamento su Teams
X in presenza: tutti i giorni per appuntamento (Cubo 44Z)

2/32
Struttura del corso

34 ore di lezione + 16 ore di esercitazione

Orario
Martedì, 10:30-13:30, Aula 43B2
Venerdì, 8:30-10:30, Aula 43B2

Piano delle lezioni

Dal 25 febbraio all’11 aprile: 35 ore
Dal 29 aprile al 16 maggio: 15 ore

3/32
Online

Teams Sign in

Comunicazioni
Tutte le comunicazioni (richieste di chiarimenti, ricevimento,
informazioni) che non siano di carattere personale, saranno scambiate
mediante le chat dei canali di Teams
Per i messaggi personali il contatto preferibile è l’email

4/32
Materiale didattico

Dispense distribuite tra i file dei canali Teams durante il corso

X Slides
X Capitoli di libri
X Articoli scientifici
Testi consigliati:
X L. Grippo and M. Sciandrone, Introduction to Methods for
Nonlinear Optimization, Springer, 2023
X J. Nocedal and S. J. Wright, Numerical Optimization, Springer, 2006
X D. Bertsekas, Nonlinear Programming, Athena Scientific, 2016
X B. Schölkopf and A. Smola, Learning with Kernels, The MIT Press,
2018
X T.Hastie, R. Tishirani, and J. Friedman, The Elements Of Statistical
Learning: Data Mining, Inference, and Prediction, Springer, 2009

5/32
Struttura d’esame

Prova orale
In forma tradizionale
Possibilità di concordare il calendario delle prove
In forma alternativa: proposte?

6/32
Introduzione al corso
Requisiti d’accesso

Contenuti
Algebra lineare (matrici, determinanti, sistemi di equazioni)
Calcolo differenziale per funzioni di più variabili
Analisi probabilistica (valore atteso, densità congiunta)
Statistica (stimatori, leggi dei grandi numeri)
Programmazione lineare e dualità

Insegnamenti
Algebra Lineare e Matematica Discreta
Matematica I
Matematica II
Metodi Probabilistici della Ricerca Operativa
Ricerca Operativa
(Modelli Statistici e Statistical Learning, Data Mining)
7/32
Ricerca Operativa

Operations Research – Management Science

È una disciplina della matematica applicata che ha come oggetto la
definizione di modelli e la messa a punto di metodi per la soluzione di
problemi decisionali (decision-making) che si manifestano in diversi
ambiti della vita reale.

Ottimizzazione (Programmazione Matematica)

Simulazione
Teoria dei giochi
Teoria delle code
Analisi statistica
Machine learning
···

8/32
Fasi di un processo decisionale

Analisi del problema

Costruzione del modello
Analisi del modello
Soluzione numerica
Validazione del modello

9/32
Problema di ottimizzazione

Consideriamo

una funzione reale f : Rn 7→ R

un insieme Ω ⊆ Rn

Un problema di Ottimizzazione (P) consiste nel determinare, se esi-

ste, un punto di minimo della funzione f tra i punti dell’insieme Ω
{
min f(x)
(P)
subject to x ∈ Ω

x ∈ Rn viene chiamato vettore delle variabili di decisione

f viene chiamata funzione obiettivo
Ω viene chiamato insieme ammissibile o regione ammissibile
x ∈ Ω rappresenta una soluzione ammissibile

10/32
Richiami di algebra lineare
Vettori

Notazione
Utilizziamo la convenzione del prodotto righe per colonne per
rappresentare i prodotti scalari.
Tutti i vettori sono rappresentati da colonne.
 ∂f(x)

    ∂x1
x1 d1  
     ∂f(x) 
 x2   d2   
 ∂x2

x=
 .. 
 d=
 .. 
 ∇f(x) =  .. 
 .   .   
 . 
 
xn dn ∂f(x)
∂xn

11/32
Vettori

Norma
Una norma k · k : Rn 7→ R è una funzione che associa scalari a vettori e che
ha le seguenti proprietà:
kxk ≥ 0 ∀x ∈ Rn
kcxk = |c|kxk ∀c ∈ R, ∀x ∈ Rn
kxk = 0 ⇔ x=0
kx + yk ≤ kxk + kyk ∀x, y ∈ Rn

Norme ℓ1 , ℓ2 , ℓ∞
∑n
Norma ℓ1 : kxk1 , i=1 |xi | (Norma di Manhattan)
( ∑n )1
2 2
√
Norma ℓ2 : kxk2 , i=1 xi = x⊤ x (Norma Euclidea)
Norma ℓ∞ : kxk∞ , max {|xi | : 1 ≤ i ≤ n} (Norma di Chebychev)

12/32
Matrici

Autovalori e autovettori
Il polinomio caratteristico di una matrice quadrata A ∈ Rn×n è definito da

ϕ(λ) = det(λI − A)

Le n radici del polinomio caratteristico si chiamano autovalori di A.

Un autovettore x associato a un autovalore λ è definito come un vettore che
soddisfa Ax = λx.
La matrice A è singolare se e solo se ha un autovalore pari a zero.
Se la matrice A è simmetrica i suoi autovalori sono tutti reali.

Proprietà
Sia A ∈ Rn×n una matrice simmetrica e indichiamo con λ1 ≤ . . . ≤ λn i suoi
autovalori (tutti reali). Allora vale la seguente relazione

λ1 kxk22 ≤ x⊤ Ax ≤ λn kxk22

13/32
Matrici

Matrici definite positive

Una matrice simmetrica A ∈ Rn×n si dice definita positiva se

x⊤ Ax > 0 ∀x ∈ Rn , x 6= 0

mentre si dice semidefinita positiva se

x⊤ Ax ≥ 0 ∀x ∈ Rn

Proprietà

Una matrice simmetrica è definita positiva se e solo se i suoi

autovalori sono tutti positivi
Una matrice simmetrica è semidefinita positiva se e solo se i suoi
autovalori sono tutti non negativi
L’inversa di una matrice simmetrica e definita positiva è simmetrica e
definita positiva

14/32
Problemi di Ottimizzazione:
definizioni e classificazione
Definizioni fondamentali

Il problema di ottimizzazione (P) si dice inammissibile se

Ω=∅
cioè se non esistono soluzioni ammissibili.
Il problema di ottimizzazione (P) si dice illimitato (inferiormente)
se
∀M > 0 ∃x ∈ Ω tale che f(x) < −M.

Ottimo (minimo) globale

Si dice che il problema di ottimizzazione (P) ammette soluzione
ottima (finita) se

∃x∗ ∈ Ω tale che f(x∗ ) ≤ f(x) ∀x ∈ Ω.

Il punto x∗ è detto punto di minimo globale e il corrispondente valore

f(x∗ ) di dice minimo globale.

15/32
Definizioni fondamentali

Minimo globale stretto

Il punto x∗ è detto punto di minimo globale stretto e il corrispondente valore
f(x∗ ) di dice minimo globale stretto se

f(x∗ ) < f(x) ∀x ∈ Ω : x 6= x∗ .

Minimo locale
Indichiamo con
B(x∗ , δ) = {x ∈ Rn : kx − x∗ k ≤ δ}
un intorno di x∗ di raggio δ > 0.
Il punto x∗ è detto punto di minimo locale e il corrispondente valore f(x∗ ) è
detto minimo locale se

∃δ > 0 : f(x∗ ) ≤ f(x) ∀x ∈ B(x∗ , δ) ∩ Ω.

Se vale la diseguaglianza stretta, per ogni x ∈ B(x∗ , δ) ∩ Ω con x 6= x∗ , il punto

si dice di minimo locale stretto.
16/32
Problemi di massimo

Un problema di massimo
max f(x)
x∈Ω

può essere formulato come problema di minimo equivalente osser-

vando che se x∗ ∈ Ω è un punto di massimo globale allora

f(x∗ ) ≥ f(x) ∀x ∈ Ω

cioè
−f(x∗ ) ≤ −f(x) ∀x ∈ Ω
∗
quindi x ∈ Ω è un punto di minimo globale della funzione −f(x)

x∗ = arg max f(x) = arg min −f(x)

x∈Ω x∈Ω

e
f(x∗ ) = max f(x) = − min −f(x)
x∈Ω x∈Ω

17/32
Classificazione dei problemi di ottimizzazione

Problemi di ottimizzazione continua

Le variabili possono assumere tutti i valori reali (x ∈ Rn );
Ottimizzazione vincolata se Ω ⊂ Rn
Ottimizzazione non vincolata se Ω = Rn

Problemi di ottimizzazione discreta

Le variabili sono vincolate ad essere numeri interi (x ∈ Zn );
Ottimizzazione a numeri interi se Ω ⊆ Zn
Ottimizzazione combinatoria se Ω ⊆ {0, 1}n

Problemi di ottimizzazione mista

Presenza simultanea di variabili continue e variabili discrete.

18/32
Problemi di ottimizzazione continua

Problemi di ottimizzazione non vincolata

Le variabili possono assumere tutti i valori reali (x ∈ Rn ):

min f(x)
x∈Rn

Problemi di ottimizzazione (programmazione) vincolata

La regione ammissibile Ω viene descritta mediante un insieme di
eguaglianze e diseguaglianze


min
 f(x)
subject to ci (x) = 0 ∀i ∈ E


 ci (x) ≥ 0 ∀i ∈ I

dove ci : Rn 7→ R per ogni i ∈ E, I rappresentano i vincoli del

problema.
19/32
Vincoli

Un vincolo di diseguaglianza ci (x) ≥ 0, con i ∈ I, si dice

soddisfatto in un punto x̄ se ci (x̄) ≥ 0

violato in un punto x̄ se ci (x̄) < 0
attivo in un punto x̄ se ci (x̄) = 0
ridondante se la sua eliminazione non modifica la regione
ammissibile

20/32
Problemi di programmazione non lineare



min
 f(x)
subject to ci (x) = 0 ∀i ∈ E (P)


 ci (x) ≥ 0 ∀i ∈ I

Quando le funzioni f e ci sono tutte lineari il problema (P) si

dice problema di programmazione lineare
Quando almeno una delle funzioni f, ci non è lineare il
problema (P) si dice problema di programmazione non lineare

21/32
Problemi di programmazione non lineare

Un problema di programmazione lineare non vincolato non am-

mette ottimo finito, quindi non ha senso occuparsi di ottimizza-
zione non vincolata nel caso di problemi lineari (Corso di Ricerca
Operativa).
Nello studio della programmazione non lineare ci occuperemo di

X Problemi di ottimizzazione non vincolata

min f(x)
x∈Rn

X Problemi di ottimizzazione vincolata



min
 f(x)
subject to ci (x) = 0 ∀i ∈ E



ci (x) ≥ 0 ∀i ∈ I

22/32
Uno sguardo al futuro (del corso)

Regressione

23/32
Uno sguardo al futuro (del corso)

Regressione

23/32
Uno sguardo al futuro (del corso)

Regressione

23/32
Uno sguardo al futuro (del corso)

Regressione

23/32
Uno sguardo al futuro (del corso)

Support Vector Machine

24/32
Richiami di calcolo differenziale
Funzioni reali di una variabile reale

f : R 7→ R x0 ∈ R t∈R

Derivata
f(x0 + t) − f(x0 )
f′ (x0 ) = lim
t→0 t

Derivata seconda
f′ (x0 + t) − f′ (x0 )
f′′ (x0 ) = lim
t→0 t

Formula di Taylor
Sia f(x) definita, e derivabile n − 1 volte, su un intervallo aperto ]a, b[, e
supponiamo che esista la derivata n-esima di f(x) in x0 ∈]a, b[. Allora risulta
1 ′′ 1
f(x0 + t) = f(x0 ) + f′ (x0 )t + f (x0 )t2 + · · · + f(n) (x0 )tn + o(tn )
2! n!
25/32
Funzioni reali di una variabile reale

Interpretazione geometrica

26/32
Funzioni reali di una variabile reale

Interpretazione geometrica

26/32
Funzioni reali di una variabile reale

Interpretazione geometrica

26/32
Funzioni reali di una variabile reale

Interpretazione geometrica

26/32
Funzioni reali di una variabile reale

Interpretazione geometrica

26/32
Funzioni reali di una variabile reale

Interpretazione geometrica

26/32
Funzioni reali di una variabile reale

Interpretazione geometrica

26/32
Funzioni reali di una variabile reale

Interpretazione geometrica

26/32
Funzioni reali di una variabile reale

Interpretazione geometrica

26/32
Funzioni reali di una variabile reale

Esistenza di minimi (e massimi)

f(x) è continua in un intervallo chiuso e limitato [a, b]

f(x) è dotata di massimo e minimo in [a, b]

Caratterizzazione dei minimi

f(x) è definita su un intervallo aperto ]a, b[
x0 ∈]a, b[ è un punto di minimo (relativo) per f(x)

f(x) è derivabile in x0

f′ (x0 ) = 0

27/32
Funzioni reali di più variabili reali

f : Rn 7→ R x0 ∈ Rn ei ∈ Rn d ∈ Rn t∈R

Derivata parziale
( )
∂f f(x0 + tei ) − f(x0 )
= lim
∂xi x=x0
t→0 t

Derivata direzionale
f(x0 + td) − f(x0 )
f′ (x0 , d) = lim
t→0 t

Proprietà

Indichiamo con ϕ(t) , f(x0 + td), allora

∃f′ (x0 , d) ⇐⇒ ∃ϕ′ (0)

f′ (x0 , d) = ϕ′ (0) 28/32

Funzioni reali di più variabili reali

Differenziabilità e gradiente Link

Differenziabilità
f(x0 + d) − f(x0 ) − g(x0 )⊤ d
∃g(x0 ) ∈ Rn : 0 = lim
∥d∥→0 kdk

Gradiente  
∂f(x)
∂x1
 
 ∂f(x) 
 
g(x0 ) = ∇f(x0 ) =  
∂x2
 .. 
 
 . 
∂f(x)
∂xn x=x0

Differenziabilità ⇒ Continuità (ed esistenza delle derivate parziali)

Esistenza delle derivate parziali continue ⇒ Differenziabilità
f ∈ C 1 , classe delle funzioni continuamente differenziabili (funzioni
continue con derivate parziali continue)
29/32
Funzioni reali di più variabili reali

Interpretazione geometrica: f(x1 , x2 ) = x21 + x22

30/32
Funzioni reali di più variabili reali

Interpretazione geometrica: f(x1 , x2 ) = x21 + x22

30/32
Funzioni reali di più variabili reali

Interpretazione geometrica: f(x1 , x2 ) = x21 + x22

30/32
Funzioni reali di più variabili reali

Interpretazione geometrica: f(x1 , x2 ) = x21 + x22

30/32
Funzioni reali di più variabili reali

Differenziabilità e matrice Hessiana

f ∈ C 2 , classe delle funzioni due volte continuamente differenziabili

(funzioni continue con derivate parziali prime e seconde continue)
Matrice Hessiana
 ∂ 2 f(x) ∂ 2 f(x) ∂ 2 f(x)

∂x21
···
 ∂x1 ∂x2 ∂x1 ∂xn

 ∂ 2 f(x) ∂ 2 f(x) ∂ 2 f(x) 
 ··· 
 ∂x2 ∂x1 ∂x22 ∂x2 ∂xn 
∇ f(x0 ) = 
2
 .. .. ..


 .. 
 . . . . 
 
∂ 2 f(x) ∂ 2 f(x) ∂ 2 f(x)
∂xn ∂x1 ∂xn ∂x2
··· ∂∂x2n x=x0

31/32
Funzioni reali di più variabili reali

Differenziabilità e formula di Taylor

f ∈ C 2 , classe delle funzioni due volte continuamente differenziabili

(funzioni continue con derivate parziali prime e seconde continue)
Formula di Taylor
1
f(x0 + d) = f(x0 ) + ∇f(x0 )⊤ d + d⊤ ∇2 f(x0 )d + o(kdk2 )
2

32/32