Scribd
Upload
16 views40 pages

(Slides) RBF Et SVM

Machine learning

Uploaded by

davidzh222
Copyright
© © All Rights Reserved
We take content rights seriously. If you suspect this is your content, claim it here.
Available Formats
Download as PDF, TXT or read online on Scribd
16 views40 pages

(Slides) RBF Et SVM

Machine learning

Uploaded by

davidzh222
Copyright
© © All Rights Reserved
We take content rights seriously. If you suspect this is your content, claim it here.
Available Formats
Download as PDF, TXT or read online on Scribd
You are on page 1/ 40

RBF Networks

16/05/2024 ESGI – 5A – Machine Learning – Nicolas Vidal 96


Intuition
Retours sur l’apprentissage « par cœur »

16/05/2024 ESGI – 5A – Machine Learning – Nicolas Vidal 97


Intuition
Retours sur l’apprentissage « par cœur »

Conserver les exemples et attribuer une ‘zone d’influence’

16/05/2024 ESGI – 5A – Machine Learning – Nicolas Vidal 98


Principes
Régression RBF Naïf :

Classification RBF Naïf :

16/05/2024 ESGI – 5A – Machine Learning – Nicolas Vidal 99


Principes
Régression RBF Naïf :

Classification RBF Naïf :

16/05/2024 ESGI – 5A – Machine Learning – Nicolas Vidal 100


Principes
Régression RBF Naïf :

Classification RBF Naïf :

16/05/2024 ESGI – 5A – Machine Learning – Nicolas Vidal 101


Principes :
Trouver pour un RBF naïf :

Soit et

Alors

16/05/2024 ESGI – 5A – Machine Learning – Nicolas Vidal 102


Principes :
Impact du choix de Gamma :

𝛾=1 𝛾 = 0,1 𝛾 = 0,01

16/05/2024 ESGI – 5A – Machine Learning – Nicolas Vidal 103


Principes
Plus on a d’exemples à disposition, mieux c’est ?

16/05/2024 ESGI – 5A – Machine Learning – Nicolas Vidal 104


Principes
Plus on a d’exemples à disposition, mieux c’est ?

16/05/2024 ESGI – 5A – Machine Learning – Nicolas Vidal 105


Principes
Plus on a d’exemples à disposition, mieux c’est ?

Nombre de = nombre d’exemples !

16/05/2024 ESGI – 5A – Machine Learning – Nicolas Vidal 106


Principes
Plus on a d’exemples à disposition, mieux c’est ?

Nombre de = nombre d’exemples !

Mauvais signe pour la généralisation.

16/05/2024 ESGI – 5A – Machine Learning – Nicolas Vidal 107


Intuition
Ne pas prendre tous les exemples !

16/05/2024 ESGI – 5A – Machine Learning – Nicolas Vidal 108


Intuition
Ne pas prendre tous les exemples !

Elire des ‘représentants’

16/05/2024 ESGI – 5A – Machine Learning – Nicolas Vidal 109


Principes
k-Means

Méthode exacte : NP-Difficile !

16/05/2024 ESGI – 5A – Machine Learning – Nicolas Vidal 110


Algorithme de LLoyd

Répéter :

1:

2:

16/05/2024 ESGI – 5A – Machine Learning – Nicolas Vidal 111


RBF utilisant centres

Trouver pour un RBF utilisant K Centres :

Soit et

Alors

16/05/2024 ESGI – 5A – Machine Learning – Nicolas Vidal 112


SVM

16/05/2024 ESGI – 5A – Machine Learning – Nicolas Vidal 113


Séparation(s) linéaire(s)
Plusieurs (une infinité) de séparations linéaires possibles …

16/05/2024 ESGI – 5A – Machine Learning – Nicolas Vidal 114


Séparation(s) linéaire(s)
Y en a-t-il une meilleure ?

16/05/2024 ESGI – 5A – Machine Learning – Nicolas Vidal 115


Notion de marge…

16/05/2024 ESGI – 5A – Machine Learning – Nicolas Vidal 116


Notion de marge…
Y en a-t-il une meilleure ?

16/05/2024 ESGI – 5A – Machine Learning – Nicolas Vidal 117


Notion de marge…
Y en a-t-il une meilleure ?

16/05/2024 ESGI – 5A – Machine Learning – Nicolas Vidal 118


Notion de marge…
Nouveau problème : trouver les W qui maximisent la marge !

16/05/2024 ESGI – 5A – Machine Learning – Nicolas Vidal 119


Notion de marge…
Nouveau problème : trouver les W qui maximisent la marge !
C.à.D. : Trouver les vecteurs supports :

16/05/2024 ESGI – 5A – Machine Learning – Nicolas Vidal 120


Programmation quadratique à la rescousse !
Minimiser :

Sous contraintes :

Avec :

16/05/2024 ESGI – 5A – Machine Learning – Nicolas Vidal 121


Programmation quadratique à la rescousse !
Une fois obtenu, on peut retrouver :

16/05/2024 ESGI – 5A – Machine Learning – Nicolas Vidal 122


Programmation quadratique à la rescousse !
Une fois obtenu, on peut retrouver :

Attention, il nous manque !

16/05/2024 ESGI – 5A – Machine Learning – Nicolas Vidal 123


Programmation quadratique à la rescousse !
Pour trouver :
1 – Choisir un tq c.à.d un Vecteur Support !

2 – Sachant que

3 – Cela nous donne :

16/05/2024 ESGI – 5A – Machine Learning – Nicolas Vidal 124


Programmation quadratique à la rescousse !
Une fois obtenu, on peut retrouver :

N examples => N paramètres ?

16/05/2024 ESGI – 5A – Machine Learning – Nicolas Vidal 125


Programmation quadratique à la rescousse !
Une fois obtenu, on peut retrouver :

N examples => N paramètres ?

Si n’est pas un vecteur support, alors !

16/05/2024 ESGI – 5A – Machine Learning – Nicolas Vidal 126


Programmation quadratique à la rescousse !
Une fois obtenu, on peut retrouver :

N examples => N paramètres ?

Si n’est pas un vecteur support, alors !

Ainsi, nous avons autant de paramètres dans notre modèle que de


vecteur support => bonne généralisation !
16/05/2024 ESGI – 5A – Machine Learning – Nicolas Vidal 127
Machine à noyaux

16/05/2024 ESGI – 5A – Machine Learning – Nicolas Vidal 128


Retour sur les SVMs
Si nos exemples sont de grande dimension,

Sera difficile à calculer !

16/05/2024 ESGI – 5A – Machine Learning – Nicolas Vidal 129


Retour sur les SVMs
Projection des entrées dans un autre espace (le retour) :

Si l’espace est de dimension supérieure à l’espace de départ, cela


devrait être encore pire !

16/05/2024 ESGI – 5A – Machine Learning – Nicolas Vidal 130


Retour sur les SVMs
Projection des entrées dans un autre espace (le retour) :

Si l’espace est de dimension supérieure à l’espace de départ, cela


devrait être encore pire !

16/05/2024 ESGI – 5A – Machine Learning – Nicolas Vidal 131


Retour sur les SVMs
Projection des entrées dans un autre espace (le retour) :

Si l’espace est de dimension supérieure à l’espace de départ, cela


devrait être encore pire !

Cela dépend du type de transformation !


16/05/2024 ESGI – 5A – Machine Learning – Nicolas Vidal 132
Retour sur les SVMs
Cela dépend du type de transformation !

Nous n’avons besoin que de l’existence de la possibilité d’effectuer


produit scalaire dans le nouvel espace !

16/05/2024 ESGI – 5A – Machine Learning – Nicolas Vidal 133


Différents noyaux :
Noyau Polynomial de degré :

Noyau à Base Radiale :

16/05/2024 ESGI – 5A – Machine Learning – Nicolas Vidal 134


Différents
Equivalent à une
noyaux :
projection dans un
Noyau Polynomial
espace de de degré :
dimension infinie ! Sans augmentation
du nombre de
paramètres !
Noyau à Base Radiale :

16/05/2024 ESGI – 5A – Machine Learning – Nicolas Vidal 135

You might also like