Scribd Logo
Importer

Bienvenue sur Scribd !

  • 51 vues

    Tout Savoir Sur La Régression Pénalisé

    Transféré par

    Mor fall syla
    Ce document décrit différentes méthodes de régression pénalisée comme le Lasso, le Ridge et l'Elasticnet. Ces méthodes utilisent des pénalisations sur les coefficients des modèles pour éviter le sur-apprentissage.

    Droits d'auteur :

    © All Rights Reserved
    Téléchargez comme PDF, TXT ou lisez en ligne sur Scribd

    Tout Savoir Sur La Régression Pénalisé

    Transféré par

    Mor fall syla
    51 vues19 pages
    Ce document décrit différentes méthodes de régression pénalisée comme le Lasso, le Ridge et l'Elasticnet. Ces méthodes utilisent des pénalisations sur les coefficients des modèles pour éviter le sur-apprentissage.

    Titre original

    Tout savoir sur la régression pénalisé

    Copyright

    © © All Rights Reserved

    Formats disponibles

    PDF, TXT ou lisez en ligne sur Scribd

    Avez-vous trouvé ce document utile ?

    Ce contenu est-il inapproprié ?

    Ce document décrit différentes méthodes de régression pénalisée comme le Lasso, le Ridge et l'Elasticnet. Ces méthodes utilisent des pénalisations sur les coefficients des modèles pour éviter le sur-apprentissage.

    Droits d'auteur :

    © All Rights Reserved
    Téléchargez comme PDF, TXT ou lisez en ligne sur Scribd
    Télécharger au format pdf ou txt
    51 vues19 pages

    Tout Savoir Sur La Régression Pénalisé

    Transféré par

    Mor fall syla
    Ce document décrit différentes méthodes de régression pénalisée comme le Lasso, le Ridge et l'Elasticnet. Ces méthodes utilisent des pénalisations sur les coefficients des modèles pour éviter le sur-apprentissage.

    Droits d'auteur :

    © All Rights Reserved
    Téléchargez comme PDF, TXT ou lisez en ligne sur Scribd
    Télécharger au format pdf ou txt
    sur 19

    Tout savoir sur la régression pénalisée

    Partie 3

    Présenté par Morgan Gautherot


    A. Pénalisation de la fonction de coût
    Sur-entraînement et sous-entraînement

    Sous-entraînement Entraînement correct Sur-entraînement


    Erreur sur le jeu d’entraînement : Élevée Erreur sur le jeu d’entraînement : Erreur sur le jeu d’entraînement :
    Faible Nulle
    Erreur sur le jeu de test : Élevée Erreur sur le jeu de test : Erreur sur le jeu de test :
    Faible Moyenne

    Prix
    Prix

    Prix

    Surface Surface Surface


    Jeu d’entraînement Jeu de test
    Complexité du modèle
    𝑦! = 𝑤! + 𝑤" . 𝑥" + 𝑤# . 𝑥" # +
    𝑦! = 𝑤! + 𝑤" . 𝑥" 𝑦! = 𝑤! + 𝑤" . 𝑥" + 𝑤# . 𝑥" #
    𝑤$ . 𝑥" $ +𝑤% . 𝑥" % + ⋯

    Prix
    Prix

    Prix

    Surface Surface Surface


    Jeu d’entraînement Jeu de test
    Pénalisation des paramètres

    𝑦! = 𝑤! + 𝑤" . 𝑥" + 𝑤# . 𝑥" # + 𝑤$ . 𝑥" $ + 𝑤% . 𝑥" % + ⋯


    Prix

    Pénalisation des paramètres


    )
    1
    min𝐽 𝑤 = 0(𝑦! (') − 𝑦 (') )# +1000. 𝑤$ + 1000. 𝑤% + ⋯
    & 2𝑚
    '("

    Surface
    Minimiser l’erreur Minimiser la valeur des
    Jeu d’entraînement Jeu de test de prédiction paramètres 𝑤$ , 𝑤% , …
    B. La régression Lasso
    Régression Lasso ou pénalisation L1

    ● Un modèle plus simple avec moins de paramètres est moins sujet


    au sur-entraînement.
    Paramètre de régularisation

    $ '
    1 !
    𝐽 𝑤 = '(𝑦) − 𝑦 ! )%+𝜆 ' |𝑤( |
    2𝑚
    !"# &"#

    Régularisation
    Impact du coefficient de régularisation
    $ '
    1 !
    𝜆 trop petit 𝐽 𝑤 = '(𝑦) − 𝑦 ! )%+𝜆 ' |𝑤( |
    2𝑚
    !"# &"#
    Prix

    Prix
    Surface Surface
    Impact du coefficient de régularisation
    $ '
    1 !
    𝜆 trop grand 𝐽 𝑤 = '(𝑦) − 𝑦 ! )%+𝜆 ' |𝑤( |
    2𝑚
    !"# &"#
    Prix

    Prix
    Surface Surface
    Impact du coefficient de régularisation

    [0.01, …, 0.1, …., 0.5] $ '


    1 !
    𝐽 𝑤 = '(𝑦) − 𝑦 ! )%+𝜆 ' |𝑤( |
    𝜆 adéquat 2𝑚
    !"# &"#
    Prix

    Prix
    Surface Surface
    C. La régression Ridge
    Régression Ridge ou pénalisation L2

    ● Un modèle avec des paramètres plus homogène est moins sujet au


    sur-entraînement.
    Paramètre de régularisation

    $ '
    1
    𝐽 𝑤 = '(𝑦) ! − 𝑦 ! )%+𝜆 ' 𝑤&%
    2𝑚
    !"# &"#

    Régularisation
    D. La régression Elasticnet
    Régression Elasticnet ou régularisation L1 et L2
    Paramètre de régularisation

    $ ' '
    1
    𝐽 𝑤 = '(ℎ(𝑥 ! ) − 𝑦 ! )% +𝜆# ' |𝑊( | + 𝜆% ' 𝑤&%
    2𝑚
    !"# &"# &"#

    Paramètre de régularisation

    $ ' '
    1 1−𝛼
    𝐽 𝑤 = '(ℎ(𝑥 ! ) − 𝑦 ! )% +𝜆 𝛼 ' |𝑊( | + ' 𝑤&%
    2𝑚 2
    !"# &"# &"#

    Mix entre la régularisation L1 et L2


    Régression Elasticnet ou régularisation L1 et L2

    $ ' '
    1 1−𝛼
    𝛼=0 𝐽 𝑤 = '(ℎ(𝑥 ! ) − 𝑦 ! )% +𝜆 𝛼 ' |𝑊( | + ' 𝑤&% L2
    2𝑚 2
    !"# &"# &"#

    $ ' '
    1 1−𝛼
    𝛼=1 𝐽 𝑤 = '(ℎ(𝑥 ! ) − 𝑦 ! )% +𝜆 𝛼 ' |𝑊( | + ' 𝑤&% L1
    2𝑚 2
    !"# &"# &"#
    E. Pour la régression logistique
    Pour la classification

    Sous-entraînement Entraînement correct Sur-entraînement


    Régression logistique pénalisée

    $ &
    1 𝜆
    Ridge 𝐽 𝑤 =− /𝑦 ! log ℎ 𝑥 ! + 1−𝑦 ! log 1 − ℎ 𝑥 ! + / 𝑤%'
    𝑚 2𝑚
    !"# %"#

    $ &
    1 ! ! ! !
    𝜆
    Lasso 𝐽 𝑤 =−
    𝑚
    /𝑦 log ℎ 𝑥 + 1−𝑦 log 1 − ℎ 𝑥 +
    2𝑚
    / 𝑊(
    !"# %"#

    $ & &
    1 1−𝛼
    Elasticnet 𝐽 𝑤 =− /𝑦 ! log ℎ 𝑥 ! + 1−𝑦 ! log 1 − ℎ 𝑥 ! + 𝜆 𝛼 / |𝑊( | + / 𝑤%'
    𝑚 2
    !"# %"# %"#
    Résumé

    ● Lasso/pénalisation L1
    ■ Sélection des variables les plus importantes

    ● Ridge/pénalisation L2
    ■ Homogénéisation des paramètres

    ● Elasticnet/pénalisation L1 & L2
    ■ Sélection des variables et homogénéisation des
    paramètres.

    Vous aimerez peut-être aussi