Module : Machine Learning

Les métriques
Réalisé par :
Proposé par :
Farah DRIDI
M. Mohamed Ridha AMAMOU - ISAMM
Rihem DRIDI

2023 - 2024
Plan

01 02
Introduction Les types de métriques

03 04
Exemples sur Python Conclusions
01
Introduction
Introduction
Les métriques en machine learning jouent un rôle essentiel dans l'évaluation des
performances des modèles.

Elles fournissent des indications quantitatives sur la capacité d'un algorithme à

généraliser à partir des données d'entraînement vers de nouvelles données.

Ces métriques sont diverses et peuvent être regroupées en différentes familles,

parmi lesquelles les plus populaires sont celles dédiées à la classification, au
classement et à la régression.
02
Les types de
métriques
03
Exemples sur
Python
Les métriques de Les métriques Les métriques de Les métriques
Les distances
classification de classement régression statistiques

Qu’est ce que les métriques de classification ?

Les métriques de classification sont des mesures utilisées pour évaluer la performance
d'un modèle de classification.

Elles comparent les prédictions du modèle avec les vraies étiquettes (classes) des
exemples d'un ensemble de données.
Les métriques de Les métriques Les métriques de Les métriques
Les distances
classification de classement régression statistiques

Les métriques de classification les plus utilisées :

Accuracy

Rappel

Précision

Score F1
Les métriques de Les métriques Les métriques de Les métriques
Les distances
classification de classement régression statistiques

La matrice de confusion
La matrice de confusion est un tableau qui résume la performance d'un modèle de classification
en comparant les prédictions du modèle avec les vraies étiquettes de classe.

Il fournit une vue détaillée de la performance du modèle et permet de comprendre où il fait des
erreurs.
Les métriques de Les métriques de Les métriques de Les métriques
Les distances
classification classement régression statistiques

Accuracy

C'est l'une des métriques les plus simples utilisées en apprentissage automatique.

Elle définit à quel point votre modèle est précis. [2]

Les métriques de Les métriques de Les métriques de Les métriques
Les distances
classification classement régression statistiques

Rappel

Le rappel est le rapport entre un vrai positif et la somme d'un vrai positif et d'un faux négatif.

Le rappel nous montre à quelle fréquence le modèle prédit. [2]

Les métriques de Les métriques de Les métriques de Les métriques
Les distances
classification classement régression statistiques

Précision

La précision mesure le nombre d'instances correctement prédites par le modèle parmi

toutes les instances prédites comme positives.
Les métriques de Les métriques de Les métriques de Les métriques
Les distances
classification classement régression statistiques

Score F1

l n’y a pas de fin à la perfection. Rappel et précision peuvent être combinés pour obtenir
une meilleure évaluation, c’est le score de la F1.
Les métriques de Les métriques Les métriques de Les métriques
Les distances
classification de classement régression statistiques

Exercice
Supposons que nous ayons un modèle de classification binaire pour prédire si un patient est
malade ou non :

Correct : Malade , Non malade , Non malade , Malade , Malade , Malade , Non malade

Predicted : Malade , Non malade , Malade , Malade , Non Malade , Malade , Malade
Les métriques de Les métriques Les métriques de Les métriques
Les distances
classification de classement régression statistiques

Exercice
Correct : Malade , Non malade , Non malade , Malade , Malade , Malade , Non malade

Predicted : Malade , Non malade , Malade , Malade , Non Malade , Malade , Malade
Les métriques de Les métriques Les métriques de Les métriques
Les distances
classification de classement régression statistiques

Exercice
Les métriques de Les métriques Les métriques de Les métriques
Les distances
classification de classement régression statistiques

Qu’est ce que les métriques de classement ?

Les métriques de classement sont utilisées pour évaluer la performance des modèles
de classement dans des tâches où la hiérarchie ou l'ordre des prédictions est
important, par exemple dans les systèmes de recommandation.
Les métriques de Les métriques Les métriques de Les métriques
Les distances
classification de classement régression statistiques

Les métriques de classement les plus utilisées :

MRR (Mean Reciprocal Rank)

DCG (Discounted Cumulative Gain)

Les métriques de Les métriques Les métriques de Les métriques
Les distances
classification de classement régression statistiques

MRR (Mean Reciprocal Rank)

MRR évalue la qualité d'un classement en mesurant la position du premier élément correct dans la
liste classée.

, où Q est un ensemble d’échantillons. [3]

Un MRR plus élevé indique que les éléments corrects ont tendance à apparaître plus haut dans
les listes classées, ce qui est souhaitable dans les systèmes de recommandation.
 Les métriques de Les métriques Les métriques de Les métriques
Les distances
classification de classement régression statistiques

Exercice
Supposons que vous ayez un système de recommandation qui génère des listes de
recommandations pour différents utilisateurs. Pour chaque utilisateur, le système classe les éléments
pertinents (ceux que l'utilisateur a réellement appréciés) en haut de la liste recommandée. Vous avez
les résultats suivants pour trois utilisateurs (A, B, C) avec trois recommandations pour chaque
utilisateur. Les éléments pertinents sont notés avec un "X" dans la liste recommandée.

Utilisateur A : Liste recommandée : [X , , ]

Utilisateur B : Liste recommandée : [ , X, ]

Utilisateur C : Liste recommandée : [ , , X]

Calculez le Mean Reciprocal Rank (MRR) pour ce système de recommandation.

 Les métriques de Les métriques Les métriques de Les métriques
Les distances
classification de classement régression statistiques

Correction de l’exercice:
Calcul des Reciprocal Ranks :

Utilisateur A : RR (A)= 1/1 = 1 (le premier élément est pertinent)

Utilisateur B : RR (B)= 1/2 = 0.5 (le deuxième élément est pertinent)

Utilisateur C : RR (C)= 1/3 = 0.33 (le troisième élément est pertinent)

Calcul du MRR :

MRR = (RRA+RRB+RRC) / 3

= (1+0.5+0.33)/3

≈ 0.61
Les métriques de Les métriques Les métriques de Les métriques
Les distances
classification de classement régression statistiques

DCG (Discounted Cumulative Gain)

DCG mesure la qualité d'un classement en attribuant des gains décroissants aux éléments en
fonction de leur position dans la liste classée. Il prend en compte à la fois la pertinence des
éléments et leur position dans le classement.

, où rel est la pertinence de l’élément à la position i dans la

liste classée, et p est la longueur de la liste. [3]

DCG accorde plus d'importance aux éléments pertinents qui sont positionnés en haut du classement
et diminue la contribution des éléments pertinents à mesure que leur position dans le classement
augmente.
 Les métriques de Les métriques Les métriques de Les métriques
Les distances
classification de classement régression statistiques

Exercice
Considérez un système de recommandation qui génère des listes ordonnées d'articles pour trois
utilisateurs (A, B, C). Chaque liste contient cinq recommandations, et les gains (pertinences) pour chaque
élément sont fournis. Calculez le Discounted Cumulative Gain (DCG) pour chaque utilisateur et le Mean
DCG (moyenne) pour le système. Les résultats sont les suivants :

Utilisateur A : Liste recommandée : [3, 2, 3, 0, 1]

Utilisateur B : Liste recommandée : [2, 0, 3, 1, 3]

Utilisateur C : Liste recommandée : [3, 1, 2, 0, 3]

1. Calculez le DCG pour chaque utilisateur.

2. Calculez le Mean DCG pour ce système de recommandation.
Les métriques de Les métriques Les métriques de Les métriques
Les distances
classification de classement régression statistiques

Correction de l’exercice:
Les métriques de Les métriques Les métriques de Les métriques
Les distances
classification de classement régression statistiques

MRR et DCG sont deux métriques importantes pour évaluer la performance des
systèmes de recommandation, en particulier dans des situations où l'ordre des
prédictions est crucial.

MRR se concentre sur la position du premier élément correct, tandis que DCG
prend en compte la pertinence et la position de tous les éléments dans la liste
classée.
Les métriques de Les métriques Les métriques de Les métriques
Les distances
classification de classement régression statistiques

Les métriques de régression

Les métriques de régression sont utilisées en machine learning pour
optimiser les modèles de régression, évaluer leurs performances finales
et les comparer entre eux.
 Les métriques de Les métriques Les métriques de Les métriques
Les distances
classification de classement régression statistiques

Erreur absolue moyenne

La MAE est l'une des métriques de régression. Dans un premier temps, la
différence entre la valeur réelle et la valeur prédite est calculée. Ensuite,
la moyenne des absolus de ces différences donne la MAE. L'équation
pour MAE est donnée ci-dessous

Où,
● n est le nombre d'entrées
● yj est la valeur réelle
● ŷj est la valeur prédite
Avantages et Inconvénients
Avantages MAE :
➢ La MAE pénalise autant les grandes erreurs que les petites erreurs.
➢ Facile à comprendre et à interpréter, Elle est dans la même unité que
la variable à prédire
➢ La MAE pénalise autant les grandes erreurs que les petites erreurs

Inconvénients :
➢ La MAE n'est pas différentiable en tout point et par conséquent moins
optimisable. La valeur absolue n’est pas dérivable en 0, ce qui rend
la MAE plus compliquée à optimiser
Les métriques de Les métriques Les métriques de Les métriques
Les distances
classification de classement régression statistiques

Erreur quadratique moyenne [4]

La MSE est une autre métrique ML populaire. La majorité des data

scientists l'utilisent dans des problèmes de régression. Comme MAE, vous
devez calculer la différence entre les valeurs réelles et les valeurs
prédites. Mais dans ce cas, les différences sont mises au carré et la
moyenne est prise
Références
[1] https://kobia.fr/regression-metrics-quelle-metrique-choisir/

[2] https://books.google.tn/books?id=ZbgAEAAAQBAJ&printsec=frontcover&dq=books

[3] https://learn.microsoft.com/fr-fr/dotnet/machine-learning/resources/metrics?

[4] https://ciksiti.com/fr/chapters/5822-15-popular-machine-learning-metrics-for-da
ta-scientist?fbclid=IwAR02RXK47-8NSOaecyCRq0nEHtHiloGhBjT01OJC21a_xMBVHAdpqj8P1
mg
What is this topic about?

Mercury Venus Mars

It’s the closest Venus has a Despite being red,
planet to the Sun beautiful name and Mars is actually a
and the smallest in is the second planet cold place. It’s full of
the Solar System from the Sun iron oxide dust
Contents of this template
You can delete this slide when you’re done editing the presentation

Fonts To view this template correctly in PowerPoint, download and install the fonts we used

Used and alternative resources An assortment of graphic resources that are suitable for use in this presentation

Thanks slide You must keep it so that proper credits for our design are given

Colors All the colors used in this presentation

Icons and infographic resources These can be used in the template, and their size and color can be edited

Editable presentation theme You can edit the master slides easily. For more info, click here

For more info: You can visit our sister projects:

Slidesgo | Blog | FAQs Freepik | Flaticon | Storyset | Wepik | Videvo
Features of the topic

Mars Neptune
Despite being red, It’s the farthest
Mars is very cold planet from the Sun

Jupiter Saturn
Jupiter is the biggest Saturn is a gas giant
planet of them all and has several rings
Recommendations

Mars Venus Neptune

Despite being red, Venus is the second Neptune is the farthest
Mars is very cold planet from the Sun planet from the Sun

Mercury Saturn Jupiter

Mercury is the closest Saturn is a gas giant Jupiter is the biggest
planet to the Sun and has several rings planet of them all
 Fonts & colors used
This presentation has been made using the following fonts:

IBM Plex Mono Bold

(https://fonts.google.com/specimen/IBM+Plex+Mono)

Poppins Normal & Bold

(https://fonts.google.com/specimen/Poppins)

#f5f8ff #bfbef7 #0c0a9e #8208d5

#1d1d1d #eb9109
Image always
reinforce
the concept
You can give a brief description
of the topic you want to talk
about here. For example, if you
want to talk about Mercury, you
can say that it’s the smallest
planet in the entire Solar System
4,498,300,000
Big numbers catch your audience’s attention
9h 55m 23s
Jupiter’s rotation period

333,000
The Sun’s mass compared to Earth’s

386,000 km
Distance between the Earth and the Moon
Awesome words
A picture is worth
a thousand words
Practical exercise - calculator
Objective:
Introduce participants to basic coding concepts by building a simple calculator

Instructions:
1. Open a Python development environment and write the following code:
# Simple Calculator
num1 = int(input("Enter the first number: "))
num2 = int(input("Enter the second number: "))
print("Sum:", num1 + num2)
print("Difference:", num1 - num2)
print("Product:", num1 * num2)
print("Quotient:", num1 / num2)
2. Run the program and experiment with different numbers
3. Observe the output
Brainstorm and idea generation
It’s the smallest
Mercury
planet of them all
Earth
Venus is the second
Venus
planet from the Sun

Power 1
It’s the farthest
Neptune
planet from the Sun
Mars
Saturn was named
Saturn
after a Roman god
Main topic and details

Mars Neptune
Despite being red, It’s the farthest
Mars is very cold planet from the Sun

Jupiter Saturn
Jupiter is the biggest It’s a gas giant and
planet of them all has several rings
Popular programming languages

01 Neptune Mercury is the closest planet to the Sun and

the smallest of them all

02 Venus Venus has a beautiful name and is the second

planet from the Sun

03 Earth Earth is the third planet from the Sun and the
only one that harbors life in the Solar System

04 Saturn Saturn is a gas giant and has several rings. It’s

composed mostly of hydrogen and helium
Sequences
Saturn is composed of Mercury is the closest Jupiter was named
hydrogen and helium planet to the Sun after a Roman god

First Next Next

Next Next Last

Despite being red, Earth is the third Venus has extremely
Mars is very cold planet from the Sun high temperatures
Classification

Mars Venus Mercury Jupiter

● Small ● Small ● Small ● Large
● Red ● Hot ● Hot ● Cold
● Cold ● Dry ● Rocky ● Gassy
● Rocky ● Volcanic ● Cratered ● Striped

Mars is full of Venus has high Mercury is quite Jupiter is a huge

iron oxide dust temperatures a small planet gas giant
Cause and effect
Mars Venus
Problem Despite being red, Venus is the second
Mars is very cold planet from the Sun

Mercury Saturn
Solution Mercury is the closest Saturn is a gas giant
planet to the Sun and has several rings
Step-by-step coding
01 02 03 04

Earth Mercury Jupiter Saturn

It’s the only Mercury is the Jupiter is the Saturn was
planet known closest planet biggest planet named after a
to harbor life to the Sun of them all Roman god
Parts and whole
The whole Parts of What happens if the parts
objective the object are missing?
Mercury is the ● Mercury Earth is the third planet from the
closest planet ● Jupiter Sun and the only one that harbors
to the Sun ● Venus life in the Solar System
and the ● Mars
smallest one ● Earth
in the entire ● Saturn
Solar System ● Mercury What’s the function of
the parts?
Jupiter is a gas giant and the
biggest planet in the Solar System
You can use this graph
Mercury
Mercury is the closest
planet to the Sun

Jupiter
Jupiter is the biggest
planet of them all

Saturn
Saturn was named
Follow the link in the graph to modify its data and then paste the
new one here. For more info, click here after a Roman god
This is a map

USA Russia
Despite being Neptune is the
red, Mars is farthest planet
very cold from the Sun

India China
Jupiter is the Saturn is a gas
biggest planet giant and has
of them all several rings
Mockups
You can replace the images
on the screen with your own
work. Just right-click on them
and select “Replace image”
Thanks!
Do you have any questions?
[email protected]
+34 654 321 432
yourwebsite.com

CREDITS: This presentation template was created by Slidesgo, and

includes icons by Flaticon, and infographics & images by Freepik

Please keep this slide for attribution

Icon pack
Alternative resources
Here’s an assortment of alternative resources
whose style fits that of this template:
Resources
Did you like the resources in this template? Vectors:
Get them for free at our other websites:
● Abstract gradient circuit
board background
Photos:
● Medium shot man working on laptop Icon pack:
● Group of friends planning a trip in a cafe ● Icon Pack: Coding | Lineal
● Medium shot man working on laptop
● Side view of men working on laptops at
the office
● Lifestyle of woman in the office
● Secretary working on laptop
 Instructions for use
If you have a free account, in order to use this template, you must credit Slidesgo by keeping the Thanks slide. Please
refer to the next slide to read the instructions for premium users.

As a Free user, you are allowed to:

● Modify this template.
● Use it for both personal and commercial projects.

You are not allowed to:

● Sublicense, sell or rent any of Slidesgo Content (or a modified version of Slidesgo Content).
● Distribute Slidesgo Content unless it has been expressly authorized by Slidesgo.
● Include Slidesgo Content in an online or offline database or file.
● Offer Slidesgo templates (or modified versions of Slidesgo templates) for download.
● Acquire the copyright of Slidesgo Content.

For more information about editing slides, please read our FAQs or visit our blog:
https://slidesgo.com/faqs and https://slidesgo.com/slidesgo-school
 Instructions for use (premium users)
As a Premium user, you can use this template without attributing Slidesgo or keeping the Thanks slide.

You are allowed to:

● Modify this template.
● Use it for both personal and commercial purposes.
● Hide or delete the “Thanks” slide and the mention to Slidesgo in the credits.
● Share this template in an editable format with people who are not part of your team.

You are not allowed to:

● Sublicense, sell or rent this Slidesgo Template (or a modified version of this Slidesgo Template).
● Distribute this Slidesgo Template (or a modified version of this Slidesgo Template) or include it in a database or in
any other product or service that offers downloadable images, icons or presentations that may be subject to
distribution or resale.
● Use any of the elements that are part of this Slidesgo Template in an isolated and separated way from this
Template.
● Register any of the elements that are part of this template as a trademark or logo, or register it as a work in an
intellectual property registry or similar.

For more information about editing slides, please read our FAQs or visit our blog:
https://slidesgo.com/faqs and https://slidesgo.com/slidesgo-school
 Fonts & colors used
This presentation has been made using the following fonts:

IBM Plex Mono Bold

(https://fonts.google.com/specimen/IBM+Plex+Mono)

Poppins Normal & Bold

(https://fonts.google.com/specimen/Poppins)

#f5f8ff #bfbef7 #0c0a9e #8208d5

#1d1d1d #eb9109
 Storyset
Create your Story with our illustrated concepts. Choose the style you like the most, edit its
colors, pick the background and layers you want to show and bring them to life with the
animator panel! It will boost your presentation. Check out how it works.

Pana Amico Bro Rafiki Cuate

 Use our editable graphic resources...
You can easily resize these resources without losing quality. To change the color, just ungroup the resource and click on
the object you want to change. Then, click on the paint bucket and select the color you want. Group the resource again
when you’re done. You can also look for more infographics on Slidesgo.
 JANUARY FEBRUARY MARCH APRIL MAY JUNE

PHASE 1

Task 1

Task 2

PHASE 2

Task 1

Task 2

JANUARY FEBRUARY MARCH APRIL

PHASE 1

Task 1

Task 2
 ...and our sets of editable icons
You can resize these icons without losing quality.
You can change the stroke and fill color; just select the icon and click on the paint bucket/pen.
In Google Slides, you can also use Flaticon’s extension, allowing you to customize and add even more icons.
Educational Icons Medical Icons
Business Icons Teamwork Icons
Help & Support Icons Avatar Icons
Creative Process Icons Performing Arts Icons
Nature Icons
SEO & Marketing Icons