FSB

1
 MPDS1 3 h / semaine
Cours
Exercices
TPs
Exposés

Dr. Rim Mahouachi Apprentissage automatique

[email protected]
2
 Objectifs
3

 Sensibiliser les étudiants à l’importance de

l’apprentissage automatique dans la vie professionnelle

 Maîtrise des principes théoriques et pratiques de

quelques techniques d’apprentissage automatique
 Plan du cours
4

 Introduction
 Apprentissage non-supervisé
Clustering
 CAH

 Apprentissage supervisé
Régression linéaire
Classification
 Régression logistique
 KNN
 Perceptron
 Naive Bayes
 IA : dates clés
5
 Les avancés de l’IA – IBM Deep Blue
6

 Deep Blue était le plus puissant des ordinateurs dédiés aux échecs de l'histoire,
capable d'évaluer jusqu'à 200 millions positions possibles par seconde.

Deep Blue bat le champion du monde des jeux d’échec Garry Kasparov en 1997
 Les avancés de l’IA – IBM Deep Blue
7

Le tic-tac-toe a un nombre limité de

mouvements possibles, ce qui signifie que
son arbre de jeu est relativement petit. En
moyenne, la profondeur de l'arbre de jeu
est faible, car les jeux se terminent
généralement en quelques mouvements
(maximum 9).
L'arbre des échecs est beaucoup plus
complexe en raison du grand nombre de
mouvements possibles à chaque tour.
 Les avancés de l’IA - AlphaGo
8

 En 2016,AlphaGo a attiré l'attention mondiale lorsqu'il a battu Lee Sedol, un des

meilleurs joueurs de go au monde, dans un match de 5 parties, remportant 4 parties.

2 couleurs : noir et blanc

Pas de déplacement des pierres
But : encercler des territoires
Arbre du jeu de Go, Taille de l’arbre : 10360
 Les avancés de l’IA – Exemples
9

Google DeepMind's Deep Q-learning

joue à Atari Breakout

RoboCup La voiture autonome

 Les avancés de l’IA –IA générative
10

Explosion de l’IA Générative

 Les avancés de l’IA –IA générative
11
 Les avancés de l’IA –IA générative
12
 Les avancés de l’IA – IA générative
13

GAN (Réseaux Antagonistes Génératifs)

(Vecteur latent) Objectif : battre le générateur

Objectif : tromper le discriminateur

 Les avancés de l’IA – IA générative
14

Midjourney (Midjourney Lab, juillet 2022)

Make-A-Scene (Meta, Mai 2022) Dall-E2 (OpenAI, Avril 2022)

Imagen (Google, Mai 2022)

Stable Diffusion (22 août 2022)

 Les avancés de l’IA – autres exemples
15

Chaine 1, 1ère chaine TV Eternity, un groupe de pop

Suno, une IA pour créer de 100% IA
la musique virtuel

Cozmo, le robot joueur Enova Robotics,

Rajeunissement des robot de surveillance HeyGen, génération
expressif de vidéo par IA
acteurs au ciné autonome
Introduction à l’apprentissage automatique

Enseignante : Dr. Rim Mahouachi

 Introduction
17

 Exemple : reconnaitre des caractères manuscrits

Différents styles d’écriture

 Par énumération de règles ?

Une série de pixels alignés => ‘1’
Une série de pixels en rond => ‘0’ ..
 Généralise mal à tous les cas
 Trop fastidieux, impossible de couvrir tous les cas possibles !!!
 Introduction
18

 Exemple : reconnaitre des caractères manuscrits

 En laissant la machine apprendre à le faire

 Machine Learning = apprentissage automatique
 Capacité des ordinateurs à apprendre à accomplir des tâches
(reconnaissance, traduction. . .) sans être explicitement
programmés
 Définition
19

 E : l'ensemble de toutes les tâches possibles.

 S : un système (une machine)

 Définition [T.M. Mitchell, 1997]

T ⊂ E : ensemble de tâches appelé training set
P : S x E → IR : mesure de performance d'un système sur des
tâches.
Un système S apprend lors d'une expérience Exp si la
performance de S sur les tâches T, mesurée par P, s'améliore.
P(Savant Exp,T) ≤ P(Sapres Exp,T)
 Exemple
20

 Taches T : Classer des emails reçus durant une journée

 Performance P : Taux de rejet correct des spams par S
 Expérience Exp : 1 semaine d’exposition aux courriels
d'un utilisateur
 Perspective historique
21

Source: AllTechBuzz
 Pourquoi maintenant ?
22

Avancées
Big Data
technologiques
Puissance
de
traitement
Nouveaux
algorithmes
Stockage
de
données
 Machine Learning vs Deep Learning
23

Machine learning

Deep learning
 Machine Learning vs Deep Learning
24

 Permet aux machines de prendre leurs propres

décisions, sur la base de données antérieures
 N'a besoin que d'une petite quantité de données
Machine learning d’entrainement
 Fonctionne bien sur les systèmes bas de gamme
 La plupart des fonctionnalités doivent être
identifiées à l'avance et codées manuellement

Permet aux machines de prendre des décisions à

l'aide des réseaux de neurones artificiels
 A besoin d'une grande quantité de données de
formation
Deep learning  A besoin de systèmes haut de gamme pour
fonctionner
 La machine apprend les caractéristiques à partir
des données fournies
 Programmation traditionnelle VS Apprentissage automatique
25

 Informatique traditionnelle
Fournir explicitement à la machine les instructions à
exécuter

 Apprentissage machine
Fournir à la machine la capacité d’apprendre à résoudre des
problèmes à partir d’exemples d’entrées/sorties
 Elle apprend pour pouvoir généraliser
 Quand utiliser l’apprentissage automatique ?
26

 L’apprentissage automatique est utile lorsqu’on ne connait pas le

bon modèle de traitement à utiliser

On n’a pas d’expertise sur le problème

 ex. robot navigant sur Mars

On a une expertise, mais on ne sait pas comment l’expliquer

 ex. reconnaissance de visages

Les solutions au problème changent dans le temps

 ex. routage de paquets

Les solutions doivent être personnalisées

 ex. biométrie
 Exemples d’application
27

 Prédiction des prix

Estimer le prix d’une maison en fonction de certaines
variables: superficie, localisation, piscine, jardin, .. en se
basant sur des observations précédentes

 Détection des SPAM

Analyser le contenu (les mots) d’un mail
En se basant sur le nombre d’occurrences des mots, classer le
mail en spam ou ham
 Exemples d’application
28

 Prédiction des entrées touristiques

Prédire, à partir de données historiques, le nombre de
touristes étrangers qui vont visiter le pays
La BCT a utilisé deux sources de données pour entraîner son
modèle:
 l’Office national du tourisme tunisien
 Google Trends.
Grâce à ce modèle, il est possible d’utiliser les tendances de
recherche sur Google pour pouvoir déterminer, avec une
certaine précision, le nombre de touristes qui vont débarquer
en Tunisie.

Article de référence : https://www.bct.gov.tn/bct/siteprod/documents/WPS_2022_02.pdf

 Exemples d’application
29

 Segmentation du marché
Segmenter (catégoriser) les consommateurs
dans une base de données d’achats dans un
supermarché
 Segmentation des images
Segmentation de lésions dans un organe
 Compression des images
 Reconnaissance des objets dans les
images
 Reconnaissance faciale
 Exemples d’application
30

 Aide au diagnostique médical

déterminer les problèmes médicaux à partir des symptômes
 Exemple: diagnostiquer un cancer de la peau

- Une IA qui distingue les grains de beauté bénins de

ceux révélateurs d'un cancer de la peau

- 130.000 images cliniques de lésions cutanées,

représentant plus de 2000 maladies différentes

- Basée sur l’IA de Google « Show and Tell »

- Précision de l’IA : 69,4%

Précision des dermatologues : 65,8%
© Andre Esteva / Nature Communications
 Exemples d’application
31

 Recommandation d’items (Smartphones, livres, musique, ..)

Suggestions d’items similaires sur Amazon

 Exemples d’application
32

 Recommandation d’items (films / séries)

Plus de 80% des contenus regardés sur Netflix sont découverts via le moteur de
recommandation

Plus de détails: https://www.mediego.com/fr/blog/netflix-success-story-basee-sur-algorithmes-de-recommandation/

 Processus de ML
33
 Processus d’apprentissage
34

Exemple : Classification des photos de chats et de lapins

 Concepts de base
35

 Données d’entrainement
Les algorithmes d’apprentissage procèdent comme suit:
 On fournit à l’algorithme des données d’entrainement

 on note l’ensemble d’entrainement

D = {(X(1), y(1)), .. , (X(N) , y(N))}

 on appelle x(i) une entrée et y(i) la cible
 Concepts de base
36

 Données d’entrainement
Les algorithmes d’apprentissage procèdent comme suit:
 On fournit à l’algorithme des données d’entrainement

 .. et l’algorithme retourne un « programme » capable de

généraliser à de nouvelles donnés
 Concepts de base
37

 Modèle
On note le « programme » généré par l’algorithme
d’apprentissage f(x)
 on va aussi appeler f(x) un modèle

 Ensemble de test
On utilise un ensemble de test Dtest pour mesurer la
performance de généralisation de notre modèle f(x)
 Les données
38

 Les données consistent en des instances de données (individus:

personnes, objets, ..)

 Une instance de données est représentée par ses variables (attributs ou

caractéristiques (features))

(ensoleillé, chaud, vent)

(198, 98)

 Les caractéristiques sont choisies manuellement pour une tâche spécifique

Feature Engineering
 Les données
39

CSV, Excel, BD relationnelles, ..

Image, texte, audio, vidéo, ..
HTML, Json, XML, ..
 Les données
40

 Un échantillon est une sélection d’individus parmi la population

Représenté généralement sous forme d’un tableau

Variables

Variable Nom
Une valeur de
la variable Nom
Individus

Un individu
 Les données – types des variables
41

 Variables quantitatives :
mesurent des « quantités »
Exemples :
 Le poids d’une voiture, en kg
 Le temps de réalisation d’une tache en secondes
 Le nombre de tâches réussites
On doit pouvoir dire :
 La voiture verte a un poids supérieur ou inférieur à la voiture
rouge .
 Le nombre de tâches réussites par le sujet A est inférieur au
nombre de tâches réussites par le sujet B.
 Le fait que la variable soit numérique, n’implique pas nécessairement que ce
soit une variable quantitative
 Les données – types des variables
42

 Variables quantitatives : discrète ou continue ?

Une variable discrète a une valeur finie.
 Il est possible de les énumérer (« 1, 2, 3,… »)
 Exemples :
 Le nombre d’items dans une liste.
 Le nombre de personnes dans une salle.
 On peut généralement l’énoncer sous la forme « Le nombre de… ».
Une variable continue peut prendre, en théorie, une infinité des
valeurs, formant un ensemble continu.
 Exemples :
 le temps de réalisation d’une tache sera compris entre 0 et 300 secondes, et
pourra prendre les valeurs 12,235689 ou 12,235699999.
 La taille, le poids d’une personne.
 La vitesse d’une voiture.
 Les données – types des variables
43

 Variables qualitatives:
mesurent juste des « états », des catégories.
Il n’y a pas d’échelle de valeurs
Exemples :
 Oui ou non
 Homme ou femme
 Code postal
 numéro de téléphone
 Les données – types des variables
44

 Variables qualitatives: nominales ou ordinales ?

Les variables nominales :
 présentent des catégories que l’on nomme avec un nom.
 Exemples :
 homme ou femme,
 le nom de la voiture,
 une couleur.
 Le seul calcul faisable sur les variables nominales est le nombre d’éléments
par catégorie.
Les variables ordinales :
 sont des catégories qui sont naturellement ordonnées (désignent le rang)
 Exemples :
 le classement à une course (arrivé 1er ou 2éme à une course n’a pas la même
signification qu’arrivé 1526 ou 1527éme)
 le résultat à questionnaire sur une échelle de Likert (1 : pas du tout
d’accord, 2 … 5 : Tout à fait d’accord)
 Types d’apprentissage
45
 Types d’apprentissage
46

 Apprentissage Supervisé
les données d’apprentissage sont accompagnées par les labels indiquant leurs
classes
D = {(x
(1) (1) (N) (N)
, y ), .. , (x , y )}

sortie désirée (cible ou « target ») est fournie explicitement par les données
 il y a une cible à prédire

Exemples :
• Reconnaître les âges des personnes à
l’aide des exemples de photos
• Reconnaitre des caractères, à l’aide
d’un ensemble de paires (images, ..)
 Types d’apprentissage
47

 Apprentissage Supervisé
Classification: la cible est un indice de classe t (de type discret)
 Exemple : reconnaissance de caractères
 x : vecteur des intensités de tous les pixels de l’image
 y : identité du caractère

Régression: la cible est un nombre réel (continu) y ∈ IR

 Exemple : prédiction de la valeur d’une action à la bourse
 x : vecteur contenant les caractéristiques des maisons
 y : prix d’une maison
 Types d’apprentissage
48

 Apprentissage Non-Supervisé
Le label de classe des données d’apprentissage n’est pas connu et le modèle doit
extraire de l’information uniquement à partir de la structure des entrées

D = {X(1), .., X(N)}

Le but est de déceler l’existence de groupes (clusters) dans les données
Exemple : identifier différents thèmes d’articles de journaux en regroupant les
articles similaires (clustering)
 Types d’apprentissage
49

 Apprentissage Auto-Supervisé (self-supervised learning)

Non supervisé :
 Pas de labels explicites fournis pour l'apprentissage
 Le self-supervised learning crée ses propres labels à partir des données non
étiquetées.

Auto-supervisé :
 Le modèle utilise des parties des données elles-mêmes comme "supervision" pour
prédire ou générer d'autres parties des données.
 Exemple :
 En NLP, un modèle comme BERT est entraîné à prédire un mot masqué dans une phrase (ex :
"Le chat mange un [MASK]"). Le modèle n’a pas de label externe pour cette tâche, il crée lui-
même la supervision en masquant un mot dans la phrase.
 Dans le domaine de l'image, un modèle pourrait être entraîné à prédire la partie manquante
d'une image.
 Types d’apprentissage
50

 Apprentissage Semi-Supervisé
 Types d’apprentissage
51

 Apprentissage par renforcement

Le signal d’apprentissage correspond seulement à des récompenses et punitions
 Types d’apprentissage
52

 Transfer learning
Le transfert learning (ou apprentissage par transfert) est une technique où un
modèle préalablement entraîné sur une grande quantité de données dans une
tâche est réutilisé pour résoudre une tâche différente mais similaire.
L'idée est de réutiliser les connaissances acquises pour accélérer l'apprentissage
et améliorer les performances sur une nouvelle tâche avec moins de données.
 Exercice
53

 Dans un album de photos taguées, reconnaitre quelqu’un dans une photo

Supervisé
 Analyser les transactions d’une banque et identifier les fraudes

Non Supervisé

 Se baser sur les choix musicaux d’une personne et un ensemble de

caractéristiques de cette musique (genre, ..) pour recommander une
nouvelle chanson
Supervisé

 Classifier les étudiants du MPDSI1 selon leur styles d’apprentissage

Non Supervisé