Big Data & Data Mining

Hakim AKEB
PGE 3A – ISC Paris
Sommaire

Introduction

1. Data Science

2. Cycle de vie projet Data Science

3. Machine Learning

4. Méthodes de Machine Learning

5. Etude de cas: la régression linéaire

6. Logiciels de Machine Learning

Conclusion

3A Machine Learning 2
Introduction

Méthodes de Machine Learning et Big data

- Souvent destinées aux data scientists (le data scientist peut programmer
et personnaliser des solutions)

- Objectifs : analyser pour prédire

Exemples (e-commerce):
• Prédire trafic site web
• Profils consommateurs très précis => publicité ciblée
• Etc.

3A Machine Learning 3
1. Data Science
1. Data Science
Data Science (science des données)

« La DS est issue des domaines de l’analyse statistique et de l’extraction de

données. Elle permet d’élaborer des stratégies d’analyse de données, de
préparer les données pour analyse, d’explorer, analyser et visualiser des
données, de créer des modèles avec des données grâce à des langages de
programmation tels que Python et R, de déployer ces modèles dans des
applications »

Source Oracle

3A Machine Learning 5
1. Data Science
Situer la Data Science

Machine
Informatique Learning Maths et
Stats
Data
Science
Logiciels Analyse de
standards données

Domaine
d’expertise

3A Machine Learning 6
1. Data Science
Data Scientist
- Ce titre est apparu vers 2008
- Universités: proposent des cursus en data science
- Actuellement: pénurie de data scientists

Data Scientist entouré d’une équipe (vrai projet!)

- Expert en données
- Analyste commercial : qui définit le pb
- Ingénieur des données : préparer les données et leur disponibilité
- Architecte informatique: supervise les processus et l’infrastructure
- Développeur d’applications: déploie modèles en applications produits

3A Machine Learning 7
1. Data Science
Défis de la DS

- Sensibiliser les chefs d’entreprise/décideurs à l’importance de la DS

- Importance stratégique de la DS
- Débloquer des financements
- …

- Définir des méthodes de travail efficaces (management de projet)

- Adapter les modèles de Machine Learning transmis aux développeurs pour
intégration dans les applis
- Les applis développées doivent être évolutives
- Fluidifier les processus de décision durant le projet (autorisations d’accès aux
données, aux logiciels, à l’infrastructure informatiques, achat de matériels,
d’outils de développement, …)

3A Machine Learning 8
2. Cycle de vie projet
Data Science
 2. Cycle de vie projet DS

Collecter/
source et
format des Exploration et Développe-
données visualisation ment

Préparer les Modélisation Déploiement

données

3A Machine Learning 10
2.1.
Source et format des données
2. Cycle de vie projet DS
2.1. Source et format des données

Sources des données

- Entreprises : CRM, entrepôts de données, ERP, open data, …

- Web : fichiers logs, objets connectés, réseaux sociaux, …

- BDDs payantes

- Etc.

Il est possible de faire du web scraping (extraction automatique de

données web)

3A Machine Learning 12
2. Cycle de vie projet DS
2.1. Source et format des données

Variété
- Texte, logs, images, sons, vidéos, etc.

Format des données

- texte, CSV (colonnes), Excel
- Multimédia (son, image, vidéo)
- BDD SQL et NoSQL
- JSON (JavaScript Object Notation), XML (eXtended Markup Language) =
structures de données pour le web
- Etc.

3A Machine Learning 13
2.2.
Préparation des données
2. Cycle de vie projet DS
2.2. Préparation des données

2.2.1. Nettoyage

Données contiennent souvent du « bruit »:

- Quelques valeurs fausses ou extrêmes
- Cases vides (tableaux)

Pas d’outil miracle pour nettoyer (on improvise souvent ou on écrit un

script)

Objectif nettoyage : obtenir des données homogènes plus faciles à

exploiter.

3A Machine Learning 15
2. Cycle de vie projet DS
2.2. Préparation des données

2.2.2. Transformation des données (formatage)

Vers un format compréhensible par la machine

Exemples:

- Changement de format (ex date vers nombre)

- Création de données structurées à partir d’images (nb personnes sur 1

photo), de sons (reconnaissance vocale), …

- Etc.

3A Machine Learning 16
2.3.
Exploration et visualisation des
données
2. Cycle de vie projet DS
2.3. Exploration et visualisation des données
Méthodes et outils:

- Moyenne, médiane, variance, écart type

- Tableaux de synthèse

- Statistiques bivariées (relations entre 2 variables)

- Visualisation (graphiques, …)

- Etc.

Objectifs: déterminer surtout les caractéristiques des données (feature

engineering) => aide à choisir le meilleur type d’algorithme pour la
modélisation lors du machine learning

3A Machine Learning 18
2.4.
Modélisation solution
2. Cycle de vie projet DS
2.4. Modélisation

- Choisir un algo de machine learning pour résoudre le pb

- Entraîner cet algo (voir diapos suivantes)

- Evaluer l’algo (voir diapos suivantes)

3A Machine Learning 20
2.5.
Développement
2. Cycle de vie projet DS
2.4. Développement

- Développer l’application avec le logiciel/langage choisi

- Tests sur l’environnement (ordinateurs, web, OS, …)

3A Machine Learning 22
2.6.
Déploiement
2. Cycle de vie projet DS
2.6. Déploiement

- Implémenter le(s) modèle(s) retenu(s) dans les applications

- Déployer ces applis

- Suivre le comportement des applis

3A Machine Learning 24
3. Machine Learning
3. Machine Learning

3.1. Définition et objectifs

Définition 1
Méthodes (algorithmes) permettant à un ordinateur
d’apprendre pour prédire.

Définition 2
Ensemble d’outils statistiques et d’algorithmes informatiques permettant
d’automatiser la construction d’une fonction de prédiction à partir d’un
ensemble d’observations appelé « ensemble d’apprentissage »

3A Machine Learning 26
3. Machine Learning

3.2. Machine Learning et Big data

- ML = Méthodes d’analyse très importantes pour le big data

- Méthodes doivent être rapides et « efficaces »
- Big data:
- Données ayant une grande valeur
- Taille des données : grande utilité pour le processus d’apprentissage
(fonctions plus précises)

Rappels Big data :

- Programmation parallèle (plusieurs processeurs)
- Et distribuée (plusieurs nœuds = serveurs)
- Données hétérogènes (structurées + non structurées)

3A Machine Learning 27
3. Machine Learning
Quelques exemples d’application du Machine Learning

• Prédire trafic site web

• Profils consommateurs très précis => Publicité ciblée
• Comportements frauduleux lors de transactions financières en ligne
• Reconnaissance écriture manuscrite
• Estimer taux transformation site e-commerce selon le nombre de clics sur
certaines pages
• Estimer l’intention de résiliation d’un service en fonction de l’activité du
souscripteur
• Analyse du langage naturel
• Diagnostic en médecine
• Suivi propagation épidémies
• Etc.

3A Machine Learning 28
3. Machine Learning

Exemple : Quelle est la probabilité qu’un email soit un SPAM ?

Variables prédictives -> Fonction de prédiction -> Résultat

Variables prédictives : @IP provenance mail, email émetteur, pays

émetteur, objet du mail, contenu mail, liens dans le mail, …

Fonction de prédiction : construite grâce à l’apprentissage. Basée sur les

variables ci-dessus et l’historique (anciens messages étiquetés)

Résultat : probabilité en 0 et 1 => définir un seuil

3A Machine Learning 29
 3. Machine Learning
3.3. Types de Machine Learning

Machine Learning

Supervisé Non-supervisé

Régression Transformation du Clustering

Classification
Ex: Régression jeu de données (partitionnement)
Ex: KNN
Linéaire Ex: ACP Ex: K-Means

Plusieurs algos supervisés sont adaptés à la

classification et à la régression à la fois (voir JASP)
3A Machine Learning 30
 3.3.1.
Machine Learning supervisé

3A Machine Learning 31
3. Machine Learning
3.3. Types de Machine Learning

3.3.1. Supervisé (algos les plus efficients) :

Le data scientist aide/alimente/supervise le système durant le processus

d’apprentissage

- Données en entrée (données d’apprentissage) déjà labellisées (résultat)

- L’algo va chercher à automatiser l’obtention de la sortie désirée
- On peut vérifier l’efficience (accuracy) sur d’autres données (test) où
l’algo ne connaît pas par avance le résultat

3A Machine Learning 32
3. Machine Learning
3.3. Types de Machine Learning

3.3.1. Supervisé (algos les plus efficients) : suite

ML supervisé = principalement 2 types de pb : classification, régression

Classification:
Variable cible à prédire qualitative =étiquette de classe (fruit, légume, …)
= choix parmi une liste prédéfinie

Régression:
Variable à prédire (cible) = quantitative.
Exemple: prédire le CA en fonction de l’historique, conjoncture
économique, prix mat premières, nombre clients,…

3A Machine Learning 33
3. Machine Learning
3.3. Types de Machine Learning
3.3.1. Supervisé : exemples

Exemple 1: reconnaître code postal écrit à la main sur une enveloppe

- Entrée algo = image numérisée du code postal
- Sortie algo = chiffres obtenus (reconnus)
- Jeu de données (apprentissage) = Indiquer à l’algo le résultat désiré sur des
exemples

Exemple 2: fraude transaction carte bancaire

- Entrée algo = transaction effectuée avec la CB
- Sortie algo = % indiquant s’il y a fraude
- Jeu de données: enregistrer toutes les transactions + marquer celles signalées
comme fraude par un client

3A Machine Learning 34
3. Machine Learning
3.3. Types de Machine Learning

3.3.1. Supervisé :

Algorithmes les plus connus (voir plus loin):

- K plus proches voisins (KNN = K Nearest Neighbors): classification

- Modèles linéaires : régression

- Arbres de décision : classification

- Réseaux de neurones (deep learning): classification/régression

3A Machine Learning 35
 3.3.2.
Machine Learning non-supervisé

3A Machine Learning 36
3. Machine Learning
3.3. Types de Machine Learning

3.3.2. Non-supervisé (plus difficiles à mettre en œuvre ) :

- Pas d’intervention humaine

- Les données fournies en entrée ne sont pas étiquetée.

- L’algorithme cherchera à identifier des caractéristiques communes dans

des sous-ensembles

3A Machine Learning 37
3. Machine Learning
3.3. Types de Machine Learning

3.3.2. Non-supervisé (plus difficiles à mettre en œuvre ) :

2 types :

Type 1 : transformation non supervisée du jeu de données

- Créer une nouvelle représentation des données plus facilement compréhensible

des humains/algorithmes

Exemple: ACP = réduction de dimension = choisir quelques caractéristiques

(l’essentiel) parmi un très grand nombre (voir exemple plus loin).

3A Machine Learning 38
3. Machine Learning
3.3. Types de Machine Learning

3.3.2. Non-supervisé (plus difficiles à mettre en œuvre ) :

Type 2 : Clustering (partitionnement des données)

- Partitionner les données en groupes distincts (1 groupe = éléments similaires)

Exemple: regrouper automatiquement des photos mises sur un réseau social

- l’algo va mettre ensemble par ex les photos où il y a la même personne

OU ALORS

- Photos montrant les mêmes types de paysages (ville, montagne, plage, …)

3A Machine Learning 39
3. Machine Learning
3.3. Types de Machine Learning

3.3.2. Non-supervisé : exemples concrets

Exemple 1: définir les sujets (thèmes) abordés sur des blogs

- On ne connaît pas à l’avance les thématiques discutées
- Ni leur nombre

Exemple 2: Segmenter une clientèle en groupes ayant des préférences

similaires
- On ne connaît pas à l’avance les préférences possibles
- Ni leur nombre

3A Machine Learning 40
3. Machine Learning
3.3. Types de Machine Learning

3.3.2. Non-supervisé : exemples

Algorithmes les plus connus Exemples dans la

partie 4

Clustering
- Partitionnement en K-Moyennes (K-Means)
- DBSCAN

Réduction de dimension
- Analyse en composantes principales (ACP)

3A Machine Learning 41
3. Machine Learning
3.3. Types de Machine Learning

3.3.3. ML par renforcement (Reinforcement Learning)

Le 3ème
type !
- Pas de données fournies au préalable
- Apprentissage par l’expérience grâce à l’environnement (succès et
échecs constatés avec le temps)
- Objectifs: obtenir beaucoup plus de récompenses que d’échecs avec le
temps

Remarques:
- Demande une très bonne connaissance du pb à résoudre
- Algorithmes plus complexes et utilisés en IA (Google DeepMind, Chat
GPT, …)

3A Machine Learning 42
3. Machine Learning
3.3. Types de Machine Learning
3.3.3. ML par renforcement (Reinforcement Learning):
Exemples

- DeepMind (société):
- A aidé Google à réduire de plus de 40% sa consommation énergétique
- A créé AlphaGo (a battu le recordman du jeu de Go)

- Chat-GTP (Chat Generative Pre-trained Transformer):

- Agent conversationnel : répondre à des questions, écrire des articles, des
pgs, créer des sites web, …
- Développé par l’entreprise OpenAI
- Utilise le ML supervisé + renforcement + stats

- Google Bard
- Lancé par Google (précipitamment?) pour contrer Chat-GPT

3A Machine Learning 43
4. Méthodes de
Machine Learning
4.1. Algorithmes supervisés
4. Méthodes de Machine Learning
4.1. Algos supervisés

4.1.1 Régression linéaire (régression)

- L’une des méthodes les plus connues

- Prédire une variable 𝑌 en fonction de plusieurs variables 𝑋𝑖 , 𝑖 = 1, . . , 𝑛

Remarque importante: On suppose que la relation est linéaire

Exemple avec 1 seule
variable (Y=b+aX)
Etapes:
- Soit 𝑌 la variables à prédire
- La valeur de chaque variable 𝑋𝑖 est connue
- Alors 𝑌 = 𝑏 + 𝑎1 𝑋1 + 𝑎2 𝑋2 + ⋯ + 𝑎𝑛 𝑋𝑛
- La régression consiste à calculer les
coefficients {𝑏, 𝑎1 , … , 𝑎𝑛 }

3A Machine Learning 46
4. Méthodes de Machine Learning
4.1. Algos supervisés

4.1.1. Régression linéaire

Remarques:
- Les valeurs des variables 𝑋𝑖 sont indiquées dans un
tableau (colonnes)
- Chaque ligne du tableau = individu
- Le tableau entier = échantillon
- Régression : très utilisée en Marketing

Exemple: Prédire la fréquentation 𝐹 d’un grand magasin en fonction du nombre de

promotions (P) et de sa surface (S)

On peut écrire 𝑭 = 𝒃 + 𝒂𝟏 𝑷 + 𝒂𝟐 𝑺
On doit alors calculer 𝑏, 𝑎1 , 𝑎2

3A Machine Learning 47
4. Méthodes de Machine Learning
4.1. Algos supervisés
4.1.2. K plus proches voisins (K Nearest Neighbors = KNN)

Algorithme de classification

Principe:
- Une population d’individus (points) associés à plusieurs classes
- On voudrait affecter un nouvel individu X à l’une des classes
- On calcule la « distance » entre X et les k « plus proches » voisins de X
- On affecte X à la classe la plus représentée par les k voisins.
X
Exemple : k=3, et on a 2 classes (C1, C2)
Parmi les 3 plus proches voisins,
2 sont de la classe C1.
On affecte alors X à la classe C1.
C1 C2

3A Machine Learning 48
4. Méthodes de Machine Learning
4.1. Algos supervisés
4.1.2. K plus proches voisins (K Nearest Neighbors = KNN)

Remarques:
- La distance est une métrique qui dépend du cas traité.
- Donc pas nécessairement la distance euclidienne

Exemples d’applications:

- Netflix : prévoir score donné à un film par un téléspectateur selon les scores qu’il
a donnés aux films similaires.

- Reconnaissance faciale dans les systèmes de sécurité (comparer un visage à

d’autres visages).

3A Machine Learning 49
4. Méthodes de Machine Learning
4.1. Algos supervisés
4.1.3. Arbres de décision (classification)
Exemple: diagnostic en médecine
Individu Toux Fièvre Poids Douleur
1 Non Oui Normal Gorge
2 Non Oui Normal Abdomen
3 Oui Oui Maigre Aucune
4 Oui Non Surpoids Poitrine

À partir du tableau de données

on construit l’arbre de
décision (plus on a de
données, plus l’arbre
sera pertinent)

Arbre = outil de diagnostic

3A Machine Learning 50
4. Méthodes de Machine Learning
4.1. Algos supervisés
4.1.3. Arbres de décision : suite

Avantages:
- Les variables peuvent être quantitatives et/ou qualitatives
- Facile à utiliser
- On peut visualiser l’arbre (graphiquement)

Inconvénients (défauts):
- Arbres parfois complexes et déséquilibrés
- Une simple modification des données peut changer totalement le résultat

3A Machine Learning 51
4. Méthodes de Machine Learning
4.1. Algos supervisés
4.1.4. Réseaux de neurones (Neural networks) = supervisé, régression +
classification

- L’un des modèles les plus utilisés en Deep Learning (apprentissage profond)
Deep learning : supervisé et/ou non-supervisé et/ou renforcement
Principe : simuler le fonctionnement du cerveau humain
Applications
- Analyse du langage naturel
- Reconnaissance vocale
- Reconnaissance faciale (images)
- Prévisions sur les marchés financiers
- Diagnostics en santé
- Conduite automatique
- Assistants vocaux, chatbots
- Détection de fraude
- Etc.

3A Machine Learning 52
4. Méthodes de Machine Learning
4.1. Algos supervisés
4.1.4. Réseaux de neurones artificiels (ANN)

Fonctionnement en multicouches

- Entrée = plusieurs variables

- Chaque couche effectue un traitement
et transmet le résultat à la couche
suivante.
- Sortie = décision

Exemple: reconnaissance photo

- Découper une photo en parties
- La sortie sera un OUI ou un NON

3A Machine Learning 53
4. Méthodes de Machine Learning
4.1. Algos supervisés
4.1.4. Réseaux de neurones (Neural networks)
Exemple:

3A Machine Learning 54
4. Méthodes de Machine Learning
4.1. Algos supervisés
4.1.4. Réseaux de neurones (Neural networks)

Exemple d’application temps réel

3A Machine Learning 55
4.2. Algorithmes non-supervisés
4. Méthodes de Machine Learning
4.2. Algos non-supervisés
Clustering
4.2.1. K-Moyennes (K-Means) = Méthode de clustering (partitionnement)

Principe (Algorithme)
Données : nuage de points;
Objectif: Construire k clusters C1, …, Ck (affecter chaque point à 1 cluster);
Initialisation :
- On génère k barycentres (points) au hasard dans le nuage
- On affecte chaque point du nuage au barycentre le plus proche, on obtient k clusters;
Mise à jour des clusters:
1- On recalcule le barycentre de chaque cluster;
2- On affecte chaque point au barycentre le plus proche;
Répéter étapes 1 et 2 jusqu’à ce que les barycentres soient stables

3A Machine Learning 57
 4. Méthodes de Machine Learning
4.2. Algos non-supervisés
Clustering
4.2.1. K-Moyennes (K-Means): suite

Exemple:

On génère 3 barycentres au On affecte chaque point On calcule le barycentre de On réaffecte les points aux
hasard au barycentre le plus chaque cluster, on corrige nouveaux barycentres, etc.
proche les barycentres

Applications:
- Tous les domaines
Voir exemple
- Marketing: segmenter les consommateurs en catégories/profils
JavaScript
3A Machine Learning 58
4. Méthodes de Machine Learning
4.2. Algos non-supervisés
Clustering
4.2.2. DBSCAN (Density-Based Spatial Clustering of Applications with
Noise)
- Divise un ensemble de points en clusters
- Ne demande pas a priori à l’utilisateur le nombre de clusters
- Permet d’identifier des clusters de formes plus complexes
- Permet d’identifier des points n’appartenant à aucun cluster (bruit)

Principe:
- Identifier d’abord les régions denses
(avec beaucoup de points)
- Ces clusters sont séparés par des régions
relativement vides
- Points éloignés des régions identifiées =
bruit
Estimated number of clusters: 3
Estimated number of noise points: 18
3A Machine Learning 59
4. Méthodes de Machine Learning
4.2. Algos non-supervisés
Réduction de dimension
Objectif: représenter les données avec le moins d’information possible

4.2.3. ACP (Analyse en composantes principales)

- Données originales = N dimensions
- ACP : réduire le nombre de dimensions (axes)
= extraire les caractéristiques « utiles »

Exemple: étude des génomes de 1387 Européens

(J. Novembre et al., 2008) dans la revue Nature

- Les chercheurs ont choisi 2 axes pour

représenter les données
- Ils ont obtenu la carte de l’Europe!

3A Machine Learning 60
5. Etude de cas
La régression linéaire
5. Etude de cas: la régression linéaire
Objectif:
Expliquer la variable Y grâce à la variable X

On écrit : 𝒀 = 𝒂. 𝑿 + 𝒃
𝑎 = pente de la droite
𝑏 = ordonnée à l’origine
𝑟 2 = Qualité de la régression = coeff de détermination (entre 0 et 1)

3A Machine Learning 62
5. Etude de cas: la régression linéaire

𝑟 2 = Qualité régression = coeff de détermination (entre 0 et 1)

- Si 𝑟 2 proche de 1 : points pratiquement sur la droite = très bonne

estimation de Y en fonction de X

- Si 𝑟 2 proche de 0 : très mauvaise estimation (modèle non linéaire)

3A Machine Learning 63
5. Etude de cas: la régression linéaire
Modélisation Excel

a = 0,9538
b = 0,2743
r2 = 0,84 (très bonne approximation linéaire).
r =Corrélation(X,Y) = 0,91 (lien fort)

3A Machine Learning 64
5. Etude de cas: la régression linéaire
Modélisation Excel

Comment tracer la droite de régression linéaire (Excel) ?

- Cliquer sur un point du nuage
- Clic droit -> Ajouter une courbe de tendance
- Choisir le type « Linéaire »
- Cocher les options « afficher l’équation… » et « afficher R2 »

3A Machine Learning 65
6. Logiciels de
Machine Learning
6. Logiciels de Machine Learning
Logiciel / langage Commentaire

Tanagra, JASP, Weka, Sipina, RapidMiner, … Logiciels gratuits

Azure Machine Learning Studio Microsoft

Cloud Machine Learning Engine Google

IBM Data Science Experience IBM

SAP Leonardo Machine Learning SAP

R (R Studio), Python (Anadonda), C/C+, Java, … Langages/env de dev.

Sources:
https://www.predictiveanalyticstoday.com/top-free-data-mining-software/
https://www.capterra.com/machine-learning-software/

3A Machine Learning 67
Conclusion
Importance de la Data Science pour les entreprises

Logiciels de datamining et de Machine Learning en constante évolution.

3 types: supervisé, non-supervisé, par renforcement

Le « big » data scientist + son équipe nécessitent des compétences en:

- Statistiques, Data mining, Machine Learning, programmation avec

certains langages (Python, R, C++, MatLab…)

- Expérience dans le domaine concerné

- Informatique (environnement adéquat)

3A Machine Learning 68
 Bibliographie
J. Dean. Big Data, Data Mining, and Machine Learning: Value Creation for Business Leaders and Practitioners.
Createspace Independent Pub, 2014.
P. Ghavami. Big Data Analytics Methods: Analytics Techniques in Data Mining, Deep Learning and Natural Language
Processing. Walter de Gruyter GmbH & Co KG, 2019.
E Jakobovicz. Python pour le Data Scientist – des bases du langage au machine learning. 2è éd. Dunod, 2020.
H. Jones. Data Science: The Ultimate Guide to Data Analytics, Data Mining, Data Warehousing, Data Visualization,
Regression Analysis, Database Querying, Big Data for Business and Machine Learning for Beginners. Bravex
Publications, 2020.
A Massih-Reza. Machine learning - 2e édition: Programmes libres (gplv3) essentiels au développement de solutions
big data. Editions Eyrolles, 2020.
A C Müller et S Guido. Le Machine Learning avec Python, la Bible des Data Scientists. Editions First, 2021.
Sites internet:
https://www.predictiveanalyticstoday.com/top-free-data-mining-software/
https://www.capterra.com/machine-learning-software/
https://www.oracle.com

3A Machine Learning 69