K Means
K Means
K Means
Proposé par:
Dr. Ben Othman Ibtissem
Qu’est-ce que K-Means ?
• dist(6,M2)<dist(6,M3)6 passe dans C2. Tous les autres objets ne bougent pas.
C1={1}, M1=1, C2={2,3,6}, M2=11/3=3.67, C3={7,8,13,15,17}, M3= 12
9 9
8 8
7 7
6 6
5 5
4 4
3 3
2 2
1 1
0 0
0 1 2 3 4 5 6 7 8 9 10 0 1 2 3 4 5 6 7 8 9 10
10 10
9 9
8 8
7 7
6 6
5 5
4 4
3
3
2
2
1
1
0
0
0 1 2 3 4 5 6 7 8 9 10
0 1 2 3 4 5 6 7 8 9 10
Algorithme K-means & Application
subject A B
1 1,0 1,0
2 1,5 2.0
3 3.0 4.0
4 5.0 7,0
5 3,5 5.0
6 4,5 5.0
7 3,5 4,5
Cet ensemble de données doit être regroupé en deux
groupes. Comme première étape pour trouver une partition
initiale raisonnable, laissez les valeurs A et B des deux individus
les plus éloignés (en utilisant la mesure de distance
euclidienne), définissez la moyenne des grappes initiale en
donnant:
Vecteur
moyen
Individuel
(centroïde
)
Groupe 1 1 (1.0, 1.0)
Groupe 2 4 (5.0, 7.0)
Les individus restants sont maintenant examinés en séquence et attribués au
groupe dans lequel ils sont le plus proches, en termes de distance euclidienne
par rapport à la moyenne du groupe. Le vecteur moyen est recalculé chaque
fois qu'un nouveau membre est ajouté. Cela conduit à la série d'étapes
suivante:
Groupe 1 Groupe 2
Vecteur Vecteur
Étape Individuel moyen Individuel moyen
(centroïde) (centroïde)
Vecteur moyen
Individuel
(centroïde)
Groupe 1 1, 2, 3 (1.8, 2.3)
Groupe 2 4, 5, 6, 7 (4.1, 5.4)
Mais nous ne pouvons pas encore être sûrs que chaque individu a été assigné au
bon cluster. Nous comparons donc la distance de chaque individu à sa propre
moyenne de cluster et à
celle du cluster opposé. Et nous trouvons:
Distance à la Distance à la
moyenne moyenne
Individuel
(centroïde) du (centroïde) du
groupe 1 groupe 2
1 1,5 5.4
2 0.4 4.3
3 2.1 1.8
4 5.7 1.8
5 3.2 0,7
6 3.8 0.6
7 2.8 1.1
Seul l'individu 3 est plus proche de la moyenne du groupe
opposé (groupe 2) que le sien (groupe 1). En d'autres termes, la
distance de chaque individu à sa propre moyenne de cluster
devrait être inférieure à la distance à la moyenne de l'autre
cluster (ce qui n'est pas le cas avec l'individu 3). Ainsi, l’individu
3 est déplacé vers le cluster 2, ce qui donne la nouvelle partition:
Vecteur
Individuel moyen
(centroïde)
Groupe 1 1, 2 (1.3, 1.5)
Groupe 2 3, 4, 5, 6, 7 (3.9, 5.1)
Exercice
Corrigé de l’exercice