Prediction

Support
Vector
Machine
Lega Adilawati
Erika Putri Husada
 Support Vector
Machine
Support Vector Machine (SVM) adalah salah satu metode yang akhir- akhir
ini banyak mendapat perhatian. Support Vector Machine (SVM)
dikembangkan oleh Boser, Guyon, Vapnik, dan pertama kali
dipresentasikan pada tahun 1992 di Annual Workshop on
Computational Learning Theory.
Konsep dasar SVM sebenarnya merupakan kombinasi harmonis dari teoriteori komputasi yang telah ada
puluhan tahun sebelumnya, seperti margin hyperplane (Duda & Hart tahun 1973, Cover tahun 1965, Vapnik
1964, dsb.), kernel diperkenalkan oleh Aronszajn tahun 1950, dan demikian juga dengan konsep- konsep
pendukung yang lain. Akan tetapi hingga tahun 1992, belum pernah ada upaya merangkaikan komponen –
komponen tersebut. Prinsip dasar SVM adalah linear classifier, dan selanjutnya dikembangkan agar dapat
bekerja pada problem non-linear. dengan memasukkan konsep kernel trick pada ruang kerja berdimensi tinggi.
Support Vector Machine
Konsep Klasifikasi dengan Support Vector Machine (SVM) adalah mencari
hyperplane terbaik yang berfungsi sebagai pemisah dua kelas
data.

Ide sederhana dari SVM adalah memaksimalkan margin, yang merupakan

jarak pemisah antara kelas data.

SVM mampu bekerja pada dataset yang berdimensi tinggi dengan

menggunakan kernel trik.

SVM hanya menggunakan beberapa titik data terpilih yang berkontribusi

(Support Vector) untuk membentuk model yang akan
digunakan dalam proses klasifikasi.
  Titik data : xi = {x1,x2,….,xn} ϵ Rn
 Kelas data : yi ϵ {-1,+1}
Pasangan data dan kelas : xi , yi i 1
N

 Maksimalkan fungsi berikut :

Ld   i   i j yi y j K xi , x j  syarat : 0   i  C dan

N N N N

i 1 i 1 j 1
 y
i 1
i i 0

 Hitung nilai w dan b :

 
N
w    i yi xi b  
1
w.x   w.x 
Model 
i 1 2
Fungsi keputusan klasifikasi sign(f(x)) :
m
f ( x)  w.x  b f ( x)    i yi K ( x, xi )  b
SVM Keterangan :
atau
i 1

N (banyaknya data), n (dimensi data atau banyaknya fitur), Ld (Dualitas

Lagrange Multipier), αi (nilai bobot setiap titik data), C (nilai konstanta), m
(jumlah support vector/titik data yang memiliki αi > 0), K(x,xi) (fungsi kernel).
  Beberapa Macam Fungsi Kernel Support Vector Machine (SVM) :

Model
SVM  Kernel Linier digunakan ketika data yang akan diklasifikasi dapat terpisah
dengan sebuah garis/hyperplane.
 Kernel non-Linier digunakan ketika data hanya dapat dipisahkan dengan
garis lengkung atau sebuah bidang pada ruang dimensi tinggi (Kernel Tri
k, No.2 sampai 6).
Visualisasi SVM
 Karakteristik
Suppport Vector Machine

SVM memerlukan proses pelatihan dengan menyimpan

01 hasil support vektor yang didapatkan untuk digunakan
kembali.

-40 SVM selalu memberikan model yang sama dan solusi

02 yang sama dengan margin maksimal.

SVM memisahkan data yang distribusi kelasnya bersifat

03 linier maupun non linier

SVM tidak dipengaruhi oleh data yang tinggi sehingga

04 tidak ada proses reduksi dimensi didalamnya.

Memori yang digunakan dalam SVM dipengaruhi oleh

05 banyaknya data, bukan besarnya dimensi data.
CONTOH
 ELIMINASI ELIMINASI
(1) 3W1 - 5W2 – b = 1 (3) -2W1-2W2-b =1
(2) - 2W1 - 3W2 – b = 1 (4) 4W1-5W1+b =1
--------------------------------------- + ---------------------------------------------- +
W1 + 2W2 = 2 2W1+3W2 =2
W1 = 2 – 2W2 2(2-2W2) +3W2 =2
4 - 4W2 + 3W2 =2
SUBTITUSI NILAI w2 untuk mencari nilai w1
W2 =2
W 1 = 2 – 2W2
W1 = 2 – 2 (2)
= -2
Terimakasih
