MODUL

MACHINE
LEARNING
(P151700003)

Support Vector Machine

Fakultas Program Studi Tatap Muka Kode MK Disusun Oleh

13
Ilmu Komputer Teknik Informatika P151700003 Indrajani, S.Kom., MM
 Abstract Competencies

Salah satu tugas dan keahlian serta • Mampu menjelaskan konsep

dan teori Support Vector
kelebihan Support Vector Machine
Machine (SMV)
adalah untuk melakukan prediksi. • Kesesuaian penjelasan konsep
dan teori SVM
Mampu mengklasikasikan dan
• Ketepatan penerapan SVM
mengregresi dalam suatu kasus adalah yang sesuai untuk klasifikasi
kemampuan yang dimiliki oleh SVM. • Mampu menerapkan tools SVM
untuk klasifikasi
• Mampu menjelaskan analisis
hasil SVM
(CPMK 1,2,3a,4)

2020 Machine Learning Pusat Bahan Ajar dan eLearning

2 Indrajani S.Kom., MM http://www.mercubuana.ac.id
Pembahasan

Salah satu tugas dan keahlian serta kelebihan Support Vector Machine adalah untuk
melakukan prediksi. Mampu mengklasikasikan dan mengregresi dalam suatu kasus adalah
kemampuan yang dimiliki oleh SVM.
Pada penerapannya, SVM memiliki suatu prinsip dasar linier clasier, yang penjelasannya
adalah suatu kasus yang secara linier dapat dipisahkan, namun saat ini SVM juga sudah
dikembangkan supaya dapat pula bekerja pada problem non-linier dengan menambahkan
konsep kernel pada ruang kerja yang berdimensi tinggi. perlu diketahui, pada ruang
berdimensi tinggi, akan dicari sesuatu yang disebut hyperplane yang bisa memaksimalkan
jarak antar beberapa kelas data.
SVM linier merupakan pemisahan data menurut linier-nya. Pemisah terbaik tidak hanya dapat
memisahkan data, tetapi juga margin. Selanjutnya agar SVM dapat memisahkan data yang
tidak hanya secara linier makan SVM akan dimodikasi.
Untuk mengenal SVM lebih dalam, kita akan mencari tahu terlebih dahulu seajarah dari
SVM. Tahun 1992 merupakan tahun dimana metode klasikasi ini ditemukan dan
dipresentasikan oleh Vapnik, Guyon, dan Boser. Pada tahun pertamanya, ia dikenal sebagai
salah satu pattern recognition. Pattern recognition adalah salah satu dari bidang komputer dan
sains, tugasnya adlah memetakan suatu data tertentu kedalam konsep yang sudah didenisikan
sebelumnya, konsep tersebut dipanggil class atau category. SVM ini masihlah berumur muda.
Namun, kemampuannya di mengolah aplikasi berhasil memproleh tempat sebagai state of the
art dalam pattern recognition.
Metode yang digunakan oleh SVM adalah metode learning machine yaitu bekerja pada
dengan prinsip Structural Risk Minimizationyang bertujuan menemukan hyperplane terbaik
yang memasihkan 2 buah class pada ruang input.
SVM diduga bekerja lebih baik dari pada Neural Network. Keduanya sudah berhasil
digunakan dalam pengenalam pola.

Dari orang-orang biasa hingga para ilmuwa telah menerapkan metode ini dalam
menyelesaikan masalahmasalah di kehidupan sehari hari. Sudah terbukti bahwa SVM
memberikan hasil kerja yang sangat baik dalam banyak implementasi.
SVM sangat mudah dijelaskan secara sederhana untuk usaha mencari hyperplane-hyperplane
terbaik yang berguna untuk mengklasikasikan dua buah class pada ruang input. Problem

2020 Machine Learning Pusat Bahan Ajar dan eLearning

3 Indrajani S.Kom., MM http://www.mercubuana.ac.id
klasikasi dapat diselesaikan dengan menemukan garis atau hyperplane yang memisahkan
antara kedua buah kelompok tersebut.
Oleh karena itu, untuk menemukan problem klasikasi, kita harus menemukan garis atau
hyperplane yang memisahkan 2 buah kelompok yang memiliki problem tadi. .
SVM sama seperti yang lainnya, memiliki kelebihan beserta kekurangan. Kelebihan SVM
adalah sebagai berikut
1. mampu mengklasikasikan pattern-pattern yang tidak masuk dalam kelas atau kategori
metode yang menjadi pembelajaran. Kemampuan ini dinamai sebagai Generalisasi. Karena
memiliki strategi SRM, Suppor vector machine bisa meminimalkan error pada training set
dan juga error yang dipengaruhi oleh faktor VC.
2. Masalah dalam menghadapi suatu pattern disebut sebagai Curse of dimensionality.
Masalah ini bisa terjadi dikarenakan jumlah data yang ada lebih sedikit dibandingkan dengan
dimesional ruang vector data tersebut. Karena prinsipnya adalah semakin tinggi dimesional
makan diperlukan pula data yang lebih dalam proses pembelajaran.
3. SVM memiliki Landasan teori yang jelas.
4. Dengan kelebihannya, SVM juga mampu diimplementasikan dengan mudah. Mengapa
bisa begitu? Karena proses dalam menentukan SVM bisa dapat dirumuskan dengan QP
problem. Jadi caranya cukup mudah yaitu dengan memiliki library untuk menyelesaikan Qp
problem, maka selanjutnya SVM akan berimplimentasi secara mudah dengan sendirinya.
Kelebihan ini disebut dengan Feasibility.
Selanjutnya kekurangan dari SVM adalah :
1. Bila dipakai dalam skala yang besar, maka SVM akan sangat sulit digunakan.
2. SVM sedang di olah agar mampu menyelasaikan masalah dengan class lebih dari dua

2020 Machine Learning Pusat Bahan Ajar dan eLearning

4 Indrajani S.Kom., MM http://www.mercubuana.ac.id
Apa itu SVM? Support Vector Machine (SVM) merupakan salah satu metode dalam
supervised learning yang biasanya digunakan untuk klasifikasi (seperti Support Vector
Classification) dan regresi (Support Vector Regression). Dalam pemodelan klasifikasi, SVM
memiliki konsep yang lebih matang dan lebih jelas secara matematis dibandingkan dengan
teknik-teknik klasifikasi lainnya. SVM juga dapat mengatasi masalah klasifikasi dan regresi
dengan linear maupun non linear.
SVM digunakan untuk mencari hyperplane terbaik dengan memaksimalkan jarak antar kelas.
Hyperplane adalah sebuah fungsi yang dapat digunakan untuk pemisah antar kelas. Dalam 2-

2020 Machine Learning Pusat Bahan Ajar dan eLearning

5 Indrajani S.Kom., MM http://www.mercubuana.ac.id
D fungsi yang digunakan untuk klasifikasi antar kelas disebut sebagai line whereas, fungsi
yang digunakan untuk klasifikasi antas kelas dalam 3-D disebut plane similarly, sedangan
fungsi yang digunakan untuk klasifikasi di dalam ruang kelas dimensi yang lebih tinggi di
sebut hyperplane.

Hyperplane yang ditemukan SVM diilustrasikan seperti Gambar 1 posisinya berada ditengah-
tengah antara dua kelas, artinya jarak antara hyperplane dengan objek-objek data berbeda
dengan kelas yang berdekatan (terluar) yang diberi tanda bulat kosong dan positif. Dalam
SVM objek data terluar yang paling dekat dengan hyperplane disebut support vector. Objek
yang disebut support vector paling sulit diklasifikasikan dikarenakan posisi yang hampir
tumpang tindih (overlap) dengan kelas lain. Mengingat sifatnya yang kritis, hanya support
vector inilah yang diperhitungkan untuk menemukan hyperplane yang paling optimal oleh
SVM.

Dari contoh diatas, didapatkan plot contoh data yang dijelaskan pada Gambar 2.

2020 Machine Learning Pusat Bahan Ajar dan eLearning

6 Indrajani S.Kom., MM http://www.mercubuana.ac.id
Pada Gambar 2 menjelaskan bahwa terdapat 2 kelas yang terdiri dari -1 ditunjukkan dengan
warna biru dan 1 ditunjukkan dengan warna orange. Pada masing-masing titik tersebut
digunakan untuk mencari pemisah antara data positif dan data negatif. Penyelesaian sebagai
berikut :

2020 Machine Learning Pusat Bahan Ajar dan eLearning

7 Indrajani S.Kom., MM http://www.mercubuana.ac.id
Berdasarkan persamaan diatas, maka didapatkan nilai dari setiap variabel. Dari persamaan 1
dan 2 didapatkan:

2020 Machine Learning Pusat Bahan Ajar dan eLearning

8 Indrajani S.Kom., MM http://www.mercubuana.ac.id
2020 Machine Learning Pusat Bahan Ajar dan eLearning
9 Indrajani S.Kom., MM http://www.mercubuana.ac.id
Berdasarkan asumsi diatas berdasarkan asumsi bahwa kedua belah kelas terpisah secara
sempurna oleh hyperplane. Dua buah kelas tidak selalu terpisah secara sempurna. Hal
tersebut menyebabkan constraint pada persamaan 1 tidak terpenuhi, sehingga optimasi tidak
terpenuhi dilakukan. Untuk mengatasi masalah ini, SVM dirumuskan ulang dengan
menggunakan teknik soft margin. Soft margin dijelaskan dalam bentuk gambar pada Gambar
4.

2020 Machine Learning Pusat Bahan Ajar dan eLearning

10 Indrajani S.Kom., MM http://www.mercubuana.ac.id
Parameter C dipilih untuk mengontrol trade off antara margin dan error klasifikasi ξ atau nilai
kesalahan pada klasifikasi. Parameter C ditentukan dengan mencoba beberapa nilai dan
dievaluasi efeknya terhadap akurasi yang dicapai oleh SVM misalnya dengan cara Cross
Validation. Nilai C yang besar berarti akan memberikan penalti yang lebih besar terhadap
error klasifikasi tersebut. Pada umumnya permasalahan data tidak dapat dipisahkan secara
Linear dalam ruang input, soft margin SVM tidak dapat menemukan pemisah dalam
hyperplane sehingga tidak dapat memiliki akurasi yang besar dan tidak menggeneralisasi
dengan baik. Oleh karena itu, dibutuhkan kernel untuk mentransformasikan data ke ruang
dimensi yang lebih tinggi yang disebut ruang kernel yang berguna untuk memisahkan data

2020 Machine Learning Pusat Bahan Ajar dan eLearning

11 Indrajani S.Kom., MM http://www.mercubuana.ac.id
secara Linear. Secara umum, fungsi kernel yang sering digunakan adalah kernel Linear,
Polynomial dan Radial Basis Function (RBF).

Bibliography
1] S. Shalev-Shwartz dan S. Ben-David, Understanding machine learning: From theory to
algorithms, vol. 9781107057. 2014.
[2] A. C. Muller dan S. Guido, Introduction to Machine Learning with Python. California: O’
Reilly Media Inc, 2016.

Pendukung:
H. Daume, A course in machine learning. 2012.

2020 Machine Learning Pusat Bahan Ajar dan eLearning

12 Indrajani S.Kom., MM http://www.mercubuana.ac.id