10/7/22, 12:43 AM Membuat Machine Learning Project Python | Easyread

Sign In Get started

Published in Easyread

Philip Purwoko Follow

Sep 13, 2020 · 9 min read

Membuat Proyek Machine Learning dengan

Python — Part 1
Part 1: Analisis, Visualisasi dan Preprocessing Data

112 2

https://medium.easyread.co/membuat-proyek-machine-learning-dengan-python-part-1-8e8a03095636 1/23
10/7/22, 12:43 AM Membuat Machine Learning Project Python | Easyread

Sign In Get started

Photo by Emile Perron on Unsplash

Artikel ini merupakan panduan untuk membuat machine learning project yang
dan dirancang sedemikian rupa agar mudah dimengerti. Jika ini pertama kali
anda mempelajari machine learning, saya sarankan anda untuk membaca
artikel berikut terlebih dahulu, Belajar Fundamental Machine Learning Untuk
Pemula.

Prasyarat Mempelajari Machine Learning

Untuk mempelajari Machine Learning dengan baik, terdapat berbagai
prasarat, yaitu:

1. Menguasai bahasa pemrograman dengan Python (direkomendasi).

Menguasai syntax dasar, struktur data, algoritma, serta error handling dan
menggunakan module dasar seperti datetime, os dan random.

2. Mampu melakukan manipulasi data dengan library pandas dan numpy.

Menguasai teknik manipulasi data file tabel (csv, excel, dsb).

3. Mampu melakukan visualisasi dan analisis data dengan matplotlib dan

seaborn. Untuk melakukan analisis data, akan lebih mudah jika kita
https://medium.easyread.co/membuat-proyek-machine-learning-dengan-python-part-1-8e8a03095636 2/23
10/7/22, 12:43 AM Membuat Machine Learning Project Python | Easyread

memvisualisasikan data tersebut.

Sign In Get started

4. Mampu mengoperasikan jupyter notebook (optional). Kemampuan ini

optional namun disarankan. Dalam proses analisis dan visualisasi data,
penggunaan Jupyter Notebook akan sangat membantu. Dengan Jupyter
Notebook Anda dapat memisahkan kode menjadi blok blok. Anda dapat
menjalankan kode blok satu per satu dan langsung melihat outputnya.

Gambaran Awal
Artikel ini akan memandu kalian untuk menyelesaikan classification problem
dengan machine learning. Dalam artikel ini, kita akan coding menggunakan
bahasa pemrograman Python. Saya menyarankan untuk menggunakan
Jupyter Notebook untuk mempermudah preprocessing dan analisis data.

Library yang akan digunakan adalah Numpy, Pandas, Matplotib, Seaborn, Pickle
dan Sklearn. Jika anda memasang Anaconda, biasanya libraries tersebut sudah
terpasang dari awal (default).

Dalam menulis sebuah artikel, Saya memiliki target kompetensi dan

pencapaian. Setelah mengikuti panduan ini, Anda dapat :

1. Mencari dataset secara online

https://medium.easyread.co/membuat-proyek-machine-learning-dengan-python-part-1-8e8a03095636 3/23
10/7/22, 12:43 AM Membuat Machine Learning Project Python | Easyread
. e ca dataset seca a o e
Sign In Get started
2. Melakukan analisis data
3. Membuat machine learning model

4. Melakukan evaluasi model

5. Membuat submission di kaggle

Mendapatkan Data
Mulailah project dengan mencari data. Anda dapat mencari data Gratis di
internet. Data tersebut dapat berbentuk structured data maupun unstructured
data. Berikut saya berikan tautan menuju beberapa situs untuk mendapatkan
data gratis termasuk website dari Indonesia.

1. Kaggle (Internasional)

2. Garuda — Garba Rujukan Digital

3. Data.go.id — Portal Satu Data Indonesia

4. Sinta — Science And Technology

Data yang akan kita pakai pada latihan ini adalah data pasien pecandu
narkoba. Anda cukup menuju halaman kaggle berikut dan mengunduh data
gratis. Data tersebut hanya berukuran beberapa KB saja, jadi jangan hawatir
https://medium.easyread.co/membuat-proyek-machine-learning-dengan-python-part-1-8e8a03095636 4/23
10/7/22, 12:43 AM
g y p j ,j
Membuat Machine Learning Project Python | Easyread
j g
karena kita tidak akan langsung bekerja dengan data yang besar. Sign In Get started

Drug Classification
This database contains information about certain drug types.
www.kaggle.com

Data yang Anda unduh akan berbentuk Zip, dan Anda dapat mengekstraknya
sehingga didapatkan file dengan nama drug200.csv. Data tersebut berbentuk
tabel, Anda pun dapat melihat lihat data tersebut di halaman kaggle tersebut.

Langkah Langkah Membuat Machine Learning Project

https://medium.easyread.co/membuat-proyek-machine-learning-dengan-python-part-1-8e8a03095636 5/23
10/7/22, 12:43 AM Membuat Machine Learning Project Python | Easyread

Langkah langkah membuat Machine Learning Project Sign In Get started

1. Memahami permasalahan. Jenis Machine Learning apa yang akan saya

gunakan menurut data yang saya miliki?

2. Menganalisis dan memproses data. Data mana yang dapat digunakan?

Data mana yang seharusnya dibuang? Pada tahap ini dilakukan
pengolahan dan analisis data

3. Berdasarkan permasalahan dan data yang ada. Pada tahap ini Machine
Learning Model dibuat.

4. Melatih program (Machine Learning Model). Model dilatih dengan

memberikan data yang sudah diproses sebelumnya.

5. Melakukan evaluasi terhadap model. Apa yang salah dengan Model?

Kenapa akurasinya rendah?

6. Meningkatkan model. Berdasarkan evaluasi, bagian model mana yang

harus diubah? Pada tahap ini Machine Learning Model diperbarui.

7. Mengulangi semua proses

Artikel ini dibagi menjadi dua bagian yang terpisah. Dalam artikel part 1 ini,
kita akan berfokus dalam preprocessing dan analisis data. Saya memisahkan
arikel menjadi dua bagian supaya artikel ini tidak terlalu panjang dan Anda
dapat mempelajari preprocessing data dan pembuatan machine learning model
dalam waktu yang terpisah.

https://medium.easyread.co/membuat-proyek-machine-learning-dengan-python-part-1-8e8a03095636 6/23
10/7/22, 12:43 AM Membuat Machine Learning Project Python | Easyread

Sign In Get started

Langkah 1 : Memahami Permasalahan

Preview dataframe dari situs kaggle

Jenis machine learning pada project ini merupakan supervised learning, karena
data memiliki label. Label dalam dataframe ini adalah data yang dimuat pada
kolom drug. Selain itu, data yang kita miliki merupakan structured data karena
data tersebut berwujud tabel.

Sedangkan permasalahan yang kita miliki merupakan classification, dimana

kita akan membuat machine learning model untuk memprediksi jenis narkoba
yang digunakan pasien menurut data yang diberikan. Data yang diberikan
https://medium.easyread.co/membuat-proyek-machine-learning-dengan-python-part-1-8e8a03095636 7/23
10/7/22, 12:43 AM Membuat Machine Learning Project Python | Easyread

tersebut adalah Age, Sex, BP, Cholesterol, dan Na_to_K. Sesuai dengan Sign In Get started

dataframe yang kita miliki, kolom drug adalah label dan kolom lainnya adalah
data. Baik data maupun label akan diberikan kepada machine learning model
untuk dipelajari.

Langkah 2 : Menganalisis dan Memproses Data

2.1 Overview Data

Buatlah notebook baru, import beberapa library yang diperlukan. Muatlah data
ke dalam notebook dengan Pandas.

1 # Import standard library

2 import pandas as pd
3 import numpy as np
4 import matplotlib.pyplot as plt
5 import seaborn as sns
6
7 # Memuat file drug200.csv menjadi pandas dataframe
8 dataframe = pd.read_csv('drug200.csv')
9
10 # Menampilkan 5 baris pertama dari dataframe
11 dataframe.head()

import-libraries.py hosted with ❤ by GitHub view raw

https://medium.easyread.co/membuat-proyek-machine-learning-dengan-python-part-1-8e8a03095636 8/23
10/7/22, 12:43 AM Membuat Machine Learning Project Python | Easyread

Sign In Get started

Menampilkan 5 baris pertama pada dataframe

2.2 Mengubah Data Menjadi Numerik

Setelah kita berhasil memuat data ke dalam program, proses selanjutnya ialah
memproses data dan mengubahnya menjadi numerik atau angka. Namun,
sebelumnya Anda harus mengetahui tipe data dalam dataframe.

https://medium.easyread.co/membuat-proyek-machine-learning-dengan-python-part-1-8e8a03095636 9/23
10/7/22, 12:43 AM Membuat Machine Learning Project Python | Easyread

Sign In Get started

Menampilkan banyak informasi dengan fungsi dataframe.info()

Pada kolom Dtype terdapat banyak jenis data yang berbeda beda, yaitu int64,
float64 dan object. Data dengan tipe objek ini merupakan categorical data,
sehingga setelah ini harus dilakukan preprocessing untuk mengubah data
menjadi numerik atau angka. Karena komputer hanya dapat membaca data
yang berupa angka.

Caranya, kita dapat menggunakan encoder dari module Sklearn. Encoder

digunakan untuk mengubah data kategori menjadi angka.

1 # Import LabelEncoder dari module sklearn

2 from sklearn.preprocessing import LabelEncoder
3
4 # Menyalin / copy dataframe agar dataframe awal tetap utuh
5 dataframe_int = dataframe.copy()
6
7 # Membuat objek/instance yang bernama encoder
8 encoder = LabelEncoder()
9
10 # Membuat list dari nama kolom data kategori
11 categorical_data = ['Sex','BP','Cholesterol','Drug']
12
13 # Mengubah setiap data kategori menjadi numerik dengan encoder
14 for kolom in categorical_data:
15 dataframe int[kolom] = encoder fit transform(dataframe[kolom])
https://medium.easyread.co/membuat-proyek-machine-learning-dengan-python-part-1-8e8a03095636 10/23
10/7/22, 12:43 AM Membuat Machine Learning Project Python | Easyread
15 dataframe_int[kolom] = encoder.fit_transform(dataframe[kolom])
16
Sign In Get started
17 # Sekarang data sudah berupa angka sepenuhnya
18 dataframe_int.head()

encoding-data.py hosted with ❤ by GitHub view raw

Mengubah data menjadi numerik dengan LabelEncoder() dari module sklearn

2.3 Analisis Data Kategori

Proses dilanjutkan dengan menganalisis data kategori. Dimulai dengan
mencari tahu jumlah kelas yang dimiliki oleh setiap categorical data

https://medium.easyread.co/membuat-proyek-machine-learning-dengan-python-part-1-8e8a03095636 11/23
10/7/22, 12:43 AM Membuat Machine Learning Project Python | Easyread

Sign In Get started

Menampilkan semua kelas pada setiap data kategori

Terdapat lima kelas, yaitu narkoba jenis Y, C, X, A dan B. Sehingga bisa kita
menyimpulkan bahwa permasalahan ini merupakan multi-class classification
dimana kita melakukan klasifikasi data yang memiliki jumlah kelas lebih dari
dua. Sedangkan jenis lain dari multi-class adalah binary classification yang
merupakan klasifikasi jika categorical data hanya memiliki dua kelas, misalnya
pada kolom sex dan cholesterol.

Sekarang, kita dapat menganalisa bahwa nama kelas yang semula kata kata
digantikan oleh angka. Angka tersebut mewakili kelas masing masing.
Terdapat 5 kelas yaitu 0,3,4,1 dan 2. Dimana 0 mewakili Y, 3 mewakili C, 4
mewakili X 1 mewakili A dan 2 mewakili B Begitu juga dengan kolom yang
https://medium.easyread.co/membuat-proyek-machine-learning-dengan-python-part-1-8e8a03095636 12/23
10/7/22, 12:43 AM Membuat Machine Learning Project Python | Easyread
mewakili X, 1 mewakili A, dan 2 mewakili B. Begitu juga dengan kolom yang
Sign In Get started
lain. Ini adalah apa yang terjadi saat kita menggunakan LabelEncoder().
2.4 Analisis Matrix Korelasi
Proses masih berada pada analisis data, sekarang kita melakukan analisis
pada matrix korelasi. Dimana matrix korelasi memberikan kita informasi
mengenai korelasi atau hubungan kolom satu dengan kolom yang lain.

Matrix korelasi dalam bentuk tabel

Data yang memiliki hubungan satu sama lain adalah data yang penting,
karena akan mempengaruhi proses latihan dan akurasi model. Adapun cara
untuk mengetahui data mana yang penting adalah dengan menganalisa nilai
korelasinya. Untuk mempermudah proses analisa, maka dapat dilakukan
dengan visualisasi data.

https://medium.easyread.co/membuat-proyek-machine-learning-dengan-python-part-1-8e8a03095636 13/23
10/7/22, 12:43 AM Membuat Machine Learning Project Python | Easyread

Sign In Get started

Visualisasi matrix korelasi

Nilai korelasi berkisar pada jarak -1 sampai 1. Jika bernilai negatif maka data
https://medium.easyread.co/membuat-proyek-machine-learning-dengan-python-part-1-8e8a03095636 14/23
10/7/22, 12:43 AM Membuat Machine Learning Project Python | Easyread

memiliki korelasi negatif, dan sebaliknya. Namun, jika nilai korelasi Sign In Get started

mendekati nol, artinya data tersebut hampir tidak memiliki korelasi atau
korelasinya rendah, sehingga data tersebut bukan merupakan data yang
penting. Artinya, data tersebut akan mengganggu akurasi model.

Tambahan : Perumpamaan Matrix Korelasi

Untuk lebih memahami arti dari matrix korelasi, silakan analisa
perumpamaan berikut.

Data terdiri dari dua kolom yaitu belajar dan ilmu. Data tersebut memiliki
https://medium.easyread.co/membuat-proyek-machine-learning-dengan-python-part-1-8e8a03095636 15/23
10/7/22, 12:43 AM
ata te d da dua o o ya tuMembuat
be ajaMachine Learning Project Python | Easyread
da u. ata te sebut e
korelasi sempurna karena nilai korelasinya 1 dan -1. Pada kotak pojok kiri
Sign In Get started

atas, nilai korelasi adalah 1. Artinya nilai korelasinya positif. Artinya jika
belajar semakin besar, maka ilmu akan semakin besar. Pada kotak yang lain,
berlaku hal yang sama. Begitulah cara membaca matrix korelasi.

Kembali ke data pasien yang kita miliki. Selanjutnya, kita baca nilai korelasi
kolom drug vs kolom lain. Terbaca bahwa kolom Na_to_K memiliki korelasi
negatif yang besar terhadap kolom drug, sedangkan kolom dengan korelasi
positif yang cukup besar hanya pada kolom BP yaitu Blood Pressure atau
Tekanan Darah. Sedangkan kolom lain memiliki nilai korelasi yang dekat
dengan nol.

Untuk saat ini kita tidak perlu melakukan apapun terhadap data tersebut
terlebih dahulu. Karena hal itu akan menjadi bagian dari feature selection.
Mengenai feature selection tidak akan dikupas tuntas dalam artikel ini.

2.5 Distribusi Data

Distribusi data adalah sebuah data yang dapat memberitahu kita semua nilai
data dan setiap frekuensi yang dimiliki dalam dataframe. Untuk mengetahui
distribusi dalam data, dapat dilakukan dengan membuat visualisasi sebuah
https://medium.easyread.co/membuat-proyek-machine-learning-dengan-python-part-1-8e8a03095636 16/23
10/7/22, 12:43 AM Membuat Machine Learning Project Python | Easyread

histogram.
Sign In Get started

1 def distribusi():
2 fig,axes = plt.subplots(nrows=2,ncols=3,figsize=(12,8))
3 plt.suptitle('Distribusi',fontsize=24)
4
5 def kolom_generator():
6 for kolom in dataframe_int:
7 yield kolom
8 kolom = kolom_generator()
9
10 for i in range(0,2):
11 for j in range(0,3):
12 k = next(kolom)
13 dataframe_int[k].plot(kind='hist',ax=axes[i,j])
14 axes[i,j].set_title(k)
15 plt.show()

distribusi-data.py hosted with ❤ by GitHub view raw

https://medium.easyread.co/membuat-proyek-machine-learning-dengan-python-part-1-8e8a03095636 17/23
10/7/22, 12:43 AM Membuat Machine Learning Project Python | Easyread

Sign In Get started

Visualisasi distribusi data

Sebenarnya Anda dapat menggali informasi lebih jauh lagi dengan visualisasi
data histogram, seperti menampilkan histogram kolom drug vs cholesetrol
atau drug vs sex, dll. Namun dalam artikel ini kita buat projectnya simpel saja.
https://medium.easyread.co/membuat-proyek-machine-learning-dengan-python-part-1-8e8a03095636 18/23
10/7/22, 12:43 AM Membuat Machine Learning Project Python | Easyread

Sign In Get started

Kita dapat menganalisa pada histogram drug dimana frekuensi setiap kelas
tidak sama dan memiliki selisih yang jauh. Dimana kelas 0 dan 4 memiliki
frekuensi diatas 60 semetara untuk kelas 1,2 dan 3 hanya memiliki frekuensi
sekitar 20.

Ketidakseimbangan jumlah data akan menyebabkan machine learning model

yang akan kita buat dapat memprediksi data yang frekuensinya besar (kelas 0
dan 4) dengan akurasi tinggi, namun akan meprediksi data yang frekuensinya
rendah (kelas 1,2 dan 3) dengan akurasi rendah. Karena model cukup berlatih
pada kelas dengan frekuensi besar, sementara program kurang berlatih pada
frekuensi sedikit. Sehingga, pada project ini kita tidak boleh menilai kualitas
model hanya dari tingkat akurasinya saja.

Dalam machine learning terdapat istilah error metrics. Error metrics untuk
setiap jenis permasalahan machine learning berbeda beda. Dimana dalam
kasus classification, terdapat beberapa matrix eror yaitu accuracy_score, recall,
f1_score, dan r2_score. Untuk accuracy_score mesti sudah tidak asing lagi,
namun untuk matrix lainnya akan dibahas pada kelanjutan artikel pada part 2
saat melakukan evaluasi pada Machine Learning Model.

2.6 Memisahkan Data

https://medium.easyread.co/membuat-proyek-machine-learning-dengan-python-part-1-8e8a03095636 19/23
10/7/22, 12:44 AM Membuat Machine Learning Project Python | Easyread

Sign In Get started

Dataframe harus dibagi menjadi dua, yaitu data dan label. Label merupakan
kolom drug yang ingin diprediksi, sedangkan data merupakan kolom lainnya.
Setelah kita memiliki data dan label, maka kita pisahkan menjadi dua sekali
lagi menjadi latihan dan tes.

1 # Memisahkan dataframe awal menjadi data dan label

2 data = dataframe_int.drop('Drug',axis=1)
3 label = dataframe_int['Drug']
4
5 # Memisahkan dataframe menjadi data latihan dan data tes
6 from sklearn.model_selection import train_test_split
7 x_train, x_test, y_train, y_test = train_test_split(data,label,test_size=0.2)
8
9 # Print dataframe.shape untuk mengetahui bentuk dataframe
10 print(x_train.shape,y_train.shape)
11 print(x_test.shape,y_test.shape)

split-data.py hosted with ❤ by GitHub view raw

Data latihan digunakan sebagai bahan latihan model, sementara data tes
digunakan untuk menguji performa model sebelum digunakan untuk bekerja.
Sehingga sekarang kita memiliki empat data yaitu data latihan (x_train), data
test (x_test), label latihan (y_train) dan label tes (y_test).

Kita import train_test_split dari sklearn.model_selection dimana kita

https://medium.easyread.co/membuat-proyek-machine-learning-dengan-python-part-1-8e8a03095636 20/23
10/7/22, 12:44 AM Membuat Machine Learning Project Python | Easyread

memberikan parameter yaitu data, label, dan test size. Test size merupakan
Sign In Get started

ukuran data tes. Karena data kita berjumlah 200 maka 0.2 x 200 = 40 sehingga
data tes kita berjumlah 40 dan data latihan berjumlaah 160. Fungsi
train_test_split ini me-return empat numpy array , maka kita deklarasi empat
variabel saat menjalankan fungsi train_test_split.

Let’s Take A Break

Sekarang mari kita lihat apa saja yang telah kita lakukan.

1. Anda telah melakukan analisis data, dimana dalam proses analisis juga
diperlukan kemampuan statistika. Karena dalam membuat machine
learning project, kita tidak hanya coding saja. Namun kita ingin
menyelesaikan permasalahan (problem solver) sehingga kita harus
melakukan analisa.

2. Dalam artikel ini, Anda telah melakukan preprocessing data, sehingga data
telah bertipe numerik atau angka. Serta data telah dipisahkan menjadi
empat bagian. Sekarang kita memiliki data yang siap digunakan untuk
melatih machine learning model.

Jika pemahaman anda masih mengambang tentang preprocessing dan analisis

data, silakan anda ulangi lagi untuk membaca artikel ini dan mencari
https://medium.easyread.co/membuat-proyek-machine-learning-dengan-python-part-1-8e8a03095636 21/23
10/7/22, 12:44 AM Membuat Machine Learning Project Python | Easyread
data, silakan anda ulangi lagi untuk membaca artikel ini dan mencari
informasi dari sumber lain. Proses pengerjaan project baru ditempuh Sign In Get started

setengah jalan, jadi anda tidak perlu terburu buru untuk melanjutkannya
sekarang juga. Silakan anda istirahat dahulu.

Sedangkan pada artikel part 2, kita akan mempelajari untuk membuat

machine learning model dengan sklearn. Aritkel part 2 akan dibuat pada lain
kesempatan. Tidak lupa bagi Saya ucapkan selamat bagi Anda yang telah
belajar sejauh ini, Anda hanya perlu menjaga mood agar Anda tetap memiliki
semangat dan rasa penasaran dalam mempelajari machine learning.

Link Notebook: SVM-Multiclass-Classification

Explore and run machine learning code with Kaggle Notebooks |
Using data from Drug Classification
www.kaggle.com

Belajar Fundamental Machine Learning Untuk Pemula

Pengenalan machine learning dengan materi komprehensif untuk
pemula
medium.com

https://medium.easyread.co/membuat-proyek-machine-learning-dengan-python-part-1-8e8a03095636 22/23
10/7/22, 12:44 AM Membuat Machine Learning Project Python | Easyread

Sign In Get started

Enjoy Learning !

Get an email whenever Philip Purwoko publishes.

By signing up, you will create a Medium account if you don’t already have one. Review Subscribe
our Privacy Policy for more information about our privacy practices.

About Help Terms Privacy

https://medium.easyread.co/membuat-proyek-machine-learning-dengan-python-part-1-8e8a03095636 23/23