Spark

Machine Learning
Disusun oleh

1. Ailsa Nurina Cahyani (22/51128/NPA/19856)

2. Dicky Setiawan (22/511229/NPA/19857)
3. Maulana Malik Ibrahim Al-Ghiffary (22/511231/NPA/19859)

Locally Rooted, Globally Respected

 Pembahasan Hari Ini…

A. Sejarah Spark Machine Learning

B. Arsitektur dan Cara Kerja Spark ML
C. Kelebihan Spark ML
D. Kekurangan Spark ML
E. Implementasi Spark ML

www.ugm.ac.id Locally Rooted, Globally Respected

Sejarah Spark
Machine Learning

Locally Rooted, Globally Respected

 Sejarah Spark Machine Learning
2009, Apache Spark dikembangkan oleh Matei Zaharia sebagai
sistem komputasi distribusi data.

2012, Spark dirilis sebagai software Open Source kemudian pada

2013 Spark resmi menjadi bagian dari Apache Software Foundation

2014, Spark memperkenalkan library Machine Learning nya Bernama

MLlib, yang berisi algoritma klasifikasi, regresi, clustering, filtering,
dan dimensionality reduction

2015 – 2017, MLlib memperkenalkan dukungan untuk DataFrames,

Pipelines, dan Deep Learning (melalui integrasi TensorFlow).

2018 – saat ini, MLlib terus dikembangkan dengan kemampuan graph

processing, distributed hyperparameter dan reinforcement learning

Locally Rooted, Globally Respected

Arsitektur dan Cara
Kerja Spark ML

Locally Rooted, Globally Respected

Data Preparation, Machine Learning Algorithm,
Komponen yang Komponen yang mencakup
bertanggung jawab algoritma ML, seperti
mengoptimalkan data agar regresi, klasifikasi, clustering,
sesuai dengan format dan collaborative filtering.
Machine Learning

Arsitektur dan Cara Kerja

Feature Engineering, Model Tuning & Evaluation,

Komponen yang bertanggung Komponen yang mencakup tools
jawab membuat fitur baru dari untuk mengatur parameter model
data yang ada dan mengevaluasi model ML

www.ugm.ac.id Locally Rooted, Globally Respected

 Arsitektur Spark
Machine Learning (lanjutan…)

Deployment,
Spark ML menyediakan API Sederhana untuk men-deploy model ML secara
scalable dengan berbagai pilihan seperti batch processing, streaming, dan
real-time serving.

Spark ML juga menyediakan API Pipeline,

Yang memungkinkan untuk menggabungkan beberapa tahapan persiapan
data, feature engineering, dan ML menjadi satu pipeline tunggal.
Overall, arsitektur Spark ML didesain untuk menyediakan platform ML
Scalable dan terdistribusi dengan API sederhana.

Locally Rooted, Globally Respected

Kelebihan dan
Kekurangan

Locally Rooted, Globally Respected

 Kelebihan Spark Machine Learning

Scalability, Distributed Computing, Algoritma yang Luas,

Spark ML dapat Spark ML menggunakan Spark ML menyediakan
memproses data basis Apache Spark berbagai macam
yang sangat besar sehingga kemampuan algoritma ML seperti
melalui pembagian distribusi data Spark regresi, klasifikasi,
tugas pada nodes. dapat dimanfaatkan clustering, dan
untuk pemrosesan data collaborative filtering.
yang cepat dan efisien.

Locally Rooted, Globally Respected

 Kelebihan Spark Machine Learning

Easy to Use, Pipeline, Integrasi Big Data,

API Spark ML intuitif Spark ML memiliki API Spark ML terintegrasi
dan memudahkan Pipeline yang berkemampuan dengan teknologi Big
pengguna dalam menggabunkan tahapan Data lain seperti
membangun persiapan data menjadi satu Hadoop dan Kafka,
dan men-deploy pipeline tunggal. sehingga memudahkan
model ML Bermanfaat memudahkan pengguna menganalisis
pengguna dalam data dalam lingkungan
mengorganisir ML yang Big Data
kompleks

Locally Rooted, Globally Respected

 Kekurangan Spark Machine Learning

Kompleksitas, Dokumentasi Kurang, Tidak Cocok Untuk

Meskipun Spark ML Dokumentasi Spark ML Data Kecil
cukup intuitif, Jika kurang informatif bagi Spark ML dirancang
pengetahuan pengguna baru seperti untuk bekerja dengan
mengenai ML dan hal-hal kompleks yang dataset besar sehingga
Apache Spark kurang kurang dijelaskan memerlukan nodes,
memumpuni maka dengan baik. Jika data terlalu kecil
penggunaannya akan penggunaannya tidak
cukup kompleks. efisien

Locally Rooted, Globally Respected

 Kekurangan Spark Machine Learning

Ketergantungan Kurangnya Dukungan Kurangnya Dukungan

pada Spark, Deep Learning, untuk GPU
Spark ML berjalan di Meskipun Spark ML Spark ML mendukung
atas Spark, sehingga memiliki beberapa algoritma ML yang cepat
perlu dilakukan algoritma Deep namun tidak memiliki
instalasi dan Learning namun dukungan kuat untuk GPU
konfigurasi Spark dukungan tersebut sehingga tidak dapat
sebelum dapat belum kuat bagi memanfaatkan
menggunakan pengguna. pemrosesan GPU yang
Spark ML. tinggi

Locally Rooted, Globally Respected

Implementasi
Spark ML

Locally Rooted, Globally Respected

Analisis Data Berbasis Teks

Spark ML dapat digunakan

untuk memproses data teks
dalam jumlah besar, seperti
dokumen, tweet, dan email.
Dengan menggunakan teknik
seperti pengelompokan,
klasifikasi, dan analisis sentimen,
pengguna dapat menganalisis
data teks dan menghasilkan
wawasan yang berharga.

Locally Rooted, Globally Respected

Rekomendasi Produk

Spark ML dapat digunakan

untuk membangun sistem
rekomendasi produk yang
cerdas. Dengan menggunakan
teknik collaborative filtering,
Spark ML dapat
merekomendasikan produk
yang mungkin disukai oleh
pelanggan berdasarkan riwayat
pembelian mereka.

Locally Rooted, Globally Respected

Pengolahan Citra dan Video

Spark ML dapat digunakan

untuk memproses data citra
dan video dalam jumlah besar.
Dengan menggunakan teknik
seperti pengenalan wajah,
identifikasi objek, dan
segmentasi citra, Spark ML
dapat membantu dalam
pengolahan dan analisis citra
dan video.

Locally Rooted, Globally Respected

 Terima kasih!

www.ugm.ac.id Locally Rooted, Globally Respected