Big Data Analytics

Imam Haromain, S.Si., M.Kom.

Program Studi Sistem Informasi & Teknik Informatika – STT Terpadu Nurul Fikri
 Apa itu Big Data Analytics?

• Big data analytics adalah penggunaan teknik analitik tingkat lanjut terhadap
kumpulan data yang sangat besar dan beragam yang mencakup data
terstruktur, semi-terstruktur, dan tidak terstruktur, dari berbagai sumber, dan
dalam ukuran berbeda dari terabyte hingga zettabytes.

Program Studi Sistem Informasi & Teknik Informatika – STT Terpadu Nurul Fikri
 Big Data Analytics

• Dengan big data analytics, bisa mendorong pengambilan keputusan,

pemodelan, dan prediksi hasil masa depan yang lebih baik dan lebih cepat,
serta peningkatan dalam kecerdasan bisnis (business intelligence).

Program Studi Sistem Informasi & Teknik Informatika – STT Terpadu Nurul Fikri
 Kenapa Big Data Analytics penting?

• Organisasi dapat menggunakan sistem dan perangkat lunak big data

analytics untuk membuat keputusan berdasarkan data yang dapat
meningkatkan hasil terkait bisnis. Manfaatnya yaitu pemasaran yang lebih
efektif, peluang pendapatan baru, personalisasi pelanggan, dan peningkatan
efisiensi operasional. Dengan strategi yang efektif, manfaat tersebut dapat
memberikan keunggulan kompetitif atas pesaing.

Program Studi Sistem Informasi & Teknik Informatika – STT Terpadu Nurul Fikri
 Bagaimana Big Data Analytics bekerja?

• Data analysts, data scientists, predictive modelers, ahli statistik, dan

profesional analitik mengumpulkan, memproses, membersihkan, dan
menganalisis volume data transaksi terstruktur yang terus bertambah serta
bentuk data-data lain.

Program Studi Sistem Informasi & Teknik Informatika – STT Terpadu Nurul Fikri
 Bagaimana Big Data Analytics bekerja?

Berikut adalah beberapa langkah proses persiapan data :

• Data profesional mengumpulkan data dari berbagai sumber yang berbeda. Data
berupa data terstruktur, data semi-terstruktur dan tidak terstruktur. Setiap organisasi
akan menggunakan aliran data yang berbeda, beberapa sumber meliputi :
 Cloud applications;
 Mobile applications;
 Social media content;
 Mobile phone records;
 Data mesin ditangkap oleh sensor yang terhubung ke internet of things
(IoT).
 Dll.

Program Studi Sistem Informasi & Teknik Informatika – STT Terpadu Nurul Fikri
 Bagaimana Big Data Analytics bekerja?

• Data diproses
Setelah data dikumpulkan dan disimpan di gudang data atau data lake,
profesional data harus mengatur, mengonfigurasi, dan mempartisi data
dengan benar untuk kebutuhan analisa.

• Data dibersihkan untuk mendapatkan kualitas data

Profesional data melakukan proses clean data menggunakan alat atau
perangkat lunak perusahaan. Mereka mencari kesalahan atau inkonsistensi,
seperti duplikasi atau kesalahan format, dan mengatur dan merapikan data.

Program Studi Sistem Informasi & Teknik Informatika – STT Terpadu Nurul Fikri
 Bagaimana Big Data Analytics bekerja?

• Data yang dikumpulkan, diproses, dan dibersihkan akan dianalisis dengan

perangkat lunak analitik. Ini termasuk alat untuk :
 Data mining, menyaring kumpulan data untuk mencari pola dan hubungan.
 Analitik prediktif, yang membangun model untuk memperkirakan perilaku
pelanggan dan perkembangan masa depan lainnya.
 Mesin Learning, yang memanfaatkan algoritma untuk menganalisis kumpulan
data besar.
 Deep Learning, yang merupakan komponen yang lebih maju dari pembelajaran
mesin.
 Text mining and statistical analysis software.
 Artificial intelligence (AI).
 Data visualization tools.
Program Studi Sistem Informasi & Teknik Informatika – STT Terpadu Nurul Fikri
 Contoh big data analytics pada industri

• Kesehatan
Big data analytics pada layanan kesehatan mendorong respons yang lebih
cepat terhadap penyakit yang muncul dan meningkatkan perawatan pasien,
pengalaman pelanggan, dan administrasi, asuransi, dan pemrosesan
pembayaran.

• Akuisisi dan mempertahankan pelanggan

Data konsumen dapat membantu upaya pemasaran perusahaan, yang dapat
bertindak berdasarkan tren untuk meningkatkan kepuasan pelanggan. Misalnya,
mesin personalisasi untuk Amazon, Netflix, dan Spotify dapat memberikan
pengalaman pelanggan yang lebih baik dan menciptakan loyalitas pelanggan.
Program Studi Sistem Informasi & Teknik Informatika – STT Terpadu Nurul Fikri
 Contoh big data analytics pada industri

• Layanan keuangan
Analisis keuangan meningkatkan penargetan pelanggan menggunakan
analisis pelanggan. Bisnis dapat membuat keputusan yang lebih baik dan
memberikan manajemen membuat keputusan yang lebih baik sambil
mengurangi risiko dan penipuan.

• Target Iklan
Data personalisasi dari sumber seperti pembelian sebelumnya, pola interaksi,
dan riwayat tampilan halaman produk dapat membantu menghasilkan
kampanye untuk iklan bertarget yang menarik bagi pengguna di tingkat
individu dan dalam skala yang lebih besar.
Program Studi Sistem Informasi & Teknik Informatika – STT Terpadu Nurul Fikri
 Contoh big data analytics pada industri

• Penyedia layanan komunikasi

Dapat menggunakan big data analytics untuk mengoptimalkan pemantauan
jaringan, manajemen, dan kinerja untuk membantu mengurangi risiko dan
mengurangi biaya. Mereka juga dapat menggunakan analitik untuk
meningkatkan penargetan dan layanan pelanggan.

• Pengembangan produk
Big data analytics dapat memberikan wawasan untuk menginformasikan
tentang kelayakan produk, keputusan pengembangan, pengukuran kemajuan,
dan mengarahkan peningkatan ke arah yang sesuai dengan pelanggan
bisnis.
Program Studi Sistem Informasi & Teknik Informatika – STT Terpadu Nurul Fikri
 Contoh big data analytics pada industri

• Optimalisasi harga
Pengecer/Retail dapat memilih model penetapan harga yang menggunakan
dan memodelkan data dari berbagai sumber data untuk memaksimalkan
pendapatan.

• Supply chain (rantai suplai) dan analitik saluran

Model analitis prediktif dapat membantu pemeriksaan dini, jaringan
pemasok, manajemen inventaris, optimalisasi rute, dan pemberitahuan
potensi penundaan pengiriman.

Program Studi Sistem Informasi & Teknik Informatika – STT Terpadu Nurul Fikri
 Contoh big data analytics pada industri

• Manajemen risiko
Analisis data besar dapat mengidentifikasi risiko baru dari pola data untuk
strategi manajemen risiko yang efektif.

• Peningkatan pengambilan keputusan

Wawasan yang diambil pengguna bisnis dari data yang relevan dapat
membantu organisasi membuat keputusan yang lebih cepat dan lebih baik.

Program Studi Sistem Informasi & Teknik Informatika – STT Terpadu Nurul Fikri
 Keuntungan Big data analytics

Manfaat menggunakan big data analytics meliputi :

• Menganalisis data dalam jumlah besar dengan cepat dari berbagai sumber,
dalam berbagai format dan jenis.
• Membuat keputusan yang lebih baik dengan cepat untuk penyusunan
strategi yang efektif, yang dapat menguntungkan dan meningkatkan rantai
pasokan, operasi, dan area pengambilan keputusan strategis lainnya.

Program Studi Sistem Informasi & Teknik Informatika – STT Terpadu Nurul Fikri
 Keuntungan Big data analytics

Manfaat menggunakan big data analytics meliputi :

• Penghematan biaya, yang dapat dihasilkan dari efisiensi dan optimalisasi
proses bisnis baru.
• Pemahaman yang lebih baik tentang kebutuhan, perilaku, dan sentimen
pelanggan, yang dapat menghasilkan wawasan pemasaran yang lebih baik,
serta memberikan informasi untuk pengembangan produk.
• Strategi manajemen risiko yang lebih baik dan lebih terinformasi yang
diambil dari ukuran sampel data yang besar.

Program Studi Sistem Informasi & Teknik Informatika – STT Terpadu Nurul Fikri
 Big data analytics challenges

Terlepas dari manfaat luas yang datang dengan menggunakan Big data analytics,
penggunaannya juga disertai dengan tantangan :
• Aksesibilitas data
Dengan jumlah data yang lebih besar, penyimpanan dan pemrosesan menjadi lebih
rumit. Data besar harus disimpan dan dipelihara dengan baik untuk memastikannya
dapat digunakan oleh ilmuwan dan analis data yang kurang berpengalaman.
• Pemeliharaan kualitas data
Dengan volume data yang tinggi yang datang dari berbagai sumber dan dalam
format yang berbeda, manajemen kualitas data untuk data besar memerlukan
waktu, upaya, dan sumber daya yang signifikan untuk memeliharanya dengan
benar.

Program Studi Sistem Informasi & Teknik Informatika – STT Terpadu Nurul Fikri
 Big data analytics challenges

• Keamanan data
Kompleksitas sistem data besar menghadirkan tantangan keamanan yang unik.
Mengatasi masalah keamanan dengan benar dalam ekosistem data besar yang
rumit dapat menjadi pekerjaan yang rumit.
• Memilih alat yang tepat
Memilih dari beragam alat dan platform Big data analytics yang tersedia dapat
membingungkan, sehingga organisasi harus tahu cara memilih alat terbaik
yang selaras dengan kebutuhan dan infrastruktur pengguna.
• Dengan potensi kurangnya keterampilan analitik internal dan tingginya biaya
perekrutan ilmuwan dan insinyur data yang berpengalaman, beberapa
organisasi merasa sulit untuk mengisi kekosongan tersebut.
Program Studi Sistem Informasi & Teknik Informatika – STT Terpadu Nurul Fikri
 Big data analytics technologies and tools

Berbagai jenis alat dan teknologi digunakan untuk mendukung proses Big data
analytics. Teknologi dan alat umum yang digunakan untuk mengaktifkan proses
Big data analytics meliputi:

• Hadoop, yang merupakan framework open source untuk menyimpan dan

memproses kumpulan data besar. Hadoop dapat menangani sejumlah besar
data terstruktur dan tidak terstruktur.

Program Studi Sistem Informasi & Teknik Informatika – STT Terpadu Nurul Fikri
 Big data analytics technologies and tools

• Predictive analytics hardware and software, yang memproses sejumlah

besar data kompleks, dan menggunakan pembelajaran mesin dan algoritme
statistik untuk membuat prediksi tentang hasil peristiwa di masa mendatang.
Organisasi menggunakannya untuk deteksi penipuan, pemasaran, penilaian
risiko, dan operasi.

• Stream analytics tools, yang digunakan untuk memfilter, menggabungkan,

dan menganalisis data besar yang mungkin disimpan dalam berbagai format
atau platform.

Program Studi Sistem Informasi & Teknik Informatika – STT Terpadu Nurul Fikri
 Big data analytics technologies and tools

• Data penyimpanan terdistribusi, yang direplikasi, umumnya pada database

non-relasional. Ini bisa sebagai ukuran terhadap kegagalan node
independen, data besar yang hilang atau rusak, atau untuk menyediakan
akses latensi rendah.
• Database NoSQL, yang merupakan sistem manajemen data non-relasional
yang berguna saat bekerja dengan kumpulan data terdistribusi yang besar.
Mereka tidak memerlukan skema tetap, yang membuatnya ideal untuk data
mentah dan tidak terstruktur.
• Data lake adalah repositori penyimpanan besar yang menyimpan data
mentah format asli hingga dibutuhkan.

Program Studi Sistem Informasi & Teknik Informatika – STT Terpadu Nurul Fikri
 Big data analytics technologies and tools

• Data warehouse, yang merupakan repositori yang menyimpan sejumlah

besar data yang dikumpulkan oleh sumber yang berbeda. Data warehouse
biasanya menyimpan data menggunakan skema yang telah ditentukan
sebelumnya.
• Knowledge discovery/big data mining tools, yang memungkinkan bisnis
menambang sejumlah besar data besar terstruktur dan tidak terstruktur.

Program Studi Sistem Informasi & Teknik Informatika – STT Terpadu Nurul Fikri
 Big data analytics technologies and tools

• Data virtualization, yang memungkinkan akses data tanpa batasan teknis.

• Data integration software, yang memungkinkan data besar disederhanakan
di berbagai platform, termasuk Apache, Hadoop, MongoDB, dan lain-lain.
• Data quality software, yang membersihkan dan memperkaya kumpulan data
besar.
• Data preprocessing software, yang menyiapkan data untuk analisis lebih
lanjut. Data diformat dan data tidak terstruktur dibersihkan.
• Spark, yang merupakan kerangka kerja komputasi cluster open source yang
digunakan untuk pemrosesan data batch dan stream.

Program Studi Sistem Informasi & Teknik Informatika – STT Terpadu Nurul Fikri
 Jenis data analysis:

• Quantitative Analysis
• Qualitative Analysis
• Data Mining
• Statistical Analysis
• Machine Learning
• Semantic analysis
• Visual analysis

Program Studi Sistem Informasi & Teknik Informatika – STT Terpadu Nurul Fikri
 Quantitative Analysis

Quantitative analysis adalah teknik analisis data yang berfokus pada kuantifikasi
pola dan korelasi yang ditemukan dalam data. Berdasarkan praktik statistik,
teknik ini melibatkan analisis sejumlah besar pengamatan dari kumpulan data.
Karena ukuran sampelnya besar, hasilnya dapat diterapkan secara umum ke
seluruh kumpulan data.

Program Studi Sistem Informasi & Teknik Informatika – STT Terpadu Nurul Fikri
 Quantitative Analysis

Hasil quantitative analysis bersifat mutlak dan oleh karena itu dapat digunakan
untuk perbandingan numerik. Misalnya, analisis kuantitatif penjualan es krim
menemukan bahwa kenaikan suhu 5 derajat meningkatkan penjualan es krim
sebesar 15%.

Program Studi Sistem Informasi & Teknik Informatika – STT Terpadu Nurul Fikri
 Qualitative analysis

Teknik analisis data yang berfokus pada penggambaran berbagai kualitas data
dengan menggunakan kata-kata. Ini melibatkan analisis sampel yang lebih kecil
secara lebih mendalam dibandingkan dengan analisis data kuantitatif. Hasil
analisis ini tidak dapat digeneralisasikan ke seluruh kumpulan data karena
ukuran sampel yang kecil. Mereka juga tidak dapat diukur secara numerik atau
digunakan untuk perbandingan numerik.

Program Studi Sistem Informasi & Teknik Informatika – STT Terpadu Nurul Fikri
 Qualitative analysis

Misalnya, analisis penjualan es krim dapat mengungkapkan bahwa angka

penjualan bulan Mei tidak setinggi bulan Juni. Hasil analisis hanya menyatakan
bahwa angka tersebut “tidak setinggi”, dan tidak memberikan perbedaan
numerik. Output dari analisis kualitatif adalah deskripsi hubungan dengan
menggunakan kata-kata.

Program Studi Sistem Informasi & Teknik Informatika – STT Terpadu Nurul Fikri
 Data Mining

Juga dikenal sebagai data discovery, adalah bentuk khusus dari analisis data
yang menargetkan kumpulan data besar. Sehubungan dengan analisis Big
Data, penambangan data umumnya mengacu pada teknik berbasis perangkat
lunak otomatis yang menyaring kumpulan data besar-besaran untuk
mengidentifikasi pola dan tren.

Program Studi Sistem Informasi & Teknik Informatika – STT Terpadu Nurul Fikri
 Statistical Analysis

Analisis statistik menggunakan metode statistik berdasarkan rumus matematika

sebagai sarana untuk menganalisis data. Analisis statistik paling sering bersifat
kuantitatif, tetapi bisa juga kualitatif. Jenis analisis ini biasanya digunakan untuk
menggambarkan kumpulan data melalui ringkasan, seperti menyediakan mean,
median, atau mode statistik yang terkait dengan kumpulan data. Ini juga dapat
digunakan untuk menyimpulkan pola dan hubungan dalam kumpulan data,
seperti regresi dan korelasi.

• Pengujian A/B
• Korelasi
• Regresi
Program Studi Sistem Informasi & Teknik Informatika – STT Terpadu Nurul Fikri
 Statistical Analysis

• A/B Testing

Program Studi Sistem Informasi & Teknik Informatika – STT Terpadu Nurul Fikri
 Statistical Analysis

• Correlation
Teknik analisis yang digunakan untuk menentukan apakah dua variabel
berhubungan satu sama lain.

When one variable increases, the other also increases When one variable increases, the other may stay the same, or When one variable increases, the
and vice versa. increase or decrease arbitrarily. other decreases and vice versa.

Program Studi Sistem Informasi & Teknik Informatika – STT Terpadu Nurul Fikri
 Statistical Analysis

• Regression
Teknik analisis regresi mengeksplorasi bagaimana variabel dependen terkait
dengan variabel independen dalam kumpulan data.

Misalnya, untuk menentukan berapa banyak stok ekstra yang harus dimiliki
setiap toko es krim, analis menerapkan regresi dengan memasukkan nilai
pembacaan suhu. Nilai-nilai ini didasarkan pada ramalan cuaca sebagai
variabel independen dan jumlah es krim yang terjual sebagai variabel
dependen. Apa yang para analis temukan adalah bahwa 15% dari stok
tambahan diperlukan untuk setiap kenaikan suhu 5 derajat.

Program Studi Sistem Informasi & Teknik Informatika – STT Terpadu Nurul Fikri
 Machine Learning

Manusia pandai melihat pola dan hubungan dalam data. Namun tidak dapat
memproses data dalam jumlah besar dengan sangat cepat. Mesin, di sisi lain,
sangat mahir dalam memproses data dalam jumlah besar dengan cepat, tetapi
hanya jika mereka tahu caranya.

Jika pengetahuan manusia dapat digabungkan dengan kecepatan pemrosesan

mesin, mesin akan dapat memproses data dalam jumlah besar tanpa
memerlukan banyak campur tangan manusia. Ini adalah konsep dasar
pembelajaran mesin.

Program Studi Sistem Informasi & Teknik Informatika – STT Terpadu Nurul Fikri
 Machine Learning

Machine Learning yang dihubungan dengan penambangan data dapat

dieksplorasi melalui cakupan jenis teknik pembelajaran mesin berikut:
 Classification
 Clustering
 Outlier Detection
 Filtering

Program Studi Sistem Informasi & Teknik Informatika – STT Terpadu Nurul Fikri
 Machine Learning

• Classification

Program Studi Sistem Informasi & Teknik Informatika – STT Terpadu Nurul Fikri
 Machine Learning

• Clustering

Program Studi Sistem Informasi & Teknik Informatika – STT Terpadu Nurul Fikri
 Machine Learning

• Outlier Detection

Program Studi Sistem Informasi & Teknik Informatika – STT Terpadu Nurul Fikri
 Machine Learning

• Filtering

Pemfilteran adalah proses otomatis untuk menemukan item yang relevan dari
kumpulan item. Item dapat difilter baik berdasarkan perilaku pengguna sendiri
atau dengan mencocokkan perilaku beberapa pengguna.

Program Studi Sistem Informasi & Teknik Informatika – STT Terpadu Nurul Fikri
 Semantic Analysis

Sebuah fragmen teks atau speech data (data ucapan) dapat membawa makna
yang berbeda dalam konteks yang berbeda, sedangkan kalimat lengkap dapat
mempertahankan maknanya, bahkan jika disusun dengan cara yang berbeda.
Agar mesin dapat mengekstrak informasi berharga, data teks dan ucapan perlu
dipahami oleh mesin dengan cara yang sama seperti yang dilakukan manusia.
Analisis semantik mewakili praktik untuk mengekstraksi informasi yang
bermakna dari data tekstual dan ucapan.

Program Studi Sistem Informasi & Teknik Informatika – STT Terpadu Nurul Fikri
 Semantic Analysis

Jenis analisis semantik berikut :

• Natural Language Processing

• Text Analytics
• Sentiment Analysis

Program Studi Sistem Informasi & Teknik Informatika – STT Terpadu Nurul Fikri
 Semantic Analysis

• Natural Language Processing

Pemrosesan bahasa alami adalah kemampuan komputer untuk memahami

ucapan dan teks manusia sebagaimana dipahami secara alami oleh manusia.
Hal ini memungkinkan komputer untuk melakukan berbagai tugas yang
berguna, seperti pencarian teks lengkap.

Misalnya, untuk meningkatkan kualitas layanan pelanggan, perusahaan es krim

menggunakan pemrosesan bahasa alami untuk mentranskripsikan panggilan
pelanggan ke dalam data tekstual yang kemudian ditambang untuk alasan
ketidakpuasan pelanggan yang sering berulang.
Program Studi Sistem Informasi & Teknik Informatika – STT Terpadu Nurul Fikri
 Semantic Analysis

• Text Analytics
Teks tidak terstruktur umumnya jauh lebih sulit untuk dianalisis dan dicari
dibandingkan dengan teks terstruktur. Analisis teks adalah analisis khusus teks
melalui penerapan penambangan data, pembelajaran mesin, dan teknik
pemrosesan bahasa alami untuk mengekstrak nilai dari teks yang tidak
terstruktur. Analisis teks pada dasarnya memberikan kemampuan untuk
menemukan teks.

Program Studi Sistem Informasi & Teknik Informatika – STT Terpadu Nurul Fikri
 Semantic Analysis

• Sentiment Analysis
adalah bentuk khusus dari analisis teks yang berfokus pada penentuan bias
atau emosi individu. Bentuk analisis ini menentukan sikap pengarang teks
dengan menganalisis teks dalam konteks bahasa alami. Analisis sentimen tidak
hanya memberikan informasi tentang bagaimana perasaan individu, tetapi juga
intensitas perasaan mereka. Informasi ini kemudian dapat diintegrasikan ke
dalam proses pengambilan keputusan. Aplikasi umum untuk analisis sentimen
termasuk mengidentifikasi kepuasan atau ketidakpuasan pelanggan lebih awal,
mengukur keberhasilan atau kegagalan produk, dan menemukan tren baru.

Program Studi Sistem Informasi & Teknik Informatika – STT Terpadu Nurul Fikri
 Visual Analysis

Bentuk analisis data yang melibatkan representasi grafis dari data untuk
mengaktifkan atau meningkatkan persepsi visualnya. Berdasarkan premis
bahwa manusia dapat memahami dan menarik kesimpulan dari grafik lebih
cepat daripada dari teks, analisis visual bertindak sebagai discovery tool di
bidang Big Data.

• Heat Maps
• Time Series Plots
• Network Graphs
• Spatial Data Mapping

Program Studi Sistem Informasi & Teknik Informatika – STT Terpadu Nurul Fikri
 Visual Analysis

• Heat Maps

Program Studi Sistem Informasi & Teknik Informatika – STT Terpadu Nurul Fikri
 Visual Analysis

• Time Series Plots

Program Studi Sistem Informasi & Teknik Informatika – STT Terpadu Nurul Fikri
 Visual Analysis

• Network Graphs

Program Studi Sistem Informasi & Teknik Informatika – STT Terpadu Nurul Fikri
 Visual Analysis

• Spatial Data Mapping

Program Studi Sistem Informasi & Teknik Informatika – STT Terpadu Nurul Fikri
Program Studi Sistem Informasi & Teknik Informatika – STT Terpadu Nurul Fikri