Scribd
Unggah
69 tayangan24 halaman

Python-Spark-GPU v1.1 MAG

Dokumen ini membahas tentang percepatan pengolahan data dengan Python, Apache Spark, dan GPU. Python merupakan bahasa populer untuk data science karena mudah dipelajari dan memiliki banyak library terbuka. Apache Spark adalah framework untuk pengolahan data besar yang mendukung berbagai bahasa termasuk Python. Numba dan RAPIDS dapat mempercepat kode Python dengan mengkompilasinya ke GPU, sehingga dapat memanfaatkan kemampuan paralel GPU untuk memperce

Diunggah oleh

Rahma Sephia Putri
Hak Cipta
© © All Rights Reserved
Kami menangani hak cipta konten dengan serius. Jika Anda merasa konten ini milik Anda, ajukan klaim di sini.
Format Tersedia
Unduh sebagai PDF, TXT atau baca online di Scribd
69 tayangan24 halaman

Python-Spark-GPU v1.1 MAG

Dokumen ini membahas tentang percepatan pengolahan data dengan Python, Apache Spark, dan GPU. Python merupakan bahasa populer untuk data science karena mudah dipelajari dan memiliki banyak library terbuka. Apache Spark adalah framework untuk pengolahan data besar yang mendukung berbagai bahasa termasuk Python. Numba dan RAPIDS dapat mempercepat kode Python dengan mengkompilasinya ke GPU, sehingga dapat memanfaatkan kemampuan paralel GPU untuk memperce

Diunggah oleh

Rahma Sephia Putri
Hak Cipta
© © All Rights Reserved
Kami menangani hak cipta konten dengan serius. Jika Anda merasa konten ini milik Anda, ajukan klaim di sini.
Format Tersedia
Unduh sebagai PDF, TXT atau baca online di Scribd
Anda di halaman 1/ 24

Akselerasi Pemrosesan Data dengan Python,

Apache Spark, dan GPU


Medisa Aris Ginanjar, S.T., M.M.
Bagian 1

2
Python merupakan salah satu bahasa pilihan data
scientist

3
Alasan Pemilihan Bahasa Python
 Sangat mudah dipelajari, dokumentasi lengkap
 Kaya akan library dan framewroks
 Komunitas Open source yang bertumbuh pesat
 Data science dan Machine Learning
 Dapat menggunakan resource cloud secara gratis

4
Python Cheat dengan ChatGPT
Fakta: code python selalu lebih pendek

Disertai dengan komentar

5
Jupyter Notebook mengubah segalanya, sehingga kita dapat
melakukan coding hanya dengan browser, menggunakan resource
cloud.

6
Apache Spark merupakan Framework yang
populer untuk melakukan pengolahan data besar

MLlib GraphX
Spark SQL Streaming Machine Graph
Learning Computation

Spark Core API

R SQL Python Scala Java

7
Memulai coding dengan Python pada Spark
 Instalasi PySpark
pip install pyspark

 Import PySpark
from pyspark.sql import SparkSession
8
9
10
Bagian 2

11
Numba
 Numba merupakan compiler python untuk array dan
numerical functions.
 Merubah bahasa python menjadi C, C++, Fortran.
 Mempercepat ekseskusi.

12
Fitur Numba
 On-the-fly code generation
 Native code generation untuk CPU dan GPU
 Integrasi errat dengan library scientific python (dengan
menggunakan library numpy)

13
14
GPU Compilation and Code Delivery
LLVM
Intermediate LLVM
Representation IR
(IR)

CUDA
Client Server
Python CUDA Binary
Kernel

Parallel Thread
Execution (PTX) PTX
Code
15
16
17
Bagian 3

18
19
Spark NVIDIA

20
Unified AI Framework for ETL + ML/DL

21
Ease of Use

22
RAPIDS membungkus library menjadi seamless
dan mudah digunakan.

23
Terima kasih

24

Anda mungkin juga menyukai