Komputasi Paralel

Arsitektur dan organisasi Komputer Universitas Darma Persada

Komputasi paralel
Komputasi serial: secara tradisional software ditulis untuk komputasi serial. Apa sih yang dimaksud komputasi serial: software berjalan pada komputer tunggal yang mempunyai CPU tunggal. masalah dipecahkan menjadi intruksi diskrit serial. intruksi dieksekusi berurutan. Satui selesai baru lainnya hanya satu intruksi yang dijalankan dalam satu waktu

Komputasi serial
ilustrasi

Parallel computing
Penggunaan secara simultan dalam melakukan operasi komputasi secara bersama-sama dalam menyelesaikan masalah komputasi.

Parallel computing
Bekerja dengan lebih dari satu CPU Masalah dipecahkan menjadi bagian diskrit dan diselesaikan secara kongkuren Masing-masing bagian dipecah dalam urutan instruksi Intruksi dari masing-masing bagian dieksekusi secara simultan pada CPU yang berbeda

Parallel computing
Ilustrasi

Computer resource
Single computer dengan multiple prosessor Sejumlah komputer yang dihubungkan dengan jaringan Kombinasi keduanya

Karakteristik penyelesaian masalah pada parallel computing

Menjalankan beberapa eksekusi dalam satu waktu Menyelesaikan masalah lebih cepat karena eksekusi dilakukan secara paralel Memecah masalah menjadi bagian diskrit untuk diselesaikan secara simultan

Alam semesta adalah Paralel

Parallel computing merupakan evolusi dari serial computing yang mencoba menyamai kondisi pada alam semesta. Yaitu kompleksitas, kejadian yang saling berhubungan pada saat bersamaan .

Alam semesta adalah Paralel

contohnya : Formasi galaksi Gerakan gugusan planet Cuaca dan pola lautan Gerakan tektonik lempeng bumi Kemacetan lalu lintas Jalur perakitan mobil atau produk industri dll

Penggunaan parallel computing

Melakukan penghitungan tingkat tinggi, penghitungan model simulasi masalah teknik dan iptek dalam kehidupan sehari-hari Contoh: Cuaca Simulasi masalah fisika Render animasi Iptek dll

Contoh domain parallel computing

Aplikasi komersial
Pengolahan data yang besar misalnya: Databases, data mining Oil exploration Web search engines, web based business services Medical imaging and diagnosis Pharmaceutical design Management of national and multi-national corporations Financial and economic modeling Advanced graphics and virtual reality, particularly in the entertainment industry Networked video and multi-media technologies Collaborative work environments

Aplikasi komersial

Mengapa menggunakan parallel computing

menghemat waktu dan biaya: secara teori mengadakan sumber daya lebih pada pekerjaan akan menyingkat waktu untuk menyelesaikan masalah dengan potensi menghemat biaya. Parallel clusters dapat dibuat dengan murah. menyelesaiakan masalah yang lebih besar contohnya web searching, render animasi, editing video: memberikan konkurensi, menjalankan lebih dari satu eksekusi dalam waktu sama. contoh : www.accesgrid.org yang memberikan jaringan global dan layanan virtual. penggunaan sumberdaya tidak hanya lokal tetapi bisa melalui jaringan komputer. contoh * SETI@home (setiathome.berkeley.edu) menggunakan lebih dari 330,000 komputer untuk melakukan perhitungan lebih dari 528 TeraFLOPS (data Agustus 2006)

* Folding@home (folding.stanford.edu) menggunakan lebih dari 340,000 komputer untuk melakukan komputasi 4.2 PetaFLOPS (data November 2008)

Keterbatasan komputasi serial - kecepatan transmisi (kecepatan cahaya 30 cm/nanosecond), kecepatan kabel tembaga 9cm/nanosecond - keterbatasan fisik banyaknya transistor dibatasi oleh ukuran mikroprosessor

- mahal bila mengembangkan single prosessor dengan kemampuan besar

Arsitektur saat ini

Upaya untuk mendekati parallel: Multiple execution units Pipelined instructions Multi-core

Statistik penggunaan Parallel computing

Masa depan Parallel Computing

parallelism is the future of computing

Konsep dan terminologi

John Von Neumann matematika mengajukan spesifikasi umum komputer elektronik pada tahun 1945 Komputer terdiri dari: - Memory - Control unit - ALU - I/O

Memory
Read/write, random access memory digunakan untuk menyimpan instruksi program dan data * Program instructions adalah kode-kode yang akan mengatakan pada komputer untuk melakukan sesuatu * Data adalah informasi singkat yang digunakan program

Control unit
Mengambil instruksi atau data dari memory, menterjemahkan intruksi dan secara berurutan/sekuensial menjalankan tugas program

ALU (Arithmatic Logic Unit)

Menjalankan operasi dasar aritmatika

Flynn's Classical Taxonomy

Cara untuk mengklasifikasikan parallel computing Digunakan sejak tahun 1966 membedakan arsitektur multi processor computer dengan cara bagaimana mereka diklasifikasikan dengan dimensi instruksi dan data. Masing-masing dimensi hanya memiliki dua kemungkinan yaitu single atau multiple

Matriks klasifikasi Flynn

Single Instruction, Single Data (SISD)

serial/non parallel computing single instruction: hanya satu instruksi yang dijalankan oleh CPU dalam satu siklus pewaktuan single data: hanya satu aliran data yang digunakan sebagai masukan dalam satu siklus pewaktuan deterministic execution komputer lama contoh mainframe kuno, PC saat ini

Single Instruction, Single Data (SISD)

Ilustrasi

Single Instruction, Single Data (SISD)

Single Instruction, Single Data (SISD)

Single Instruction, Multiple Data (SIMD)

Tipe parallel komputer Single instruksi Multiple data: masing-masing init pemrosesan mengoperasikan elemen data berbeda Alat terbaik untuk menyelesaikan masalah yang spesifik misalnya image processing Synchronous dan deterministic execution

Single Instruction, Multiple Data (SIMD)

Contoh: Processor Arrays: Connection Machine CM-2, MasPar MP-1 & MP-2, ILLIAC IV Vector Pipelines: IBM 9000, Cray X-MP, Y-MP & C90, Fujitsu VP, NEC SX-2, Hitachi S820, ETA10

Single Instruction, Multiple Data (SIMD)

Kebanyakan komputer modern yang mempunyai Graphics Processor Unit menggunakan instruksi SIMD

Single Instruction, Multiple Data (SIMD)

Single Instruction, Multiple Data (SIMD)

Multiple Instruction, Single Data (MISD)

data tunggal yang dimasukkan dalam multiple processing unit. Masing-masing processing unit menjalankan data secara independen melalui instruksi yang independen. Contoh arsitektur ini pada parallel computer experimental Carnegie Mellon C.mmp computer (1971). Beberapa kemungkinan yang bisa dipikirkan sebagai ide: - multiple frequency filters pada single signal stream - multiple cryptography algorithms untuk meng crack single coded message

Multiple Instruction, Single Data (MISD)

Multiple Instruction, Multiple Data (MIMD)

Model parallel computing saat ini. Hampir semua PC menggunakan kategori ini. Multiple instruction: setiap processor mengeksekusi instruksi yang berbeda Multiple Data: setiap processor bekerja dengan data yang berbeda Eksekusi dapat di sinkronkan atau asinkron, deterministic atau non deterministic

Multiple Instruction, Multiple Data (MIMD)

Contoh: supercomputers, networked parallel computer clusters and "grids", multi-processor SMP computers, multi-core PCs. beberapa arsitektur MIMD juga termasuk eksekusi SIMD execution sub-components

Multiple Instruction, Multiple Data (MIMD)

Multiple Instruction, Multiple Data (MIMD)

Arsitektur memori PC shared memory

Karakteristik umum Shared memory PC, processor mengakses semua memory sebagai global address space. Multiple processors dapat menjalankan secara independent tetapi membagi sumber daya memory yang sama Shared memory machines dapat dibagi menjadi dua kelas utama yaitu UMA dan NUMA.

Uniform Memory Access (UMA)

banyak digunakan pada mesin Symmetric Multiprocessor (SMP) Identical processors Equal access and access times to memory kadang disebut CC-UMA - Cache Coherent UMA. Cache coherent artinya jika satu processor meng update lokasi dalam shared memory, semua processor tahu tentang update tersebut.

Uniform Memory Access (UMA)

Non-Uniform Memory Access (NUMA)

seringkali dibuat dengan menghubungkan secara fisik dua atau lebih SMP satu SMP dapat secara langsung mengakses memori ke SMP lain akses memori antar link lebih

Non-Uniform Memory Access (NUMA)

kelebihan: Global address space menyediakan user-friendly programming perspective ke memory Data sharing antara task sama-sama cepat dan mendekati memori CPU kekurangan: programmer bertanggung jawab untuk sinkroniksasi agar memastikan akses ke memory global. mahal.

Arsitektur memori PC distributed memory

sistem memory terdistribusi meminta jaringan komunikasi untuk menghubungkan ke memory antar processor Processors mempunyai memori lokalnya sendiri. memori address dalam satu processor tidak dipetakan ke processor lain, oleh karena itu tidak mengenal konsep global address space yang melewati antar processor. karena masing-masing processor mempunyai memori lokalnya sendiri, maka processor akan bekerja secara independent.Perubahan tersebut tidak berefek pada memory processor lain.

Arsitektur memori PC distributed memory

kelebihan: penambahan memori meningkatkan kinerja. masing-masing processor dapat secara cepat mengakses memorinya sendiri tanpa dipengaruhi lainnya. hemat biaya. kekurangan: programmer bertanggung jawab untuk hal-hal detail yang berhubungan dengan komunikasi data antar processor. sulit untuk memetakan data struktur global memory ke organisasi memori model ini.. * Non-uniform memory access (NUMA) times

Hybrid Distributed-Shared Memory

Komputer tercepat di dunia saat ini menggabungkan metode shared dan distribued memory

Model Pemrograman Parallel

Beberapa model pemrograman parallel yang banyak digunakan: Shared Memory Threads Message Passing Data Parallel Hybrid