Fitria Handayani Siburian

[email protected]
1
 Model Paralel Prosesor

Ada tiga model

penting dalam paralel prosesor:

• Processor Arrays
• Multiprocessors Oak Ridge National
• Multicomputers Laboratory, multicomputer.

FLUENT, multiprocessors

2
ASCI White, Massively Parallel Processor (MPP),
processor arrays
 Processor Array

Processor array
Processing
element Data

Interconnection network
memory
Front end computer
Processing
element Data
Program and
memory
data memory
Processing
element Data
CPU
memory

I/O processor Processing

element Data
memory
data
I/O instruksi

I/O 3
Bagan umum processor arrays
 Processor Array

Front end
• Front end computer:
sekuensial vektor komputer
yang dibantu oleh processor
array untuk melakukan tugasnya.
Processor array

• Processor arrays: bertindak selaku co-processor

menerima perintah dan data dari front end computer.
System data parallel, dimana setiap prosesor
melaksanakan instruksi yang sama untuk data yang
berbeda, dilaksanakan oleh processor array.

• Interconnection network: jaringan ini yang menentukan

topologi prosesor yang digunakan.

Contoh: Connection Machine CM-200, menggunakan

65536 prosesor, dengan topologi hypercube. 4
 Multiprocessors

Berdasarkan memory-nya, dibagi mejadi:

• Uniform Memory Acces (UMA) multiprocessor

• Nonuniform Memory Acess (NUMA) multiprocessor

UMA CPU 1 CPU 1 CPU 1

Switching mechanism

Memory banks I/O Devices

5
 Multiprocessors

UMA Ethernet
Terminal

Console

CPU Memory SCED

Multibus Multibus
8 – 240 MBytes Board
MULTIBUS

Interface Adapter 2 – 30
Board Board 32-bit

System Bus
Printer

Dual-Channel SCI Bus

Disk Controller
Tape Target Disk Target
Adapter Adapter
Contoh: Multiprocessor X.25
6
 Multiprocessors

NUMA

Memory CPU 1 Memory CPU 1 Memory CPU 1

Switching mechanism

I/O Devices

Contoh: TC 2000, 128 processors

7
 Multicomputers

Contoh: - nCube, 8192 processors, topologi hypercube.

8
 Multicomputers

nCube 2

Front-end Parallel I/O Devices

I/O Processor Processor
computer

Processor Processor I/O Disk

Processor Processor

Processor Processor I/O Disk

9
 Taxonomi Flynn

Flynn mengelompokan komputer berdasarkan data dan instruksi nya

sebagai berikut.
Data

Instruksi

10
 Taxonomi Flynn

data x data x y z

P1 P1 P2 P3
sin(x) sin(x) sin(y) sin(z)

hasil hasil hasil hasil

SISD SIMD

data x data x y z

P1 P2 P3 P1 P2 P3

sin(x) log(x) x*x + 2 sin(x) log(y) z*z+2

hasil hasil hasil hasil hasil hasil

MISD MIMD 11
 Taxonomi Flynn

SIMD
Example:
for (i=0; i<10; i++)
~ if (a[i]<b[i])
~ c[i] = a[i]+b[i];
~ else
~ c{i] = 0;

a[] 4 1 7 2 9 3 3 0 6 7
b[] 5 3 4 1 4 5 3 1 4 8
c[]

p0 p1 p2 p3 p4 p5 p6 p7 p8 p9

12
 Taxonomi Flynn

SIMD
Example:
for (i=0; i<10; i++)
~ if (a[i]<b[i])
~ c[i] = a[i]+b[i];
~ else
~ c{i] = 0;

a[] 4 1 7 2 9 3 3 0 6 7
b[] 5 3 4 1 4 5 3 1 4 8
c[]

p0 p1 p2 p3 p4 p5 p6 p7 p8 p9

13
 Taxonomi Flynn

SIMD
Example:
for (i=0; i<10; i++)
~ if (a[i]<b[i])
~ c[i] = a[i]+b[i];
~ else
~ c{i] = 0;

a[] 4 1 7 2 9 3 3 0 6 7
b[] 5 3 4 1 4 5 3 1 4 8
c[] 9 4 8 1 15

p0 p1 p2 p3 p4 p5 p6 p7 p8 p9
p0 p1 p2 p3 p4 p5 p6 p7 p8 p9

14
 Taxonomi Flynn

SIMD
Example:
for (i=0; i<10; i++)
~ if (a[i]<b[i])
~ c[i] = a[i]+b[i];
~ else
~ c{i] = 0;

a[] 4 1 7 2 9 3 3 0 6 7
b[] 5 3 4 1 4 5 3 1 4 8
c[] 9 4 0 0 0 8 0 1 0 15

p0 p1 p2 p3 p4 p5 p6 p7 p8 p9
p0 p1 p2 p3 p4 p5 p6 p7 p8 p9
p0 p1 p2 p3 p4 p5 p6 p7 p8 p9
15
 Connection Network

static networks
• Komunikasi point-to-point menghubungkan antar prosesor.
• Komunikasi ini disebut juga dengan direct networks.

dynamic networks
• Komunikasi dijalankan secara dinamis menggunakan switch
untuk membangun jalur antar prosesor dan memory bersama.
• Komunikasi ini disebut juga dengan indirect networks.

16
 Connection Network

Static/direct network Dynamic/indirect network

p p p p

p p p p
network interface/switch switching element

prosesor

17
Dynamic network

18
Dynamic network

Cross bar

19
 Dynamic network

Central Data Bus

Prosesor dan global memory dihubungkan menggunakan bus bersama

Keuntungan: sederhana.

Kerugian: hanya satu prosesor dapat menghubungi global memory

dalam waktu satu waktu.

20
 Dynamic network

Interchange Box
0 0 1 0

0 0 0 0

1 1 1 0
Straight Upper Broadcast
0 1 1 1

0 1 0 1

1 1 1 0

Lower Broadcast Swap

Interchange box dipakai sebagai switch

21
 Dynamic network

Hypercube Connection

N = 2m 1
N = jumlah input atau output
m = jumlah tingkat
3
Setiap tingkat terdiri dari N/2 interchange box.
2

4 5

0 1 1: 0 – 4, 1 – 5, 2 – 6, 3 – 7

2: 0 – 2, 1 – 3, 4 – 6, 5 – 7
6 7

2 3: 0 – 1, 2 – 3, 4 – 5, 6 - 7
3

22
 Dynamic network
Contoh: Untuk 8 input atau output
Hypercube Connection maka diperlukan:
8 = 2m , m = 3, jadi 3 tingkat
Tiap tingkat terdiri dari 8/2 = 4 interchange box.

1 2 3
0 0 0 0 0 0
0 0
4 4 2 2 1 1 1
1 1
1 1 1 1 2 2
2 2 3
5 5 3 3 3 3 2
3 3
2 2 4 4
4 4 4 4 4 5

6 6 6 6 5 5 0 1
5 5
3 3 5 5 6 6 6 7
6 6
2 3
7 7 7 7 7 7
7 7
23
 Dynamic network

Shuffle Connection Contoh untuk N = 8

Diperlukan 4 interchange box
Hanya 1 tingkat, berisi N/2 interchange box
N = jumlah input atau output. 0 0

1 1
Rumus koneksi:
i dihubungkan dengan 2i modulo (N-1) 2 2

3 3
Untuk N = 8
0  0 mod(7) = 0 4 4
1  2 mod(7) = 2
5 5
2  4 mod(7) = 4
3  6 mod(7) = 6
6 6
4  8 mod(7) = 1
5  10 mod(7) = 3 7 7
6  12 mod(7) = 5
7  14 mod(7) = 7 24
Topologi Paralel
Prosesor

25
 Definisi Graph

Sebuah graph adalah himpunan titik (vertex) diberi

simbol V dan himpunan garis (edge) diberi simbol
E yang menghubungkan semua atau sebagian dari
titik-titk dalam V tersebut. Untuk itu graph G ditulis
dengan G = (V, E).

Dalam teori graph koordinat titik dan ukuran garis

tidak penting, yang penting adalah keterkaitan
mereka.

26
 Definisi Graph

9
6
7 12
5
3
7
4
Graph berarah, Graph tak berarah, Graph tak berarah,
tak berbobot, tak berbobot, Berbobot, tersambung
tersambung tersambung

Graph berarah,
tak berbobot,
tak tersambung

27
 Properti Graph

Derajat suatu titik adalah jumlah garis

yang berhubungan dengan titik tersebut.

Titik A berderajat 4 dan B berderajat 2.

Q
P
A

B
Graph planar Graph nonplanar

Root adalah titik yang dianggap awal sumber dari

graph berasal. Titik P dan Q adalah root.
28
 Properti Graph

Diameter dari Graph

adalah jarak terjauh dua
titik dalam graph. H
G

E F
Pada graph disebelah,
diameternya adalah 3,
D
yaitu jarak antara titik C
A dan G (ada 3 penggal garis)
A
B
Jarak dua titik,
adalah jumlah edge terpendek yang menghubungkan
dua titik tersebut. Jarak titik A dan F adalah 2.

29
 Properti Graph

Bisection width dari Graph

adalah minimum jumlah garis yang harus di hapus
agar graph terbagi menjadi dua bagian yang seimbang.
H
G

E F

D
C

A B
Dalam contoh graph ini,
bisection width nya adalah 4, yaitu dengan menghapus penggal garis
A – D, B – C, F – G, E - H (ada 4 penggal garis).
30
 Properti Graph

bukan tree tree

Isomorfis

Tinggi sebuah tree adalah jarak terpanjang

dari graph menuju titik root nya. Tree diatas
mempunyai tinggi 4.

31
 Properti Graph

Spanning tree
Garis yang menjadi bagian dalam
spanning tree disebut branch, dan
garis yang tidak menjadi bagiannya
disebut chord.

Sebuah grah G= (V, E)

n adalah jumlah titik
e adalah jumlah garis.

Berlaku persamaan:
Spanning tree adalah tree Jumlah branch = n - 1
didalam graph yang mencakup Jumlah chord = e – n + 1
semua titik didalam graph tersebut.
Graph merah adalah contoh dua
alternatif spanning tree dari graph
warna hitam. 32
 Properti Graph

Binomial tree
Binomial tree dengan tinggi 0 bebentuk titik tunggal. Binomial tree
dengan tinggi h dibentuk dari penggabungan 2 binomial tree dengan
tinggi h-1 dengan menghubungkan root dari kedua tree tersebut dimana
salah satu root akan menjadi root dari binomial gabungan.

h=0 h=1 h=2 h=3 h=4

33
 Topologi Jaringan Prosesor

Prosesor disusun menurut suatu aturan topologi

standard yaitu: mesh, binary tree, hypertree,
pyramid, butterfly, hypercube, shuffle-exchange, dll.

Beberapa batasan (kriteria) untuk menentukan baik buruknya

topologi yang dipakai dalam paralel prosesor:

• Diameter. Makin kecil diameter makin baik.

• Bisection width. Makin besar bisection width makin baik.
• Derajat. Derajat yang tetap adalah terbaik.

34
 Topologi Jaringan Prosesor

Mesh dua dimensi

a b c

Jumlah prosesor Diameter Bisection width Derajat Panjang garis

k2 2(k – 1) k tetap tetap

kecuali a
35
 Topologi Jaringan Prosesor

Hypercube
4 12
0 8
5
13
1 9
6 14
2 10
7
15
3
11

Jumlah prosesor Diameter Bisection width Derajat Panjang garis

2k k 2k - 1 tetap tidak
tetap 36
 Topologi Jaringan Prosesor

Butterfly

Jumlah prosesor Diameter Bisection width Derajat Panjang garis

(k + 1)2k 2k 2k tetap tidak

tetap 37
 to be
continued..