SISTEM KOMUNIKASI

TEORI INFORMASI

Program Studi D3TT Teknik Telekomunikasi

Bandung 2016
 Block diagram of a DCS
Sumber Source Channel Pulse Bandpass
Informasi encode encode modulate modulate

Digital modulation

Channel
Digital demodulation

Tujuan Source Channel Demod.

Detect Sample
Informasi decode decode

Teori Informasi menjawab 2 pertanyaan fundamental di dalam teori

komunikasi, yaitu:
Berapa besar kompresi data/kompresi sumber informasi dapat
dilakukan, jawabannya adalah entropy H
Berapa besar kecepatan transmisi suatu komunikasi,
jawabannya adalah kapasitas kanal C
Modul 8 - Siskom 2 - Teori Informasi 2
 Introduction
Pada thn 1940-an ada pendapat bahwa menaikkan
rate transmisi melalui kanal komunikasi akan
menaikkan probability of error.
Shannon membuktikan bahwa pendapat di atas
tidak benar selama rate transmisi lebih rendah dari
kapasitas kanal. Kapasitas dapat dihitung dari
derau di kanal.
Shannon juga berpendapat bahwa proses acak
(speech, music) mempunyai nilai kompleksitas
yang tidak dapat diperkecil, nilai tersebut adalah
batas kompresi sinyal, yang diberi nama entropy.
Bila entropy sumber informasi lebih kecil dari
www-gap.dcs.st-and.ac.uk/~history/
kapasitas kanal, maka komunikasi bebas error Mathematicians/Shannon.html

secara asimtotis bisa dicapai.

Ada 2 ekstrem : entropy kapasitas kanal
Semua cara-cara modulasi dan kompresi data terletak diantara dua ekstrem
tersebut
Modul 8 - Siskom 2 - Teori Informasi 3
 Besaran-besaran dalam Teori Informasi

Sumber Informasi
Kandungan Informasi
Entropy
Joint Entropy
Conditional Entropy
Mutual Information
Yang didefinisikan sebagai fungsi Peluang / Distribusi Peluang
Kapasitas kanal

Modul 8 - Siskom 2 - Teori Informasi 4

 Sumber Informasi
Sumber informasi adalah suatu obyek yang menghasilkan
event, dimana keluaran sumber informasi tergantung dari
distribusi probability
Dalam praktek, sumber informasi dapat dianggap sebagai
suatu device yang menghasilkan pesan, dan dapat berupa
analog atau diskrit
Dalam kuliah teori informasi ini, sumber informasi yang
sering dibahas adalah sumber informasi diskrit
Pada sumber informasi diskrit akan menghasilkan
sekumpulan (set) simbol yang disebut SOURCE
ALPHABET. Dan elemen dari set source alphabet disebut
SIMBOL atau LETTERS

Modul 8 - Siskom 2 - Teori Informasi 5

 Klasifikasi Sumber Informasi
Memory : munculnya simbol bergantung pada simbol
sebelumnya
Memoryless : munculnya simbol tidak bergantung pada
simbol sebelumnya

Sumber Informasi diskrit yang memoryless disebut juga

Discrete Memoryless Source (DMS)

Modul 8 - Siskom 2 - Teori Informasi 6

 Kandungan Informasi
Misal suatu DMS (discrete memoryless sources) yang
dinotasikan S={s1, s2,.., sq}, dengan masing-masing
probability p(si)=pi , dan berlaku q
p( s ) 1
i
i

Maka kandungan informasi dari simbol Si adalah :

1
I (si ) log2 log2 p(si )
p(si )
Satuan yang digunakan adalah bits

Modul 8 - Siskom 2 - Teori Informasi 7

 Information
Example 1:
S={s1, s2, s3, s4}, p1=1/2, p2=1/4, p3= p4=1/8.

I(s1)=log22=1 bits
I(s2)=log24=2 bits
I(s3)=I(s4)=log28=3 bits

Example 2:
S={s1, s2, s3, s4}, p1= p2= p3= p4=1/4.
I(s1)=I(s2)=I(s3)=I(s4)=log24=2 bits

Modul 8 - Siskom 2 - Teori Informasi 8

 Information

Properties of I(s)
1) I(s) 0 (a real nonnegative measure)
2) I(s1s2) = I(s1)+I(s2) for independent event.
3) I(s) is a continuous function of p.
4) I(s) = 0 for p(si)=1
5) I(s1) > I(s2) if p(s1) < p(s2)
Intuitively, property 2 tells us that each
outcome, e.g., coin or die, has no
influence on the outcome of the other.

Modul 8 - Siskom 2 - Teori Informasi 9

 Entropy
Adalah parameter yang menyatakan kandungan informasi
rata-rata persimbol
Entropy dari sumber S yang mempunyai simbol-simbol si
dan probability pi : q
1
H ( S ) pi log 2 ( ) H(P)
i 1 pi
Example 1 : S={s1, s2, s3, s4}, p1=1/2, p2=1/4, p3= p4=1/8.
1 1 1 1
H ( S ) log2 2 log2 4 log2 8 log2 8
2 4 8 8
1 1 1 1 11
2 3 3 1.75bits
2 4 8 8 8
Example 2: S={s1, s2, s3, s4}, p1= p2= p3= p4=1/4.
1 1 1 1
H ( S ) log2 4 log2 4 log2 4 log2 4 2bits
4 4 4 4
10
Modul 8 - Siskom 2 - Teori Informasi
 Entropy dari sumber memoryless binary

Consider the distribution consisting of just two events [S1, S2].

Let p be the probability of the first symbol (event).
Then, the entropy function is :
H2(S)= p log2(1/p) + (1- p)log2[1/(1-p)]= H2(P)

The maximum of H2(P) occurs when p =1/2.

I (s1 ) I (s2 ) log

1 1
2 2 log2 2 1
H 2 (S ) 12 I (s1 ) 12 I (s2 ) 1

Modul 8 - Siskom 2 - Teori Informasi 11

 Entropy dari sumber memoryless binary
1.00

0.80

0.60

H(P)
0.40

0.20

0.00
0.00 0.20 0.40 0.60 0.80 1.00
P
Modul 8 - Siskom 2 - Teori Informasi 12
 SOURCE CODING
Adalah konversi output dari DMS ke bentuk binary
sequence, devicenya disebut SOURCE ENCODER

discrete Source
memoryless encoder
sources Si
Binary sequence
S={s1, s2,.., sq} X={x1, x2}

Tujuan dari source coding adalah untuk meminimalisasi bit

rate rata-rata yang merepresentasikan DMS dengan cara
mereduksi redundansi dari DMS (mengurangi jumlah
simbol yang sering muncul)

Modul 8 - Siskom 2 - Teori Informasi 13

 Panjang Kode & Efisiensi Kode
Misal S adalah DMS dengan entropi H(S) dan alphabet S={s1, s2,.., sq}
dengan masing-masing probability p(si)=pi , (i=1, 2,, q)
Code dari binary sequence keluaran Source Encoder Xi memiliki
panjang ni bit, maka panjang code word rata-rata didefinisikan:
q
L p( S i ).ni
i 1

Parameter L merepresentasikan jumlah bit per sumber simbol yang

merupakan keluaran dari Source Encoder
Efisiensi dari codeword didefinisikan sebagai berikut:

Lmin L
Lmin adalah nilai L minimum yang mungkin muncul. Apabila = 1 maka
kode dikatakan efisien.
Sedangkan redundansi dari kode didefinisikan: 1
Modul 8 - Siskom 2 - Teori Informasi 14
 TEOREMA SOURCE CODING
Teorema Source Coding menyatakan bahwa untuk DMS dari S dengan
entropy H(S), maka panjang codeword rata-rata dibatasi oleh:
L H (S )
H(S)
Apabila Lmin = H(S), maka:
L
Secara umum: L Lmin dan 1
Suatu Source Coding dikatakan optimal jika panjang kode minimal
(memiliki Lmin)

Kraft In-Equality (ketidaksamaan Kraft)

Jika S adalah DMS dengan alphabet S={s1, s2,.., sq} dan masing-masing
codeword yang dihasilkan adalah ni , maka berlaku :
q

1
2 ni

i 1
Modul 8 - Siskom 2 - Teori Informasi 15
 CONTOH SOURCE CODING (1)
SHANNON FANO CODING
PROSEDUR:
1) Urutkan sumber simbol berdasarkan probabiltas dari yang
terbesar ke yang terkecil
2) Bagi sumber simbol menjadi 2 set dimana masing-masing
set mempunyai probabilitas yang hampir sama. Beri tanda
bit 0 untuk set yang tinggi dan bit 1 untuk set yang lebih
rendah
3) Ulangi proses di atas sampai tidak mungkin sumber simbol
dibagi lagi
Contoh:Tentukan keluaran Source Coding dengan prosedur
Shannon-Fano untuk keluaran DMS sebanyak 6 simbol
dengan peluangnya 0,05; 0,08; 0,12; 0,20; 0,25; 0,30
Modul 8 - Siskom 2 - Teori Informasi 16
 Solusi:
Step 5
Si P(Si) Step 1 Step 2 Step 3 Step 4
Codeword
S1 0,30 0 0 00
S2 0,25 0 1 01
S3 0,20 1 0 10
S4 0,12 1 1 0 110
S5 0,08 1 1 1 0 1110
S6 0,05 1 1 1 1 1111
Buktikan bahwa:
H(S) = 2,36 bits/simbol
L=2,38 bits/simbol
=0,99
Modul 8 - Siskom 2 - Teori Informasi 17
 CONTOH SOURCE CODING (2)
HUFFMAN-CODING
Source coding ini adalah salah satu
kode yang optimum dan mempunyai
efisiensi yang tinggi
PROSEDUR: D.A. Huffman
1. Urutkan simbol berdasarkan probabilitasnya dari terbesar ke terkecil
2. Jumlahkan probabilitas 2 buah simbol dari probabilitas terkecil dan
urutkan kembali probabilitasnya mulai yang terbesar
3. Beri tanda bit 0 untuk probabilitas yang lebih besar dan tanda bit 1
untuk probabilitas yang lebih kecil
4. Ulangi langkah di atas sampai jumlah probabilitasnya = 1

Contoh:Tentukan keluaran Source Coding dengan prosedur Huffman

untuk keluaran DMS sebanyak 6 simbol dengan peluangnya 0,05;
0,06; 0,10; 0,19; 0,25; 0,35
Modul 8 - Siskom 2 - Teori Informasi 18
 Solusi:
Si P(Si) Probability
S0 0,35 0,35 0,35 0,35 0,35 0,35 0,40 0,40 0,60 1
S1 0,25 0,25 0,25 0,25 0,25 0,25 0,35 0,60 0,40
S2 0,19 0,19 0,19 0,19 0,21 0,40 0,25
S3 0,10 0,10 0,11 0,21 0,19
S4 0,06 0,11 0,10
S5 0,05

1
1 0 Si codeword
0,40 0,60 S0 00
1 0 1 0 S1 01
0,19 0,21 0,25 0,35 S2 11
S2 1 0 S1 S0 S3 101
0,10 0,11 S4 1000
S3 1 0 S5 1001
0,05 0,06
S5 S4
Modul 8 - Siskom 2 - Teori Informasi 19
 Tugas, dikumpulkan !
1. Diketahui simbol-simbol keluaran DMS sebagai berikut:
Simbol Probability
a. Dengan menggunakan prosedur Shannon-
Fano, tentukan simbol-simbol (codeword)
S0 0,4
output Source Coding !
S1 0,2 b. Tentukan efisiensi codeword yang
S2 0,2 dihasilkan (bag a)!
S3 0,1 c. Dengan menggunakan prosedur Huffman,
S4 0,1 tentukan simbol-simbol (codeword) output
Source Coding !
d. Tentukan efisiensi codeword yang
dihasilkan (bag c)!
2. Diketahui simbol-simbol keluaran DMS sebagai berikut:
Simbol S0 S1 S2 S3 S4 S5
Probability 0,3 0,25 0,20 0,12 0,08 0,05
Pertanyaan sama spt soal no 1

Modul 8 - Siskom 2 - Teori Informasi 20

 Discrete Memoryless Channel
Merupakan pemodelan kanal secara statistik dari DMS
X dan Y adalah random variable untuk input dan output dari DMC
Kanal disebut Discrete karena sumber simbol yang dikirimkan dan
output kanal adalah diskrit dan ukurannya terbatas
Pemodelan input : X = [x0, x1, . , xJ-1]
Pemodelan output : Y = [y0, y1, . , yK-1]

Modul 8 - Siskom 2 - Teori Informasi 21

 Discrete Memoryless Channel
Probabilitas Transisi kanal (peluang bersyarat):
P(yk/xj) = P[Y=yk/X=xj] untuk semua j dan k
Secara umum 0 P(yk/xj) 1 untuk semua j dan k
Model matrik DMC disebut juga Matrik Transisi atau Matrik Kanal:
p( y0 ) p( y0 | x0 ), p( y0 | x1 ) ........... p( y0 | x j 1 ) p( x0 )
p( y ) p( y | x ), p( y | x ) ........... p ( y | x )

1 1 0 1 1 1 j 1 1
p ( x )



p( yk 1 ) p( yk 1 | x0 ), p( yk 1 | x1 ) p( x )
........... p ( y k 1 | x j 1 ) j 1

Pb of output channel matrix priori Pb

k 1
Untuk 1 kolom yang sama berlaku: P( y
k 0
k / x j ) 1 untuk setiap j

Modul 8 - Siskom 2 - Teori Informasi 22

 Discrete Memoryless Channel
Didefinisikan P(xj) = P[X=xj] untuk j = 0, 1, ., J-1
Adalah probabilitas munculnya X=xj pada input kanal disebut juga
apriori probability
Didefinisikan Joint Probability Distribution dari random variable X dan Y
P(xj,yk) = P[X=xj,Y=yk]
= P[Y=yk/X=xj] . P[X=xj]
= P[yk/xj] . P[X=xj]
Didefinisikan Marginal Probability Distribution dari random variable Y :
P( yk ) P(Y yk )
J 1
P( X x j ).P(Y yk / X x j )
j 0
J 1
P( x j ).P( yk / x j )
j 0
Untuk setiap k = 0, 1, ., K-1
Modul 8 - Siskom 2 - Teori Informasi 23
 Kasus: Binary Simetric Channel
Pada kasus ini kanal mempunyai 2 input simbol: x0=0 dan x1=1 X
Dan mempunyai 2 output simbol: y0=0 dan y1=1 Y
Kanal disebut simetrik karena:
P(y1=1/x0=0) = P(y0=0/x1=1) = p
P(y0=0/x0=0) = P(y1=1/x1=1) = 1-p
Probabilitas error dinyatakan p, diagram probabilitas transisinya sbb:
Matrik Kanal

1 p p
P[Y / X ]
p 1 p

Ingat Model Matrik:

P (Y ) P[Y / X ].P ( X )

Modul 8 - Siskom 2 - Teori Informasi 24

 Latihan Soal:
Diketahui suatu binary channel (bukan simetrik) sbb:
P(x0) = P(x1) = 0,5
0,9 y0
x0
0,2
0,1
x1 y1
0,8
a. Cari matrik kanal !
b. Cari P(y0) dan P(y1) !
c. Cari Joint probability P(x0,y1) dan P(x1,y0)

Modul 8 - Siskom 2 - Teori Informasi 25

 Mutual Information
Didefinisikan H(X/Y) = conditional entropy dari input kanal bila output
dari kanal sudah diobservasi.
Didefinisikan H(Y/X) = conditional entropy dari output kanal bila input
dari kanal sudah diobservasi.
K 1
H ( X|Y) H X|Y yk p( yk )
k 0

K -1 J 1 1
p( x j | yk ) p( yk ) log 2
k 0 j 0 p( x j | yk )
K -1 J 1 1
p( x j , yk ) log 2
k 0 j 0 p( x j | y k
)
Maka MUTUAL INFORMATION didefinisikan:

I ( X ; Y) H(X) H X|Y
Modul 8 - Siskom 2 - Teori Informasi 26
 Mutual Information
MUTUAL INFORMATION merepresentasikan kandungan informasi dari
X apabila output kanal sudah diketahui I(X;Y)

Property of Mutual Information:

1) The mutual information of a channel is symmetric
I X ; Y I Y ; X I Y ; X H X H Y|X
uncertainty about the channel output that i
s resolved bysending the channel input
uncertainty about the channel input that is
resolved by observing the channel output

2) the mutual information is always nonnegative; that is I X ; Y 0

Modul 8 - Siskom 2 - Teori Informasi 27

 Property of Mutual Information:

3) if the joint entropy H ( X , Y ) is defined by

J 1 K 1
H X , Y p( x j , yk ) log 2
1

j 0 k 0 p( x j , y k
so:
I X ;Y H X H Y H X , Y

H(X , Y)

H(X|Y) H(Y)

H(X) I(Y|X)
I(X ; Y)

Channel Channel
Modul 8 - Siskom 2 - Teori Informasi 28
 Property of Mutual Information:

Good Channel Bad Channel

H(X) H(Y)

H(X) H(Y)

No error Worst channel

H(X)

H(Y) H(X) H(Y)

Modul 8 - Siskom 2 - Teori Informasi 29

 KAPASITAS KANAL
Kapasitas kanal dari Discrete Memoryless Channel didefinisikan:
C max I ( X;Y ) [ bits /channel]
p ( x j )
Jadi Kapasitas Kanal adalah mencari mutual information maksimum
untuk semua Probabilitas simbol input yang mungkin
p(xj) 0, untuk setiap j
J 1

p( x ) 1
i
i

Contoh kasus BSC Binary Simetric Channel:

1-p Y0=0
X0=0
p
p
X1=1 Y1=1
1-p

Modul 8 - Siskom 2 - Teori Informasi 30

 KAPASITAS KANAL
Contoh kasus BSC Binary Simetric Channel
Entropy dari X akan maksimum jika P(x0) = P(x1) = 0,5, sehingga I(X;Y)
juga akan maksimal.
I ( X ;Y ) H ( X ) H ( X | Y )
1 1
p( x0 ) log p( x1 ) log
p( x0 ) p( x1 )
1 1 1 1
p( x0 , y0 ) log 2 p ( x1 , y 0 ) log 2 p( x 0 , y1 ) log 2 p( x1 , y1 ) log 2
p( x0 | y0 ) p( x1 | y0 ) p( x0 | y1 ) p( x1 | y1 )
1 1 p( yk | x j )
p( x j , yk ) log 2
j 0 k 0 p( yk )

p x0 , y0 p y0 | x0 p( x0 ) (1 p) ( x1 , y1 )
1
2
p x1 , y0 p y0 | x1 p( x1 ) p p x0 , y1
1
2
1 1
p( y0 ) p( y1 )
2 2
Modul 8 - Siskom 2 - Teori Informasi 31
 KAPASITAS KANAL
Contoh kasus BSC Binary Simetric
Channel 1 1
C (1 p) log2 2(1 p) 2 p log2 2 p 2
2 2
(1 p)1 log2 (1 p) plog p 1
1 (1- p)log2 (1 p) p log2 p
Dari Grafik:
Jika kanal bebas noise (p=0), C akan
maksimum yaitu 1 bits/ch; tetapi
entropinya akan minimum [H(p)=0]
Jika kanal ada noise dgn p=1/2, C akan
minimum yaitu 0 bits/ch; tetapi entropinya
akan maksimum [H(p)=1] kondisi ini
disebut useless
Kondisi inverting Channel, Jika kanal
bebas noise (p=1), C akan maksimum
yaitu 1 bits/ch

Modul 8 - Siskom 2 - Teori Informasi 32

 Information Capacity Theorem
( Shannons 3 rd theorem )
Teori kapasitas informasi Shannon pada kanal AWGN adalah
membahas teori kapasitas informasi pada kanal Additive Band Limited
White Gausian Noise dengan zero mean dan variansi 2.
Kapasitas pada kanal AWGN:
P X Y
C B log 2 1 bps
N0 B N AWGN

Formula tersebut didapat dari: C max I ( X;Y )

p ( x j )
Dimana:
C = kapasitas (bps)
B = bandwidth kanal (Hz)
P S
No = PSD AWGN (W/Hz)

N = No.B = Noise Power (W) N0 B N
P = average transmitted power (W)
Modul 8 - Siskom 2 - Teori Informasi 33
ideal system : bit rate Rb = C
avg power P Eb C

C Eb C

log 2 1
B N0 B
Eb 2 C B 1

N0 C B

Modul 8 - Siskom 2 - Teori Informasi 34

 Information Capacity
<observation>
Eb/No = energi per bit to noise power spectral density ratio
Shannon limit

Eb Eb 2C B 1
lim lim ln 2 0.693 1.6dB

N0 B
N0 B C B
P P
C lim C lim B log 2 1 log 2 e
B B
N0 B N0

capacity boundary : Rb= C

Rb <C error free TX is possible
Rb > C error free TX is not possible
Modul 8 - Siskom 2 - Teori Informasi 35
 Information Capacity
trade off
horizontal line : for fixed Rb / B , Pe Eb / N0

trade off
vertical line : for fixed Eb /N0 , Pe Rb /B

error rate diagram of ideal system

Modul 8 - Siskom 2 - Teori Informasi 36

 M-ary PSK
Lihat pula figure 9.17 Buku Simon Haykin 4th Edt: Pe vs Rb/B, pd Pe =10-5

Note!
M = 2k

PE Rb
Rb log 2 M M Eb N 0
but
B 2 B

Eb / N 0 dB
Modul 8 - Siskom 2 - Teori Informasi 37
 M-ary FSK
Lihat pula figure 9.17 Buku Simon Haykin 4th Edt: Pe vs Rb/B, pd Pe =10-5

Note!
M = 2k

PE
Rb 2 log 2 M Rb
M & Eb / N0
B M B

Eb / N 0 dB
Modul 8 - Siskom 2 - Teori Informasi 38
Modul 8 - Siskom 2 - Teori Informasi 39