Vietnam National University – University of Engineering and

Technology

Unit 8: Channel Codes

‘

Hanoi, 2022
Khoa Điện tử - Viễn thông Digital Communications and Coding
Trường Đại học Công nghệ, ĐHQGHN Truyền thông số và mã hóa
 Content

1. Introduction

2. Repetition Code

3. Signal space of Channel code

4. Capacity of Channel (Shannon limit)

5. Revision

Khoa Điện tử - Viễn thông Digital Communications and Coding

Trường Đại học Công nghệ, ĐHQGHN 2 Truyền thông số và mã hóa
Introduction
 The challenge in digital communication system is
that of providing a cost effective facility for
transmitting Information, at a rate and a level of
reliability and quality that are acceptable to a user at
the receiver.

The key system parameters :

• Transmitted signal power.

• Channel bandwidth.
• Power spectral density of receiver noise

These parameters determine the signal energy per bit-

to-noise power spectral density ratio Eb/No.

Khoa Điện tử - Viễn thông Digital Communications and Coding

Trường Đại học Công nghệ, ĐHQGHN 3 Truyền thông số và mã hóa
Introduction
There are two kinds of coding:
 Source coding for compacting the message. It
eliminates the redundant bits from message before
transmission.
For a specific source, there is a below limit of bit number/
codeword. Under this limit we cannot recover the message
without the distortion

 Channel coding for decreasing the error probability. It

adds the redundant bits to message before transmission.
For a specific channel, there is a upper limit of data rate.
Under this limit the transmission can be reliable.

 This chapter basically focus on the channel coding

Khoa Điện tử - Viễn thông Digital Communications and Coding

Trường Đại học Công nghệ, ĐHQGHN 4 Truyền thông số và mã hóa
Introduction
❑ Error occurs in the transmitted signal due to the
transmission in a non-ideal channel
◼ Noise exists in channels.
◼ Noise signals corrupt the transmitted data.
 Channel coding can be divided into two major classes:
1. Waveform coding by signal design: Deals with
transforming waveform into “better waveform” robust
to channel distortion hence improving detector
performance. (Antipodal signaling, orthogonal
signaling, bi-orthogonal signaling, M-ary signaling).
2. Structured sequences by adding redundancy.

Khoa Điện tử - Viễn thông Digital Communications and Coding

Trường Đại học Công nghệ, ĐHQGHN 5 Truyền thông số và mã hóa
Why Channel coding?
 The answer is the 'noise' which is added by 'Channel'. As you
can guess, this noise would make a lot of errors while the
reciever is demodulate the received signal into the bit stream.

 What would be the solution for this problem ?

 We can think about two possible options.
• Make the channel noise-free. (Construct the channel in such a
way there is no noise).
• Use some method to detect and correct the error.

Khoa Điện tử - Viễn thông Digital Communications and Coding

Trường Đại học Công nghệ, ĐHQGHN 6 Truyền thông số và mã hóa
Introduction to Channel coding

Khoa Điện tử - Viễn thông Digital Communications and Coding

Trường Đại học Công nghệ, ĐHQGHN 7 Truyền thông số và mã hóa
Introduction to Channel coding
 Channel Coding is a method to replace 'original data bits'
with 'some other bits (normally longer than the original bits)'.
For example, the simplest coding would be as follows :
◼ 0 --> 0000 : replace all '1' in orginal data into '0000'
◼ 1 --> 1111 : replace all '1' in orginal data into '1111'
 Another example of coding would be addition of parity bits as
in RS 232 communication
◼ original seven bit data --> original seven bit data + one parity bit

 In communication system, we usually call 'the original data'

as a 'message' and call the ecoded data as 'Codeword'. In all
encoding process, the length of Codeword is greater than the
length of 'message', in means that in coding process some
additional bits are added to the original data(message) and
this additional bits are called 'redundency bits'.

Khoa Điện tử - Viễn thông Digital Communications and Coding

Trường Đại học Công nghệ, ĐHQGHN 8 Truyền thông số và mã hóa
Channel coding
 The only option is to develop some method (algorithm)
to detect and correct the error caused by the noisy
channel.

 What is the gain for Encoding/Decoding ? It is the received

data with less or almost no error.

 What is the loss ? What is downside of this process ? Following

are the major issues caused by Encoding/Decoding process.

• Data Transmission Overhead (Due to redundancy bits)

• Complicate the data transmission and reception process
(due to encoding/decoding algorithm)

Khoa Điện tử - Viễn thông Digital Communications and Coding

Trường Đại học Công nghệ, ĐHQGHN 9 Truyền thông số và mã hóa
Example: Repetition code
 Given a BSC
(Binary symmetric
channel)
❑ Assume 𝑝 = 10−3 (Error rate)
 Consider a repetition code:
In transmitter: 111 substitutes for 1,
000 substitutes for 0
• Encoding example: 1 . 0 . 1 . → 111 . 000 . 111 .
• Decoding rule: Majority vote!
Examples of received codewords:
110 . 000 . 111 . → 1 . 0 . 1 . Error-free!
111 . 000 . 010 . → 1 . 0 . 0 . Error!
Khoa Điện tử - Viễn thông Digital Communications and Coding
Trường Đại học Công nghệ, ĐHQGHN 10 Truyền thông số và mã hóa
Analysis of Repetition Code
➔ Error rate:
𝑃𝑒1 = 𝑃𝑟 001 + 𝑃𝑟 010 +𝑃𝑟 100 +𝑃𝑟 000
= 3𝑝2 1 − 𝑝 + 𝑝3 = 3. 10−2.3 1 − 10−3 + 10−3.3 ≈ 3.10−6
 As n gets bigger, the decoding error probability goes down. Here’s
what happens with a 10% probability of transmission error (p =0.1)
Number of repetitions Probability of incorrect decoding
3 0.028
5 0.0086
7 0.002728
9 0.000892
 It seems that we can push the error probability as close to zero as
we wish by using more repetitions.
 If we let the number of repetitions grow and grow, we can
approach perfect reliability !

Khoa Điện tử - Viễn thông Digital Communications and Coding

Trường Đại học Công nghệ, ĐHQGHN 11 Truyền thông số và mã hóa
Analysis of Repetition Code

❑ The redundancy in repetition of bits is measured by

the efficiency or rate of the code, denoted by R:
R= (#information bits / # bits in codeword) x 100%
❑ For the 3-repetition code: R=33%
?As the number of repetitions grows to infinity, the
transmission rate shrinks to zero!!!

Khoa Điện tử - Viễn thông Digital Communications and Coding

Trường Đại học Công nghệ, ĐHQGHN 12 Truyền thông số và mã hóa
Trade off in repetition code
 Using BPSK 𝑥 𝑚 = ± 𝑃, 𝑄 𝑃Τ𝜎 2
 Repeat N times to transmit one bit. Soft decision
𝐱𝐴 = 𝑃 1, … , 1 𝑡 and 𝐱𝐵 = 𝑃 −1, … , −1 𝑡
𝐲 = 𝐱𝐴 + 𝐰
𝐱𝐴 − 𝐱 𝐵 𝑁𝑃
error probability is 𝑄 =𝑄
2𝜎 𝜎2
 Error probability decays exponentially with block length 𝑁 or
number of repetition. It makes slowly the rate of information.
𝑁𝑃
 For increasing data rate using M-PAM 𝑄
𝑀−1 𝜎
 It is reliable when 𝑀 less than 𝑁, but data rate is bounded by
log 𝑁 Τ𝑁 then it still goes to zero as the block length
increases.
 M-PAM does not solve the problem speed go to 0

Khoa Điện tử - Viễn thông Digital Communications and Coding

Trường Đại học Công nghệ, ĐHQGHN 13 Truyền thông số và mã hóa
Communication and ball packing
❑ Problem: How to efficiently transmit a signal or message in the
presence of noise?
❑ To convert the signal to digital form we must sample it.
❑ Cannot reconstruct the original signal from the samples because
there are other signals that may have given rise to the same
samples. If we had sampled faster, then the sampling theorem
would guarantee that we could recover the signal uniquely.

The red curve is the signal. The black dots correspond to samples. The dashed curve is another signal
which would result in the same values for samples taken at the same points. This plot shows that the
sampling frequency here is not sufficient because we cannot uniquely reconstruct the original signal.

Khoa Điện tử - Viễn thông Digital Communications and Coding

Trường Đại học Công nghệ, ĐHQGHN 14 Truyền thông số và mã hóa
Ball packing

❑ The size of the error ball is

determined by how noisy the
channel is – the noisier the
channel, the larger the ball and
the possible error.

❑ So how can we communicate if

the signal sent is not necessarily
the signal received? To do this we
must agree ahead of time on a
restricted vocabulary of signals.
When we receive a signal, we
pick the geometrically closest
possible signal in the vocabulary.

Khoa Điện tử - Viễn thông Digital Communications and Coding

Trường Đại học Công nghệ, ĐHQGHN 15 Truyền thông số và mã hóa
Ball packing

❑ The situation we don't want is

one in which it is ambiguous
where the signal came from?
Here the two error balls overlap,
introducing the ambiguity. So we
must choose the words of the
vocabulary sufficiently far apart,
as in second image, so there is
no ambiguity.
❑ In order to have as large a
vocabulary as possible, we clearly
want to pack as many balls as
possible into our space of signals.

Khoa Điện tử - Viễn thông Digital Communications and Coding

Trường Đại học Công nghệ, ĐHQGHN 16 Truyền thông số và mã hóa
Ball packing

Khoa Điện tử - Viễn thông Digital Communications and Coding

Trường Đại học Công nghệ, ĐHQGHN 17 Truyền thông số và mã hóa
Repetition in signal-space

1 dimension signal!

a ➔ aaaaaaaaaaa

Figure 1: Repetition coding packs points inefficiently in the high dimensional signal

Khoa Điện tử - Viễn thông Digital Communications and Coding

Trường Đại học Công nghệ, ĐHQGHN 18 Truyền thông số và mã hóa
Packing Spheres
 When expanded to higher dimension

Figure : The number of noise spheres that can be packed into the y-sphere yields
the maximum number of codewords that can be reliably distinguished

Khoa Điện tử - Viễn thông Digital Communications and Coding

Trường Đại học Công nghệ, ĐHQGHN 19 Truyền thông số và mã hóa
Capacity of channel (Shannon limit, 3rd theorem )
 The maximum number of noise spheres in Power spheres (The
volume of the large sphere divided by the volume of the small
𝑁
𝑁 𝑃+𝜎2
sphere 𝑁
𝑁𝜎2

 Then the maximum number of bit per symbol/ dimension

𝑁
1 𝑁 𝑃+𝜎2 1 𝑃
log 𝑁 = log 1 + (bit/channel use)
𝑁 𝑁𝜎2 2 𝜎2

➔ This is indeed the capacity of the AWGN channel.

 Bandwidth 𝑊 has 2W independent channel use/s

ത
ത 𝑊 = 𝑊log 1 + 𝑃 =𝑊log 2 1 + 𝑆 bits/s
𝐶𝑎𝑤𝑔𝑛 𝑃, 𝜎 2 =N0
𝑁 𝑊 𝑁 0
𝐶 𝐸 𝑅 𝑆
𝑃 = 𝐸𝑏 𝑅𝑏 = log 2 1 + 𝑁𝑏 𝑊𝑏 =log 2 1 + 𝑁 bit/s/Hz
𝑊 0

Khoa Điện tử - Viễn thông Digital Communications and Coding

Trường Đại học Công nghệ, ĐHQGHN 20 Truyền thông số và mã hóa
Capacity of channel (Shannon limit)
 Example What is the theoretical maximum data rate that can
be supported in a 200 𝑘𝐻𝑧 channel for 𝑆𝑁𝑅 = 10 𝑑𝐵, 30 𝑑𝐵 ?
How does this compare to the GSM standard ?
 Solution
For 𝑆𝑁𝑅 = 10 𝑑𝐵 = 10, 𝐵 = 200 𝑘𝐻𝑧.
Using Shannon’s channel capacity formula, the maximum possible
data rate kbps
𝑆
𝐶 = 𝐵log 2 1 + = 200000log 2 1 + 10 = 691.886𝑘𝑏𝑝𝑠
𝑁
The GSM data rate is 270.833 kbps, which is only about 40% of the
theoretical limit for 10 𝑑𝐵 SNR conditions.
For 𝑆𝑁𝑅 = 30 𝑑𝐵 = 1000, 𝐵 = 200 𝑘𝐻𝑧 . The maximum possible
data rate Mbps.
𝑆
𝐶 = 𝐵log 2 1 + = 200000log 2 1 + 1000 = 1.99𝑀𝑏𝑝𝑠
𝑁

Khoa Điện tử - Viễn thông Digital Communications and Coding

Trường Đại học Công nghệ, ĐHQGHN 21 Truyền thông số và mã hóa
Capacity of channel (Shannon limit)
 Definition We define the “information” channel capacity
of a discrete memoryless channel as
𝑪 = 𝐦𝐚𝐱 𝑰 𝑿; 𝒀 = 𝐦𝐚𝐱 𝑯(𝑿) − 𝑯(𝑿 ∣ 𝒀)
𝒑(𝒙) 𝒑 𝒙

where the maximum is taken over all possible input distributions

𝑝(𝑥).

 Ex: Consider the behavior

of this channel

Khoa Điện tử - Viễn thông Digital Communications and Coding

Trường Đại học Công nghệ, ĐHQGHN 22 Truyền thông số và mã hóa
Capacity of channel (Shannon limit)
 When |𝑎| ≠ 1, this is a Noisy Channel with Nonoverlapping
Outputs. We would like to compute the capacity of the channel in this
situation,
𝐶 = max 𝐼(𝑋; 𝑌)
𝑝(𝑥)
= max 𝐻(𝑋) − 𝐻(𝑋 ∣ 𝑌)
𝑝(𝑥)

 Because 𝑋 can be determined

by 𝑌, 𝐻(𝑋 ∣ 𝑌) = 0. Therefore,
𝐶 = max 𝐻(𝑋)
𝑝(𝑥)
= 1bit

Khoa Điện tử - Viễn thông Digital Communications and Coding

Trường Đại học Công nghệ, ĐHQGHN 23 Truyền thông số và mã hóa
Capacity of channel (Shannon limit)

 When |𝑎| = 1, this is a Binary

Erasure Channel. We will compute the
capacity for 𝑎 = 1. We begin by
defining the conditional entropy,

𝐻(𝑋 ∣ 𝑌) = ෍ 𝑃(𝑌 = 𝑦)𝐻(𝑋 ∣ 𝑌 = 𝑦)

𝑦∈𝑌
1 1
= 𝐻(𝑋 ∣ 𝑌 = 0) + 𝐻(𝑋 ∣ 𝑌 = 1)
4 2
1
+ 𝐻(𝑋 ∣ 𝑌 = 2)
4
1
= 𝐻(𝑋)
2

Khoa Điện tử - Viễn thông Digital Communications and Coding

Trường Đại học Công nghệ, ĐHQGHN 24 Truyền thông số và mã hóa
Capacity of channel (Shannon limit)

 We can now compute the capacity,

𝐶 = max 𝐼(𝑋; 𝑌)
𝑝(𝑥)
= max 𝐻(𝑋) − 𝐻(𝑋 ∣ 𝑌)
𝑝(𝑥)
1
= max 𝐻(𝑋) − 𝐻(𝑋)
𝑝(𝑥) 2
1
= max 𝐻(𝑋)
𝑝(𝑥) 2
1
= max 𝐻(𝑋)
2 𝑝(𝑥)
1
= bit
2
The computation for a = −1 is similar

Khoa Điện tử - Viễn thông Digital Communications and Coding

Trường Đại học Công nghệ, ĐHQGHN 25 Truyền thông số và mã hóa
Capacity of channel (Shannon limit)
 Given a BSC (Binary symmetric channel)
❑ Assume 𝑝 (Error rate)

 We bound the mutual information by:

𝐼(𝑋; 𝑌) = 𝐻(𝑋) − 𝐻(𝑋 ∣ 𝑌)

= 𝐻(𝑌) − ෍ 𝑝(𝑥)𝐻(𝑌 ∣ 𝑋 = 𝑥)

= 𝐻(𝑌) − ෍ 𝑝(𝑥)𝐻(𝑝)

= 𝐻(𝑌) − 𝐻(𝑝)
≤ 1 − 𝐻(𝑝)
where the last inequality follows because 𝑌 is a binary random
variable. Equality 𝐻 𝑌 = 1 when the input distribution is uniform.

Khoa Điện tử - Viễn thông Digital Communications and Coding

Trường Đại học Công nghệ, ĐHQGHN 26 Truyền thông số và mã hóa
The channel coding theorem (No proof)
 Capacity in BSC

Figure: Channel capacity of a binary symmetric channel with transition probability 𝑝.

Khoa Điện tử - Viễn thông Digital Communications and Coding

Trường Đại học Công nghệ, ĐHQGHN 27 Truyền thông số và mã hóa
The channel coding theorem (No proof)
 For Gaussian channel

𝐼(𝑋; 𝑌) = 𝐻(𝑌) − 𝐻(𝑌 ∣ 𝑋)

= 𝐻(𝑌) − 𝐻(𝑋 + 𝑍 ∣ 𝑋)
= 𝐻(𝑌) − 𝐻(𝑍 ∣ 𝑋)
= 𝐻(𝑌) − 𝐻(𝑍)
since 𝑍 is independent of 𝑋.
Now, 𝐻(𝑍) = 1/2log2𝜋𝑒N, and: 𝐸𝑌 2 = 𝐸(𝑋 + 𝑍)2 = 𝐸𝑋 2 + 2𝐸𝑋𝐸𝑍 +
𝐸𝑍 2 = 𝑃 +𝑁, since 𝑋 and 𝑍 are independent and 𝐸𝑍 = 0.
 Given 𝐸𝑌 2 = 𝑃 + 𝑁, the entropy of 𝑌 is bounded by
1/2log2𝜋𝑒(𝑃 + 𝑁) because the normal maximizes the entropy for a
given variance.

Khoa Điện tử - Viễn thông Digital Communications and Coding

Trường Đại học Công nghệ, ĐHQGHN 28 Truyền thông số và mã hóa
The channel coding theorem (No proof)

 Applying this result to bound the mutual information, we obtain:

𝐼(𝑋; 𝑌) = ℎ(𝑌) − ℎ(𝑍)
1 1
≤ log 2𝜋𝑒(𝑃 + 𝑁) − log 2𝜋𝑒𝑁
2 2
1 𝑃
= log 1 +
2 𝑁

 Hence, the information capacity of the Gaussian channel is:

1 𝑃
𝐶 = max2 𝐼(𝑋; 𝑌) = log 1 +
𝑓(𝑥)𝐸𝑋 ≤𝑃 2 𝑁
and the maximum is attained when 𝑋 ∼ 𝑁(0, 𝑃).

Khoa Điện tử - Viễn thông Digital Communications and Coding

Trường Đại học Công nghệ, ĐHQGHN 29 Truyền thông số và mã hóa
The channel coding theorem (No proof)

 If a discrete memoryless channel has capacity C and

a source generates information at a rate R<C, then
there exists a coding technique such that the
output of the source may be transmitted over the
channel with an arbitrarily low probability of symbol
error

Khoa Điện tử - Viễn thông Digital Communications and Coding

Trường Đại học Công nghệ, ĐHQGHN 30 Truyền thông số và mã hóa
The ultimate Shannon limit
 Power efficiency is defined as the ratio of signal energy per
bit (Eb) to noise power spectral density per bit (N0 –
required at the receiver input to achieve certain BER.

 Condition for reliable transmission through a channel with

spectral efficiency given by

 ➔ Shannon limit on power efficiency for reliable communication

is given by

Khoa Điện tử - Viễn thông Digital Communications and Coding

Trường Đại học Công nghệ, ĐHQGHN 31 Truyền thông số và mã hóa
The ultimate Shannon limit

Khoa Điện tử - Viễn thông Digital Communications and Coding

Trường Đại học Công nghệ, ĐHQGHN 32 Truyền thông số và mã hóa
Fundamental Questions of Channel Coding
 How many bits of redundancy bits I have to add to
minimize the number of redundancy bits and
maximize the error correction ?
 Which Encoding/Decoding algorithms would be the
best for the communication system I am
implementing.

Khoa Điện tử - Viễn thông Digital Communications and Coding

Trường Đại học Công nghệ, ĐHQGHN 33 Truyền thông số và mã hóa
Fundamental Questions of Channel Coding

Khoa Điện tử - Viễn thông Digital Communications and Coding

Trường Đại học Công nghệ, ĐHQGHN 34 Truyền thông số và mã hóa
Historical View of Channel Coding Algorithms

Khoa Điện tử - Viễn thông Digital Communications and Coding

Trường Đại học Công nghệ, ĐHQGHN 35 Truyền thông số và mã hóa
Classification of Channel Coding Algorithms

Khoa Điện tử - Viễn thông Digital Communications and Coding

Trường Đại học Công nghệ, ĐHQGHN 36 Truyền thông số và mã hóa
5. Revision
 What are the source code and the channel code
 Why repetition code can decrease error probability
 What are disadvantages of repetition code
 What is the capacity (Shannon limit) of specific AWGN
channel.
 How does mean the reliable transmission
 Note: The channel coding theorem asserts the
existence of good codes but does not tell us how to
find them

Khoa Điện tử - Viễn thông Digital Communications and Coding

Trường Đại học Công nghệ, ĐHQGHN 37 Truyền thông số và mã hóa