BAYESIAN NETWORK (BN) Wandhansari Sekar Jatiningrum

PENDAHULUAN
• Bayesian Network berasal dari teorema bayes, sebuah pendekatan untuk sebuah
ketidakpastian yang diukur dengan probabilitas.
• Bayesian Network merupakan suatu metode pemodelan data berbasis probabilitas
yang merepresentasikan suatu himpunan variabel dan conditional
interdependenciesnya melalui suatu DAG (Directed Acyclic Graph)
PEMODELAN PROBABILITAS MENGGUNAKAN BN
Diketahui suatu permasalahan digambarkan dengan possibility tree sebagai berikut :

Dapat digambarkan dengan Bayesian Network, menjadi :

Conditional Probability Table (CPT)

melekat di dalam setiap anak panah
0,1 0,9
PEMODELAN PROBABILITAS MENGGUNAKAN BN
BAYESIAN NETWORK (BN)
 Sering disebut juga sebagai relevance diagram, probabilistic network,
causal network, causal graph, dsb
 Bayesian Network menggambarkan hubungan probabilistik antara variabel
yang tidak pasti (uncertain)
 Acyclic Graph  masing-masing node merepresentasikan sebuah variabel
acak, dan masing-masing garis menggambarkan probabilitas
ketergantungan dari node sebelumnya (node parent-nya)
 Conditional Probability Distribution di dalam node merepresentasikan
probabilitas kondisional variabel node tersebut yang bergantung pada
node parentnya
 BAYESIAN NETWORK (BN)
 Example : terdapat 3 variabel acak A, B dan C, di mana A dan B adalah variabel bebas dan
masing-masing mempunyai pengaruh langsung kepada variabel C.
 Hubungan yang terjadi diantara ketiga variabel tersebut dapat digambarkan ke dalam
“directed acyclic graph”
 Setiap node mewakili sebuah varibel dan setiap garis mengambarkan hubungan
ketergantungan antara 2 variabel.
 Jika terdapat garis dari A ke C, maka A merupakan parent C dan C merupakan child dari A.
TWO LAYERS OF REPRESENTATION OF KNOWLEDGE
 Qualitative Level
Struktur penggambaran grafis merepresentasikan probabilistic dependence
atau hubungan antar variabel
 Quantitative Level
Conditional probability merepresentasikan “kekuatan” dari hubungan
dependensi tersebut
WHERE DO THE NUMBERS IN A BN COME FROM?
 Direct assessment dari seseorang yang ahli/expert
 Menggunakan analisis dari sejumlah data dengan :
 Metode estimasi statistik
 Data mining
 Output dari model matematis :
 Model simulasi
 Model stokastik
 Model sistem dinamis
 Dsb
 Kombinasi
 Expert menggambarkan struktur secara grafis dan angka probabilitas didapatkan dari
model matematis atau analisis sejumlah data
KOMPONEN DALAM BN
 Adanya anak panah menunjukkan hubungan yang mungkin
 Arc reversal/anak panah yang dibalik :

 Jika ingin diketahui probabilitas seseorang merupakan perokok jika diketahui bahwa
dia penderita kanker, maka :
ARC REVERSAL OPERATION
 Jika diketahui :

 Kemudian ingin dicari :

 Probabilitas P(Y) dan P(X|Y) dapat dicari dengan menggunakan Teorema Bayes
sebagai berikut :
𝑃 𝑌 = 𝑃 𝑋 𝑃(𝑌|𝑋)
𝑃 𝑋 𝑃(𝑌|𝑋)
𝑃 𝑋𝑌 =
𝑃(𝑌)
 EXAMPLE

0,1 0,9

P(L1) = P(L1|S1) P(S1) + P(L1|S2) P(S2)

Jika:
= (0,1x0,25) +(0,01x0,75) = 0,0325
S1 : Smoking True
P(L2) = P(L2|S1) P(S1) + P(L2|S2) P(S2)
S2 : Smoking False
= (0,9x0,25) +(0,99x0,75) = 0,9675
L1 : Lung cancer True
Atau P(L2) = 1-P(L1)
L2 : Lung cancer False
= 1-0,0325 =0,9675
𝑃 𝐿1 𝑆1 𝑃(𝑆1) (0,1)(0,25)
𝑃 𝑆1 𝐿1 = = = 0,769
𝑃(𝐿1) 0,0325
𝑃 𝐿2 𝑆1 𝑃(𝑆1) (0,9)(0,25)
𝑃 𝑆1 𝐿2 = = = 0,233 dst
𝑃(𝐿2) 0,9675
 EXAMPLE 2
fever flu fever flu

Fever Prob Flu P(Fe|Fl)

Fever P(Fl|Fe)
Flu Prob
True 0,7 Fever
Flu
True
False 0,3 True False
True False
False
True 0,85 0,15 True

False 0,45 0,55 False

EXAMPLE 2
POSSIBILITY TREE:
True

0,85
True
Flu

0,15
0,7 False

Fever
True

0,3
0,45
False
Flu

0,55
False
HOW TO BUILD BN
1. Konstruksi Struktur
 Struktur bayesian network adalah direct acyclic graph yang dapat
merepresentasikan sebuah pola dari sekumpulan data.
 Perepresentasian dalam bentuk graf dapat dilakukan dengan mengidentifikasi
konsep-konsep informasi yang relevan terhadap masalah.
 Selanjutnya konsep-konsep tersebut disebut himpunan variabel.
 Himpunan tersebut kemudian direpresentasikan menjadi node node dalam graf.
Pengaruh antara variable dinyatakan eksplisit menggunakan edge pada graf.
HOW TO BUILD BN
1. Konstruksi Struktur
 Contoh Direct Acyclic Graph

a. Node A adalah parent dari node B; node B adalah child dari node A.
b. Node A adalah parent dari node C; node C adalah child dari node A.
c. Node B adalah parent dari node D; node D adalah child dari node B.
d. Node B adalah parent dari node E; node E adalah child dari node B.
e. Node C adalah parent dari node F; node F adalah child dari node C.
f. {B,C,D,E,F} adalah descendant dari node A.
g. {D,E} adalah descendant dari node B.
h. {F} adalah descendant dari node C.
HOW TO BUILD BN
2. Estimasi Parameter
 Setelah struktur bayesian network terbentuk, parameter dan hubungan
ketergantungan antara node ditentukan dengan menggunakan pengetahuan
pakar, analisis sejumlah data, dsb.
 Informasi ini dibutuhkan agar dapat menghitung joint probability distribution.
CHAIN RULE
 Kaidah aturan berantai (chain rule) digunakan untuk merepresentasikan joint
probability distribution (JPD) yang terdapat pada struktur Bayesian Networks, di
mana struktur tersebut kemungkinan akan terdiri dari N variabel/node.
 Jika kita anggap keseluruhan node-node yang terdapat pada Bayesian Network
diwakili oleh U, maka JPD P(U) adalah perkalian dari semua probabilitas bersyarat
yang terdapat pada struktur.
 BN REPRESENTS JOINT PROBABILITY DISTRIBUTION
 BN mampu menyederhanakan Joint Probability Distribution (JPD)

Tanpa menggunakan BN..

p(A,B,C,D,E,F)= p(A,B,C,D,E,F)=p(A)p(B|A)p(C|A,B)p(D|A,B,C)
p(A)p(B|A)p(C)p(D|B,C)p(E|B)p(F|B,E) p(E|A,B,C,D)p(F|A,B,C,D,E)
CONDITIONAL INDEPENDENCE
 Jika diketahui variabel A, B, dan C  P(A|B, C) adalah probabilitas kondisional A
given B dan C
 Jika p(A|B, C) tidak bergantung secara aktual pada nilai B, misal
p(A|B=b1,C)=p(A|B=b2,C), maka dapat dituliskan p(A|B, C) = p(A|C)
 Dikatakan bahwa A adalah conditionally independent terhadap B given C. Notasinya
adalah sebagai berikut :
 Misal diketahui Conditional Probability Table (CPT) p(A|B,C) sbb :

Dapat disederhanakan
menjadi p(A|C)
GRAPHICAL REPRESENTATION OF CONDITIONAL INDEPENDENCE IN
3 NODE BN
Diketahui 3 variabel, penjabaran joint probability p(A,B,C) :
P(A,B,C) = p(A|B,C) p(B|C) p(C)
Jika 𝐴 ⊥ 𝐵|𝐶, maka gunakan hubungan p(A|B,C)=p(A|C), sehingga :
P(A,B,C) = p(A|C) p(B|C) p(C)

BN yang merepresentasikan 𝐴 ⊥ 𝐵|𝐶 dapat digambarkan sebagai berikut :

GRAPHICAL REPRESENTATION OF CONDITIONAL INDEPENDENCE IN
3 NODE BN
Jika penjabaran joint probability p(A,B,C) :
P(A,B,C) = p(A|B,C) p(C|B) p(B)
Jika 𝐴 ⊥ 𝐵|𝐶, maka gunakan hubungan p(A|B,C)=p(A|C), sehingga :
P(A,B,C) = p(A|C) p(C|B) p(B)

BN yang merepresentasikan 𝐴 ⊥ 𝐵|𝐶 dapat digambarkan sebagai berikut :

GRAPHICAL REPRESENTATION OF CONDITIONAL INDEPENDENCE IN
3 NODE BN
Jika penjabaran joint probability p(A,B,C) :
P(A,B,C) = p(B|A,C) p(C|A) p(A)
Jika 𝐴 ⊥ 𝐵|𝐶 dan B ⊥ 𝐴|𝐶 maka gunakan hubungan p(B|A,C)=p(B|C), sehingga :
P(A,B,C) = p(B|C) p(C|A) p(A)

BN yang merepresentasikan 𝐴 ⊥ 𝐵|𝐶 dapat digambarkan sebagai berikut :

SUMMARY OF 3-NODE BN REPRESENTING CONDITIONAL INDEPENDENCE

3 BN di bawah ini menunjukkan A independen terhadap B given C :

EXAMPLE OF BN : TRAFFIC JAM
EXAMPLE OF BN : CAR STARTING SYSTEM
EXAMPLE OF BN : CAUSE OF DYSPNEA
PROBABILISTIC INFERENCE USING BN
Types of probabilistic inference:
Predictive or causal inference
Diagnostic inference
Inter-causal reasoning
General or mixed inference
PREDICTIVE OR CAUSAL INFERENCE
 Biasanya melibatkan penalaran ke arah kausal atau sebab akibat
 Diketahui sebab, dicari akibat
 Contoh :
 How likely is a male non-officer worker going to get lung cancer?

 How likely is smoker going to have abnormal serum calcium level?

DIAGNOSTIC INFERENCE
 Penalaran dalam arah kebalikan untuk mengetahui kemungkinan penyebab
suatu efek
 Digunakan untuk penyelesaian masalah sistem rekayasa yang kompleks dan
diagnosis medis dari gejala penyakit yang diamati
 Diketahui akibat, dicari sebab
 Example : a patient was found to have lung cancer, what is the chance that
smoking was the cause?
Query: p(Smoking | Lung cancer)
INTER-CAUSAL REASONING
 Melibatkan penalaran, diketahui suatu efek, bagaimana informasi tentang salah
satu penyebab dapat mempengaruhi kemungkinan penyebab lain
 Example: If a patient has abnormal X-ray results, the probability of smoking and
exposure to toxics both go up. If we then confirm smoking, then the probability of
exposure to toxics goes back down. This is called explaining away
GENERAL OR MIXED INFERENCE

 Example: a male officer worker has abnormal serum calcium, what is the chance that
he has lung cancer?
THANK YOU