Artificial Neural Networks

‫الشبكات العصبية االصطناعية‬

1
 What is a Neural Network?
• An artificial neural network (ANN) is an information-processing
system that has certain performance characteristics in common
with biological neural networks.
‫• الشبكة العصبية االصطناعية هي عبارة عن نظام لمعالجة البيانات بشكل يحاكي و‬
‫يشابه الطريقة التي تقوم بها الشبكات العصبية الطبيعية‬
• A method of computing, based on the interaction of multiple
connected processing elements.

‫• طريقة الحسابات تعتمد على تفاعل عناصر المعالجة المرتبطة المتعددة‬

•
• mathematical models for information processing, which based on
the biological prototypes and mechanisms of human brain
activities.
‫• النماذج الرياضية لمعالجة المعلومات تعتمد على النماذج الطبيعية وآلية نشاط دماغ‬
. ‫اإلنسان‬
2
• Computational models inspired by the human
brain:
‫• النماذج الحسابية استلهمت من العقل البشري‬

– Massively parallel, distributed system, made up of

simple processing units (neurons)
) ‫• النظام الموزع المتوازي مؤلف من وحدات معالجة بسيطة (االعصاب‬
– Synaptic connection strengths among neurons are used
to store the acquired knowledge.
‫– شدة الوصالت العصبية بين الخاليا العصبية تستخدم لتخزين المعرفة‬
‫المكتسبة‬
– Knowledge is acquired by the network from its
environment through a learning process
‫– المعرفة تكتسب في الشبكة من بيئتها من خالل عملية التعليم‬
3
 History of Neural Networks
‫تاريخ الشبكات العصبية‬
• 1943: McCullough and Pitts - Modeling the Neuron for
Parallel Distributed Processing
• 1958: Rosenblatt - Perceptron
• 1969: Minsky and Papert publish limits on the ability
of a perceptron to generalize
• 1970’s and 1980’s: ANN renaissance ‫عصر نهضة الشبكات‬
‫العصبية االصطناعية‬
• 1986: Rumelhart, Hinton + Williams present
backpropagation
• 1989: Tsividis: Neural Network on a chip
4
 Properties of Nervous Systems
‫خصائص األنظمة العصبية‬
• Parallel, distributed information processing
‫معالجة معلومات موزعة ومتوازية‬ •
• High degree of connectivity among basic units
‫درجة عالية للربط بين الوحدات األساسية‬ •
• Connections are modifiable based on experience
‫االتصاالت واالرتباطات تعدل اعتمادا على التجربة‬ •
• Learning is a constant process, and usually unsupervised
‫التعليم هو عملية ثابتة وعادة غير مشرف عليها‬ •
• Learning is based only on local information
‫التعليم يعتمد فقط على المعلومات المحلية‬ •
5
 Biological Neuron
• The basic computational unit in the nervous
system is the nerve cell, or neuron. A neuron
has:
– Dendrites (inputs) ‫متحسسات تستقبل اإلشارة من الخاليا‬
‫العصبية األخرى‬
– Cell body ‫وهي تمثل جسم الخليه و هي تقوم على تجميع‬
‫اإلشارات المستقبلة من‬dendrites
– Axon (output) ‫ترسل اإلشارة إلى الخلية التالية‬

6
 Synapses

Axon from other

neuron

Soma

Dendrite from
other
Axon

Dendrites

The schematic model of a

biological neuron

7
Model of an artificial neuron

8
 Model of an artificial neuron
Terminology( ‫)المصطلحات‬

1. x1, x2, ...., xn are the inputs to the neuron

2. w1, w2, ...., wn are real-valued parameters
called weights
3. net = w1 x1 + w2 x2 +…+ wn xn is called
the weighted sum
4. f: is called the activation function?( ‫تابع‬
‫)التفعيل‬
5. y = f(net) is the output of the neuron
9
Model of an artificial neuron

10
 Network Architecture

• Single layer net

Single layer
network

Input Output
layer layer

11
 Multi-layer net
x1

x2

Input Output

xn

Hidden layers
12
 Feed-forward nets
‫شبكات التغذية األمامية‬
•Information only flows one way
‫•المعلومات فقط تتبع طريق واحد‬
• Data is presented to Input layer
‫•البيانات تقدم لطبقة الدخل‬
• Passed on to Hidden Layer
‫•تمرر إلى الطبقة المخفية‬
• Passed on to Output layer
‫•تمرر لطبقة الخرج‬
• Information is distributed
‫•المعلومات موزعة‬
• Information processing is parallel
‫•معالجة المعلومات يكون بشكل متوازي‬
Internal representation (interpretation) of data
‫التمثيل الداخلي هو تفسير للبيانات‬ 13
 Recurrent Networks
‫الشبكات المتكررة‬
• Nodes connect back to other nodes or themselves.
• Information flow is multidirectional
‫• العقد تتصل ببعضها أو بعقد أخرى‬
‫• تدفق المعلومات متعدد االتجاهات‬

14
 Learning Algorithm
‫خوارزمية التعليم‬
– Supervised Learning
– Unsupervised Learning

15
15
Common Activation Functions
Identity Function
The identity function is given by

16
• Binary step function
• Threshold activation function
Stepf(x) = 1 if x >= Ø, else 0

Step Threshold

17
Binary sigmoid function

18
 ‫‪Applications of Artificial Neural Networks‬‬
‫)معالجة اإلشارة (‪• Signal processing‬‬
‫• مثل إخماد الصوت في خطوط التلفون‬
‫• الغاء الصدى‬
‫)التحكم (‪• Control‬‬
‫• مثل يستخدم في الشاحنات وفي تحديد موقع سيارة اجرة‬

‫‪• Robotics - navigation, vision recognition‬‬

‫• االنسان االلي – المالحة – تمييز الرؤية‬
‫‪• Pattern recognition.‬‬
‫• التعرف على األنماط مثل الكتابه اليدويه أو الصور او بصمة اليد أو التوقيع‬

‫‪19‬‬
‫)الطب( ‪• Medicine.‬‬
‫تخزين السجالت الطبية باالعتماد على معلومات الحالة‬ ‫•‬
‫•‬ ‫)انتاج االصوات ( ‪Speech production.‬‬
‫•‬ ‫)التعرف على االصوات) ‪Speech recognition.‬‬
‫•‬ ‫‪Vision: face recognition , visual search engines‬‬
‫تمييز الوجوه – آالت بحث بصرية‬ ‫•‬
‫•‬ ‫)األعمال (‪Business.‬‬
‫مثال قواعد لقرارات المراهنة‬ ‫•‬
‫•‬ ‫‪Financial Applications: time series analysis, stock market‬‬
‫‪prediction‬‬
‫التطبيقات المالية ‪ :‬تحليل السالسل الزمنية – تنبؤ سوق االسهم المالية‬ ‫•‬
‫•‬ ‫‪Data Compression: image, e.g. faces‬‬
‫ضغط البيانات ‪ :‬الصور والوجوه‬ ‫•‬
‫•‬ ‫‪Game Playing: backgammon, chess, go, ...‬‬
‫االلعاب كالشطرنج ولعبة الطاولة‬ ‫•‬
‫‪20‬‬
 Applications of Artificial Neural
Networks
Intelligent ‫التحكم الذكي‬
Control
AdvanceR
obotics Technical
Diagnistics

Machine Intelligent
Vision Data Analysis
Artificial and Signal
Intellect with Processing
Neural
Networks ‫األنظمة‬
‫الخبيرة الذكية‬
Image &
Pattern ‫األنظمة االمنية‬
Recognition ‫الذكية‬ Intelligent
Expert
Systems
Intelligentl Intelligent
Medicine Security
Devices Systems

21
21