‫به نام ایزد منان‬

‫تمرین دوم درس مبانی هوش محاسباتی‪« ،‬شبکه‌های عصبی»‬

‫استاد درس‪ :‬دکتر عبادزاده‬

‫پاییز ‪ – 1403‬دانشکده مهندسی کامپیوتر‪ ،‬دانشگاه صنعتی امیرکبیر‬

‫نکاتی در مورد این تمرین نیاز به توجه و دقت دوستان دارد‪.‬‬

‫‪ -1‬هرگونه کپی کردن باعث عدم تعلق نمره به تمامی افراد مشارکت کننده در آن می‌شود‪.‬‬

‫‪ -2‬آخرین مهلت ارسال تمرین‪ ،‬ساعت ‪ ۲۳:۵۹‬دقیقه روز ‪ ۲‬آذر ‪ 1403‬می‌باشد‪ .‬این زمان با توجه به‬
‫جمع‌بندی‌های صورت گرفته‪ ،‬شرایط و با توجه به سایر تمرین‌ها در نظر گرفته شده است و به هیچ‬
‫عنوان قابل تمدید نمی‌باشد‪.‬‬
‫‪ -3‬دوستان فایل ارسالی خود را به صورت فشرده و به صورت «شماره‌ دانشجویی‪»_HW2‬‬
‫مانند‪ HW2_9931000‬نام گذاری کنید‪.‬‬
‫‪ -4‬در صورت هرگونه سوال یا مشکل می‌توانید با تدریس‌یاران درس از طریق ‪ discussion‬کانال‬
‫‪ https://t.me/+Jv4zWN2kVCtkMzhk‬در ارتباط باشید‪.‬‬
‫‪ -1‬تابع ‪ XOR‬را به وسیله شبکه‌های عصبی مبتنی بر توابع پایه شعاعی مدل کنید‪ .‬برای این کار‪:‬‬
‫الف) دو تابع شعاعی گاوسی به مراکز (‪ )0 ,0‬و (‪ )1 ,1‬و ‪ σ=1‬تشکیل دهید و رابطه‌ی آن‌ها را بر‬
‫اساس دو ورودی ‪ x1‬و ‪ x2‬بنویسید‪.‬‬
‫ب) جدول حاالت تابع ‪ XOR‬را بدست بیاورید و برای ‪ 4‬حالت ممکن این تابع‪ ،‬مقدار دو تابع پایه‬
‫شعاعی بدست آمده در بخش الف را بیابید‪.‬‬
‫پ) دستگاه معادالت را برای چهار حالت جدول حالت ‪ XOR‬و مقدار مورد انتظار آن‌ها‪ ،‬تشکیل‬
‫دهید و پارامترهای ‪ w1‬و ‪ w2‬و ‪ θ‬را بیابید‪.‬‬

‫‪ -۲‬به سواالت زیر پاسخ دهید‪:‬‬

‫‪ )1‬گام‌های الگوریتم ‪ k-means‬را در قالب یک شبه کد بنویسید‪.‬‬
‫‪ )2‬الگوریتم ‪ k-means‬از نظر نوع یادگیری در کدام دسته قرار می‌گیرد؟ چرا؟‬
‫‪ )3‬آیا انتخاب ‪ k‬می‌تواند مدل را دچار بیش‌برازش یا کم‌برازش کند؟ اگر بله یک مثال برای‬
‫انتخاب ‪ k‬ارائه دهید که در آن می‌توان گفت مدل دچار بیش‌برازش یا کم‌برازش شده‬
‫است‪.‬‬
‫‪ )4‬می‌دانیم در الگوریتم ‪ k-means‬دو فاصله درون خوشه‌ای (‪ )inter cluster‬و میان‬
‫خوشه‌ای (‪ )intra cluster‬تعریف می‌شوند‪ ،‬توضیح دهید هدف الگوریتم برای هر یک از‬
‫این فاصله‌ها چیست و کم یا زیاد بودن این فواصل چه معنایی دارند‪.‬‬

‫‪ -۳‬یک شبکه عصبی برای طبقه‌بندی تصاویر از سه دسته مختلف طراحی کرده‌ایم‪ .‬ساختار این‬
‫شبکه شامل یک الیه ورودی‪ ،‬دو الیه مخفی و یک الیه خروجی با سه نورون (برای سه دسته‬
‫مختلف) است‪.‬‬
‫بخش اول‪ :‬فرض کنید که در الیه‌های مخفی از تابع فعال‌سازی ‪ ReLU‬و در الیه خروجی از تابع‬
‫فعال‌سازی ‪ Softmax‬استفاده کرده‌ایم‪.‬‬
‫الف) توضیح دهید که چرا از ‪ ReLU‬برای الیه‌های مخفی استفاده می‌کنیم و چه ویژگی‌هایی دارد‬
‫که برای این الیه‌ها مناسب است؟‬
‫ب) چرا در الیه خروجی از ‪ Softmax‬استفاده شده و چه تاثیری بر خروجی‌های شبکه خواهد‬
‫داشت؟‬
 ‫بخش دوم‪ :‬برای مقابله با بیش‌برازش تصمیم داریم از ‪ dropout‬با نرخ ‪ 0.5‬در الیه‌های مخفی‬
‫استفاده کنیم‪.‬‬
‫ج) توضیح دهید که چگونه ‪ Dropout‬کمک می‌کند تا شبکه بهتر عمومی‌سازی شود؟‬

‫‪-۴‬توضیح دهید که ‪ SOM‬چگونه کار می‌کند و چه تفاوت‌هایی با ‪ feedforward‬دارد؟‬

‫‪ -۵‬فرض کنید می‌خواهیم یک شبکه عصبی کانولوشنی پیاده‌سازی کنیم که با گرفتن عکس مغز بیمار‪،‬‬
‫وضعیت بیمار را تشخیص دهد‪ .‬با توجه به توضیحات زیر‪ ،‬شبکه عصبی کانولوشنی مربوطه را‬
‫پیاده‌سازی کنید (مراحل پیاده‌سازی این شبکه عصبی و فرآیند کلی آن را با رسم شکل مناسب شرح‬
‫دهید)‪.‬‬
‫نکات قابل توجه‪:‬‬
‫مدل پیشنهادی باید شامل سه تسک کلی ‪ Feature Extraction، Flattening‬و‬ ‫‪-۱‬‬
‫‪ Classification‬باشد‪ .‬کاربرد و ترتیب هر بخش را نیز توضیح دهید‪.‬‬

‫‪ -۲‬در ‪ ،Feature Extraction‬از ‪ max pooling‬و تابع فعالیت ‪ ReLU‬استفاده کنید و دلیل‬
‫استفاده از آن‌ها را نیز شرح دهید‪.‬‬

‫‪ Classification -۳‬شامل سه دسته‌ی سالم‪ ،‬سرطان و عفونت می باشد‪.‬‬

‫‪ -۶‬حداقل دو مزیت استفاده از الیه‌های ‪ Convolutional‬به جای استفاده از الیه‌های ‪Fully‬‬

‫‪1‬‬
‫‪ Connected‬برای تسک‌های بصری چیست؟‬

‫‪ -۷‬فرض کنید یک ‪ Convolutional Classifier‬دارید؛ برای هر الیه جدول زیر را کامل کنید‪:‬‬
‫‪ :CONV-K-N -‬یک الیه‌ی کانولوشنی با ‪ N‬فیلتر است که هر کدام آن‌ها سایز ‪ K×K‬دارند و‬
‫‪ Padding‬و ‪ Stride‬همیشه به ترتیب ‪ ۰‬و ‪ ۱‬است‪.‬‬
‫‪ :POOL-K -‬یک الیه‌ی ‪ K×K pooling‬با ‪ stride k‬و ‪ padding 0‬است‪.‬‬
‫‪ :FC-N -‬یک الیه‌ی کامال متصل با ‪ N‬نورون است‪.‬‬

‫‪1‬‬
‫‪Visual Tasks‬‬
Number of biases Number of Activation map Layer
weights dimensions

0 0 128 × 128 × 3 Input

CONV-9-32

POOL-2

CONV-5-64

POOL-2

CONV-5-64

POOL-2

FC-3