‫یادگیری ماشین‬

‫‪1‬‬
 ‫مقدمه‬
‫‪ ‬تعریف فرهنگ لغات از یادگیری‪:‬‬
‫یادگیری عبارت است ازبدس ت آوردن دانش و یا فهم‬ ‫‪‬‬

‫آن از طریق مطالعه‪ ،‬آموزش و یا تجربه‬

‫همچنین گفته شده است که یادگیری عبارت است از‬ ‫‪‬‬

‫بهبود عملکرد از طریق تجربه‬

‫‪ ‬تعریف یادگیری ماشین‪:‬‬
‫یادگیری ماش ین عب ارت اس ت از اینک ه چگون ه میت وان‬ ‫‪‬‬

‫برنامه ای نوشت که از طریق تجربه یادگیری کرده و‬

‫عملکرد خود را بهتر کند‪ .‬یادگیری ممکن است باعث‬
‫تغییر در ساختار برنامه و یا داده ها شود‪.‬‬
‫‪2‬‬
 ‫مقدمه‬
‫‪ ‬یادگیری ماش ین زمین ه نس بتا جدی دی از ه وش‬
‫مصنوعی است که در حال حاضر دوران رشد و‬
‫تکامل خود را میگذراند‪ .‬یادگیری ماشین یک زمینه‬
‫تحقیقاتی بسیار فعال در علوم کامپیوتر است‪.‬‬
‫‪ ‬عل وم مختلفی در ارتب اط ب ا ی ادگیری ماش ین در‬
‫ارتباط هستند از جمله‪:‬‬
‫هوش مص نوعی‪ ،‬روانشناس ی‪ ،‬فلس فه‪ ،‬تئ وری‬ ‫‪‬‬

‫اطالعات ‪ ،‬آمار و احتماالت‪ ،‬تئوری کنترل و ‪...‬‬

‫‪3‬‬
 ‫چرا یادگیری؟‬
‫‪ ‬چرا ماشین را برنامه نویسی نکنیم؟‬
‫بعضی کارها را بدرستی نمیتوان توصیف نمود‪ .‬در صورتیکه‬ ‫‪‬‬

‫ممکن است آنها را بتوان بصورت مثالهای ( ورودی‪/‬خروجی)‬

‫معین نمود‪.‬‬
‫ممکن است در خیل عظیمی از داده اطالعات مهمی نهفته‬ ‫‪‬‬

‫باشد که بشر قادر به تشخیص آن نباشد ( داده کاوی)‪.‬‬

‫ممکن است موقع طراحی یک سیستم تمامی ویژگیهای آن‬ ‫‪‬‬

‫شناخته شده نباشد در حالیکه ماشین میتواند حین کار آنها را‬
‫یاد بگیرد‪.‬‬
‫ممکن است محیط در طول زمان تغییر کند‪ .‬ماشین میتواند‬ ‫‪‬‬

‫با یادگیری این تغییرات خود را با آنها وفق دهد‪.‬‬

‫‪4‬‬
 ‫چرا یادگیری؟‬
‫در عمل نوشتن برنامه ای برای تشخیص یک صورت میتواند‬ ‫‪‬‬
‫کار مشکلی باشد‪ .‬زیرا تعریف دقیقی برای آن وجود ندارد و‬
‫حتی در صورت وجود داشتن نوشتن برنامه ای بر اساس آن‬
‫کار سختی است‪.‬‬

‫در نتیجه بجای نوشتن یک برنامه با دست‪ ،‬میتوان با تهیه مقدار‬ ‫‪‬‬
‫زی ادی نمون ه ص حیح و اعم ال آن ب ه ی ک الگ وریتم ی ادگیری‬
‫ماشین برنامه ای تولید کنیم که کار مورد نظر را انجام دهد‪.‬‬

‫این برنام ه بسیار ب ا آنچ ه ک ه ق رار ب ود ب ا دست نوشته شود‬ ‫‪‬‬

‫متف اوت خواه د ب ود‪ .‬اگ ر این برنام ه درس ت تهی ه ش ده باش د‬
‫میتواند برای نمونه هائی که تاکنون ندیده است نیز خروجی‬
‫مورد نظر را تولید کند‪.‬‬
‫‪5‬‬
 ‫چرا یادگیری ؟‬
‫‪ ‬در سالهای اخیر پیشرفتهای زیادی در الگوریتم ها و‬
‫تئ وری ه ای مربوط ه بوج ود آم ده و زمین ه ه ای‬
‫تحقیقاتی جدید زیادی پدید آمده اند‪.‬‬
‫‪ ‬داده ه ای آزمایش ی زی ادی بص ورت ‪ Online‬بوج ود‬
‫آمده اند‪.‬‬
‫‪ ‬کامپیوتر ها قدرت محاسباتی زیادی بدست آورده اند‬
‫‪ ‬جنی ه ه ای عملی ب ا کاربرده ای ص نعتی بوج ود آم ده‬
‫اند‪ ( .‬در زمینه پردازش گفتار برنامه های مبتنی بر‬
‫یادگیری از همه روشهای دیگر پیشی گرفته اند)‬
‫‪6‬‬
‫برخی از کاربردهای یادگیری‬
‫ماشین‬
‫‪ ‬کنترل روباتها‬
‫‪ ‬داده کاوی‬
‫‪ ‬تشخیص گفتار‬
‫‪ ‬شناسائی متن‬
‫‪ ‬پردازش داده های اینترنتی‬
‫‪Bioinformatics ‬‬
‫‪ ‬بازهای کامپیوتری‬

‫‪7‬‬
 ‫یادگیری مدل‬
‫‪ ‬در یادگیری ماشین با استفاده از تئوری اطالعات‬
‫م دلهای ریاض ی س اخته میش ود ک ه میتوانن د ب رای‬
‫استنتاج استفاده شوند‪.‬‬
‫‪ ‬مدل ممکن است پیشگویانه (‪ )Predictive‬باشد که‬
‫برای پیش بینی موارد جدید بکار می روند‪.‬‬
‫‪ ‬مدل ممکن است توصیفی باشد (‪ )descriptive‬که‬
‫دانش آن از داده یادگرفته میشود‪.‬‬
‫‪ ‬البته مدل می تواند هر دو خاصیت فوق را داشته‬
‫باشد‪.‬‬
‫‪8‬‬
 ‫وظیفه یادگیری ماشین‬
‫دسته بندی یا ‪ classification‬مثل تشخیص گفتار‬ ‫‪.1‬‬

‫حل مسئله‪ ،‬طراحی و عمل مثل بازی ها‪ ،‬راندن‬ ‫‪.2‬‬

‫اتومبیل در بزرگراه‬

‫‪9‬‬
‫مبنای ارزیابی الگوریتمهای‬
‫یادگیری‬

‫‪ ‬دقت دسته بندی‬

‫‪ ‬صحت راه حل و کیفیت آن‬
‫‪ ‬سرعت عملکرد‬

‫‪10‬‬
 ‫یادگیری انسان و ماشین‬
‫‪ ‬یادگیری انسان چگونه است؟‬
‫انسان از طریق تعامل با محیط بیرونی یاد میگیرد‬ ‫‪‬‬

‫یک عامل باید وجود داشته باشد تا یادگیری را شروع کند‬ ‫‪‬‬

‫‪ ‬یادگیری ماشین چگونه اشت؟‬

‫از طریق نوشتن برنامه میتوان به ماشین گفت که چه باید‬ ‫‪‬‬
‫بکند‪.‬‬
‫از طریق نمایش مثالهای متعدد میتوان ماشین را وادار به‬ ‫‪‬‬
‫یادگیری نمود‪.‬‬
‫ماشین میتواند از طریق تجربه محیط واقعی یاد بگیرید‪.‬‬ ‫‪‬‬

‫در حالتیک ه مثاله ا مشخص نیستند و خبره ای وجود ندارد‬ ‫‪‬‬

‫ماشین میتواند از طریق مشاهده یادبگیرد‪.‬‬
‫‪11‬‬
 ‫انواع یادگیری‬
‫یادگیری ماشین در مسایل مختلفی کاربرد دارد‪:‬‬ ‫‪‬‬

‫‪Classification ‬‬
‫ماش ین ی اد میگ یرد ک ه ورودیه ا را ب ه دس ته ه ای از پیش تع یین ش ده ای‬
‫نسبت دهد‪.‬‬

‫‪Clustering ‬‬
‫سیستم یادگیر کشف میکند که کدام ورودیها با هم در یک دسته بندی‬
‫قرار میگیرند‪.‬‬

‫‪Numeric prediction ‬‬

‫ماشین یاد میگیرد که به جای تعیین دسته بندی یک ورودی مقدار عددی‬
‫آنرا پیش بینی نماید‪.‬‬
‫‪12‬‬
‫برخی کاربردهای موفق‬
‫یادگیری ماشین‬
‫‪ ‬شناسائی الگو‪:‬‬
‫شناسائی چهره و حاالت آن‬ ‫‪‬‬

‫شناسائی حروف دست نویس‬ ‫‪‬‬

‫شناسائی گفتار‬ ‫‪‬‬

‫‪ ‬شناسائی رفتار های نادرست‬

‫تشخیص خرابی سیگنالهای سنسور ها‬ ‫‪‬‬

‫تشخیص سو استفاده از کارت های اعتباری‬ ‫‪‬‬

‫‪ ‬پیش بینی‬
‫قیمت سهام‬ ‫‪‬‬

‫پیش بینی قیمت ارز‬ ‫‪‬‬

‫‪13‬‬
 ‫تکنیک های مختلف یادگیری‬
‫‪ ‬یادگیری استتنتاجی ( ‪)inductive‬‬
‫که یادگیری بر مبنای مثالهای متعدد انجام میشود‪ .‬مثل درخت‬
‫های تصمیم‬
‫‪ ‬یادگیری ‪Connectionist‬‬
‫ک ه ی ادگیری ب ر مبن ای م دل مغ ز بش ر ص ورت میپ ذیرد‪ .‬مث ل‬
‫شبکه های عصبی مصنوعی‬
‫‪ ‬یادگیری ‪Bayesian‬‬
‫که فرضیه های مختلفی در مورد داده ارائه میشود‪.‬‬
‫‪ ‬یادگیری ‪Reinforcement‬‬
‫که از سنسورها و تجربه در محیط استفاده میشود‪.‬‬
‫‪ ‬یادگیری ‪Evolutionary‬‬
‫مثل الگوریتم ژنتیک‬
‫‪14‬‬
 ‫دسته بندی یادگیری‬
‫‪ ‬یادگیری با ناظر‪:‬‬
‫یک مجموعه از مثالهای یادگیری وجود دارد بازای هر ورودی‪ ،‬مقدار خروجی و یا‬
‫تابع مربوطه نیز مشخص است‪ .‬هدف سیستم یادگیر بدست آوردن فرضیه ای‬
‫است که تابع و یا رابطه بین ورودی و یا خروجی را حدس بزند‬
‫‪ ‬یادگیری بدون ناظر‪:‬‬
‫ی ک مجموع ه از مثاله ای ی ادگیری وج ود دارد ک ه در آن فق ط مق دار ورودی ه ا‬
‫مشخص است و اطالعاتی در مورد خروجی صحیح در دست نیست‪ .‬یادگیری‬
‫بدون ناظر برای دسته بندی ورودیها و یا پیش بینی مقدار بعدی بر اساس‬
‫موقعیت فعلی بکار میرود‪.‬‬
‫بادگیری تقویتی‪:‬‬
‫مثاله ا بص ورت ورودی‪/‬خ روجی نیس تند بلک ه بص ورت وض عیت‪/‬پ اداش هس تند ک ه‬
‫ی ادگیر در وض عیت ه ای مختل ف عملی ات مختلفی را انج ام داده و پاداش های‬
‫متفاوتی دریافت و بر اساس مجموع پاداش های دریافتی عمل متناسب با هر‬
‫وضعیت را یاد میگیرد‪.‬‬
‫یادگیری نیمه نظارتی‪:‬‬
‫مثالها طوری هستند که برای تعداد کمی از آنها مقدار خروجی موجود است اما‬
‫برای مثالهای زیادی مقدار خروجی مشخص نیست‪.‬‬
‫‪15‬‬
 ‫یادگیری با ناظر‬

‫مثالهای جدید‬

‫الگوریتم‬
‫مثالهای‬
‫یادگیری‬ ‫قوانین دسته بندی‬
‫آموزشی‬ ‫ماشین‬

‫کالس‬
‫پیش بینی‬
‫شده‬
‫‪16‬‬
 ‫مثالی از یادگیری با ناظر‬
‫‪ ‬یک دیت ا بیس ش امل قیمت ‪ 50‬خان ه و مس احت‬
‫خانه ها وجود دارد چگونه میتوان نرخ خانه ها را‬
‫بر اساس تابعی از اندازه آنها یاد گرفت؟‬
‫قیمت‬ ‫مساحت‬
‫‪37‬‬ ‫‪560‬‬
‫‪79‬‬ ‫‪1012‬‬
‫‪76‬‬ ‫‪893‬‬
‫‪130‬‬ ‫‪2196‬‬
‫‪82‬‬ ‫‪936‬‬
‫‪17‬‬
 ‫مثالی از یادگیری با ناظر‬
‫‪‬‬ ‫مساحت خانه = )‪Input feature: x(i‬‬
‫قیمت خانه =)‪ Output feature: y(i‬‬

‫مثال یادگیری > )‪< x(i), y(i‬‬

‫مجموعه یادگیری }‪{ x(i), y(i) , i=1:m‬‬
‫عمل یادگیری‪:‬‬
‫با داشتن یک مجموعه یادگیری میخواهیم تابعی بصورت‬
‫‪ h: x y‬یاد بگیریم که )‪ h(x‬بتواند مقدار ‪ y‬را‬
‫بخوبی حدس بزند‪ .‬این تابع فرضیه و یا ‪hypothesis‬‬
‫نامیده میشود‪.‬‬
‫‪18‬‬
 ‫رگرسیون و دسته بندی‬
‫‪ ‬رگرسیون‪:‬‬
‫وق تی ک ه ت ابع ه دف بص ورت پیوس ته باش د مس ئله‬
‫ی ادگیری ی ک مس ئله رگرس یون خواه د ب ود‪ .‬مث ل‬
‫یادگیری رابطه قیمت و مساحت خانه ها‬
‫‪ ‬دسته بندی (‪: )classification‬‬
‫وق تی ک ه ‪ y‬بتوان د تع داد مح دودی مق دار گسس ته‬
‫بگ یرد مس ئله ی ادگیری ی ک مس ئله دس ته بن دی‬
‫خواهد بود‪ .‬مثل‪ :‬آیا خانه مورد نظر یک آپارتمان‬
‫است؟‬
‫‪19‬‬
 ‫یادگیری‬
‫‪ ‬می گ وییم ی ک برنام ه ک امپیوتری از تجرب ه ‪ E‬در‬
‫مورد کار‪ T‬یادگیری انجام داده است اگر عملکرد‬
‫آن در صورت اندازه گیری با معیار ‪ P‬پس از این‬
‫یادگیری کنترل یک ربات‬ ‫کند ‪.‬‬
‫تشخیص حروف‬ ‫‪ checkers‬پیدایادگیری‬
‫تجربه بهبود‬
‫یادگیری بازی‬
‫دست نویس‬

‫‪ : T‬هدایت یک ربات در‬ ‫‪ : T‬تشخیص حروف‬ ‫‪:‬انجام بازی ‪checkers‬‬ ‫‪T‬‬

‫بزرگراه چهار بانده‬ ‫دست نویس در داخل‬
‫با استفاده از دوربین‬ ‫تصویر‬
‫‪ : P‬درصد بازیهایی که بر‬
‫‪ : P‬درصد تشخیص صحیح ‪ : P‬میانگین فاصله طی‬ ‫حریف غلبه می کند‬
‫شده قبل از اینکه خطایی‬ ‫حروف‬
‫رخ دهد‬ ‫‪ : T.E‬انجام بازی بر‬
‫‪ T.E : database‬ای‬ ‫علیه خودش‬
‫‪ : T.E‬با ضبط عملیات یک‬ ‫ازکلمات دست نویس‬ ‫‪20‬‬
‫راننده و تصاویر پشت سر‬ ‫ودسته بندی هر کدام‬
 ‫شباهت مثالهای آموزشی به‬
‫نمونه های واقعی‬
‫‪ ‬یک ویژگی مهم در مسئله یادگیری از روی مثالهای‬
‫آموزش ی این اس ت ک ه این مثاله ا ت ا چ ه ح د ب ا‬
‫مثاله ائی ک ه ب رای ارزی ابی نه ائی سیس تم م ورد‬
‫استفاده قرار خواهند گرفت شباهت دارند‪.‬‬

‫بسیاری از تئوریهای فعلی یادگیری بر این پایه‬

‫استوارند که مجموعه یادگیری و مجموعه تست از‬
‫توزیع یکسانی برخوردارند‪ .‬اما در عمل همیشه‬
‫این فرض صحیح نیست‪.‬‬
‫‪21‬‬
 ‫چند سوال در مورد یک مسئله‬
‫یادگیری‬
‫‪ ‬از چ ه الگ وریتم ی ادگیری ب رای ی ک مس ئله خ اص‬
‫میتوان استفاده کرد؟‬
‫‪ ‬چه مقدار داده آموزشی موردنیاز است؟‬
‫‪ ‬مثال آموزشی بعدی را چگونه باید انتخاب نمود؟‬
‫‪ ‬چگونه میتوان مسئله یادگیری را به مسئله تقریب‬
‫تابع تبدیل نمود؟‬
‫‪ ‬آی ا میت وان نح وه نم ایش ی ادگیر را بط ور خودک ار‬
‫تغی یر داد ت ا ب ا مس ئله س ازگاری بیش تری داش ته‬
‫باشد؟‬
‫‪22‬‬