mlp با قانون یادگیری دلتا بار دلتا (جلسه هفتم)

پیاده‌سازی الگوریتم یادگیری دلتا بار دلتا برای تعیین نرخ یادگیری در قانون یادگیری پس انتشار خطا

در جلسه ششم شروط مورد نیاز جهت تعیین نرخ یادگیری بهینه را  توضیح داده و سپس تئوری الگوریتم یادگیری دلتا دلتا را در متلب به صورت گام به گام پیاده‌سازی کردیم. و ایرادات اساسی این الگوریتم را توضیح دادیم. در این الگوریتم با اینکه 4 شرط اساسی برای تعیین نرخ یادگیری گنجانده شده بود ولی مشکل اصلی این الگوریتم در نحوه افزایش و کاهش نرخ یادگیری است. برای اینکه نرخ یادگیری بهینه ای داشته باشیم لازم است که در جاهایی که شیب خطا در چند تکرار متوالی یکسان است نرخ یادگیری به صورت خطی و آهسته زیاد کنیم و از طرفی زمانی که علامت مشتق تابع هزینه در چندین تکرار متوالی متفاوت است لازم است که نرخ یادگیری سریع و به صورت غیرخطی کم شود تا حالت نوسانی و ناپایدار پیش نیاید. الگوریتم دلتا دلتا همچنین قابلیتی ندارد و در نتیجه نرخ یادگیری بهینه که اساس یادگیری پس انتشار خطا است، را نمیتواند تعیین کند. الگوریتم دلتا بار دلتا برای حل این مسئله مطرح شده است که در این جلسه تئوری آن گفته شده و در متلب پیاده‌سازی می کنیم و در انتها برای اینکه با قابلیت این الگوریتم آشنا شوید و همچنین بتوانید از این الگوریتم در پروژه‎های عملی خودتان استفاده کنید چندین پروژه عملی از قبیل از جلمه تشخیص سرطان سینه (پروژه عملی طبقه‌بندی) ، پیش بینی میزان آلودگی هوا (پروژه عملی رگرسیون) و کلاسبندی داده سه کلاسه iris (گل زنبق) با استفاده از شبکه عصبی پرسپترون چندلایه  انجام شده است و همچنین یک پروژه کلاسبندی سه کلاسه هم طبق داده معروف iris انجام شده است تا شما در انجام پروژه های چندکلاسه نیز مشکلی نداشته باشید. داده iris یک داده سه کلاسه معروفی است که آقای فیشر(Fisher) معرفی کرده اند و یک داده مناسب برای ارزیابی مدلهای یادگیری ماشین است. ما در این جلسه هر سه پروژه را به صورت مرحله به مرحله در متلب پیاده سازی می‌کنیم.

نکته: بخشی از مباحث این جلسه طبق مطالب فصل کتاب Simon haykin است.