optimizers

مطالعه مروری روش‌های بهینه‌سازی مبتنی بر گرادیان نزولی

مطالعه مروری روش‌های بهینه‌سازی مبتنی بر گرادیان نزولی

یادگیری در شبکه‌های عصبی به لطف مشتق و گرادیان نزولی(gradient descent) انجام میشه. در گرادیان نزولی، در هر تکرار آموزش شبکه عصبی شیب خطا محاسبه می‌شود و الگوریتم در جهت کاهش خطا حرکت می‌کند تا به حداقل خطای تصیمیم گیری…