Batch Normalization یا نرمالسازی دسته‌ای به عنوان یکی از تکنیکهای Generalization در یادگیری عمیق محسوب می‌‌‌شود که بطور مستقیم،‌‌‌ در بهینه‌سازی مدلها نقش دارد. در واقع، پارامترهای ورودی را به کمک Adaptive normalization در مقیاسی مشابه قرار می‌دهد و اینگونه…

یکی از موانع بزرگ در الگوریتم های یادگیری عمیق، Overfitting است که برای مقابله با این پدیده، راهکارهای متعددی تاکنون توسط محققان ارائه شده است که در قالب تکنیکهای Generalization معرفی و در مقالات مورد استفاده قرار می‌گیرد. در این…

یادگیری در شبکه‌های عصبی به لطف مشتق و گرادیان نزولی(gradient descent) انجام میشه. در گرادیان نزولی، در هر تکرار آموزش شبکه عصبی شیب خطا محاسبه می‌شود و الگوریتم در جهت کاهش خطا حرکت می‌کند تا به حداقل خطای تصیمیم گیری…

تابع هزینه یک تابع ریاضیاتی است که عملکرد یک شبکه عصبی را در انجام یک تسک خاص اندازه گیری می‌کند. توابع هزینه نقش اساسی در یادگیری شبکه های عصبی دارند و به شبکه های عصبی کمک می‌کنند در راستای هدف…

شبکه عصبی پرسپترون چندلایه از سه نوع لایه ورودی، پنهان و خروجی تشکیل شده است. شبکه عصبی MLP از قانون یادگیری پس انتشار خطا برای تنظیم وزنهای سیناپسی خود استفاده می‌کند. از شبکه عصبی MLP میتوان در مسائل طبقه بندی،…

در آموزش شبکه های عصبی، داده های آموزش را میتوان به سه شکل pattern mode, batch-mode و mini-batch به شبکه عصبی ارائه داد. هرکدام از این حالتها مزایا و معایب خودشون را دارند. در این پست میخواهیم با هر سه…

گرادیان نزولی (gradient descent) یک الگوریتم بهینه سازی است که در شبکه های عصبی با کمک آن وزنهای سیناپسی تنظیم می شوند. به عبارتی با کمک گرادیان نزولی، شبکه های عصبی آموزش دیده و دانش لازم برای حل مئسله را…

شبکه عصبی یک روشی در هوش مصنوعی است که به کامپیوتر یاد میدهد تا داده ها را به روشی پردازش کند که از مغز انسان الهام گرفته شده است. ولی سوال اساسی این است که چرا میخواهیم مغز انسان را…

پایتورچ یک فریم ورک یادگیری ماشین مبتنی بر کتابخانه Torch است. یک کتابخانه قدرتمند پایتون برای کاربردهایی مثل بینایی ماشین و پردازش زبان طبیعی است که اولین بار توسط تیم هوش مصنوعی متا (فیسبوک) توسعه پیدا کرد و در سال…

سال‌ها پیش، ما هنوز از دیتاست‌های کوچکی مثل CIFAR, NORB استفاده می‌کردیم که متشکل از ده‌ها هزار تصویر بودند. این دیتاست‌ها برای مدل‌های یادگیری ماشین مناسب بودند تا تسک‌های تشخیص ساده را یاد بگیرند. با این حال، زندگی واقعی هرگز…

اگر بخواهیم تفاوت اصلی لایه‌های کانولوشن را با لایه‌های معمول شبکه‌های عصبی بیان کنیم، می‌توانیم بگوییم لایه‌های Dense الگوهای global را در فضای ویژگی ورودی خود یاد می‌گیرند در حالیکه لایه‌های کانولوشن الگوهای local را یاد می‌گیرند. برای مثال یک…

ممکن است شبکه‌های عصبی عظیم، گزینه‌ی مناسبی برای پروژه‌ی شما باشند اما نگران روند آموزش آنها باشید. شبکه‌های عصبی بزرگ، مرکز اصلی پیشرفت‌های اخیر در هوش مصنوعی هستند، اما آموزش این شبکه‌ها چالش پژوهشی و مهندسی دشواری است که مستلزم…