با پیچیده‌تر شدن مدل‌های یادگیری عمیق، نیاز به روش‌های موثر پردازش میزان زیادی داده، اهمیت فزاینده‌ای پیدا کرده است. یکی از این روش‎ها، مکانیزیم توجه است که به مدل امکانی می‌دهد تا در هنگام پیش بینی بر مرتبط‌ترین اطلاعات، تمرکز…

ترنسفورمرها نوعی از معماری شبکه عصبی هستند که محبوبیت زیادی پیدا کرده‌اند. ترنسفورما اخیراً توسط OpenAI در مدل‌های زبانی مورد استفاده قرار گرفته‌اند همچنین اخیراً توسط DeepMind برای AlphaStar استفاده شده‌اند. ترنسفورمرها برای حل مسائل انتقال توالی (Sequence Transduction) یا…