Self-Attention

Attention Mechanism in Deep Learning

مکانیزیم Attention در یادگیری عمیق

با پیچیده‌تر شدن مدل‌های یادگیری عمیق، نیاز به روش‌های موثر پردازش میزان زیادی داده، اهمیت فزاینده‌ای پیدا کرده است. یکی از این روش‎ها، مکانیزیم توجه است که به مدل امکانی می‌دهد تا در هنگام پیش بینی بر مرتبط‌ترین اطلاعات، تمرکز…

ترنسفورمرها (Transformers) چطور کار می‌کنند؟

ترنسفورمرها نوعی از معماری شبکه عصبی هستند که محبوبیت زیادی پیدا کرده‌اند. ترنسفورما اخیراً توسط OpenAI در مدل‌های زبانی مورد استفاده قرار گرفته‌اند همچنین اخیراً توسط DeepMind برای AlphaStar استفاده شده‌اند. ترنسفورمرها برای حل مسائل انتقال توالی (Sequence Transduction) یا…