مدلسازی Generative در برابر Discriminative

اگر مجموعه ای از تصاویر اسب ها داشته باشیم و بخواهیم مدلی بسازیم که تصاویر جدید اسب بسازد که قبلاً اصلا وجود نداشته اند، اما همچنان به تصاویر اصلی خیلی شبیه باشند، به مدلسازی Generative نیاز داریم.

چنین مدلی باید قادر باشد مجموعه‌ای جدید از ویژگی‌‌ها تولید کند که با استفاده از آن بتوان داده‌ای شبیه به داده‌ی اصلی ساخت. شاید درک این موضوع از نظر مفهومی دشوار باشد. برای مثال در تولید تصاویر اگر بخواهیم پیکسل‌ها را به هر ترتیبی کنار هم قرار دهیم، لزوماً تصاویر معنادار تولید نمی‌شوند.

باید بدانیم که:

یک مدل Generative به جای آنکه Discriminative باشد Probabilistic است.

به عبارت دیگر، می‌توانیم تصور کنیم که توزیع احتمالات ناشناخته‌ای وجود دارند که توضیح می‌دهند چرا تصاویر خاصی در مجموعه داده‌ی آموزش یافت می‌شوند و تصاویر دیگر یافت نمی‌شوند. باید مدلی بسازیم که توزیع خیلی نزدیک به داده‌ی اصلی را تقلید کند و سپس از این توزیع تولید شده، نمونه‌برداری کند تا داده‌هایی تولید شوند که بسیار شبیه به مجموعه داده‌ی اصلی و اولیه باشند.

مدلسازی Generative در برابر مدلسازی Discriminative

برای درک کامل generative modeling و هدف و اهمیت آن، بهتر است آن را با همتای خود یعنی discriminative modeling مقایسه کنیم. اگر با یادگیری ماشین آشنایی داشته باشید، می‌دانید که بسیاری از مسائل این حوزه، ماهیت Discriminative یا تفکیک آمیز دارند. فرض کنید دیتاستی از نقاشی‌ها داریم که توسط دو نقاش کشیده شده‌اند. با در اختیار داشتن داده‌ی کافی، می‌توانیم یک مدل discriminative را آموزش دهیم، که اگر هر نقاشی را به این مدل به عنوان ورودی بدهیم، مشخص می‌کند که مربوط به کدام نقاش است. مدل در واقع یاد می‌گیرد که رنگ‌های خاص، شکل‌های خاص و بافت‌های خاص به احتمال زیاد نشانگر سبک کدام نقاش است.

یک تفاوت کلیدی آن است که وقتی ما Discriminative Modeling را اجرا می‌کنیم، هر مشاهده (یا نمونه) در داده‌ی آموزش دارای یک برچسب است (برای مثال برچسب 0 و 1). سپس مدل ما یاد می‌گیرد که چطور بین این دو گروه تصویر، تمایز قائل شود. به همین دلیل discriminative modeling مترادف supervised learning (یا آموزش با نظارت) است. به عبارت دیگر در این نوع مدلسازی قرار است تابعی آموخته شود که با استفاده از دیتاست برچسب دار، ورودی را به یک خروجی نگاشت کند.

اغلب اوقات Generative Modeling با داده‌ی بدون برچسب انجام می‌شود (Unsupervised Learning)؛ به این صورت که روی دیتاست برچسب دار اعمال می‌شود تا مدل یاد بگیرد که چطور از هر کلاس مجزا، Observation تولید کند.

به عبارت دیگر، discriminative modeling تلاش می‌کند تا احتمال اینکه x متعلق به گروه y است را تخمین بزند. generative Modeling کاری به برچسب گذاری مشاهدات ندارد، در عوض تلاش می‌کند تا احتمال دیدن مشاهدات را تخمین بزند.

پیشرفت‌های حاصل شده در یادگیری ماشین

از چشم انداز آکادمیکی، پیشرفت‌های حاصل در discriminative modeling را ساده‌تر می‌توان بررسی کرد؛ زیرا می‌توانیم عملکرد شبکه‌ها را با استفاده از معیارهای عملکردی، ارزیابی کنیم، اما ارزیابی مدل‌های generative دشوار است. به خصوص زمانی که کیفیت خروجی‌های تولید شده subjective است. بنابراین در سال‌های اخیر بیشترین تأکید بر آموزش مدل‌های discriminative بوده است. تا به عملکرد انسانی یا فوق انسانی در تفکیک تصاویر و متن برسد.

برای مثال در زمینه کلاسبندی تصاویر، مهم‌ترین دستاورد در سال 2012 بدست آمد. زمانی که تیمی به رهبری Geoff Hinton در دانشگاه تورنتو در رقابت ImageNet Large Scale Visual Recognition Challenge(ILSVRC) با معرفی یک شبکه Deep Convolutional Neural Network برنده شد. مسابقه اینطور بود که می بایست تصاویر به یکی از 1000 دسته‎‌ی موجود کلاسبندی می‌شدند. و از آنها به عنوان یک معیار برای مقایسه با بهترین روش‌ها استفاده می‌شود. نرخ خطای شبکه عصبی کانولوشنی در این رقابت 16% بود. این دستاورد باعث شکوفایی یادگیری عمیق شد و در سال‌های بعد، نرخ خطا را به راحتی پایین‎تر هم آورد.

مدل‌های discriminative در حوزه‌های آکادمیک به برجستگی رسیدند، همچنین این مدل‌ها در حوزه بیزنس نسبت به generative modeling کارایی بیشتری داشتند. به عنوان مقال در بیزنس برای ما مهم نیست که داده چطور تولید شده است. در عوض می‌خواهیم بدانیم که این داده را چطور کلاسبندی یا ارزش گذاری کنیم.

برای مثال:

• با در اختیار داشتن تصاویر ماهواره‌ای، مقامات دفاعی کشور تنها می‌خواهند بدانند آیا این تصاویر حاوی مراکز دشمن هست یا خیر؟
• مدیر روابط مشتری تنها می‌خواهد بداند احساس (sentiment) ایمیل دریافت شده، مثبت یا منفی است. دیگر به این مسئله چندان اهمیتی نمی‌دهد که چطور می‌توان ایمیل‌های جعلی و فیک مشتری تولید کرد.
• یک پزشک می‌خواهد بداند آیا این تصاویر retinal شامل بیماری هستند یا خیر. دیگر اهمیتی نمی‌هد که محققان به مدلی دست پیدا کرده‌اند که می‌تواند تصاویر جدیدی از پشت چشم تولید کند.

پس می‌توان گفت بیشتر مسائل حوزه بیزنس از مسائل discriminative هستند که روند ارزیابی و نظارت را خودکار می‌کنند.

حضور Generative Modeling

در حالیکه discriminative modeling باعث پیشرفت‌های زیادی در حوزه‌ی آکادمیک و صنعت شد، در 5 سال گذشته، بسیاری از جذاب‌ترین پیشرفت‌ها در این حوزه باعث شد کاربردهای generative Modeling برای همگان مشخص شود.

به طور خاص، توجه رسانه‌ها به پروژه‌های Generative Modeling مانند StyleGAN زیاد شد که می‌توانست تصاویر فوق واقعی از چهره‌‌ی انسان‌ها تولید کند و همچنین مدل زبانی GPT-2 از OpenAI که می‌توانست پیام یک متن را با یک پاراگراف کوتاه مقدمه تکمیل کند.

شاید روزی برسد که فیلم‌هایی را ببینیم که توسط Generative AI تولید شده‌اند یا مقالات و رمان‌هایی را بخوانیم که توسط هوش مصنوعی generative نوشته شده‌اند. درست است که این حوزه جذاب است، اما ملاحظات اخلاقی بسیاری هم بوجود می‌آورد، زیرا دیگر به محتواها نمی‌توان اعتماد کرد.

چرایی مدلسازی Generative

مشابه کاربردهای عملی generative Modeling، دلایل عمیقی وجود دارد که چرا می‌توان این حوزه را کلید فرم پیچیده‌تر هوش مصنوعی دانست که فراتر از مدل discriminative می‌رود.

• اول اینکه ما تنها نباید به دنبال کلاسبندی کردن داده‌ها باشیم، بلکه بهتر است درک سطح بالاتری از داده بدست بیاوریم که در وهله‌ی اول داده چطور تولید شده است. بدون شک حل چنین مسائلی دشوارتر است، زیرا فضای خروجی‌ها، ابعاد بالاتری دارد. این حال شاهد آن هستیم که در حوزه‌ی مدلسازی generative هم پیشرفت‌های چشمگیری حاصل شده است.
• در وهله‌ی دوم، به احتمال خیلی زیاد generative Modeling باعث پیشرفت‌های بسیار زیادی در فیلدهای دیگر یادگیری ماشین خواهد شد مانند Reinforcement Learning (RL) (مطالعه‌ی آموزش agentها برای بهینه سازی یک هدف با آزمون و خطا)؛ برای مثال اگر agent بتواند محیط خود را از طریق یک مدل generative شبیه سازی کند، دیگر نیازی نیست که استراتژی را در یک شبیه سازی کامپیوتری یا در دنیای واقعی تست کرد، تنها کافی است در محیط imagery تست شود.

اگر ما در نهایت بتوانیم ادعا کنیم که ماشینی ساخته‌ایم که به شکلی از هوش دست پیدا کرده است که قابل مقایسه با قابلیت مدلسازی generative در انسان است می‌توانیم بگوییم به راه حل رسیده‌ایم.

اگر می‌خواهید به توانایی generative خود فکر کنید تنها کافی است چند ثانیه چشمان خود را ببندید و فکر کنید که یک فیل چه شکلی دارد و آن را از زوایای مختلف تصور کنید. می‌توانید برای سریال مورد علاقه‌ی خود، انواع پایان ها را تصور کنید. همچنین برای آخر هفته خود برنامه‌ریزی های مختلفی داشته باشید.

تئوری‌های نوروساینس فعلی نشان می‌دهند که چگونه perceptionما از واقعیت، یک مدل  discriminative به شدت پیچیده نیست که روی ورودی‌های حسی ما کار می‌کند تا پیش بینی‌هایی را ارائه دهد. , نشان دهد که در آینده قرار است چه چیزی را تجربه کنیم. بلکه در عوض یک مدل generative است که از زمان تولد ما در حال آموزش بوده است تا شبیه‌سازی‌هایی از اطراف ما تولید کند که دقیقاً با آینده ما مطابقت داشته باشد.

بنابراین بسیار مهم است که درک عمیقی داشته باشیم که چطور می‌توانیم ماشین‌هایی را بسازیم که این قابلیت را داشته باشند و این قابلیت، هسته‌ی اصلی درک پیوسته ما از نحوه‌ی کار مغز و هوش مصنوعی است.