روش‌های رایج اعمال سیگنال EEG به عنوان ورودی به شبکه‌های عمیق

می خواهیم بررسی کنیم در مقالات اخیر BCI توسعه یافته با یادگیری عمیق، سیگنال EEG به چه شکل به شبکه‌ی عمیق اعمال شده است.

حالت اول: اعمال سیگنال EEG به شبکه عمیق به همان صورت اولیه (ماتریس کانال*زمان)

در بسیاری از مقالاتی که مربوط به BCI هستند، سیگنال EEG برای مثال تصور حرکتی بعد از پیش پردازش‌های اندک و اولیه (مانند جدا کردن باندهای مربوط به تسک یا استانداردسازی با میانگین و واریانس) به همان صورتی که هست یعنی ماتریس ترایال‌ها که سطرها نشاندهنده‌ی کانال و ستون‌ها نشاندهنده‌ی زمان هستند به شبکه‌ی عصبی عمیق (مانند CNN یا RNN و AE و…) داده شده است. اصطلاحاً به این شبکه‌ها End-to-End گفته می‌شود. این اصطلاح به این معناست که شبکه تمام کارهای پردازش سیگنال EEG را انجام می‌دهد. از یک طرف ورودی سیگنال را دریافت می‌کند و در نهایت تسکی که انتظار داریم را انجام می‌دهد (برای مثال کلاس ورودی سیگنال EEG را مشخص می‌کند.). تصویر زیر یک نمونه از این مدل اعمال سیگنال EEG به شبکه ی عصبی کانولوشنی را نشان می‌دهد.

تصویر فوق یک شبکه عصبی کانولوشنی عمیق (DCNN) را نشان می‌دهد که برای کلاسبندی سیگنال EEG طراحی شده است. این شبکه شامل لایه‌های مختلفی چون کانولوشنی، batch normalization، تابع ReLU، لایه Dropout و یک لایه‌ی تماماً متصل یا Fully Connected Layer و لایه‌ی Softmax برای کلاسبندی است. همانطور که در تصویر مشخص است از سمت ورودی سیگنال EEG به شبکه داده شده است. از سمت خروجی، برچسب‌ها توسط شبکه ارائه شده‌اند. پس چنین طراحی یک شبکه End to End است.

حالت دوم: اعمال سیگنال EEG به شبکه عمیق پس از استخراج ویژگی و کاهش بعد (Csp, WPD)

در برخی مقالات دیگر تنها به پیش پردازش‌های اندک سیگنال EEG برای ورود به شبکه عمیق اکتفا نکرده‌اند بلکه سعی کرده‌اند از آن ویژگی استخراج کنند و ابعاد سیگنال را کاهش دهند و تعداد کانال‌های سیگنال را کم کنند. در نهایت ورودی با ابعاد کوچکتر و قابلیت تفکیک کنندگی بیشتری به شبکه‌های عمیق دهند. برای مثال در یکی از مقالات ( https://doi.org/10.3390/app11219948) از تبدیل موجک (Wavelet Packet Decomposition (WPD)) و الگوهای مکانی مشترک (CSP) استفاده شده است تا از سیگنال EEG تصورحرکتی، ویژگی استخراج شود. سپس این ویژگی‌ها به عنوان ورودی به شبکه CNN داده شوند و کلاسبندی صورت گیرد. تصویر زیر که مربوط به مقاله است روند را نشان می دهد.

ویژگی‌های استخراج شده از CSP به عنوان ورودی برای پنج مدل در نظر گرفته می‌شوند: ANN, CNN1, CNN2, Merged CNN و Modified Merged CNN

تجزیه بسته موجک امکان تجزیه بخش فرکانس پایین سیگنال و بخش فرکانس بالای سیگنال را به روشی دقیق‌تر فراهم می‌آورد.

تصویر فوق تجزیه پنج سطحی سیگنال با استفاده از WPD را نشان می‌دهد.

الگوریتم الگوهای مکانی مشترک یا Common spatial Patterns یک روش استخراج ویژگی است. که از تئوری قطری شدن ماتریس کواریانس در یک سیگنال دوکلاسه استفاده می‌کند (اگر بخواهیم آن را برای مسائل چند کلاسه استفاده کنیم باید نسخه‌ی چندکلاسه‌ی آن را استفاده کنیم). ایده‌ی اصلی CSP یافتن ماتریسی بهینه است که واریانس را برای یک کلاس به حداکثر و برای کلاس دیگر به حداقل می‌رساند.

بعد از استخراج ویژگی توسط این دو الگوریتم، شبکه‌های عصبی عمیق و کانولوشنی برای کلاسبندی استفاده شده‌اند. پس می‌توان گفت در این حالت، شبکه عمیق به عنوان کلاسبند عمل می‌کند.

حالت سوم: تبدیل ترایال‌های سیگنال EEG به تصویر دوبعدی با استفاده از تبدیل فوریه زمان کوتاه STFT

از آنجاییکه شبکه‌ی عمیق کانولوشنی اولین بار برای تشخیص تصاویر با الهام از مسیر بینایی در مغز انسان توسعه داده شد، برای پردازش تصاویر بسیار مناسب هستند. بسیاری از مقالات از این ایده استفاده کرده‌اند و سیگنال‌های EEG را به تصویر تبدیل کرده‌اند. یکی از مقالات (https://doi.org/10.3390/s19132854) سیگنال EEG تصور حرکتی را با استفاده از تبدیل فوریه زمان کوتاه به تصاویر دو بعدی تبدیل کرده است و سپس از آنها برای آموزش و تست شبکه کانولوشنی Capsule Net استفاده شده است. در این مقاله آمده است:

یک رویکرد مبتنی بر یادگیری عمیق مانند CNN برای تصاویر خیلی خوب کار می‌کند؛ بنابراین تلاش‌های زیادی صورت گرفته است تا بازنمایی‌های تصاویر دو بعدی از سیگنال‌های خام یک بعدی استخراج شوند تا بتوان تسک‌های کلاسبندی سری زمانی را با CNNها انجام داد. یکی از روش‌های رایج و محبوب برای این کار، الگوریتم Short-time Fourier transform (STFT) است که سیگنال حوزه‌ی زمان را به سیگنال حوزه زمان-فرکانس تبدیل می‌کند. به این تصاویر STFT Spectrogram گفته می‌شود. معماری روش مبتنی بر CNN با تصویر STFT Spectrogram در تصویر زیر نشان داده شده است.

همچنین نحوه‌ی تولید تصاویر دو بعدی از سیگنال‌های یک بعدی EEG با استفاده از STFT را با شکل زیر نشان داده است.

حالت چهارم: تبدیل ترایال‌های سیگنال EEG به تصویر دوبعدی Scalogram با تبدیل موجک پیوسته

یک Scalogram، مقدار مطلق ضرایب تبدیل موجک پیوسته یک سیگنال است. به عبارت دیگر با استفاده از تبدیل موجک هم می‌توان سیگنال EEG را به تصویر تبدیل کرد. در شکل زیر، نحوه‌ی تبدیل سیگنال EEG به تصاویر دو بعدی با استفاده از تبدیل موجک آمده است.

مقاله (https://doi.org/10.1016/j.compbiomed.2022.105242) از Scalogram برای تبدیل سیگنال‌های EEG تصور حرکتی و اعمال آنها به یک شبکه عمیق CNN استفاده کرده است. تصویر زیر مراحل روش پیشنهادی این مقاله را نشان می‌دهد که سیگنال‌های EEG را به تصاویر دو بعدی scalogram تبدیل کرده است.

علاوه بر این روش‌ها، شما چه روشی برای اعمال سیگنال EEG به شبکه‌های عمیق می‌شناسید؟ آن را در کامنت بنویسید تا پست های آینده در مورد آن ها آماده کنیم.