مدل های ترکیبی، آینده یادگیری را عوض می‌کند
جیسون اشراقیان، استادیار دانشگاه کالیفرنیا در سانتا کروز، در گفت‌و‌گو با نشریه EE Times اظهار کرد: ترکیب میان یادگیری عمیق مرسوم و محاسبات نورومورفیک می‌تواند راه را برای یافتن کاربرد‌های مفید در مدل‌ها و سخت‌افزار‌های الهام‌گرفته از مغز انسان هموار کند.
به گفته اشراقیان، شبکه‌های عصبی اسپایک‌زن (SNNs) مدت‌هاست که از ارکان اصلی طرح‌های نورومورفیک هستند، اما استفاده‌های تجاری از آنها هنوز محدود به شبکه‌هایی بسیار کوچک و کم‌مصرف باقی مانده‌اند. در مقابل، مدل‌های زبانی بزرگ (LLMs) به رشد خود ادامه می‌دهند و پیچیده‌تر می‌شوند. گرچه SNNها از روش‌های متداول یادگیری عمیق که این روز‌ها عمدتاً حول مدل‌های ترنسفورمر غول‌پیکر می‌چرخند، متمایز به نظر می‌رسند، اما حوزه‌هایی وجود دارد که این دو جریان می‌توانند از همدیگر وام بگیرند.
الگوریتم backpropagation به عنوان عامل کلیدی موفقیت یادگیری عمیق در مقیاس‌های وسیع شناخته می‌شود
به گزارش EETimes، یکی از چالش‌های اساسی آموزش SNN ها، تا مدت اخیر، غیرقابل مشتق بودن اسپایک‌ها بود. اما امروزه این مانع تا حد زیادی با بهره‌گیری از تکنیک‌هایی مانند الگوریتم «پس‌انتشار خطا» و «آموزش آگاه از کوانتیزاسیون» که برگرفته از یادگیری عمیق هستند، مرتفع شده است.
اشراقیان در پایان گفت: «ما هم از پس‌انتشار خطا به همان روشی استفاده کردیم که متخصصان یادگیری عمیق استفاده کرده‌اند. به سراغ backprop رفتیم، چون جواب می‌دهد؛ منطقی‌ترین مسیر برای رسیدن به شبکه‌های عصبی اسپایک‌زن بزرگ‌مقیاس همین بود.»
انتهای پیام/
