توابع فعال سازی شبکه های عصبی، شبکه های عصبی تک لایه، شبکه‏های پیش‏خور

 


۱-
مهم ترین توابع فعال سازی شبکه های عصبی به صورت زیر می باشد:
تابع خطی

تابع‌سیگموئید(تجمعی لجستیک)

تابع تانژانت هیپربولیک

تابع شعاعی بنیادی گوسی

۲-۴-۴٫ شبکه های عصبی تک لایه
هر شبکه از به هم متصل شدن تعدادی نرون حاصل می‌شود. ساده‌ترین شکل شبکه‌های عصبی، ‌شبکه‌های عصبی تک لایه می‌باشـد. در نگاره ۲-۳ یک شـبکه تک لایه پیش خور با S نرون نشـان داده شده است. واژه پیش‌خور به این معنا می‌باشد که هیچ برگشتی از یک نرون وجود ندارد و هر نرون بعد از دریافت بردار مشاهدات، یک خروجی مشخص را ارائه می‌دهد. ورودی شبکه مورد نظر بردارP و خروجی آن بردار a می‌باشد. توجه داشته باشید که در اینجا هر یک از ورودیها به هـمه نرون‌هـا متـصل می‌بـاشد. مـاتریس وزن (W) نیز در این حالت دارای S سطر و R ستون می‌باشد. همان طور که در نگاره ۲-۳ مشخص است لایه مورد نظر شامل ماتریس وزن،‌ جمع کننده‌ها (پردازشگرها) ، بایاس و تابع انتقال می‌باشد.
نگاره ۲-۳٫ شبکه عصبی تک لایه

در قسمت قبل ساختار یک نرون عصبی و شکل ساده یک شبکه عصبی ساده تک لایه معرفی شد. اما از آنجا که عموماً در کارهای واقعی،‌ شبکه‌های تک لایه بیش از اندازه ساده بوده و قابلیت تشخیص دقیق فرایند غیرخطی داده‌ها را ندارند، بنابراین عموماً از شبکه‌های چند لایه استفاده می‌شود. استفاده از یک شبکه تک لایه نمی‌تواند پیش‌بینی خوبی برای ما در حل مسائل پیچیده غیرخطی ارائه کند (زیرا تابع فعال سازی آن خطی می‌باشد). در واقع تمام شبکه‌های عصبی با بیش از یک لایه در بخشی از کار خود از توابع غیرخطی فعال ساز استفاده می‌کنند. استفاده از توابع غیرخطی فعال ساز باعث می‌شود که توانایی شبکه‌های عصبی را در مدل کردن مسائل غیرخطی بروز نماید و جواب‌های مطلوبی در خروجی به ما بدهند. این ویژگی با یک تابع فعال سازی غیرخطی مشتق پذیر و پیوسته اتفاق می‌افتد. بنابراین برای یک پیش‌بینی دقیق بایستی از شبکه‌های عصبی با بیش از یک لایه استفاده شود، که در لایه‌های میانی آن توابع غیرخطی وجود داشته باشد. البته توجه کرد که افزایش بیش از حد لایه‌های شبکه‌های عصبی (بیش از ۳ لایه ) نیز اصلاً توصیه نمی‌شود.
۲-۴-۵٫ شبکه‏های پیش‏خور
شبکه‏های پیش‏خور به شبکه‏هایی گفته می‌شود که در آنها هیچ برگشتی از یک نرون وجود ندارد و هر نرون بعد از دریافت بردار مشاهدات، یک خروجی مشخص را ارائه می‌دهد. به عبارت دیگر، در شبکه‏های پیش‏خور مسیر پاسخ همواره رو به جلو پردازش می‏شود و به نرون‏های لایه یا لایه‏های قبل باز نمی‏گردد. می‌توان ثابت کرد شبکه‌های عصبی پیش خور با یک لایه پنهان، تابع فعال سازی لجستیک در لایه پنهان، تابع فعالسازی خطی در لایه خروجی و تعداد نرون‌های کافی در لایه پنهان، قادرند هر تابعی را با دقت دلخواه تقریب بزنند. به همین علت به این نوع شبکه عصبی با ساختار فوق تقریب زننده جامع گفته می‌شود. بدین معنی که، با تعداد کافی از واحدهای پنهان، شبکه تقریبا می‌تواند هر تابع خطی یا غیرخطی را با یک سطح دلخواه از دقت، تقریب بزند. در نگاره ۲-۴ یک شبکه پیش خور سه لایه دیده می‌شود.