الگوریتم پس انتشار خطا، قابلیت یادگیری، داده های ورودی

 

2-4-9- آموزش شبکه به روش پس انتشار خطا
با توجه به این که شبکه عصبی، مدل ساده شده اعصاب بدن است، درست به مانند آن ها قابلیت یادگیری دارد. به عبارت دیگر، شبکه با استفاده از اطلاعاتی که از ورودی و توسط سرپرست خود دریافت میکند، قادر به فراگیری روند موجود در الگوهاست. لذا به طور مشابه با انسان، روند یادگیری در شبکه عصبی نیز از مدل های انسانی الهام گرفته است بدین صورت که مثال های بسیاری را به دفعات بایستی به شبکه ارائه نمود تا بتواند با تغییر وز نهای شبکه، خروجی مورد نظر را دنبال کند. ارائه نمونه داده های ورودی به شبکه عصبی به دو روش امکان پذیر است:
Batch Mode) ): در این روش، تمام نمونه ها به شبکه ارائه می گردند و در آخر، خطای روش ارائه یک جا شبکه نسبت به کل نمونه ها محاسبه گشته و وزن ها بر اساس آن خطا تغییر می کنند. در مرحله بعد، مجدداً تمام داد ه ها یکبار دیگر به شبکه ارائه شده و روند فوق نظیر به نظیر انجام میپذیرد تا نهایتاً خطا به سطح قابل قبولی برسد. مسلماً این روش پیچیده و زمان بر بوده و نیاز به حافظه زیادی دارد. همچنین امکان گیرکردن الگوریتم در مینیمم های محلی وجود دارد.
(Pattern Mode) : در این روش، در هربار نمونه ها به صورت تک تک به شبکه داده شده و روش ارائه الگو خطای متناظر با همان داده بلافاصله محاسبه شده و بر اساس آن، وزنهای شبکه تغییر می کنند. سپس نمونه بعدی به شبکه ارائه شده و روند بالا مشابهاً انجام می پذیرد. چون در این روش، در هر گام، اصلاح وزن ها بر اساس هر نمونه انجام می پذیرد، الگوریتم همگرایی خوبی داشته و با توجه به ماهیت تصادفی موجود در ارائه تکی داده ها، خطر مینیمم های محلی منتفی است.
به منظور آموزش شبکه و اصلاح وزن ها تا رسیدن به یک خطای معنادار، روش های بسیار زیادی وجود دارد. یکی از مشهورترین این روش ها، الگوریتم پس انتشار خطا است که در ادامه توضیح داده می شود.
2-4-10- الگوریتم پس انتشار خطا
این الگوریتم که در سال 1986 توسط روملهارت و مک کلیلاند پیشنهاد گردید، در شبکه های عصبی پیش سو مورد استفاده قرار می گیرد. پیش سو بودن به این معناست که نرون های مصنوعی در لایه های پیش خور متوالی قرار گرفته اند و خروجی(سیگنال) خود را رو به جلو می فرستند. واژه پس انتشار نیز به معنای این است که خطاها به سمت عقب در شبکه تغذیه می شوند تا وزنها را اصلاح کنند و پس از آن، مجدداً ورودی مسیر پیش سوی خود تا خروجی را تکرار کند. روش پس انتشار خطا از روش های با سرپرست است به این مفهوم که نمونه های ورودی برچسب خورده اند و خروجی مورد انتظار هر یک از آنها از پیش دانسته است. لذا خروجی شبکه با این خروجی های ایده آل مقایسه شده و خطای شبکه محاسبه می گردد. در این الگوریتم ابتدا فرض بر این است که وزن های شبکه به طور تصادفی انتخاب شده اند. در هر گام خروجی شبکه محاسبه شده و بر حسب میزان اختلاف آن با خروجی مطلوب، وزنها تصحیح می گردند تا در نهایت این خطا، مینیمم شود. در الگوریتم پس انتشار خطا، تابع تحریک هر عصب به صورت جمع وزن دار ورودی های مربوط به آن عصب درنظر گرفته می شود. بدین ترتیب با فرض این که w وزن های متناظر بین لایه ورودی و لایه بعد باشد می توان نوشت:
2-2)
به وضوح میتوان دیدکه خروجی تابع نحریک عصب فقط به ورودی و وزنهای متناظر بستگی دارد. با فرض اینکه تابع خروجی، سیگموئید باشد می توان خروجی عصب j ام را به صورت زیر نوشت:
2-3)

تابع سیگموئید به ازای اعداد منفی بزرگ، بسیار نزدیک به صفر است و برای اعداد مثبت بزرگ، مقداری بسیار نزدیک به 1 دارد و در این بین به طور هموار تغییر می کند به نحوی که در x=0 دقیقاً از حد واسط بازه [1،0] یعنی 0.5 عبور می کند. همچنین با دقت در رابطه (2-3) درمی یابیم که خروجی فقط به مقدار تابع تحریک بستگی دارد که به نوبه خود به ورودی و وز نها مرتبط می شود. لذا برای تغییر خروجی باید وزن ها تغییر کنند. آنچنان که پیش از این نیز بیان شد، هدف فرآیند آموزش، رسیدن به خروجی مطلوب (یا نزدیک به مطلوب) است. بدین ترتیب ابتدا باید تابع خطای هر نرون را تعریف کنیم. این خطا از اختلاف خروجی واقعی شبکه و خروجی مورد انتظار به صورت زیر بدست می آید:
2-4)
انتخاب مربع تفاضل بین خروجی واقعیO j)) و خروجی مطلوب(d j) از چندین جنبه قابل بحث است؛ اولاً با استفاده از توان دوم، مقدار خطا همواره مثبت خواهد بود؛ ثانیاً اگر اختلاف بین خروجی واقعی و مطلوب زیاد باشد، توان دوم منجر به بزرگ تر شدن این عدد می شود و بالعکس اگر اختلاف بین خروجی واقعی و مطلوب کم باشد، توان دوم منجر به کوچک تر شدن آن می گردد. بر این اساس می توان خطای کلی شبکه را به فرم مجموع خطای تک تک عصب های لایه خروجی نوشت. لذا داریم:
2-5)
حال بایستی به بررسی ارتباط خطا با ورودی ها، وزن ها و خروجی ها بپردازیم. برای این کارروش های متفاوتی وجود دارد که برخی از مهمترین آن ها عبارتند از:
روش گرادیان شیب
روش نیوتن
روش اندازه حرکت

                                                    .
این نوشته در متفرقه ارسال شده است. افزودن پیوند یکتا به علاقه‌مندی‌ها.