Developing principles of neuron network based on the principle of expanding “Zadeh” with fuzzy’s parameters
Subject Areas : Statisticssharif Malakooti 1 , Reza Kargar 2 * , zohreh Taeb 3 , Hadi Bagezadeh 4
1 - گروه ریاضی کاربردی، دانشکده علوم پایه، واحد یادگار امام (ره)، دانشگاه آزاد اسلامی، تهران، ایران
2 - گروه ریاضی کاربردی، دانشکده علوم پایه، واحد قم، دانشگاه آزاد اسلامی، قم، ایران
3 - گروه ریاضی کاربردی، دانشکده علوم پایه، واحد یادگار امام (ره)، دانشگاه آزاد اسلامی، تهران، ایران
4 - گروه ریاضی کاربردی، دانشکده علوم پایه، واحد یادگار امام (ره)، دانشگاه آزاد اسلامی، تهران، ایران
Keywords: expansion, artificial neural network, fuzzy logic, , fuzzy discretization, Backpropagation algorithm, Zade", Principle of ",
Abstract :
شبکههای عصبی فازی به دلیل عدم استفاده از اصل گسترش "زاده" قادر به اعمال مفهوم فازی در ساختار شبکه نیستند. در این مقاله سعی شده است که اصل گسترش زاده را به صورت گسسته بیان کنیم سپس این اصل در الگوریتم پسا انتشار است. در این مقاله ابتدا مختصری از شبکه عصبی پسا انتشار بیان میشود.
در ادامه مقاله، مطالب زیر دنبال میشود: بخش دوم تعاریف مختصر از شبکه عصبی و پس انتشار الگوریتم و مفاهیم اولیه فازی و اصل گسترش بیان میگردد.
بخش سوم معایب روشهایی که مبتنی بر اصل گسترش نمیباشند، بیان میگردد سپس با جایگزینی چهار عملگر اصلی که طبق اصل گسترش زاده باز تعریف شدهاند روشی تازه ارائه میگردد. بخش چهارم یک مثال مطرح میشود که حل آن توسط روش ارایه شده در بخش سوم خواهد بود در بخش پنجم به جمعبندی نتایح روش ارایه شده پرداخته خواهد شد.
[1] Simon Haykin]McMaster University Hamilton, Ontario, Canada Neural Networks and Learning Machines 2009.
[2] [Honkela], T., 2007. “Philosphical aspects of neural, probabilistic and fuzzy modeling of language use and translation,” Proceedings of IJCNN, International Joint Conference on Neural Networks, pp. 2881–2886, Orlando, FL, August.
[3] [Hush], D., P. Kelly, C. Scovel, and I. Steinwart, 2006. “QP algorithms with guaranteed accuracy and run time for support vector machines,” J. Machine Learning Research, vol. 7, pp. 733–769.
[4] [Kruse] Kruse/Gebhardt/Klawonn, Fuzzy-Systeme, Teubner Stuttgart 1993[Hayashi] Y. Hayashi, J. Buckley, E. Czogola, Direct Fuzzification of Neural Networks and Fuzzified Delta Rule, Iizuka, Japan 1992, Proc. 2nd Intern. Conf. on Fuzzy Logic and Neural Networks, pp. 73-76.
[5] [Lin] C.-T. Lin, C. Lee, Neural-Network-Based Fuzzy Logic Control and Decision System, IEEE Transactions on Computers, Vol. 40, Nr. 12, S 1320- 1336, 1991
[6] [Okada] Hiroyuki Okada et. al., Knowledge Implementation Multilayer Neural Networks with Fuzzy Logic, Proceedings of the International Conference on Fuzzy Logic & Neural Networks, Iizuka, Japan 1990, pp. 99-102
[7] [Brause] Ruediger Brause, Neuronale Netze, Teubner Stuttgart 1991
[8] [Ro jas] Raul Ro jas, Theorie der neuronalen Netze, Springer-Verlag Berlin Heidelberg New York 1993.
[9] Krishnamraju, P. V., Buckley, J. J., Rcilly, K. D., and Hayashi, Y., Genetic learning algorithms for fuzzy neural nets, Proceedings of FUZZ-IEEE'94, Orlando, 1969-1974, 1994.
[10] Zadeh, L. A., The concept of a linguistic variable and its application to approximate reasoning. I, lI, lII, Inform. Sci. 8, 199-249, 301-357: 9, 43 80, 1975.
[11] Web of Neural Network And Deep Learning
[12] Neural Networks and Learning Machines , Simon Haykin ,2008
[13] رساله دکتری رضا کارگر استاد راهنما فرهاد حسین زاده و... دانشگاه آزاد اسلامی واحد علوم تحقیقات دانشکده علوم پایه زمستان 92
[14]محمد جواد اصغر پور ، تصمیم گیری های چند معیاره انتشارات دانشگاه تهران چاپ ششم 1387 .
توسعه مبانی شبکه عصبی بر پایه اصل گسترش "زاده" با داده های فازی
چکیده
شبکه های عصبی فازی به دلیل عدم استفاده از اصل گسترش "زاده" قادر به اعمال مفهوم فازی در ساختار شبکه نیستند در این مقاله سعی شده است که اصل گسترش زاده را به صورت گسسته بیان کنیم سپس این اصل در الگوریتم پسا انتشار است در این مقاله ابتدا مختصری از شبکه عصبی پسا انتشار بیان می شود .
در ادامه مقاله، مطالب زیر دنبال می شود: بخش دوم تعاریف مختصر از شبکه عصبی و پس انتشار الگوریتم و مفاهیم اولیه فازی و اصل گسترش بیان می گردد.
بخش سوم معایب روشهایی که مبتنی بر اصل گسترش نمی باشند بیان میگردد سپس با جایگزینی ۴ اپراتور اصلی که طبق اصل گسترش زاده باز تعریف شده اند روشی تازه ارائه می گردد. بخش چهارم یک مثال مطرح می شود که حل آن توسط روش ارایه شده در بخش سوم خواهد بود در بخش پنجم به جمع بندی نتایح روش ارایه شده پرداخته خواهد شد.
کلمات کلیدی:
شبکه عصبی مصنوعی ، منطق فازی ، الگوریتم پسا انتشار، اصل گسترش "زاده" ،
1- مقدمه :
در طول دهه گذشته یا بیشتر، پیشرفت‌های قابل‌توجهی در دو حوزه تکنولوژیکی متمایز صورت‌گرفته است: منطق فازی و شبکههای محاسباتی . نظریه منطق فازی یک چارچوب ریاضی برای درک عدم قطعیت‌های مرتبط با فرآیندهای شناختی انسان، مانند تفکر و استدلال فراهم می‌کند. همچنین، ساختار ریاضی را برای تقلید از ویژگی‌های ادراکی و زبانی خاص مرتبط با شناخت انسان فراهم می‌کند. از سوی دیگر، الگوهای شبکه عصبی محاسباتی در فرآیند درک یادگیری باور نکردنی و ویژگی‌های تطبیقی مکانیزم‌های عصبی ذاتی در گونه‌های بیولوژیکی خاص ،تکامل یافته‌اند. شبکههای عصبی محاسباتی، در مقیاس کوچک، برخی از عملیات محاسباتی مشاهده‌شده در یادگیری و سازگاری زیستی را تکرار می‌کنند. یکپارچه‌سازی این دو زمینه، منطق فازی و شبکههای عصبی؛ یک زمینه تکنولوژیکی نوظهور - شبکههای عصبی فازی - را به وجود آورده‌است. شبکههای عصبی فازی این پتانسیل را دارند که مزایای دو زمینه جذاب، یعنی منطق فازی و شبکههای عصبی را در یک کپسول واحد ارائه دهند.
رویکردهای مختلفی برای ترکیب منطق فازی و شبکه های عصبی ارائه شده است. این رویکردها می توانند در چندین دسته طبقه بندی شوند. مثال زیر یک نمونه از چنین طبقه بندی شبکه های عصبی فازی است.
دسته 1: سیستم های مبتنی بر قاعده فازی با توانایی یادگیری.
دسته 2: سیستم های فازی نشان داده شده توسط معماری شبکه.
دسته 3: شبکه های عصبی برای استدلال فازی.
دسته 4: شبکه های عصبی فازی.
دسته 5: رویکردهای دیگر.[1]
نمونه های معمولی دسته اول سیستم های فازی قابل آموزش توسط واتانابه و ایشیبوچی و نومورا 1 و و همکاران هستند.سیستم های فازی انطباقی توسط وانگ را نیز می توان در این دسته طبقه بندی کرد [2], [3]. قوانین فازی در سیستم های فازی از داده های ورودی-خروجی با روش کاهشی آموزش داده می شود که مشابه الگوریتم پس انتشار برای شبکه های عصبی است [4].
در میان این روشها، فقط شبکه عصبی فازی (FNN) توانایی ترکیب یادگیری شبکه های عصبی و تفسیرپذیری مبتنی بر قوانین پایه ای سیستمهای فازی را دارد[5و6].
با این وجود در کاربردهای عملی دو مشکل مهم و اصلی برای طراحی شبکه عصبی فازی مطرح می شود:
نحوه مشخص کردن اندازه شبکه
شیوه تنظیم و سازگار کردن پارامترها
برای تعیین اندازه FNN، چندین FNN خودسازمانده پیشنهاد شده است. برای مثال وانگ و همکارانش یک طرح خودسازمانده آنلاین، دقیق و سریع را برای FNN ،(FAOS-PFNN) در مدل‌سازی سیستمهای غیرخطی معرفی کردند. FAOS-PFNN قادر به تنطیم ساختار خود با تکیه بر خطای مدل‌سازی در فرایند آموزش میباشد. نتایج نشان می‌دهد که FAOS-PFNN میتواند یک ساختار فشرده و مدل‌سازی بسیار دقیقی را به دست آورد.
روش های ذکر شده، تنها می‌توانند عصب‌های اضافی را در فرآیند یادگیری حذف کنند. این روشها، از بار محاسباتی سنگینی برخوردارند، زیرا اکثر زمان آموزش، صرف فرآیند آموزش میشود که بیش از حد نیاز است. در اغلب FNNهای خودسازمانده، طراحی ساختار نسبت به شناسایی پارامترها از اهمیت بالاتری برخوردار می باشند.
به منظور تنظیم پارامترهای FNN، الگوریتم پسا انتشار 2به عنوان یکی از پرتکرارترین تکنیک‌ها مورد استفاده قرار گرفته است. اما آنچنانکه در مقالات به وفور دیده میشود، الگوریتم BP از زمان آموزش بسیار بالا و کمترین موضعی‌سازی رنج می‌برد. برای بهبود عملکرد آموزش، از یک الگوریتم آموزش هیبریدی تسریع‌یافته با ترکیب تکنیک‌های خوشه‌بندی در یک ورژن سازگار از الگوریتم BP برای FNNهای آموزشی استفاده می شود. ژائو و همکارانش یک روش بهینه‌سازی لونبرگ-مارکارد (LM) را با استفاده از یک رویکرد آموزشی گرادیان یکپارچه توسعه دادند تا تقریب دقیق‌تری را به دست آورند. ایرادی که بر الگوریتم LM و نوع‌های دیگر آن وارد است، افزایش الزامات حافظه، ناشی از محاسبه ماتریس ژاکوبین تابع خطا است. مساله دیگر اینکه این الگوریتم هنوز هم یک روش بهینه‌سازی موضعی است.
ماشینچی و همکارانش یک روش آموزش مبتنی بر الگوریتم ژنتیک دوفازی (GA) را پیشنهاد دادند که در آن FNN مبتنی بر GA، میتواند وزنهای فاز بهینه را تخمین زده و برآورد خوبی از شکل تابع عضویت ارائه دهد. همچنین مائو و همکارانش یک شبکه عصب فازی را بر اساس روش بهینه‌سازی ازدحام ذرات (IOAP-FNN) ابداع کردند. این روش میتواند رابطه بین سیگنالهای شناسایی فرکانس رادیو و موقعیت یک سبد خرید را تعیین کند و نتایج مدل‌سازی، اثربخشی روش را ثابت می کند. الگوریتم‌های تکاملی جدیدتری جهت بهینه‌سازی پارامترهای FNN معرفی شد که از زمان اجزایی بالایی برخوردار می باشند. [7]
ایشیبوچی و همکاران ، معماری شبکه عصبی فازی با اعداد مثلثی فازی متقارن را برای اوزان ، بایاس و ورودیهای فازی پیشنهاد کرد ، که با حد پایین ، وسط و بالا اعداد مثلث فازی مشخص می شود .[8]
بر اساس کار ایشیبوچی که در آن از وزن فازی مثلثی استفاده می شود ، یک الگوریتم یادگیری ایجاد کرد که در آن از الگوریتم برای محاسبه اوزان استفاده می شود. مقدار وزن فازی جدید به عنوان پارامترهای جدید محسوب می شود.
در این مقاله ما یک شبکه فازی ارائه میدهیم که رابطهای ورودی و خروجی بر اساس اصل گسترشزاده باز تعریف شده است.
با توجه به نوع ورودیها و اوزان سه نوع شبکه عصبی فازی معرفی خواهیم کرد:
الف) وزن قطعی و ورودی فازی
ب) وزن فازی و ورودی قطعی 3
ج) ورودی و اوزان هر دو فازی هستند.
در این مقاله در خصوص حالت (ج) که همه موارد قبلی را هم مشمول میشود و (کلیت) دارد بررسی و مطالعه انجام خواهد شد.
تحقیق و مطالعه در این موضع دو خاصیت و ویژگی دارد یکی در موضوع هوش مصنوعی که قابلیت عملکرد مستقل آن با استفاده از آموزش و یادگیری از طریق آموزش که خود امکان سازگاری با شرایط جدیدی را در پی خواهد داشت و دیگری منطق فازی به عنوان ابزاری برای توصیف دانش فازی (حلقه واصل جهان طبیعت با علم ریاضی) است. که در این تحقیق سعی بر استفاده از ترکیب هر دو موارد و استفاده از مزایای آن شده است قبلا هم در این خصوص اقداماتی صورت گرفته که در اینجا سعی بر تکمیل این ویژگی و استفاده از اصل گسترشزاده در همة جوانب شده است. بالاخص در محاسبات حاصلضرب اوزان بر ورودیهای فازی و مجموع آن با بایاس است که موجب محاسبات دقیق‌‌تر و نهایتاً تصمیم‌گیری صحیح‌تر خواهد شد.
در مقالات [15]و]16]و ]17] و ]18] نیز اشاره به این موضوعات شده است.
2- مفاهیم اولیه
2-1 شبکه عصبی مصنوعی:
شبکه عصبی مصنوعی4 یک الگوریتم محاسباتی توزیع شده بر اساس ساختار سیستم عصبی انسان است. معماری یک شبکه عصبی با اتصال چندین پردازنده ابتدایی شکل می گیرد ، این یک سیستم تطبیقی است که دارای الگوریتمی برای تنظیم اوزن و پارامترهای آزاد برای دستیابی به کارایی مورد نیاز مسئله بر اساس نمونه داده نماینده است [9].
استفاده از شبکه های عصبی در بسیاری از زمینه های تحقیقاتی گسترش و رشد یافته است به ویژه روش بسیار مهمی برای پیش بینی سری های زمانی و تشخیص الگومی باشد.
یکی از انواع شبکه های عصبی نظارتی که در مطالعه ما بیشتر مورد توجه قرار خواهد گرفت، شبکه مبتنی برپسا انتشار است . این نوع شبکه بیشتر در زمینه های ذکر شده در بالا مورد استفاده قرار می گیرد.
این شبکه عصبی مبتنی بر یادگیری نظارت شده است ، که شبکه با داشتن مقادیر صحیح ورودی و خروجی کار می کند و شبکه وزنه های یالهای خود را تنظیم و اصلاح می کند تا خطای خروجی محاسبه شده را به حداقل برساند.
اوزان شبکه عصبی در مرحله یادگیری از اهمیت ویژه برخورداراست ، و بر عملکرد فرایند یادگیری شبکه عصبی تأثیر به سزایی دارد.
مهمترین ویژگی شبکه های عصبی مصنوعی توانایی آنها در یادگیری از مجموعه ای از الگوهای آموزشی است ، یعنی قادر به یافتن مدلی متناسب با داده های جدید است [9] .
نورون مصنوعی از چندین قسمت تشکیل شده است (شکل 1 را ببینید). در یک طرف ورودی ها ، اوزن ، مجموع و در آخر تابع فعال وجود دارد. مقادیر ورودی دراوزان ضرب می شوند و در نهایت با هم جمع خواهند شد.
(1-2)
این تابع با اضافه کردن مقدار آستانه 
تکمیل می شود که مقدار آستانه(بایاس) در شبکه عصبی برابر با مقدار ۱+ می باشد.
, 
(2-2)
بعد از اضافه کردن مقدار آستانه در ادامه تابع f را به مجموع بالا اعمال می کنیم ، نتیجه مقدار نهایی خروجی است که با 
نمایش داده می شود ،
(3-2)
با اعمال تابع به مجموع رابطه (1) در نهایت مقدار خروجی به دست خواهد آمد که تابع 
میتواند یک تابع غیرخطی با ارزش باینری 1+ یا 1- باشد یا یک تابع خطی 
و یا یک تابع لوجستیک سیگموئید به فرمول زیر میباشد.[10]
|
|
|
شکل۱ |
1 |
2-1-1 الگوریتم پسا انتشار5
کارهای زیادی در خصوص تنظیم یا کنترل اوزان وجود دارد اما در این تحقیق مهمترین آن که الگوریتم پسا انتشار است مورد بررسی قرار خواهد گرفت [11], [12] .
در این روش، در هر دور (یعنی در هر تکرار) دو مرحله خواهیم داشت. مرحله‌ی اول حرکت رو به جلو(پیشرو) 6است ، با ضربِ داده‌های ورودی در وزنها و سپس جمع آن با مقدار آستانه7 انجام میشود. سرانجام در همان مرحله‌ی اول به یک خروجی می‌رسیم که احتمالاً با خروجیِ واقعی تفاوت دارد. اینجاست که توسط تابع خطا(زیان) مشخص میکنیم که مرحله‌ی پیشرو چه مقدار خطایی داشته است . حال که فهمیدیم الگوریتم با توجه به وزنها و انحراف‌ها چه مقدار خطایی دارد، به مرحله‌ی دوم می‌رویم. در این مرحله میتوانیم به عقب بازگشته و وزنها و انحراف‌ها را هنگام‌سازی کنیم، یعنی وزنها و انحراف‌ها را به شکلی تغییر دهیم تا در تکرارِ بعدی نتیجه‌ای نزدیکتر به خروجیِ واقعی و با خطای کمتر را تولید کنند. این تکرار پیشرو و پسا انتشار آنقدر انجام میشود تا خروجیِ شبکه برای تمامیِ داده‌های آموزشی به نزدیک‌ترین مقدارِ واقعیِ خود . به این ترتیب الگوریتم یاد گرفته و از این به بعد میتواند با مشاهده‌ی ویژگی‌های یک داده که تا حالا ندیده است، تصمیم بگیرد.نرخ یادگیری انطباقی ، با اجازه دادن به تغییرات در میزان یادگیری در فرایند آموزش (افزایش یا کاهش) می توان بر بهبود عملکرد الگوریتم تاثیر به سزای گذاشت [13].
در خصوص الگوریتم پسا انتشار لازم به توضیح است که با توجه به همگرایی گرادیان کاهشی و تحت تاثیر یودن الگوریتم از آن این الگوریتم نیز همگرا خواهد بود و اوزان در جهت کاهشی تغییر خواهد کرد. در ادامه به بیان ریاضی الگوریتم پسا انتشاردرساختار شبکه عصبی می پردازیم [14] .
شکل 2 را در نظر بگیرید :
