همگرایی الگوریتم‌های ممتیک از طریق یکپارچه‌سازی شبکه عصبی

محورهای موضوعی : فناوری های نوین در سیستم های توزیع شده و محاسبات الگوریتمی

محمدرضا دهقانی محمودآبادی ^{1 *} , الهام دهقان طزرجانی ²

1 - گروه مهندسی کامپیوتر، دانشکده فنی و مهندسی، دانشگاه آزاد اسلامی واحد بافق، بافق، ایران
2 - گروه مهندسی کامپیوتر، دانشکده فنی و مهندسی، دانشگاه آزاد اسلامی واحد بافق، بافق، ایران.

تاریخ دریافت : 1404/05/07 تاریخ پذیرش : 1404/05/27 تاریخ انتشار : 1404/06/17

کلید واژه: الگوریتم ممتیک, شبکه عصبی, بهینه‌سازی, ترکیبی,

چکیده مقاله :

 این پژوهش به تحلیل عمیق الگوریتم‌های ممتیک در حل مسائل بهینه‌سازی پیچیده می‌پردازد. الگوریتم‌های ممتیک باتکیه‌بر جستجوی مبتنی بر جمعیت و ارزیابی مکرر تابع هدف، عملکرد مناسبی در شرایطی دارند که محاسبه تابع هدف پرهزینه باشد. یکی از چالش‌های اصلی آن‌ها نرخ همگرایی پایین و نیاز به نسل‌های متعدد برای دستیابی به پاسخ بهینه است. به‌منظور رفع این محدودیت، الگوریتمی ترکیبی مبتنی بر تلفیق شبکه عصبی و چارچوب ممتیک ارائه شده است. در این روش شبکه عصبی نقش هدایت‌کننده فرایند جستجو را ایفا کرده و با بهبود دینامیک همگرایی، سرعت رسیدن به پاسخ بهینه را افزایش می‌دهد. کارایی الگوریتم پیشنهادی با استفاده از مجموعه‌ای از آزمون‌های معیار مورد ارزیابی قرار گرفته است. نتایج آزمایش‌ها حاکی از بهبود چشمگیر در سرعت همگرایی و ارتقا کیفیت پاسخ تا ۸۸ درصد است. این یافته‌ها نشان می‌دهد که الگوریتم ترکیبی نه‌تنها موجب بهبود قابل‌توجه عملکرد الگوریتم ممتیک می‌شود، بلکه قابلیت تعمیم و به‌کارگیری آن در طیف وسیعی از مسائل بهینه‌سازی نیز وجود دارد.

چکیده انگلیسی:

Memetic algorithms, which rely on population-based search and repeated evaluation of objective functions, demonstrate strong performance particularly in scenarios where objective function evaluations are computationally expensive. However, one of the major challenges associated with these algorithms is their relatively slow convergence rate and the need for a large number of generations to achieve optimal solutions.

To overcome this limitation, a hybrid algorithm is proposed that integrates a neural network within the memetic framework. In the proposed method, the neural network acts as a guiding component to steer the search process, thereby enhancing convergence dynamics and accelerating the attainment of optimal solutions.

The effectiveness of the proposed algorithm has been evaluated through a set of standard benchmark tests. Experimental results indicate a significant improvement in convergence speed and up to 88% enhancement in solution quality. These findings suggest that the hybrid approach not only substantially improves the performance of traditional memetic algorithms but also offers strong generalizability across a wide range of optimization problems.

منابع و مأخذ:

[1] C. Cotta and P. Moscato, “A memetic-aided approach to hierarchical clustering from distance matrices: application to gene expression clustering and phylogeny,” Biosystems, vol. 72, no. 1, pp. 75–97, 2003.
[2] W. Duch, “Memetics and neural models of conspiracy theories,” Patterns, vol. 2, no. 11, p. 100353, Nov. 2021.
[3] D. Ermakov and A. Ermakov, “Memetic approach to cultural evolution,” Biosystems, vol. 204, p. 104378, Jun. 2021.
[4] K. Sörensen and M. Sevaux, “MA|PM: Memetic Algorithms with Population Management,” Comput Oper Res, vol. 33, no. 5, pp. 1214–1225, 2006.
[5] Y. S. Ong and A. J. Keane, “Meta-Lamarckian Learning in Memetic Algorithms,” IEEE Transactions on Evolutionary Computation, vol. 8, no. 2, pp. 99–110, 2004.
[6] M. Bereta, “Baldwin Effect and Lamarckian Evolution in a Memetic Algorithm for Euclidean Steiner Tree Problem,” Memet Comput, vol. 11, no. 1, pp. 35–52, 2019.
[7] A. Nooraliei, M. R. Meybodi, and B. Masoumi, “Memetic Algorithm Based on Genetic Algorithm and Improved Cuckoo Search Algorithm for Dynamic Environment,” 2016 Artificial Intelligence and Robotics, pp. 54–60, 2016.
[8] M. R. dehganimahmoudabadi N nabavizadeh, “Improving the learning classifier system with the basic memetic algorithm to solve the problem based on the law,” The journal of Engineering Management and Soft Computing., Feb. 2023.
[9] H.-E. Tseng, W.-P. Wang, and H.-Y. Shih, “Using memetic algorithms with guided local search to solve assembly sequence planning,” Expert Syst Appl, vol. 33, no. 2, pp. 451–467, 2007.
[10] Mohammadreza, “A novel aggregation-based distributed search model for optimal design using the memetic algorithm”.
[11] R. J. Ziarani and R. Ravanmehr, “Deep neural network approach for a serendipity-oriented recommendation system,” Expert Syst Appl, vol. 185, p. 115660, 2021.
[12] W. Wardah, M. G. M. Khan, A. Sharma, and M. A. Rashid, “Protein secondary structure prediction using neural networks and deep learning: A review,” Comput Biol Chem, vol. 81, pp. 1–8, 2019.
[13] O. Barukab, F. Ali, W. Alghamdi, Y. Bassam, and S. Afzal Khan, “DBP-CNN: Deep learning-based prediction of DNA-binding proteins by coupling discrete cosine transform with two-dimensional convolutional neural network,” Expert Syst Appl, vol. 197, p. 116729, 2022.

متن کامل:



5     همگرایی الگوریتم‌های ممتیک از طریق یکپارچه‌سازی شبکه عصبی/دهقانی محمودآبادی-دهقان طزرجانی

 

 

پژوهشی

همگرایی الگوریتم‌های ممتیک از طریق یکپارچه‌سازی شبکه عصبی

محمدرضا دهقانی محمودآبادی*| الهام دهقان طزرجانی2

 

1 گروه مهندسی کامپیوتر، دانشکده فنی و مهندسی، دانشگاه آزاد اسلامی واحد بافق، بافق، ایران. [e-mail]   2 گروه مهندسی کامپیوتر، دانشکده فنی و مهندسی، دانشگاه آزاد اسلامی واحد بافق، بافق، ایران. [e-mail]   نویسنده مسئول *محمدرضا دهقانی محمودآبادی، استادیار، گروه مهندسی کامپیوتر، دانشکده فنی و مهندسی، دانشگاه آزاد اسلامی واحد بافق، بافق، ایران. [e-mail]                     تاریخ دریافت : 7/5/1404 تاریخ پذیرش : 27/5/1404

چکیده:

 این پژوهش به تحلیل و بهبود الگوریتم‌های ممتیک در حل مسائل بهینه‌سازی پیچیده می‌پردازد. الگوریتم‌های ممتیک با تکیه بر جستجوی مبتنی بر جمعیت و ارزیابی مکرر تابع هدف در شرایطی که محاسبه تابع هدف پرهزینه باشد، عملکرد مناسبی دارند. یکی از چالش‌های اصلی آن‌ها نرخ پایین همگرایی و نیاز به تعداد نسل‌های متعدد برای دستیابی به پاسخ بهینه است. به‌منظور رفع این محدودیت، در این مطالعه یک الگوریتم ترکیبی مبتنی بر تلفیق شبکه عصبی و چارچوب ممتیک ارائه شده است. در این روش شبکه عصبی نقش هدایت‌کننده فرایند جستجو را ایفا کرده و با بهبود دینامیک همگرایی سرعت رسیدن به پاسخ بهینه را افزایش می‌دهد. کارایی الگوریتم پیشنهادی با مجموعه‌ای از آزمون‌های معیار مورد ارزیابی قرار گرفته و نتایج نشان می‌دهد که سرعت همگرایی به‌طور چشمگیر افزایش یافته و کیفیت پاسخ‌ها تا ۸۸% بهبود یافته است. این یافته‌ها تأیید می‌کنند که الگوریتم ترکیبی نه‌تنها عملکرد الگوریتم ممتیک را به‌طور قابل توجهی ارتقا می‌دهد، بلکه قابلیت تعمیم و کاربرد آن در طیف وسیعی از مسائل بهینه‌سازی را فراهم می‌آورد.

کلید واژه‌ها: الگوریتم ممتیک، شبکه عصبی، بهینه‌سازی، ترکیبی.

https://doi.org/...

1-مقدمه

در سال‌های اخیر الگوریتم‌های ممتیک به‌عنوان یکی از رویکردهای نوین و کارآمد در حل مسائل بهینه‌سازی پیچیده توجه گسترده‌ای را به خود جلب کرده‌اند. ویژگی بارز این الگوریتم‌ها عدم وابستگی به مشتقات تابع هدف است که امکان به‌کارگیری آن‌ها را در طیف وسیعی از مسائل بهینه‌سازی پیوسته و گسسته فراهم می‌سازد [1]. علاوه بر این ماهیت تصادفی و توانایی کاهش احتمال گرفتار شدن در بهینه‌های محلی، جایگاه ویژه‌ای برای این الگوریتم‌ها در حوزه‌های علوم رایانه، مهندسی و بهینه‌سازی ایجاد کرده است. عملکرد مبتنی بر جمعیت و قابلیت ارزیابی مکرر تابع هدف این الگوریتم‌ها را به گزینه‌ای مناسب برای کاربردهایی تبدیل کرده است که محاسبه تابع هدف در آن‌ها مانند شبیه‌سازی‌های پیچیده و پردازش‌های سنگین در سیستم‌های مهندسی هزینه‌بر است [2].

با وجود مزایای قابل‌توجه الگوریتم‌های ممتیک در برخی شرایط با چالش‌هایی همچون نرخ همگرایی پایین و یکنواختی جمعیت مواجه می‌شوند؛ مسائلی که می‌توانند منجر به کاهش تنوع و محدود شدن احتمال دستیابی به راه‌حل‌های نوآورانه شوند به‌منظور رفع این محدودیت‌ها در سال‌های اخیر رویکردهای هیبریدی مبتنی بر ترکیب الگوریتم‌های ممتیک و شبکه‌های عصبی مورد توجه پژوهشگران قرار گرفته است. شبکه‌های عصبی الهام‌گرفته از ساختار و عملکرد مغز انسان توانایی یادگیری روابط غیرخطی و پیچیده را از حجم بالایی از داده‌ها دارند و استفاده از آن‌ها می‌تواند به ارتقای فرایند یادگیری و جستجوی الگوریتم‌های تکاملی کمک کند [3].

الگوریتم‌های ممتیک، که بر پایه اصول انتخاب طبیعی داروینی و جستجوی تصادفی بنا شده‌اند، فرآیند بهینه‌سازی را با ایجاد جمعیتی از راه‌حل‌های اولیه تصادفی آغاز کرده و سپس با به‌روزرسانی تدریجی جمعیت به سمت یافتن راه‌حل‌های بهینه حرکت می‌کنند. هدف اصلی این الگوریتم‌ها بهره‌برداری از اطلاعات موجود در جمعیت برای انتخاب کارآمدترین افراد و تولید نسل‌های جدیدی از راه‌حل‌ها است. با وجود پیشرفت‌های متعدد در ساختار و عملکرد آن‌ها نسخه مورد استفاده در این پژوهش یک فرم ساده و کلاسیک از الگوریتم ممتیک محسوب می‌شود که بر اصول بنیادین این رویکرد استوار است [4].

در مقایسه با روش‌های سنتی بهینه‌سازی الگوریتم‌های ممتیک مزایای مهمی از جمله توانایی جستجوی هم‌زمان چندین نقطه در فضای مسئله، مقابله با بهینه‌های محلی و قابلیت کار با ترکیب متغیرهای پیوسته و گسسته را دارند. این ویژگی‌ها امکان ارائه مجموعه‌ای از راه‌حل‌های قابل‌قبول را فراهم می‌کنند که به‌جای تمرکز بر یک پاسخ منفرد امکان انتخاب بهترین گزینه را از میان چندین راه‌حل فراهم می‌سازد. بااین‌حال یکی از چالش‌های رایج این الگوریتم‌ها کندی همگرایی در مراحل پایانی جستجو است؛ به‌ویژه هنگامی که ناحیه‌ای نزدیک به بهینه جهانی شناسایی شده باشد. بهره‌گیری از استراتژی‌های نخبه‌گرایانه نظیر حفظ و انتقال بهترین راه‌حل‌ها به نسل‌های بعدی می‌تواند کارایی همگرایی را به طور قابل‌توجهی بهبود بخشد [5].

برای ارتقای بیشتر عملکرد الگوریتم ممتیک، به‌ویژه در مرحله همگرایی نهایی، استفاده از شبکه‌های عصبی به‌عنوان مکمل پیشنهاد می‌شود. در این رویکرد شبکه‌های عصبی با یادگیری ویژگی‌های جمعیت و میزان شایستگی هر عضو مسیر جستجو را به سمت نواحی امیدبخش هدایت می‌کنند. این تلفیق نه‌تنها کیفیت راه‌حل‌های حاصل را بهبود می‌بخشد، بلکه بهره‌وری کلی فرایند بهینه‌سازی را نیز افزایش می‌دهد. در این پژوهش رویکرد ترکیبی نوآورانه بر پایه تلفیق الگوریتم ممتیک و شبکه عصبی بازگشتی چندلایه ارائه شده است. الگوریتم پیشنهادی با بهره‌گیری از توانمندی‌های هر دو روش قادر است مسائل بهینه‌سازی پیچیده را با سرعت و دقت بالا حل کند. در این چارچوب از نسخه ساده‌ای از الگوریتم ممتیک با رمزگذاری باینری استفاده از روش انتخاب چرخ رولت، ترکیب یکنواخت، جایگزینی نخبه‌گرا و جستجوی محلی بهره گرفته شده است که بنیان ساختار پیشنهادی را تشکیل می‌دهد [6].

ساختار مقاله به‌صورت زیر سازمان‌دهی شده است: در بخش دوم مروری جامع بر الگوریتم‌های ممتیک ارائه می‌شود؛ بخش سوم به مرور اجمالی شبکه‌های عصبی اختصاص دارد؛ در بخش چهارم، الگوریتم ترکیبی پیشنهادی تشریح می‌گردد؛ در بخش پنجم، نتایج آزمایش‌های تجربی و تحلیل آن‌ها ارائه می‌شود؛ و نهایتاً بخش ششم به جمع‌بندی یافته‌ها و نتیجه‌گیری اختصاص یافته است.

2-       الگوریتم‌های ممتیک

الگوریتم‌های ممتیک به‌عنوان یکی از رویکردهای پیشرفته در حوزه بهینه‌سازی با ترکیب سازوکارهای تکاملی نظیر تولیدمثل، ترکیب ژنتیکی و جهش توانایی قابل‌توجهی در کاوش کارآمد فضای جستجوی مسائل پیچیده دارند. این الگوریتم‌ها که بر پایه اصول انتخاب طبیعی داروینی و جستجوی تصادفی شکل گرفته‌اند، فرآیند بهینه‌سازی را با ایجاد جمعیتی اولیه از راه‌حل‌های تصادفی آغاز کرده و با به‌روزرسانی تدریجی این جمعیت در طول نسل‌ها، به‌سوی دستیابی به راه‌حل‌های بهینه حرکت می‌کنند [5].

هدف محوری در این رویکرد بهره‌برداری بهینه از اطلاعات موجود در جمعیت برای شناسایی کارآمدترین افراد و تولید نسل‌های جدیدی از راه‌حل‌ها است. نسخه مورد استفاده در این پژوهش نمونه‌ای ساده و کلاسیک از الگوریتم ممتیک محسوب می‌شود که بر مبانی بنیادین این روش استوار است. در مقایسه با روش‌های سنتی بهینه‌سازی، الگوریتم‌های ممتیک از مزایای متعددی از جمله قابلیت جستجوی هم‌زمان در چندین نقطه از فضای مسئله، مقاومت در برابر همگرایی زودهنگام به بهینه‌های محلی و توانایی کار با ترکیبی از متغیرهای پیوسته و گسسته برخوردار هستند. این ویژگی‌ها موجب می‌شود که الگوریتم، به‌جای تمرکز بر یک پاسخ منفرد، مجموعه‌ای از راه‌حل‌های مناسب را ارائه دهد و امکان انتخاب بهترین گزینه از میان آن‌ها فراهم گردد [7].

با وجود این مزایا یکی از چالش‌های اساسی الگوریتم‌های ممتیک، کاهش سرعت همگرایی در مراحل پایانی جستجو است، به‌ویژه زمانی که ناحیه‌ای نزدیک به بهینه جهانی شناسایی شده باشد. برای رفع مشکل استفاده از استراتژی‌های نخبه‌گرایانه همچون حفظ و انتقال بهترین راه‌حل‌ها به نسل‌های بعدی روشی مؤثر به شمار می‌رود. این استراتژی‌ها با تمرکز بر ساده‌ترین و کارآمدترین راه‌حل‌های موجود، موجب تسریع فرایند همگرایی و بهبود بهره‌وری کلی می‌شوند [8].

برای ارتقای عملکرد به‌ویژه در مرحله همگرایی نهایی ترکیب الگوریتم ممتیک با شبکه‌های عصبی به‌عنوان یک رویکرد مکمل پیشنهاد می‌شود. در این چارچوب شبکه‌های عصبی با یادگیری الگوهای موجود در جمعیت و ارزیابی شایستگی افراد فرآیند جستجو را به سمت نواحی امیدبخش هدایت می‌کنند. این هم‌افزایی نه‌تنها کیفیت راه‌حل‌های حاصل را ارتقا می‌دهد، بلکه موجب افزایش سرعت و دقت فرایند بهینه‌سازی نیز می‌گردد [9].

در این مطالعه رویکرد ترکیبی نوآورانه مبتنی بر تلفیق الگوریتم ممتیک و شبکه عصبی بازگشتی چندلایه ارائه شده است. الگوریتم پیشنهادی با بهره‌گیری هم‌زمان از نقاط قوت هر دو روش قادر است مسائل بهینه‌سازی پیچیده را با کارایی بالاتری حل کند. در این ساختار از نسخه‌ای ساده از الگوریتم ممتیک با رمزگذاری باینری، انتخاب به روش چرخ رولت، ترکیب یکنواخت، جایگزینی نخبه‌گرا و جستجوی محلی استفاده شده است که شالوده چارچوب پیشنهادی را تشکیل می‌دهد [10].

3-       شبکه‌های عصبی

در حوزه علوم رایانه شبکه‌های عصبی مصنوعی به‌عنوان یکی از ابزارهای پیشرفته پردازش اطلاعات شناخته می‌شوند که الهام‌گرفته از ساختار سیستم عصبی زیستی به‌ویژه مغز انسان طراحی شده‌اند. این شبکه‌ها از مجموعه‌ای از نورون‌های مصنوعی متصل به یکدیگر تشکیل شده‌اند که در قالب لایه‌های مجزا سازماندهی می‌شوند. هر شبکه شامل یک لایه ورودی یک یا چند لایه پنهان و یک لایه خروجی است که داده‌های ورودی را به‌صورت سلسله‌مراتبی و در مسیر پیشرو پردازش می‌کند. در لایه‌های پنهان نورون‌ها با هدف شناسایی الگوها و روابط پیچیده موجود در داده‌ها فعال می‌شوند و تنها آن دسته از نورون‌هایی که قادر به ایجاد خروجی معنادار باشند در فرایند یادگیری مؤثر واقع می‌شوند [2].

شبکه‌های عصبی در حل مسائل بهینه‌سازی از مکانیزم‌های یادگیری الهام‌گرفته از فرآیندهای شناختی انسان بهره می‌برند. در این رویکرد وزن اتصالات سیناپسی میان نورون‌ها بر اساس تعامل ورودی‌ها و خروجی‌ها به‌روزرسانی شده و خروجی شبکه متناسب با ترکیب خاصی از ورودی‌ها شکل می‌گیرد. فرآیند تنظیم این وزن‌ها از طریق الگوریتم‌های یادگیری انجام می‌شود و منجر به استخراج الگوهای فعال‌سازی بهینه خواهد شد [11].

فرآیند یادگیری در شبکه‌های عصبی به دو دسته یادگیری نظارت‌شده و یادگیری بدون نظارت تقسیم می‌شود. در یادگیری نظارت‌شده خروجی هدف برای هر ورودی از پیش مشخص است و شبکه با کاهش اختلاف بین خروجی واقعی و خروجی مطلوب آموزش می‌بیند. در مقابل در یادگیری بدون نظارت شبکه بدون استفاده از برچسب‌های خروجی تلاش می‌کند الگوهای پنهان در داده‌ها را به‌صورت خودکار کشف کند [12].

در این پژوهش با توجه به در دسترس بودن خروجی‌های هدف حاصل از اجرای الگوریتم ممتیک از روش یادگیری نظارت‌شده استفاده شده است. این انتخاب امکان تنظیم دقیق الگوهای فعال‌سازی شبکه را فراهم کرده و دقت پاسخ‌دهی آن را در مواجهه با داده‌های جدید افزایش می‌دهد [13].

ساختار مورد استفاده در این مطالعه، یک شبکه عصبی پیش‌خور سه‌لایه با انتقال اطلاعات یک‌سویه از لایه ورودی به لایه خروجی است که کارایی بالایی در تسریع همگرایی الگوریتم ممتیک از خود نشان داده است.

شکل 1. ساختار شبکه عصبی پایه

در چارچوب این شبکه هر نورون در لایه پنهان سیگنال خالص ورودی خود را با مجموع وزن‌دار داده‌های دریافتی محاسبه می‌کند و سپس خروجی آن با تابع فعال‌سازی غیرخطی مشخص می‌شود. به‌صورت ریاضی ورودی خالص نورون j در لایه پنهان به‌صورت (1) تعریف می‌شود:

که در آن wji وزن بین نورون i از لایه ورودی و نورون j از لایه پنهان، و pi مقدار ورودی است. سپس خروجی نورون j به‌صورت (2) محاسبه می‌شود:

(1)

(2)	f= hj(∑i=1 to R (pi * wij) )

تابع f  یک تابع فعال‌سازی سیگموئید است که به‌صورت (3) و (4) تعریف می‌گردد:

در ‌رابطه (4) bj به‌عنوان مقدار بایاس و θ به‌عنوان پارامتر شکل تابع در نظر گرفته شده است. خروجی‌های حاصل از لایه پنهان به لایه خروجی منتقل شده و محاسبات به‌همین ترتیب در (5) و (6) ادامه می‌یابد: 

(3)
(4)

 

(5)

 هدف نهایی شبکه تولید پاسخ دقیق در لایه خروجی است. در صورت وجود خطا میان خروجی مطلوب و خروجی شبکه، طی مراحل یادگیری وزن‌ها به‌روزرسانی می‌شوند تا این خطا به حداقل ممکن برسد.

 در این تحقیق از شبکه عصبی سه‌لایه با الگوریتم پس انتشار خطا استفاده شده است. این شبکه مجهز به تابع انتقال تانژانت هایپربولیک و الگوریتم یادگیری نزولی گرادیان با نرخ یادگیری تطبیقی است. این پیکربندی موجب شده است تا همگرایی الگوریتم ممتیک تسهیل گردد و کیفیت پاسخ‌های به‌دست‌آمده به طور محسوسی بهبود یابد.

4-       الگوریتم ترکیبی پیشنهادی

در این پژوهش الگوریتم بهینه‌سازی ترکیبی نوآورانه ارائه شده است که با ادغام یک شبکه عصبی در چارچوب الگوریتم ممتیک کلاسیک بهبود عملکرد این الگوریتم را هدف قرار می‌دهد. در رویکرد پیشنهادی از قابلیت یادگیری شبکه عصبی برای هدایت فرآیند جستجوی ممتیک استفاده شده است تا همگرایی سریع‌تر و دقیق‌تری نسبت به نسخه‌های معمول حاصل شود. این تلفیق با بهره‌گیری از پیش‌بینی‌های مبتنی بر یادگیری تصمیم‌گیری در انتخاب راه‌حل‌های مطلوب در هر نسل را بهبود می‌بخشد. شکل 2 ساختار کلی الگوریتم ممتیک-عصبی پیشنهادی را به‌صورت نمودار جریان نمایش می‌دهد. مراحل اجرای الگوریتم به شرح زیر است:

·       تولید تصادفی جمعیت اولیه؛

·       ارزیابی تابع هدف یا معیار برازندگی برای تمامی اعضای جمعیت؛

·       شناسایی بهترین و ضعیف‌ترین اعضای جمعیت بر اساس مقادیر تابع هدف؛

·       آموزش شبکه عصبی با استفاده از داده‌های مربوط به متغیرهای طراحی و مقادیر تابع هدف؛

·       پیش‌بینی ترکیب‌های بهینه متغیرها توسط شبکه عصبی آموزش‌دیده به منظور بهبود تابع هدف؛

·       جایگزینی ضعیف‌ترین اعضای جمعیت با ترکیب‌های پیش‌بینی‌شده و مطلوب‌تر؛

·       اعمال مراحل کلاسیک الگوریتم ممتیک شامل انتخاب، ترکیب و جهش؛

·       تکرار فرآیند با استفاده از نسل جدید تا تحقق معیارهای همگرایی.

در الگوریتم ارائه شده شبکه عصبی نقش یک راهنمای تطبیقی را ایفا می‌کند که با تحلیل داده‌های جمعیت، ترکیب‌های امیدوارکننده برای بهبود تابع هدف ارائه می‌دهد. سازوکار جایگزینی آگاهانه افراد با عملکرد ضعیف، حفظ تنوع ژنتیکی در جمعیت و کاهش احتمال همگرایی زودهنگام را امکان‌پذیر می‌سازد. به این ترتیب فرایند جستجو نه تنها سریع‌تر به نواحی بهینه فضای مسئله نزدیک می‌شود، بلکه کیفیت راه‌حل نهایی نیز به‌طور قابل‌توجهی افزایش می‌یابد.

برای ارزیابی اثربخشی الگوریتم پیشنهادی، آن بر روی مجموعه‌ای از توابع معیار استاندارد آزمون شده است. نتایج نشان می‌دهد که الگوریتم ترکیبی ارائه‌شده، هم در بهبود دقت نهایی پاسخ و هم در افزایش سرعت همگرایی، عملکرد برتری نسبت به الگوریتم ممتیک سنتی از خود نشان می‌دهد. در بخش‌های بعدی مقاله جزئیات این ارزیابی‌ها و مقایسه کمی با روش‌های پایه ارائه خواهد شد.

5-       آزمایش‌ها و نتایج

در این مطالعه، از نسخه توسعه‌یافته‌ای از الگوریتم ممتیک با قابلیت یادگیری خودکار و پشتیبانی‌شده توسط شبکه عصبی (الگوریتم ممتیک-عصبی) استفاده شده است. عملکرد این الگوریتم با اجرای مجموعه‌ای از آزمایش‌های معیار ارزیابی شده و نتایج آن با نسخه استاندارد الگوریتم ممتیک مقایسه گردیده است.

برای اطمینان از مقایسه عادلانه، پارامترهای هر دو الگوریتم مطابق با مقادیر مرسوم در ادبیات علمی تنظیم شده‌اند. این پارامترها شامل احتمال ترکیب برابر با ۸۰% احتمال جهش 3/0% و اندازه جمعیت ثابت به ترتیب ۱۰ یا ۱۰۰ عضو در هر آزمایش است. به‌منظور تضمین شرایط اولیه یکسان، از یک بذر تصادفی مشترک برای تولید توالی عددی اولیه در هر دو الگوریتم استفاده شده است.

فرآیند ارزیابی شامل اجرای ده آزمایش مستقل بوده که در هر یک، جمعیتی با اندازه مشخص و یکسان در هر دو الگوریتم تولید شده و عملکرد آن‌ها مورد تحلیل قرار گرفته است. این رویکرد امکان مقایسه دقیق و معتبر بین الگوریتم ممتیک-عصبی و نسخه استاندارد آن را فراهم می‌سازد.

5-1-                      عملکرد مدل‌های ارائه شده

مدل مورد بررسی در این بخش یک مسئله بهینه‌سازی با ساختاری پیوسته، محدب و غیرمتعارف است که به‌گونه‌ای طراحی شده است تا تعداد زیادی حداقل محلی ایجاد کند. ویژگی چندحالته بودن این تابع آزمون چالشی جدی برای اغلب الگوریتم‌های جستجوی سراسری به همراه دارد. بااین‌حال نکته قابل‌توجه این است که محل استقرار حداقل‌های محلی در این مدل به‌صورت منظم در فضای جستجو توزیع شده‌اند؛ امری که از یک‌سو دشواری مسئله را افزایش می‌دهد، اما از سوی دیگر امکان ارزیابی دقیق‌تری از توان الگوریتم‌ها در عبور از بهینه‌های محلی و رسیدن به بهینه جهانی فراهم می‌سازد.

 این مسئله بهینه‌سازی را می‌توان به‌صورت ریاضی به‌عنوان یافتن بردار طراحی xn∈R تعریف کرد، به‌گونه‌ای که مقدار تابع هدف f(x) به حداقل ممکن برسد  در بخش‌های بعدی، ساختار تحلیلی (7) تابع هدف، به همراه نتایج حاصل از اجرای الگوریتم‌های ممتیک کلاسیک و ترکیبی پیشنهادی موردبررسی و مقایسه قرار خواهد گرفت.

(6)

با محدودیت‌های جانبی زیر:

(7)

(8)	- 5/12<=xi<= 5/12

 ماهیت چندمدلی این مسئله باعث می‌شود فرایند دستیابی به بهینه جهانی برای بسیاری از الگوریتم‌های بهینه‌سازی چالش‌برانگیز باشد، زیرا این روش‌ها ممکن است در بهینه‌های محلی گرفتار شوند. در مسئله موردبررسی، حداقل جهانی تابع هدف در نقطه 0xi= برای تمام i قرار دارد و مقدار بهینه آن برابر با 0f(x)= است. این مسئله با استفاده از الگوریتم ممتیک کلاسیک و الگوریتم ترکیبی ممتیک - عصبی پیشنهادی موردبررسی و حل قرار گرفته است.

 نتایج به‌دست‌آمده از میانگین بیش از ۱۰ اجرای مستقل الگوریتم‌ها نشان می‌دهد که الگوریتم ترکیبی، هم از نظر سرعت همگرایی و هم کیفیت پاسخ نهایی، عملکرد برتری نسبت به الگوریتم ممتیک کلاسیک دارد. به طور خاص، الگوریتم ممتیک سنتی پس از ۲۰ نسل به مقدار میانگین تابع هدف برابر با 141/0 می‌رسد، درحالی‌که الگوریتم ترکیبی این مقدار را تنها پس از ۷ نسل به دست می‌آورد. افزون بر این، روند همگرایی در نسل‌های بعدی نیز با شیب به‌مراتب بیشتری به سمت مقدار بهینه جهانی ادامه می‌یابد.

 تحلیل آماری نتایج شامل بهترین، بدترین، میانگین و انحراف معیار مقادیر حاصل از ۱۰ اجرای مختلف الگوریتم‌ها، در جدول ۱ ارائه شده است. این نتایج به‌وضوح نشان می‌دهند که الگوریتم ترکیبی ممتیک - عصبی نه‌تنها از لحاظ دقت نهایی بلکه از نظر پایداری نتایج نیز نسبت به الگوریتم ممتیک معمولی عملکرد قابل‌توجهی دارد.

 مدل دوم بررسی‌شده، یکی از مدل‌های متداول در ارزیابی الگوریتم‌های بهینه‌سازی است که ساختار تابع آزمون آن در ادامه به‌صورت ریاضی در (9) تعریف می‌شود:

با محدودیت‌های جانبی:

(9)

 در این بخش، عملکرد الگوریتم ترکیبی ممتیک - عصبی در حل یک مسئله بهینه‌سازی با حداقل جهانی شناخته‌شده موردبررسی قرار گرفته است. مقدار بهینه تابع هدف در این مسئله برابر با 0f(x)= بوده که در نقطه 1.0xi= برای تمام i=1,2,…, n حاصل می‌شود. دراین‌رابطه n نشان‌دهنده تعداد متغیرهای طراحی و به عبارتی، بعد مسئله است. در آزمایش حاضر، مقدار  5n در نظر گرفته شده است و مسئله مذکور با استفاده از هر دو الگوریتم ممتیک کلاسیک و الگوریتم ترکیبی پیشنهادی حل شده است.

 نتایج به‌دست‌آمده از میانگین بیش از ده اجرای مستقل الگوریتم‌ها حاکی از آن است که روش ترکیبی پیشنهادی از منظر سرعت همگرایی و کیفیت نهایی راه‌حل، عملکردی به‌مراتب برتر از الگوریتم ممتیک معمولی ارائه می‌دهد. به طور مشخص الگوریتم ممتیک استاندارد در پایان نسل پنجاهم به میانگین مقدار تابع هدف برابر با 26/1 دست‌یافته است، درحالی‌که الگوریتم ترکیبی تنها پس از ۴۳ نسل مقدار تابع هدف را به کمتر از 012/0 کاهش داده است. این تفاوت چشمگیر، برتری رویکرد ترکیبی در کاهش چشمگیر تعداد نسل‌های موردنیاز و دستیابی به‌دقت بالاتر را تأیید می‌کند.

این یافته‌ها نشان می‌دهند که تلفیق ساختار یادگیری شبکه عصبی با الگوریتم ممتیک نه‌تنها نرخ همگرایی را به‌طور قابل‌توجهی افزایش می‌دهد، بلکه دقت و پایداری نتایج نهایی را در مسائل بهینه‌سازی با ابعاد متوسط بهبود می‌بخشد.

به‌منظور ارزیابی توانمندی الگوریتم ترکیبی ممتیک-عصبی در حل مسائل بهینه‌سازی محدودشده، یکی از مسائل کلاسیک با سه متغیر طراحی به‌عنوان مطالعه موردی انتخاب شده است. این مسئله که تحت عنوان مسئله منحنی نیز شناخته می‌شود، یکی از چالش‌های رایج در بهینه‌سازی غیرخطی است و ویژگی بارز آن وجود یک ناحیه بهینه جهانی با شکل هندسی تخت، کشیده، باریک و غیرمحدب در فضای طراحی است.

در چنین ساختاری شناسایی مسیر تقریبی منحنی بهینه ساده است، اما همگرایی دقیق به نقطه بهینه جهانی با توجه به شکل باریک و مغناطیسی ناحیه بهینه، برای بسیاری از الگوریتم‌های کلاسیک دشوار خواهد بود. از این رو این مسئله به‌عنوان یک آزمون مناسب برای ارزیابی دقت، سرعت همگرایی و توانایی الگوریتم‌ها در مدیریت فضای جستجوی محدود و غیرخطی در نظر گرفته شده است.

 

(10)

شکل 2. نمودار روش ترکیبی پیشنهادی

  در چارچوب این مدل، هدف یافتن بردار طراحی x3∈R است به‌گونه‌ای که مقدار تابع هدف به حداقل برسد. ساختار ریاضی تابع هدف و محدودیت‌های آن در (11) و (12) ارائه خواهد شد.

با محدودیت‌های زیر:

(11)

و محدودیت‌های جانبی:

(12)

(13)	-5/12<=xi<=5/12

در این بخش عملکرد الگوریتم ترکیبی ممتیک - عصبی بر روی یک تابع آزمون با حداقل جهانی شناخته‌شده موردبررسی قرار گرفته است. مقدار بهینه جهانی تابع هدف برابر با 0f(x)= بوده و در نقطه 1.0xi= برای تمام i= 1,2, …, n حاصل می‌شود. نتایج تجربی نشان می‌دهد که الگوریتم ترکیبی پیشنهادی، در مقایسه با نسخه کلاسیک الگوریتم ممتیک، بهبود قابل‌توجهی در همگرایی و کیفیت راه‌حل ارائه می‌دهد.

به طور خاص، پس از تنها ۵۰ نسل، میانگین مقدار تابع هدف در الگوریتم ممتیک کلاسیک برابر با 55/16 بوده درحالی‌که روش ترکیبی موفق به دستیابی به مقدار پایین‌تر از 9/6 در همان تعداد نسل شده است. همچنین، الگوریتم ممتیک استاندارد برای رسیدن به مقدار تابع هدف 675/3 نیازمند ۱۰۰۰ نسل بوده، درحالی‌که این مقدار توسط الگوریتم ممتیک - عصبی تنها در ۹۱ نسل حاصل گردیده است. این تفاوت چشمگیر، اثربخشی رویکرد ترکیبی را در کاهش قابل‌توجه تعداد نسل‌های موردنیاز برای دستیابی به راه‌حل بهینه، به‌وضوح نشان می‌دهد.

 در ادامه، یک مسئله بهینه‌سازی با محدودیت نیز موردبررسی قرار می‌گیرد. این مسئله شامل به‌حداقل‌رساندن یک تابع هدف تحت دو محدودیت نابرابری غیرخطی است که ساختار ریاضی آن به‌صورت (14) و (15) تعریف شده است:

مشمول محدودیت‌های غیرخطی:

(14)

و محدودیت‌های جانبی:

(15)

 برای تابع آزمون چندحالته‌ای که در بخش فوق موردبررسی قرار گرفته است، راه‌حل بهینه جهانی برابر با ) 84296/0, 095/14 x=( و مقدار متناظر تابع هدف آن برابر با 82/5961f(x)= است. لازم به ذکر است که در این نقطه بهینه هر دو محدودیت مسئله به‌صورت فعال و در محدوده قابل‌قبول برقرار هستند. نتایج حاصل از اجرای الگوریتم‌ها نشان می‌دهد که الگوریتم ترکیبی ممتیک - عصبی در دستیابی به این مقدار بهینه عملکرد بسیار بهتری نسبت به نسخه سنتی الگوریتم ممتیک دارد.

 نمودارهای همگرایی و مقایسه نتایج عددی حاکی از آن است که رویکرد ترکیبی پیشنهادی، با بهره‌گیری از مکانیزم‌های یادگیری شبکه عصبی، توانسته است با سرعت بیشتری به مقدار بهینه نزدیک شود و مقدار نهایی تابع هدف را به طور قابل‌توجهی نسبت به الگوریتم ممتیک کلاسیک کاهش دهد. این برتری هم در نرخ همگرایی و هم در کیفیت نهایی راه‌حل مشاهده می‌شود که اهمیت استفاده از روش‌های ترکیبی در حل مسائل چند قله‌ای و پیچیده را تأیید می‌کند.

 تابع موردنظر از منظر ریاضی یک مسئله بهینه‌سازی چندحالته با فرم تابع غیرخطی و محدودیت‌های فعال است که در ادامه به‌صورت تحلیلی ارائه می‌شود:

(16)

با محدودیت‌های جانبی:

(17)

حداقل جهانی f (x)=0 در (i=1: n) 9687/420 xi= است. این مشکل با 10 متغیر طراحی حل‌شده است.

 بررسی عملکرد الگوریتم ترکیبی ممتیک - عصبی نشان می‌دهد که این روش در مقایسه با الگوریتم ممتیک کلاسیک، پیشرفت قابل‌توجهی در کیفیت راه‌حل و سرعت همگرایی دارد. به طور میانگین، مقدار تابع هدف به‌دست‌آمده توسط الگوریتم ممتیک استاندارد پس از ۲۰۰ نسل برابر با 73/45 گزارش شده است، درحالی‌که الگوریتم ترکیبی پیشنهادی موفق به دستیابی به مقدار 39/0 در تنها ۱۴۷ نسل و 184/0 در پایان ۲۰۰ نسل گردید. این نتایج به‌وضوح برتری رویکرد ترکیبی را در کاهش تعداد نسل‌های موردنیاز و بهبود دقت نهایی تأیید می‌کنند.

 همان‌طور که در جدول ۱ نشان‌داده‌شده، مقایسه بهترین، بدترین، میانگین و انحراف معیار راه‌حل‌ها در آزمون‌های مختلف، بیانگر اثربخشی بالای سازوکار خودآموز شبکه عصبی در چارچوب الگوریتم ممتیک است. کاهش محسوس در انحراف معیار نتایج حاصل از الگوریتم ممتیک - عصبی نسبت به نسخه کلاسیک، نشان‌دهنده پایداری بالای عملکرد آن در شرایط مختلف است. این موضوع در کاربردهای دنیای واقعی که با محدودیت‌های زمانی و هزینه‌ای برای اجرای مکرر الگوریتم‌ها مواجه هستند، اهمیت زیادی دارد.

 نتایج به‌دست‌آمده حاکی از آن است که الگوریتم پیشنهادی، با نرخ موفقیت تقریبی ۸۸% قادر است بدون نیاز به تکرارهای متعدد، به راه‌حل‌هایی باکیفیت بالادست یابد. این ویژگی، به‌ویژه در مسائل بهینه‌سازی مرتبط با شبیه‌سازی‌های محاسباتی گران‌قیمت، می‌تواند نقش کلیدی در کاهش هزینه‌های محاسباتی و افزایش بهره‌وری ایفا کند؛ بنابراین، رویکرد ترکیبی ممتیک - عصبی می‌تواند به‌عنوان یک چارچوب قدرتمند و قابل‌اعتماد برای حل مسائل بهینه‌سازی پیچیده و زمان‌بر مورداستفاده قرار گیرد.

جدول 1: نتایج چندین اجرا برای تست همه حالت‌ها

(18)

الگوریتم ممتیک-عصبی				الگوریتم ممتیک				ارزش بهینه	تابع
انحراف معیار	میانگین	بهترین	بدترین	انحراف معیار	میانگین	بهترین	بدترین
0/003	0/001	0	0/01	0/187	0/141	0	0/739	0	محدود کردن
0/03	0/012	0/001	0/4	0/69	1/26	0/439	1/564	0	قلمرو
1/12	6/9	1/6	5/4	26/4	16/55	1/36	109/95	0	عملکرد منحنی
198	5336	5487	5283	375	5265	5867	4402	5962	نابرابری غیرخطی
0/09	0/42	0/39	0/59	56/1	46	0/43٦	181	0	تست چندحالته

6-       نتیجه‌گیری

در این پژوهش الگوریتم ترکیبی هوشمند مبتنی بر ادغام الگوریتم ممتیک و شبکه عصبی مصنوعی ارائه شده است. هدف اصلی این ترکیب، بهره‌گیری هم‌زمان از قابلیت‌های جستجوی سراسری الگوریتم ممتیک و توانایی یادگیری تطبیقی شبکه‌های عصبی به منظور ارتقای سرعت همگرایی و کیفیت راه‌حل در مسائل بهینه‌سازی غیرخطی و چندوجهی است. با تلفیق این دو رویکرد الگوریتم نهایی از مزایای ساختاری هر دو بهره‌مند شده و به‌عنوان یک چارچوب بهینه‌سازی توانمند و سریع مطرح می‌شود.

در ساختار پیشنهادی، یک شبکه عصبی پیش‌خور با قابلیت یادگیری پس‌انتشار برای هدایت فرآیند جستجوی ممتیک در مسیر یافتن نقاط بهینه جهانی به‌کار گرفته شده است. نتایج حاصل از آزمون‌های تجربی اولیه نشان می‌دهد که استفاده از این ساختار ترکیبی منجر به بهبود چشمگیر سرعت همگرایی و افزایش کیفیت نهایی راه‌حل‌ها نسبت به الگوریتم ممتیک کلاسیک شده است. همچنین نسخه خودآموز الگوریتم با قابلیت به‌روزرسانی هوشمند، عملکردی پایدار و دقیق در حل مسائل با مقیاس متوسط ارائه می‌دهد.

الگوریتم پیشنهادی هم‌اکنون در برخی کاربردهای واقعی نیز پیاده‌سازی شده و در حال توسعه برای مسائل با ابعاد بزرگ‌تر است. افزایش ابعاد مسئله نیازمند تغییرات ساختاری در معماری شبکه و تنظیم پارامترهای الگوریتم است که در تحقیقات آتی مورد بررسی قرار خواهد گرفت. نتایج آزمایش‌ها تأیید می‌کنند که این چارچوب محاسباتی می‌تواند به‌عنوان یک رویکرد پیشرفته و قابل اعتماد در حل مسائل بهینه‌سازی پیچیده مورد استفاده قرار گیرد و مسیرهای جدیدی را برای توسعه الگوریتم‌های ترکیبی در آینده فراهم کند.

مراجع

[1]        C. Cotta and P. Moscato, “A memetic-aided approach to hierarchical clustering from distance matrices: application to gene expression clustering and phylogeny,” Biosystems, vol. 72, no. 1, pp. 75–97, 2003.

[2]        W. Duch, “Memetics and neural models of conspiracy theories,” Patterns, vol. 2, no. 11, p. 100353, Nov. 2021.

[3]        D. Ermakov and A. Ermakov, “Memetic approach to cultural evolution,” Biosystems, vol. 204, p. 104378, Jun. 2021.

[4]        K. Sörensen and M. Sevaux, “MA|PM: Memetic Algorithms with Population Management,” Comput Oper Res, vol. 33, no. 5, pp. 1214–1225, 2006.

[5]        Y. S. Ong and A. J. Keane, “Meta-Lamarckian Learning in Memetic Algorithms,” IEEE Transactions on Evolutionary Computation, vol. 8, no. 2, pp. 99–110, 2004.

[6]        M. Bereta, “Baldwin Effect and Lamarckian Evolution in a Memetic Algorithm for Euclidean Steiner Tree Problem,” Memet Comput, vol. 11, no. 1, pp. 35–52, 2019.

[7]        A. Nooraliei, M. R. Meybodi, and B. Masoumi, “Memetic Algorithm Based on Genetic Algorithm and Improved Cuckoo Search Algorithm for Dynamic Environment,” 2016 Artificial Intelligence and Robotics, pp. 54–60, 2016.

[8]        M. R. dehganimahmoudabadi N nabavizadeh, “Improving the learning classifier system with the basic memetic algorithm to solve the problem based on the law,” The journal of Engineering Management and Soft Computing., Feb. 2023.

[9]        H.-E. Tseng, W.-P. Wang, and H.-Y. Shih, “Using memetic algorithms with guided local search to solve assembly sequence planning,” Expert Syst Appl, vol. 33, no. 2, pp. 451–467, 2007.

[10]        Mohammadreza, “A novel aggregation-based distributed search model for optimal design using the memetic algorithm”.

[11]        R. J. Ziarani and R. Ravanmehr, “Deep neural network approach for a serendipity-oriented recommendation system,” Expert Syst Appl, vol. 185, p. 115660, 2021.

[12]        W. Wardah, M. G. M. Khan, A. Sharma, and M. A. Rashid, “Protein secondary structure prediction using neural networks and deep learning: A review,” Comput Biol Chem, vol. 81, pp. 1–8, 2019.

[13]        O. Barukab, F. Ali, W. Alghamdi, Y. Bassam, and S. Afzal Khan, “DBP-CNN: Deep learning-based prediction of DNA-binding proteins by coupling discrete cosine transform with two-dimensional convolutional neural network,” Expert Syst Appl, vol. 197, p. 116729, 2022.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Convergence of memetic Algorithms through Neural Network Integration

Mohammadreza DehghaniMahmoudAbadi 1  | Elham DehghanTezerjani 2

1 Faculty of Computer Engineering, University of Azad Islamic Bafgh, Bafgh, Iran, [e-mail]   2 Faculty of Computer Engineering, University of Azad Islamic Bafgh, Bafgh, Iran, [e-mail]   Correspondence Mohammadreza DehghaniMahmoudAbadi, Assistant professor, Faculty of Computer Engineering, University of Azad Islamic Bafgh, Bafgh, Iran, [e-mail]

 

Abstract

Memetic algorithms have demonstrated strong potential in addressing computationally expensive optimization problems by combining population-based search with iterative objective function evaluations. Despite their effectiveness, a key limitation of conventional Memetic algorithms is their relatively slow convergence rate, which often requires a large number of generations to achieve optimal or near-optimal solutions. To mitigate this issue, this study introduces a novel hybrid framework that integrates neural networks into the memetic algorithm paradigm. In the proposed approach, the neural network functions as a guiding mechanism, dynamically steering the search process to accelerate convergence and enhance solution quality. The algorithm’s performance was systematically evaluated on a diverse set of benchmark optimization problems. Experimental results reveal that the hybrid method significantly improves convergence speed while achieving up to an 88% increase in solution quality compared to baseline Memetic algorithms. These findings underscore the capability of the proposed hybrid algorithm to substantially enhance both the efficiency and effectiveness of memetic algorithms. Furthermore, the approach demonstrates strong generalization ability, suggesting its applicability to a wide range of real-world optimization domains.

 

 

Keywords: Memetic Algorithm; Neural Network; Optimization; Hybrid.

 

---