پیش بینی پذیری بورس اوراق بهادار تهران با استفاده از مدل های یادگیری عمیق (مدل هیبریدی CNN-LSTM)

الموضوعات :

مهدی حیدرزاده ¹ , مژگان صفا ² , میرفیض فلاح شمس ³ , حسین جهانگیرنیا ⁴

1 - دانشجو دکتری مدیریت مالی، واحد قم، دانشگاه آزاد اسلامی، قم، ایران.
2 - استادیار گروه حسابداری، واحد قم، دانشگاه آزاد اسلامی، قم، ایران، (نویسنده مسئول).
3 - دانشیار گروه مدیریت، واحد تهران مرکزی، دانشگاه آزاد اسلامی، تهران، ایران.
4 - استادیار گروه حسابداری، واحد قم دانشگاه آزاد اسلامی، قم، ایران.

تاريخ الإرسال : 04 الأربعاء , شعبان, 1445 تاريخ التأكيد : 21 الأربعاء , ذو القعدة, 1445 تاريخ الإصدار : 08 الأحد , محرم, 1446

الکلمات المفتاحية: پیش بینی پذیری, مدل های یادگیری عمیق (Deep Learning), بورس اوراق بهادار تهران.,

ملخص المقالة :

یادگیری عمیق، زیرمجموعه¬ای از کلاس گسترده¬تر از روش¬های یادگیری ماشین مبتنی شبکه¬های عصبی می باشد که اخیراً در حوزه¬های مختلفی از جمله پیش¬بینی سری¬های زمانی در بازارهای مالی، توجهات زیادی را به خود جلب کرده¬است. در این تحقیق، ابتدا بر اساس مدل¬های یادگیری عمیق مبتنی بر شبکه¬های LSTM و CNN حرکت شاخص بورس اوراق بهادار تهران پیش¬بینی می¬گردد. در ادامه با ترکیب دو مدل مذکور، مدل هیبریدی یادگیری عمیق CNN-LSTM به منظور پیش¬بینی شاخص بورس اوراق بهادار تهران مورد استفاده قرار گرفت. در مرحله بعد، به منظور ارزیابی عملکرد مدل¬های پیش بینی مذکور، سه معیار سنجش کارایی میانگین درصد قدرمطلق خطای متقارن (SMAPE)، میانگین مطلق درصد خطا (MAPE) و ریشه میانگین مربع خطا (RMSE) مورد استفاده قرار گرفت. در این تحقیق از داده¬های روزانه شاخص بورس اوراق بهادار تهران در دوره زمانی 23/4/1395 - 26/1/1400 استفاده شده¬است. نتایج برآورد مدل¬ها در پیش¬بینی شاخص بورس اوراق بهادار تهران با گام یک روزه و مقایسه معیارهای سنجش کارایی، حاکی از برتری عملکرد مدل پیشنهادی CNN-LSTM در مقایسه با دو مدل دیگر می¬باشد. مدل LSTM در رتبه بعدی دقت و کارایی پیش¬بینی قرار می گیرد. با توجه به نتایج ارایه شده در این تحقیق، به فعالین بازارهای مالی در ایران پیشنهاد می¬گردد مدل های تلفیقی یادگیری عمیق را به منظور افزایش کارایی و دقت پیش¬بینی های خود مورد توجه قرار دهند.

المصادر:

Adebiyi, A. A., Adewumi, A. O., & Ayo, C. K. (2014). Comparison of arima and artifi- cial neural networks models for stock price prediction. Journal of Applied Math- ematics, 2014.#
Andrew Ang & Geert Bekaert (2007). "Stock Return Predictability: Is it There?" Review of Financial Studies, Society for Financial Studies, vol. 20(3), pages 651-707.#
Bollerslev, T., Marrone, J., Xu, L., & Zhou, H. (2014). Stock return predictability and variance risk premia: Statistical inference and international evidence. Journal of Financial and Quantitative Analysis, 49 (03), 633–661.#
Christopher Krauss; Xuan Anh Do and Nicolas Huck, (2017), Deep neural networks, gradient-boosted trees, random forests: Statistical arbitrage on the S&P 500, European Journal of Operational Research, 259, (2), 689-702.#
Gonçalves, R., Miguel,R. V, Pereira. F., Rocha. A., (2019). Deep learning in exchange markets. Information Economics and Policy.#
Kara, Y. and O. Baykan (2011). “Predicting Direction of Stock Price Index Changes Using Artificial Neural Networks and Support Vector Machines: The Sample of the Istanbul Stock Exchange”, Expert Systems with Applications, Vol. 36, No. 2, pp. 3355-3366.#
Krauss, C., Do, X. A., Huck, N. (2017). Deep neural networks, gradient-boosted trees, random forests: Statistical arbitrage on the S&P 500. European Journal of Operational Research 259(2), 689–702.#
R.C. Cavalcante, R.C. Brasileiro, V.L.F. Souza, J.P. Nobrega, A.L.I. Oliveira, (2016). Computational Intelligence and Financial Markets: A Survey and Future Directions, Expert Systems with Applications, 55,194-211.#
Tipirisetty, Abhinav, "Stock Price Prediction using Deep Learning" (2018). Master's Projects. 636. DOI: https://doi.org/10.31979/etd.bzmm-36m7.#
Tipirisetty, Abhinav, (2018). Stock Price Prediction using Deep Learning, Master's Projects. 636.#
Vadiei, Mohammad Hossein, & Hosseini, Seyyed Mohammad. (2012). The relationship between performance evaluation criteria and abnormal stock return. journal of empirical research in accounting, 1(4), 73-87. #
W. Long, Z. Lu and L. Cui, (2018). Deep learning-based feature engineering for stock price movement prediction, Knowledge-Based Systems .#
Yan, L.; Zhang, H. T.; Goncalves, J.; Xiao, Y.; Wang, M. et al. (2020): A machine learning-based model for survival prediction in patients with severe COVID-19 infection. MedRxiv: 2020.2002.2027.20028027#
Yang Liu, (2019). Novel Volatility Forecasting Using Deep Learning – Long Short Term Memory Recurrent Neural Networks, Expert Systems with Applications.#

نص كامل:



فصلنامه مهندسی مدیریت نوین

سال دهم ، شماره سوم، پاییز 1403

 

پیش­بینی­پذیری بورس اوراق بهادار تهران با استفاده از مدل­های یادگیری عمیق (مدل هیبریدی CNN-LSTM)

 

مهدی حیدرزاده¹، مژگان صفا²، میرفیض فلاح شمس³، حسین جهانگیرنیا⁴ 

 

چکیده

یادگیری عمیق، زیرمجموعه­ای از کلاس گسترده­تر از روش­های یادگیری ماشین مبتنی شبکه­های عصبی است که اخیراً در حوزه­های مختلفی ازجمله پیش­بینی سری­های زمانی در بازارهای مالی، توجهات زیادی را به خود جلب کرده است. در این تحقیق، ابتدا بر اساس مدل­های یادگیری عمیق مبتنی بر شبکه­های LSTM و CNN حرکت شاخص بورس اوراق بهادار تهران پیش­بینی می­شود. در ادامه با ترکیب دو مدل مذکور، مدل هیبریدی یادگیری عمیق CNN-LSTM به‌منظور پیش­بینی شاخص بورس اوراق بهادار تهران مورد استفاده قرار گرفت. در مرحلۀ بعد، به‌منظور ارزیابی عملکرد مدل­های پیش‌بینی مذکور، سه معیار سنجش کارایی میانگین درصد قدر مطلق خطای متقارن (SMAPE)، میانگین مطلق درصد خطا (MAPE) و ریشه میانگین مربع خطا (RMSE) مورد استفاده قرار گرفت. در این تحقیق از داده­های روزانه شاخص بورس اوراق بهادار تهران در دورۀ زمانی 23/4/1395 - 26/1/1400 استفاده شده است. نتایج برآورد مدل­ها در پیش­بینی شاخص بورس اوراق بهادار تهران با گام یک‌روزه و مقایسه معیارهای سنجش کارایی، حاکی از برتری عملکرد مدل پیشنهادی CNN-LSTM در مقایسه با دو مدل دیگر است. مدل LSTM در رتبه بعدی دقت و کارایی پیش­بینی قرار می‌گیرد. با توجه به نتایج ارائه‌شده در این تحقیق، به فعالین بازارهای مالی در ایران پیشنهاد می­گردد مدل­های تلفیقی یادگیری عمیق را به‌منظور افزایش کارایی و دقت پیش‌بینی‌های خود مورد توجه قرار دهند.

کلیدواژگان: پیش­بینی­پذیری، مدل­های یادگیری عمیق (Deep Learning)، بورس اوراق بهادار تهران.

طبقه‌بندی JEL:G17, D10, L10 

 

1- مقدمه

 تأثیر بازار بورس در تأمین مالي و توسعۀ كشور بر کسی پوشیده نیست؛ بنابراین يافتن روشي مناسب براي پيش­بيني بازار سهام اهمیت بالایی یافته است. شوك­هاي ناگهاني بازار، ریزش و سقوط قیمت‌ها باعث می‌شود تعداد زيادي از سرمايه­گذاران بازار را ترک کنند. افزايش ابزارهاي کارای مرتبط با متغیرهای مالي، دامنه فرصت­هاي سرمايه­گذاري جهاني را براي فعالین بازارهای مالی گسترش می­دهد. دلايل اصلي براي پيشرفت اين ابزارها را می‌توان چنین بیان نمود؛ اولاً، این ابزارها، روش­های مؤثری براي سرمايه­گذاران به‌منظور محافظت از ريسك­هاي بالقوه بازار فراهم مي­آورند. دوماً، فرصت­هاي كسب سود را نیز براي كساني كه از موقعيت­هاي بازار استفاده می‌کنند، فراهم مي­كنند؛ بنابراين ارائۀ مدل‌های کارا براي پيش­بيني شاخص‌ها و متغیرهای بورس از اهميت و كاربرد خاصی برخوردار است. متغیرهای مالي و اقتصادي (مخصوصاً در بازار سهام) عمدتاً با روابط غیرخطی سروکار داشته؛ بنابراین پيش­بيني وضعيت آتی بازار سهام با استفاده از مدل­هاي مرسوم خطي قابل اتکا نیست.

پیش­بینی­پذیری بازارهای مالی از سابقۀ طولانی مطالعاتی و تجربی برخوردار است (Ang & Bekaert, 2007). علی­رغم اختلاف‌نظر در مورد کارایی بازارها، مطالعات نشان‌دهندۀ این است که بازارهای مالی تا حدودی دارای ویژگی پیش­بینی­پذیری است (Bollerslev et al, 2014). در بین رویکردهای پیش­بینی روند آتی سهام، روش­های اقتصادسنجی یا آماری مبتنی بر تجزیه‌وتحلیل متغیرهای بازار بر اساس داده­های تاریخی، به‌طور گسترده مورد استفاده فعالان و متخصصین قرار گرفته است. در این رویکردها، روش­های مختلف خطی و غیرخطی برای پیش­بینی وضعیت آتی بازار سهام استفاده می‌شود. در این روش‌ها، فرض نرمال بودن تابع چگالی و همچنین مستقل و یکسان بودن تابع توزیع حیاتی است؛ بااین‌حال شواهدی از ویژگی‌هایی مانند دنبالۀ پهن و قلۀ بلند، بازگشت به میانگین واریانس ناهمسان، خوشه­ای بودن تلاطم­ها، اثر اهرمی و حافظۀ بلندمدت نشان می‌دهد که این فرض­ها در مورد سری­های زمانی بازده سهام و متغیرهای مالی برقرار نیستند (Vadiei & Hosseini, 2012).

از اواسـط دهـۀ 1970 تـلاش­هـاي گسترده‌ای در زميـنۀ قابليـت پيش­بيني قيمت­هاي سهام با استفاده از روش­هاي رياضي جديد، سري زماني طولاني و ابزار پيشـرفته­تـري مـثل هـوش مصـنوعي آغاز شد و آزمون­هاي زيادي بر روي اطلاعات قيمت و شـاخص سـهام در كشورهايي مثل انگلستان، آمريكا، كانادا، آلمان و ژاپن صورت گرفت تـا وجـود يـا فقـدان سـاختاري معيـن در اطلاعـات قيمت سهام نشان داده شود و از اين راه فرضيۀ گام‌های تصادفي را نقض كنند (Kara and Baykan, 2011).

یادگیری ماشینی (ML) زیرمجموعه‌ای از هوش مصنوعی است که با استفاده از الگوریتم­های مختلف، عملکرد خود بر روی موضوعی خاص را به‌تدریج بهبود می‌دهد. یادگیری ماشینی برای کشف الگوها و جستجوی تغییرات کوچک، بر اساس بررسی و مقایسۀ داده­هایی از مقادیر کوچک تا حجم­های عظیم داده‌ها استوار است. مطالعات فراوانی انجام شده است که نشان می‌دهد پیش­بینی­ها براساس مدل­های یادگیری عمیق ML عملکرد تقریباً بهتری نسبت به تکنیک­های پیش­بینی سری زمانی کلاسیک دارند. در همین حال، استفادۀ گسترده از سیستم­های تجارت الکترونیکی خودکار همراه با افزایش تقاضا برای بازده بالاتر، محققان و دست­اندرکاران را مجبور به ادامۀ کار به‌منظور دستیابی به مدل­های بهتر کرد. در چند دهۀ اخیر، یکی از زیرشاخه‌های یادگیری ماشینی، به نام یادگیری عمیق (DL)، در پیش­بینی­های مالی مورد استقبال قرار گرفته است. هرچند یادگیری عمیق در ابتدای مسیر توسعه است، اما تحقیقات و سرمایه­گذاری­های شرکت­های بزرگ در این حوزه، گسترش روزافزون کاربردهای یادگیری عمیق را نشان می‌دهد. هم‌اکنون یادگیری عمیق در زمینه‌ها و علوم مختلف داده­کاوی، پردازش تصویر و صدا، رباتیک و پزشکی کاربردهای زیادی داشته است. بر اساس پیش­بینی­های مراکز علمی، در سال­های آتی، یادگیری عمیق در بسیاری از زمینه‌ها، به‌صورت مستقیم یا غیرمستقیم استفاده خواهند کرد.

با توجه به اینکه روش یادگیری عمیق، ظرفیت­ها و توانایی قابل‌توجهی در استخراج اطلاعات معتبر از مجموعه داده­ها و الگوها دارد، بسیاری از تحقیقات اخیر بر کاربرد الگوریتم‌های DP در حوزۀ مالی تمرکز کرده­اند و ادغام الگوریتم­های یادگیری عمیق با پیش­بینی­های بازار به‌عنوان یکی از مباحث جذاب در ادبیات مالی است (Cavalcante et al, 2016).

در این تحقیق تلاش می­شود مدل هیبریدی یادگیری عمیق CNN-LSTM به‌منظور پیش­بینی شاخص بورس اوراق بهادار تهران معرفی شده و کارایی این مدل با ساختارهای سنتی در این حوزه ازجمله مدل LSTM و مدل CNN مقایسه شود. در این راستا از معیارهای سنجش کارایی میانگین مطلق درصد خطا (MAPE) و ریشه میانگین مربع خطا (⁵RMSE) استفاده می­شود.

 

2- ادبیات تحقیق

همان‌طور که پیشتر بیان گردید یادگیری عمیق (DP) زیرشاخه‌ای از روش­های یادگیری ماشین بر اساس شبکه­های عصبی است. شبکه­های عصبی، الگوریتم‌های محاسباتی با توانایی یادگیری و تعمیم­پذیری هستند. شبکه­های عصبی مدل­های الکترونیکی شبیه­سازی شده بر اساس ساختار عصبی مغز انسان هستند. واژه «عمیق» در «یادگیری عمیق» به تعداد لایه­هایی اشاره می‌کند که در ساختار مدل­ها به‌منظور استخراج ویژگی­های خاص داده­های ورودی به کار گرفته می‌شوند.

بر اساس بررسی­های انجام‌شده در ایران تحقیقی که با استفاده از روش یادگیری عمیق به پیش­بینی متغیرهای مالی و اقتصادی بپردازد یافت نگردید بااین‌حال در سال­های اخیر، مطالعات زیادی با استفاده از مدل­های یادگیری عمیق به آزمون پیش­بینی­پذیری متغیرهای بازارهای مالی در کشورهای دیگر پرداخته‌اند ازجمله، لیو⁶ (2019) در تحقیقی با استفاده از الگوریتم­های یادگیری عمیق به پیش­بینی نوسانات بازدهی شاخص اس­اند پی 500 (S & P 500) پرداخته است. در این مطالعه کارایی مدل­های یادگیری عمیق و مدل­های واریانس ناهمسانی شرطی خودرگرسیو تعمیم­یافته (GARCH) مورد ارزیابی قرار گرفت. نتایج این تحقیق نشان‌دهندۀ کارایی بالاتر مدل­های یادگیری عمیق در پیش­بینی نوسانات بازدهی شاخص اس­اندپی 500 است.

کانکالوز و همکاران⁷ (2019) در تحقیقی با عنوان کاربرد روش یادگیری عمیق در بازار ارز، به پیش­بینی نوسانات این بازار بر پایه مدل­های گوناگون یادگیری عمیق پرداختند.

لانگ و همکاران⁸ (2018) با استفاده از دو مدل یادگیری عمیق، تلاش کردند شاخص قیمت سهام در کشور چین را مدل‌سازی و پیش‌بینی نمایند. نتایج نشان داد که عملکرد مدل ترکیبی در پیش­بینی شاخص سهام از مدل‌های رقیب بالاتر است.

تیپریسیتی⁹ (2018) تلاش نمود با استفاده از الگوریتم­های یادگیری عمیق به پیش­بینی قیمت سهام بازارهای جهانی بپردازد. در این تحقیق با استفاده از ترکیب یادگیری عمیق و تحلیل اخبار از منابع اینترنتی، مدلی هیبریدی به‌منظور پیش­بینی قیمت سهام پیشنهاد کرده است.

کراوس و همکاران¹⁰ (2017) با استفاده از مدل‌های یادگیری ماشین، شبکه­های عصبی عمیق و الگوریتم جنگل تصادفی به پیش­بینی بازده سهام با گام یک‌روزه برای شاخص S & P500 پرداختند. نتایج این تحقیق حاکی از کارایی الگوریتم جنگل تصادفی در پیش­بینی شاخص اس اند پی 500 است.

 

3- روش تحقیق

این پژوهش حاضر ازلحاظ هدف کاربردی و ازلحاظ ماهیت و روش علّی است. ازنظر ویژگی و جهت داده­ها پس رویدادی است. در این تحقیق، حرکت شاخص بورس اوراق بهادار تهران با استفاده از مدل­های یادگیری عمیق مبتنی بر شبکه­های LSTM، CNN و همچنین مدل هیبریدی یادگیری عمیق CNN-LSTM پیش­بینی می‌شود و عملکرد این مدل­ها، با استفاده از معیارهای سنجش مورد ارزیابی قرار می­گیرد. در این راستا از داده­های روزانه شاخص بورس اوراق بهادار تهران در دورۀ زمانی 23/4/1395 - 26/1/1400 استفاده می­شود. در ادامه به تشریح مدل­های یادگیری عمیق مورد استفاده در این مطالعه پرداخته می­شود.

3-1 شبکه‌های بازگشتی (RNN)

شبکه­های عصبی بازگشتی (RNN) به‌منظور شبیه­سازی رفتار انسان در استفاده از اطلاعات قبلی، توسط متخصصان حوزۀ یادگیری ماشین پیشنهاد شد. شبکه­های عصبی بازگشتی متشکل از حلقۀ بازگشتی هستند و تفاوت اصلی RNN با دیگر ساختارها این است که در این ساختار داده­های ورودی دورۀ جاری و دوره­های گذشته به‌صورت هم‌زمان به­کار گرفته می‌شوند. در واقع خروجی مدل در دورۀ جاری به داده­های دورۀ قبل نیز وابسته است. ازنظر تئوریک یک شبکۀ عصبی بازگشتی استاندارد (اگر به‌اندازۀ کافی بزرگ باشد) باید بتواند دنباله­هایی با هر پیچیدگی­ای را تولید کند اما در عمل این شبکه در ذخیره­سازی اطلاعات مرتبط با داده‌های گذشته به مدت طولانی ناتوان است. این ویژگی، علاوه بر تضعیف قدرت این شبکه در مدل‌سازی ساختارهای بلندمدت، باعث می­شود تا این نوع از شبکه­ها در زمان تولید دنباله در معرض ناپایداری قرار بگیرند. مشکلی که به وجود خواهد آمد این است که اگر پیش­بینی­های شبکه تنها وابسته به چند ورودی اخیر باشد برای اصلاح و جبران اشتباهات گذشته توسط شبکه، شانس بسیار کمی وجود خواهد داشت. یک راه‌حل برای این مشکل، تزریق نویز به پیش­بینی­های انجام‌شده توسط شبکه قبل از تغذیه آنها به گام زمانی بعدی است. این راه‌حل به تقویت شبکه در قبال ورودی‌های غیرمنتظره منجر می­شود. حافظه طولانی کوتاه‌مدت (LSTM¹¹ ) یک ساختار شبکۀ عصبی بازگشتی است که به‌منظور ذخیره­سازی و دسترسی بهتر به اطلاعات نسبت به نسخۀ سنتی آن طراحی گردیده است.

برخلاف شبکۀ عصبی بازگشتی استاندارد (RNN)، در یک شبکۀ عصبی بازگشتی (LSTM)، شبکه قادر است نسبت به حفظ حافظه فعلی از طریق گیت‌های معرفی‌شده تصمیم­ بگیرد. به‌طور مفهومی، اگر یک واحد LSTM ویژگی مهمی در دنباله ورودی در مراحل ابتدایی را تشخیص دهد قادر است این اطلاعات را طی مسیر طولانی انتقال داده و اینگونه وابستگی­های بلندمدت احتمالی را دریافت و حفظ نماید.

شبکه­های LSTM از واحدهای LSTM تشکیل شده­اند. واحدهای LSTM با هم ادغام شده و لایه‌های LSTM تشکیل می­شوند. یک واحد LSTM از سلول­هایی تشکیل می­شود که دارای گیت ورودی، گیت خروجی و گیت فراموشی است. معادلات (1) تا (5) فرم عمومی شبکۀ LSTM را ارائه می‌کنند.

(1)
(2)
(3)
(4)
(5)

 

در اینجا xt، بردار ورودی واحد LSTM، ft بردار فعال­سازی گیت فراموشی، it بردار فعال­سازی گیت ورودی، ot: بردار فعال­سازی گیت خروجی، ht بردار خروجی واحد LSTM، ct بردار حالت سلول، gσ تابع سیگموئید، cσ تابع تانژانت هایپربولیک، W، U: ماتریس­های وزن که باید آموزش داده­شده و برازش شوند و b پارامترهای بردار بایاس هستند. ساختار یک بلوک از LSTM در شکل (2) ارائه‌شده است.

شکل (1) ساختار مدل LSTM

3-2 مدل­های کانولوشنی (CNN¹²)

شبکه­های عصبی کانولوشنی یا پیچشی (CNN) شاخه‌ای از شبکه­های عصبی عمیق هستند که در پیش­بینی­های سری زمانی در یادگیری ماشین استفاده می‌شوند. در شبکه­های عصبی کانولوشنی به‌منظور حداقل­سازی پیش‌پردازش‌ها از نوعی از پرسپترون­های چندلایه استفاده می‌شود. به‌جای شبکۀ عصبی کانولوشنی گاهی از این شبکه­ها با نام شبکه­های عصبی تغییرناپذیر با انتقال¹³ یا تغییرناپذیر با فضا¹⁴ هم یاد می‌شود. این نام­گذاری بر مبنای ساختار این شبکه است. ساختار شبکه­های کانولوشنی از فرایندهای زیستی الگوسازی شده­اند که در آنها نورون‌ها تنها در یک ناحیۀ محدود به تحریک، (که به آن ناحیۀ پذیرش گفته می­شود) واکنش نشان می‌دهند. نواحی پذیرش نورون­های مختلف به‌صورت جزئی با هم همپوشانی داشته به‌گونه‌ای که پوشش کل میدان را نتیجه می­دهند.

ساختار یک شبکۀ عصبی کانولوشنی (CNN) از لایه­های مختلفی تشکیل شده است. لایه­های پنهان کانولوشنی یا ادغامی یا کاملاً متصل هستند. لایه­های کانولوشنی ورودی وظیفۀ فیلتر کردن را به عهده دارند، سپس نتیجه را به لایۀ بعدی منتقل می­نمایند. ممکن است شبکه­های عصبی کانولوشنی از لایه­های ادغام¹⁵ محلی یا سراسری تشکیل شده باشند که خروجی­های خوشه­های نورونی در یک لایه را در یک تک ‌نورون در لایۀ بعدی ادغام می­کنند. روش حداکثر تجمیع¹⁶ یک مثالی است که حداکثر مقدار بین خوشه­های نورونی در لایۀ پیشین را مورد استفاده قرار می‌دهد. میانگین تجمیع¹⁷ که مقدار میانگین خوشه­های نورونی در لایۀ پیشین را در نظر می­گیرد، می‌توان مثالی دیگر در نظر گرفت. شبکه­های عصبی کانولوشنی با اشتراک وزن­ها در لایه­های پیچشی، باعث ایجاد حداقل حافظه و بیشترین کارایی می­شوند. عملیات کانولوشن (فیلتر) استاندارد در معادلۀ (6) نمایش داده شده است. t نشانگر زمان، x نشان‌دهندۀ ورودی و a نشان‌دهندۀ متغیر است.

(6)

معادلۀ (7) جزئیات مربوط به معماری شبکه را ارائه می‌دهد که در آن W نشانگر وزن، x نشان‌دهندۀ ورودی، b نشان‌دهندۀ بایاس و z نشان‌دهندۀ خروجی نورون­ها است. در انتهای شبکه، از تابع softmax برای گرفتن خروجی استفاده می­شود. معادلۀ (8) و (9) تابع softmax را نشان می­دهد که در آن y نشان‌دهندۀ خروجی است.

(7)
(8)
(9)

شکل (1) نمایی کلی از معماری شبکه­های کانولوشنی در یادگیری عمیق را نشان می­دهد.

شکل (2) ساختار شبکه­های کانولوشنی در یادگیری عمیق

3-3 مدل هیبریدی CNN-LSTM

 همان‌طور که پیش­تر بیان شد مدل­های یادگیری عمیق مبتنی بر شبکه­های عصبی کانولوشنی یا پیچشی (CNN) در پیش­بینی­های سری زمانی در یادگیری ماشین استفاده می­شوند بااین‌حال بر اساس مطالعات تجربی، این مدل­ها بر استخراج ویژگی­ها متمرکز می­شوند و از طرفی مدل­های یادگیری عمیق مبتنی بر شبکه­های LSTM دارای ویژگی تعمیم­دهی بر اساس توالی زمانی هستند. بر اساس ویژگی­های دو مدل مذکور، مدل هیبریدی CNN-LSTM به‌منظور پیش­بینی داده­های سری زمانی بازارهای مالی به وجود آمده است. شکل (3)، نمایی کلی از ساختار این مدل را ارائه می­کند. همان‌طور که در این نگاره قابل مشاهده است این مدل شامل لایۀ ورودی، بخش لایۀ کانولوشنی CNN تک‌بعدی، لایۀ ادغام و بخش لایۀ پنهان LSTM است. در ادامه و در شکل (4) مکانیسم آموزش و پیش­بینی به‌وسیله مدل CNN-LSTM ترسیم شده است.

شکل (3). ساختار مدل هیبریدی CNN-LSTM

شکل (4). مکانیسم آموزش و پیش­بینی با استفاده از مدل یادگیری عمیق هیبریدی CNN-LSTM

3-4 معیارهای ارزیابی

برای ارزیابی کارایی روش­های پیش­بینی سری زمانی شاخص بورس اوراق بهادار تهران، از سه معیار اصلی استفاده می­شود:

1- میانگین درصد قدر مطلق خطای متقارن (SMAPE¹⁸)

2- میانگین مطلق درصد خطا¹⁹ (MAPE)

3- ریشه میانگین مربع خطا (²⁰RMSE)

این معیارها به‌صورت روابط زیر تعریف می‌شوند:

(10)
(11)
(12)

جاییکه  و  به ترتیب مقادیر واقعی و پیش­بینی­شده در زمان t هستند.

 

4- نتایج برآورد مدل‌های یادگیری عمیق

در این تحقیق داده­های شاخص بورس اوراق بهادار تهران به‌عنوان متغیر اصلی تحقیق به‌منظور ورود به پروسه مدل‌سازی و پیش­بینی با استفاده از مدل­های یادگیری عمیق (DL) در ابتدا با استفاده از رابطۀ زیر، نرمال‌سازی می­شوند:

(13)

در این رابطه  و  به ترتیب میانگین و انحراف معیار داده­های شاخص بورس در دورۀ مورد بررسی هستند. پس از مرحلۀ پیش‌پردازش و نرمال‌سازی، داده­های نرمال­سازی شده به دو بخش داده­های آموزش و داده­های آزمون تقسیم می­شوند. در این تحقیق 80% داده­ها به بخش آموزش تخصیص داده می­شود و 20% باقیمانده به‌منظور آزمون در مدل یادگیری عمیق مورد استفاده قرار می­گیرد. لازم به ذکر است که در مرحلۀ آموزش اوزان در مدل­های یادگیری عمیق بر اساس شبکه­های عصبی به‌صورتی تعدیل می­شوند که بتوان الگوهای موجود در سری زمانی را شناسایی کرد. در مرحلۀ تست، بر اساس داده­های واقعی و اندازه­گیری معیارهای سنجش کارایی، قدرت پیش­بینی و تعمیم­دهی مدل به داده­های واقعی سنجیده می­شود.

 

4-1 فرآیند آموزش

شکل (5) فرایند آموزش مدل ترکیبی یادگیری عمیق مبتنی بر شبکه CNN-LSTM را نشان می­دهد. همان‌طور که در این شکل مشخص است بهینه­سازی فرایند یادگیری در این مدل بر اساس حداقل­سازی RMSE و تابع زیان انجام شده است. در جدول (1) تنظیمات هایپرپارمترهای مدل که بر اساس برآورد چندین مدل و انتخاب مدل با بالاترین کارایی انجام شده است را نشان می­دهد.

شکل (5). فرآیند آموزش مدل یادگیری عمیق هیبریدی مبتنی بر CNN-LSTM منبع: محاسبات تحقیق

 

جدول (1) تنظیمات هایپرپارامترای مدل CNN-LSTM
32	Convolution layer filters
Tanh	Convolution layer activation function
Same	Convolution layer padding
Same	Pooling layer padding
Relu	Pooling layer activation function
64	Number of hidden units in LSTM layer
Tanh	LSTM layer activation function
0.001	Learning rate
Adam	Optimizer
mean_absolute_error	Loss function
600	Epochs
8	Iteration per Epoch
4800	Iteration

در جدول (1) تمامی تنظیمات هایپر پارامترهای مدل مورد بررسی را نشان می­دهد.

 

4-2 پیش­بینی براساس مدل­های یادگیری عمیق

در ادامه و در شکل (6) تا (8) نتایج پیش­بینی شاخص بورس اوراق بهادار در دورۀ آزمون داده­ها به ترتیب با استفاده از سه مدل LSTM، CNN و مدل هیبریدی CNN-LSTM ارائه‌شده است. نتایج ارائه‌شده نشان‌دهندۀ عملکرد و دقت بهتر مدل هیبریدی CNN-LSTM در پیش­بینی با گام یک روز به جلو نسبت به دو مدل دیگر است. بااین‌حال به‌منظور بررسی دقیق­تر این موضوع باید کارایی این مدل­ها در پیش­بینی وضعیت شاخص بورس بر اساس سه معیار سنجش کارایی بررسی شود.

شکل (6). پیش­بینی شاخص بورس اوراق بهادار تهران بر اساس مدل CNN-LSTM

شکل (7). پیش‌بینی شاخص بورس اوراق بهادار تهران بر اساس مدل LSTM

شکل (8). پیش‌بینی شاخص بورس اوراق بهادار تهران بر اساس مدل CNN

در این بخش از سه معیار سنجش کارایی به‌منظور ارزیابی عملکرد مدل­های پیش‌بینی شاخص بورس اوراق بهادار بر اساس روش یادگیری عمیق مبتنی بر شبکه­های عصبی استفاده می­شود. نتایج محاسبات معیارهای میانگین درصد قدر مطلق خطای متقارن (SMAPE)، میانگین مطلق درصد خطا (MAPE) و ریشه میانگین مربع خطا (RMSE) در جدول (2) ارائه ‌شده است. بر اساس نتایج ارائه‌شده در جدول (2)، مدل CNN-LSTM بهترین عملکرد را داشته است و مدل LSTM در رتبۀ بعدی دقت و کارایی پیش­بینی ارائه ‌شده است.

جدول (2). معیارهای سنجش دقت و کارایی پیش­بینی مدل­های یادگیری عمیق
CNN	LSTM	CNN-LSTM
02044/0	012559/0	0070/0	SMAPE
0858/0	0489/0	0289/0	MAPE
112650	63957	43341	RMSE
منبع: یافته‌های پژوهش

5- بحث و نتیجه­گیری

اخیراً در حوزه یادگیری ماشینی، گرایشی با نام یادگیری عمیق (DL)، در پیش­بینی­های مالی، توجه بسیاری را جلب کرده است. بااینکه یادگیری عمیق در سال­های ابتدایی توسعه خود قرار دارد، اما روند تحقیقات، مقالات و سرمایه‌گذاری‌های شرکت­های بزرگ در این حوزه، نشان­دهندۀ گسترش روزافزون کاربردهای یادگیری است. با توجه به ظرفیت­ها و توانایی قابل توجه روش یادگیری عمیق در استخراج اطلاعات معتبر از مجموعه داده­ها و الگوهای شناسایی قدرتمند، بسیاری از مقالات اخیر بر کاربرد تکنیک­های DP در حوزۀ مالی متمرکز شده­اند و ادغام الگوریتم­های یادگیری عمیق با پیش­بینی­های بازار به‌عنوان یکی از جذاب­ترین مباحث در ادبیات مالی در نظر گرفته می­شود (Cavalcante et al, 2016).

در این تحقیق تلاش شد مدل هیبریدی یادگیری عمیق مبتنی بر ساختار شبکه­های عصبی CNN-LSTM به‌منظور پیش­بینی شاخص بورس اوراق بهادار تهران معرفی شده و کارایی این مدل با ساختارهای سنتی در این حوزه ازجمله مدل LSTM و مدل CNN مقایسه شود. در این راستا از معیارهای سنجش کارایی میانگین درصد قدر مطلق خطای متقارن (SMAPE)، میانگین مطلق درصد خطا (MAPE) و ریشۀ میانگین مربع خطا (RMSE) استفاده شد. نتایج پیش­بینی بر اساس سه مدل مذکور، مدل هیبریدی یادگیری عمیق مبتنی بر ساختار شبکه­های عصبی CNN-LSTM برترین عملکرد را داشته است و مدل یادگیری عمیق مبتنی بر شبکه­های عصبی LSTM در رتبۀ بعدی قرار دارد. نتایج این تحقیق نشان می­دهد که مدل­های یادگیری عمیق می­تواند به‌عنوان ابزاری با کارایی بالا در پیش­بینی روندهای حرکتی متغیرهای مالی مورد استفاده قرار گیرد از اینرو به فعالان بازارهای مالی، استفاده و توجه ویژه به این ابزار پیشنهاد می­شود.

 

References:

-       Adebiyi, A. A., Adewumi, A. O., & Ayo, C. K. (2014). Comparison of arima and artifi- cial neural networks models for stock price prediction. Journal of Applied Math- ematics, 2014.#

-       Andrew Ang & Geert Bekaert (2007). "Stock Return Predictability: Is it There?" Review of Financial Studies, Society for Financial Studies, vol. 20(3), pages 651-707.#

-       Bollerslev, T., Marrone, J., Xu, L., & Zhou, H. (2014). Stock return predictability and variance risk premia: Statistical inference and international evidence. Journal of Financial and Quantitative Analysis, 49 (03), 633–661.#

-       Krauss, C., Do, X. A., Huck, N. (2017). Deep neural networks, gradient boosted trees, random forests: Statistical arbitrage on the S&P 500. European Journal of Operational Research 259(2), 689–702.#

-       Christopher Krauss; Xuan Anh Do and Nicolas Huck, (2017), Deep neural networks, gradient-boosted trees, random forests: Statistical arbitrage on the S&P 500, European Journal of Operational Research, 259, (2), 689-702.#

-       Gonçalves, R., Miguel,R. V, Pereira. F., Rocha. A., (2019). Deep learning in exchange markets. Information Economics and Policy.#

-       Kara, Y. and O. Baykan (2011). “Predicting Direction of Stock Price Index Changes Using Artificial Neural Networks and Support Vector Machines: The Sample of the Istanbul Stock Exchange”, Expert Systems with Applications, Vol. 36, No. 2, pp. 3355-3366.#

-       Krauss, C., Do, X. A., Huck, N. (2017). Deep neural networks, gradient-

     R.C. Cavalcante, R.C. Brasileiro, V.L.F. Souza, J.P. Nobrega, A.L.I. Oliveira, (2016). Computational Intelligence and Financial Markets: A Survey and Future Directions, Expert Systems with Applications, 55,194-211.#

-  Tipirisetty, Abhinav, "Stock Price Prediction using Deep Learning" (2018). Master's Projects. 636. DOI: https://doi.org/10.31979/etd.bzmm-36m7.#

-  Tipirisetty, Abhinav, (2018). Stock Price Prediction using Deep Learning, Master's Projects. 636.#

-  Vadiei, Mohammad Hossein, & Hosseini, Seyyed Mohammad. (2012). The relationship between performance evaluation criteria and abnormal stock return. journal of empirical research in accounting, 1(4), 73-87. #

- W. Long, Z. Lu and L. Cui, (2018). Deep learning-based feature engineering for stock price movement prediction, Knowledge-Based Systems .#

- Yan, L.; Zhang, H. T.; Goncalves, J.; Xiao, Y.; Wang, M. et al. (2020): A machine learning-based model for survival prediction in patients with severe COVID-19 infection. MedRxiv: 2020.2002.2027.20028027#

- Yang Liu, (2019). Novel Volatility Forecasting Using Deep Learning – Long Short Term Memory Recurrent Neural Networks, Expert Systems with Applications.#

 

 

COPYRIGHTS © 2023 by the authors. Licensee Advances in Modern Management Engineering Journal. This article is an open access article distributed under the terms and conditions of the Creative Commons Attribution 4.0 International (CC BY 4.0) (http://creativecommons.org/licenses/by/4.0/).

 

---

[1]  دانشجوی دکتری گروه مدیریت، واحد قم، دانشگاه آزاد اسلامی، قم، ایران.

[2]  استادیار گروه حسابداری، واحد قم، دانشگاه آزاد اسلامی، قم، ایران، (نویسنده مسئول).   

[e-mail]

[3]  دانشیار گروه مدیریت، واحد تهران مرکزی، دانشگاه آزاد اسلامی، تهران، ایران.

[4]  استادیار گروه حسابداری، واحد قم دانشگاه آزاد اسلامی، قم، ایران.

تاریخ وصول 25/11/1402                                                                                   تاریخ پذیرش 9/3/1403

[5]  Root Mean Square Error (RMSE)

[6]  Liu

[7]  Gonçalves et al.

[8]  Long et al.

[9]  Tipirisetty.

[10]  Krauss et al.

[11] Long Short-Term Memory

[12]  Convolutional Neural Network

[13]  Shift Invariant

[14]  Space Invariant

[15]  Pooling Layer

[16]  Max Pooling

[17]  Average Pooling

[18]  Symmetric Mean Absolute Percentage Error (SMAPE)

[19]  Mean Absolute Percentage Error (MAPE)

[20]  Root Mean Square Error (RMSE)

---