Predictability of Tehran Stock Exchange using deep learning models (CNN-LSTM model)

Subject Areas :

Mahdi Heidarzadeh ¹ , Mozhgan Safa ^{2 *} , Mirfeiz Fallahshams ³ , Hossein Jahangir nia ⁴

1 - Ph.D. Candidate, Department of Management, Qo.C., Islamic Azad University, Qom, Iran
2 - Assistant Professor, Department of Accounting, Qo.C., Islamic Azad University, Qom, Iran (Corresponding Author)
3 - Associate Professor, Department of Management, CT.C, Islamic Azad University, Tehran, Iran
4 - Assistant Professor, Department of Accounting, Qo.C., Islamic Azad University, Qom, Iran

Received: 2024-02-14 Accepted : 2024-05-29 Published : 2024-07-14

Keywords: Predictability, Deep Learning Models, Tehran Stock Exchange ,

Abstract :

Objective: This research aims to predict the movement of the Tehran Stock Exchange index using deep learning models based on LSTM and CNN networks and presenting a CNN-LSTM hybrid model.

Research methodology: Using LSTM, CNN, and CNN-LSTM deep learning models for prediction. Using daily data of the Tehran Stock Exchange index in the period from 23/4/1395 to 26/1/1400. Evaluating the performance of the models with three performance measurement criteria: SMAPE, MAPE, and RMSE.

Findings: The CNN-LSTM hybrid model has the best performance in predicting the Tehran Stock Exchange index with a one-day step. The LSTM model ranks second after the hybrid model in terms of accuracy and prediction efficiency. The use of deep learning hybrid models increases the efficiency and accuracy of prediction in Iranian financial markets.

Originality / Scientific Added Value: Presentation and evaluation of the CNN-LSTM hybrid model for the first time in predicting the Tehran Stock Exchange index. Emphasis on the use of deep learning fusion models as a new approach in improving the forecasting of Iranian financial markets.

 

 

References:

Adebiyi, A. A., Adewumi, A. O., & Ayo, C. K. (2014). Comparison of arima and artifi- cial neural networks models for stock price prediction. Journal of Applied Math- ematics, 2014.#
Andrew Ang & Geert Bekaert (2007). "Stock Return Predictability: Is it There?" Review of Financial Studies, Society for Financial Studies, vol. 20(3), pages 651-707.#
Bollerslev, T., Marrone, J., Xu, L., & Zhou, H. (2014). Stock return predictability and variance risk premia: Statistical inference and international evidence. Journal of Financial and Quantitative Analysis, 49 (03), 633–661.#
Christopher Krauss; Xuan Anh Do and Nicolas Huck, (2017), Deep neural networks, gradient-boosted trees, random forests: Statistical arbitrage on the S&P 500, European Journal of Operational Research, 259, (2), 689-702.#
Gonçalves, R., Miguel,R. V, Pereira. F., Rocha. A., (2019). Deep learning in exchange markets. Information Economics and Policy.#
Kara, Y. and O. Baykan (2011). “Predicting Direction of Stock Price Index Changes Using Artificial Neural Networks and Support Vector Machines: The Sample of the Istanbul Stock Exchange”, Expert Systems with Applications, Vol. 36, No. 2, pp. 3355-3366.#
Krauss, C., Do, X. A., Huck, N. (2017). Deep neural networks, gradient-boosted trees, random forests: Statistical arbitrage on the S&P 500. European Journal of Operational Research 259(2), 689–702.#
R.C. Cavalcante, R.C. Brasileiro, V.L.F. Souza, J.P. Nobrega, A.L.I. Oliveira, (2016). Computational Intelligence and Financial Markets: A Survey and Future Directions, Expert Systems with Applications, 55,194-211.#
Tipirisetty, Abhinav, "Stock Price Prediction using Deep Learning" (2018). Master's Projects. 636. DOI: https://doi.org/10.31979/etd.bzmm-36m7.#
Tipirisetty, Abhinav, (2018). Stock Price Prediction using Deep Learning, Master's Projects. 636.#
Vadiei, Mohammad Hossein, & Hosseini, Seyyed Mohammad. (2012). The relationship between performance evaluation criteria and abnormal stock return. journal of empirical research in accounting, 1(4), 73-87. #
W. Long, Z. Lu and L. Cui, (2018). Deep learning-based feature engineering for stock price movement prediction, Knowledge-Based Systems .#
Yan, L.; Zhang, H. T.; Goncalves, J.; Xiao, Y.; Wang, M. et al. (2020): A machine learning-based model for survival prediction in patients with severe COVID-19 infection. MedRxiv: 2020.2002.2027.20028027#
Yang Liu, (2019). Novel Volatility Forecasting Using Deep Learning – Long Short Term Memory Recurrent Neural Networks, Expert Systems with Applications.#

Full-Text:



Modern Management Engineering Volume 10, Issue 3, Autumn 2024 PP:154-172 Paper type: Research paper

 

 

Predictability of Tehran Stock Exchange Using Deep Learning Models (Hybrid CNN-LSTM Model)

Mehdi Heidarzadeh¹, Mojgan Safa², Mirfeiz Falah Shams³, Hossein Jahangirnia⁴

                Received: February 14, 2024                                         Accepted: May 29, 2024

Introduction

The stock market plays a key role in financing, and accurate prediction of its indices is of great importance. Due to the nonlinear relationships among financial variables, linear models perform inadequately, while deep learning has shown better performance because of its ability to discover hidden patterns (Cavalcante et al., 2016). In this study, a hybrid CNN-LSTM model is introduced to predict the Tehran Stock Exchange index and is compared with LSTM and CNN models based on MAPE and RMSE metrics.

 

Background

Deep learning, due to its multilayer structure and ability to extract complex features, has demonstrated high effectiveness in forecasting financial variables. In international studies, Liu (2019) showed the superiority of deep learning models over GARCH in predicting S&P 500 volatility. Cavalcante et al. (2019) predicted currency market volatility, Long et al. (2018) forecasted the Chinese stock index, and Tiperisiti (2018) predicted global stock prices using hybrid models. Additionally, Krauss et al. (2017) examined deep neural networks and random forests for daily return prediction of the S&P 500.

Research Methodology

This study is applied in terms of objective, causal in terms of nature and method, and ex-post in terms of data type. The aim is to predict the Tehran Stock Exchange index using deep learning models LSTM, CNN, and the hybrid CNN-LSTM model, and to evaluate their performance. The data used consist of daily stock index values from 14 July 2016 to 15 April 2021.

1.       Recurrent Neural Networks (RNN) and LSTM

RNNs are designed to process time-dependent data but suffer from poor long-term memory retention. LSTM overcomes this issue by adding input, output, and forget gates, enabling storage and utilization of long-term dependencies.

2.       Convolutional Neural Networks (CNN)
Inspired by the human visual system, CNNs are used to extract local features and patterns. This network consists of convolutional, pooling, and fully connected layers, and achieves high efficiency and speed through weight sharing.

3.       Hybrid CNN-LSTM Model
The hybrid model combines CNN (for feature extraction) and LSTM (for temporal sequence modeling) and offers higher efficiency in forecasting financial time series.

4.       Evaluation Metrics

Model performance is assessed using three metrics:

·       SMAPE: Symmetric Mean Absolute Percentage Error

·       MAPE: Mean Absolute Percentage Error

·       RMSE: Root Mean Squared Error

Analysis and Investigation

In this study, the Tehran Stock Exchange index data were preprocessed and normalized, then split into training (80%) and testing (20%) sets. The models, based on neural networks, were trained and the weights optimized to identify time series patterns.

The training process of the hybrid CNN-LSTM model aimed at minimizing the error (RMSE), and the optimal hyperparameter settings were selected after testing multiple models.

Prediction results during the test period showed that the CNN-LSTM model had the best performance and accuracy for one-day-ahead forecasting, followed by the LSTM model. Based on the SMAPE, MAPE, and RMSE metrics, the hybrid CNN-LSTM model was introduced as the top-performing forecasting model.

 

Discussion and Conclusion

Deep learning, with its strong ability to identify financial patterns, has gained significant importance, especially in forecasting financial markets. In this study, the hybrid CNN-LSTM model was introduced for predicting the Tehran Stock Exchange index and compared with LSTM and CNN models. Based on the SMAPE, MAPE, and RMSE metrics, the CNN-LSTM model demonstrated the best performance, with the LSTM model ranking second. These results indicate that deep learning models are suitable tools for forecasting financial trends, and it is recommended that market participants utilize them.

Keywords:
Predictability, Deep Learning Models, Tehran Stock Exchange

JEL:G17, D10, L10

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

مهندسی مدیریت نوین

سال دهم، پاییز 1403- شماره 10

تعداد صفحات: 154-172

نوع مقاله: پژوهشی

 

پیش­بینی­پذیری بورس اوراق بهادار تهران با استفاده از مدل­های یادگیری عمیق (مدل هیبریدی CNN-LSTM)

 

مهدی حیدرزاده⁵، مژگان صفا⁶، میرفیض فلاح شمس⁷، حسین جهانگیرنیا⁸ 

 

تاریخ وصول 25/11/1402 تاریخ پذیرش 9/3/1403

 

چکیده

هدف: این تحقیق با هدف پیش‌بینی حرکت شاخص بورس اوراق بهادار تهران با استفاده از مدل‌های یادگیری عمیق مبتنی بر شبکه‌های LSTM و CNN و ارائه یک مدل هیبریدی CNN-LSTM انجام شده است.

روش‌شناسی پژوهش: استفاده از مدل‌های یادگیری عمیق LSTM، CNN و مدل هیبریدی CNN-LSTM برای پیش‌بینی.استفاده از داده‌های روزانه شاخص بورس اوراق بهادار تهران در بازه زمانی 23/4/1395 تا 26/1/1400. ارزیابی عملکرد مدل‌ها با سه معیار سنجش کارایی SMAPE، MAPE و RMSE.

یافته‌ها: مدل هیبریدی CNN-LSTM بهترین عملکرد را در پیش‌بینی شاخص بورس اوراق بهادار تهران با گام یک‌روزه داشته است. مدل LSTM پس از مدل هیبریدی از نظر دقت و کارایی پیش‌بینی در رتبه دوم قرار می‌گیرد. استفاده از مدل‌های تلفیقی یادگیری عمیق موجب افزایش کارایی و دقت پیش‌بینی در بازارهای مالی ایران می‌شود.

­­اصالت / ارزش‌افزوده علمی: ارائه و ارزیابی مدل هیبریدی CNN-LSTM برای اولین بار در پیش‌بینی شاخص بورس اوراق بهادار تهران.تأکید بر کاربرد مدل‌های تلفیقی یادگیری عمیق به‌عنوان رویکردی نوین در بهبود پیش‌بینی بازارهای مالی ایران.

کلیدواژگان: پیش بینی پذیری، مد ل های یادگیری عمیق (Deep Learning)، بورس اوراق بهادار تهران

طبقه‌بندی موضوعی JEL : G17, D10, L10

 

 

 

1- مقدمه

 تأثیر بازار بورس در تأمین مالي و توسعۀ كشور بر کسی پوشیده نیست؛ بنابراین يافتن روشي مناسب براي پيش­بيني بازار سهام اهمیت بالایی یافته است. شوك­هاي ناگهاني بازار، ریزش و سقوط قیمت‌ها باعث می‌شود تعداد زيادي از سرمايه­گذاران بازار را ترک کنند. افزايش ابزارهاي کارای مرتبط با متغیرهای مالي، دامنه فرصت­هاي سرمايه­گذاري جهاني را براي فعالین بازارهای مالی گسترش می­دهد. دلايل اصلي براي پيشرفت اين ابزارها را می‌توان چنین بیان نمود؛ اولاً، این ابزارها، روش­های مؤثری براي سرمايه­گذاران به‌منظور محافظت از ريسك­هاي بالقوه بازار فراهم مي­آورند. دوماً، فرصت­هاي كسب سود را نیز براي كساني كه از موقعيت­هاي بازار استفاده می‌کنند، فراهم مي­كنند؛ بنابراين ارائۀ مدل‌های کارا براي پيش­بيني شاخص‌ها و متغیرهای بورس از اهميت و كاربرد خاصی برخوردار است. متغیرهای مالي و اقتصادي (مخصوصاً در بازار سهام) عمدتاً با روابط غیرخطی سروکار داشته؛ بنابراین پيش­بيني وضعيت آتی بازار سهام با استفاده از مدل­هاي مرسوم خطي قابل اتکا نیست.

پیش­بینی­پذیری بازارهای مالی از سابقۀ طولانی مطالعاتی و تجربی برخوردار است (Ang & Bekaert, 2007). علی­رغم اختلاف‌نظر در مورد کارایی بازارها، مطالعات نشان‌دهندۀ این است که بازارهای مالی تا حدودی دارای ویژگی پیش­بینی­پذیری است (Bollerslev et al, 2014). در بین رویکردهای پیش­بینی روند آتی سهام، روش­های اقتصادسنجی یا آماری مبتنی بر تجزیه‌وتحلیل متغیرهای بازار بر اساس داده­های تاریخی، به‌طور گسترده مورد استفاده فعالان و متخصصین قرار گرفته است. در این رویکردها، روش­های مختلف خطی و غیرخطی برای پیش­بینی وضعیت آتی بازار سهام استفاده می‌شود. در این روش‌ها، فرض نرمال بودن تابع چگالی و همچنین مستقل و یکسان بودن تابع توزیع حیاتی است؛ بااین‌حال شواهدی از ویژگی‌هایی مانند دنبالۀ پهن و قلۀ بلند، بازگشت به میانگین واریانس ناهمسان، خوشه­ای بودن تلاطم­ها، اثر اهرمی و حافظۀ بلندمدت نشان می‌دهد که این فرض­ها در مورد سری­های زمانی بازده سهام و متغیرهای مالی برقرار نیستند (Vadiei & Hosseini, 2012).

از اواسـط دهـۀ 1970 تـلاش­هـاي گسترده‌ای در زميـنۀ قابليـت پيش­بيني قيمت­هاي سهام با استفاده از روش­هاي رياضي جديد، سري زماني طولاني و ابزار پيشـرفته­تـري مـثل هـوش مصـنوعي آغاز شد و آزمون­هاي زيادي بر روي اطلاعات قيمت و شـاخص سـهام در كشورهايي مثل انگلستان، آمريكا، كانادا، آلمان و ژاپن صورت گرفت تـا وجـود يـا فقـدان سـاختاري معيـن در اطلاعـات قيمت سهام نشان داده شود و از اين راه فرضيۀ گام‌های تصادفي را نقض كنند (Kara and Baykan, 2011).

یادگیری ماشینی (ML) زیرمجموعه‌ای از هوش مصنوعی است که با استفاده از الگوریتم­های مختلف، عملکرد خود بر روی موضوعی خاص را به‌تدریج بهبود می‌دهد. یادگیری ماشینی برای کشف الگوها و جستجوی تغییرات کوچک، بر اساس بررسی و مقایسۀ داده­هایی از مقادیر کوچک تا حجم­های عظیم داده‌ها استوار است. مطالعات فراوانی انجام شده است که نشان می‌دهد پیش­بینی­ها براساس مدل­های یادگیری عمیق ML عملکرد تقریباً بهتری نسبت به تکنیک­های پیش­بینی سری زمانی کلاسیک دارند. در همین حال، استفادۀ گسترده از سیستم­های تجارت الکترونیکی خودکار همراه با افزایش تقاضا برای بازده بالاتر، محققان و دست­اندرکاران را مجبور به ادامۀ کار به‌منظور دستیابی به مدل­های بهتر کرد. در چند دهۀ اخیر، یکی از زیرشاخه‌های یادگیری ماشینی، به نام یادگیری عمیق (DL)، در پیش­بینی­های مالی مورد استقبال قرار گرفته است. هرچند یادگیری عمیق در ابتدای مسیر توسعه است، اما تحقیقات و سرمایه­گذاری­های شرکت­های بزرگ در این حوزه، گسترش روزافزون کاربردهای یادگیری عمیق را نشان می‌دهد. هم‌اکنون یادگیری عمیق در زمینه‌ها و علوم مختلف داده­کاوی، پردازش تصویر و صدا، رباتیک و پزشکی کاربردهای زیادی داشته است. بر اساس پیش­بینی­های مراکز علمی، در سال­های آتی، یادگیری عمیق در بسیاری از زمینه‌ها، به‌صورت مستقیم یا غیرمستقیم استفاده خواهند کرد.

با توجه به اینکه روش یادگیری عمیق، ظرفیت­ها و توانایی قابل‌توجهی در استخراج اطلاعات معتبر از مجموعه داده­ها و الگوها دارد، بسیاری از تحقیقات اخیر بر کاربرد الگوریتم‌های DP در حوزۀ مالی تمرکز کرده­اند و ادغام الگوریتم­های یادگیری عمیق با پیش­بینی­های بازار به‌عنوان یکی از مباحث جذاب در ادبیات مالی است (Cavalcante et al, 2016).

در این تحقیق تلاش می­شود مدل هیبریدی یادگیری عمیق CNN-LSTM به‌منظور پیش­بینی شاخص بورس اوراق بهادار تهران معرفی شده و کارایی این مدل با ساختارهای سنتی در این حوزه ازجمله مدل LSTM و مدل CNN مقایسه شود. در این راستا از معیارهای سنجش کارایی میانگین مطلق درصد خطا (MAPE) و ریشه میانگین مربع خطا (⁹RMSE) استفاده می­شود.

 

2- ادبیات تحقیق

همان‌طور که پیشتر بیان گردید یادگیری عمیق (DP) زیرشاخه‌ای از روش­های یادگیری ماشین بر اساس شبکه­های عصبی است. شبکه­های عصبی، الگوریتم‌های محاسباتی با توانایی یادگیری و تعمیم­پذیری هستند. شبکه­های عصبی مدل­های الکترونیکی شبیه­سازی شده بر اساس ساختار عصبی مغز انسان هستند. واژه «عمیق» در «یادگیری عمیق» به تعداد لایه­هایی اشاره می‌کند که در ساختار مدل­ها به‌منظور استخراج ویژگی­های خاص داده­های ورودی به کار گرفته می‌شوند.

بر اساس بررسی­های انجام‌شده در ایران تحقیقی که با استفاده از روش یادگیری عمیق به پیش­بینی متغیرهای مالی و اقتصادی بپردازد یافت نگردید بااین‌حال در سال­های اخیر، مطالعات زیادی با استفاده از مدل­های یادگیری عمیق به آزمون پیش­بینی­پذیری متغیرهای بازارهای مالی در کشورهای دیگر پرداخته‌اند ازجمله، لیو¹⁰ (2019) در تحقیقی با استفاده از الگوریتم­های یادگیری عمیق به پیش­بینی نوسانات بازدهی شاخص اس­اند پی 500 (S & P 500) پرداخته است. در این مطالعه کارایی مدل­های یادگیری عمیق و مدل­های واریانس ناهمسانی شرطی خودرگرسیو تعمیم­یافته (GARCH) مورد ارزیابی قرار گرفت. نتایج این تحقیق نشان‌دهندۀ کارایی بالاتر مدل­های یادگیری عمیق در پیش­بینی نوسانات بازدهی شاخص اس­اندپی 500 است.

کانکالوز و همکاران¹¹ (2019) در تحقیقی با عنوان کاربرد روش یادگیری عمیق در بازار ارز، به پیش­بینی نوسانات این بازار بر پایه مدل­های گوناگون یادگیری عمیق پرداختند.

لانگ و همکاران¹² (2018) با استفاده از دو مدل یادگیری عمیق، تلاش کردند شاخص قیمت سهام در کشور چین را مدل‌سازی و پیش‌بینی نمایند. نتایج نشان داد که عملکرد مدل ترکیبی در پیش­بینی شاخص سهام از مدل‌های رقیب بالاتر است.

تیپریسیتی¹³ (2018) تلاش نمود با استفاده از الگوریتم­های یادگیری عمیق به پیش­بینی قیمت سهام بازارهای جهانی بپردازد. در این تحقیق با استفاده از ترکیب یادگیری عمیق و تحلیل اخبار از منابع اینترنتی، مدلی هیبریدی به‌منظور پیش­بینی قیمت سهام پیشنهاد کرده است.

کراوس و همکاران¹⁴ (2017) با استفاده از مدل‌های یادگیری ماشین، شبکه­های عصبی عمیق و الگوریتم جنگل تصادفی به پیش­بینی بازده سهام با گام یک‌روزه برای شاخص S & P500 پرداختند. نتایج این تحقیق حاکی از کارایی الگوریتم جنگل تصادفی در پیش­بینی شاخص اس اند پی 500 است.

 

3- روش تحقیق

این پژوهش حاضر ازلحاظ هدف کاربردی و ازلحاظ ماهیت و روش علّی است. ازنظر ویژگی و جهت داده­ها پس رویدادی است. در این تحقیق، حرکت شاخص بورس اوراق بهادار تهران با استفاده از مدل­های یادگیری عمیق مبتنی بر شبکه­های LSTM، CNN و همچنین مدل هیبریدی یادگیری عمیق CNN-LSTM پیش­بینی می‌شود و عملکرد این مدل­ها، با استفاده از معیارهای سنجش مورد ارزیابی قرار می­گیرد. در این راستا از داده­های روزانه شاخص بورس اوراق بهادار تهران در دورۀ زمانی 23/4/1395 - 26/1/1400 استفاده می­شود. در ادامه به تشریح مدل­های یادگیری عمیق مورد استفاده در این مطالعه پرداخته می­شود.

3-1 شبکه‌های بازگشتی (RNN)

شبکه­های عصبی بازگشتی (RNN) به‌منظور شبیه­سازی رفتار انسان در استفاده از اطلاعات قبلی، توسط متخصصان حوزۀ یادگیری ماشین پیشنهاد شد. شبکه­های عصبی بازگشتی متشکل از حلقۀ بازگشتی هستند و تفاوت اصلی RNN با دیگر ساختارها این است که در این ساختار داده­های ورودی دورۀ جاری و دوره­های گذشته به‌صورت هم‌زمان به­کار گرفته می‌شوند. در واقع خروجی مدل در دورۀ جاری به داده­های دورۀ قبل نیز وابسته است. ازنظر تئوریک یک شبکۀ عصبی بازگشتی استاندارد (اگر به‌اندازۀ کافی بزرگ باشد) باید بتواند دنباله­هایی با هر پیچیدگی­ای را تولید کند اما در عمل این شبکه در ذخیره­سازی اطلاعات مرتبط با داده‌های گذشته به مدت طولانی ناتوان است. این ویژگی، علاوه بر تضعیف قدرت این شبکه در مدل‌سازی ساختارهای بلندمدت، باعث می­شود تا این نوع از شبکه­ها در زمان تولید دنباله در معرض ناپایداری قرار بگیرند. مشکلی که به وجود خواهد آمد این است که اگر پیش­بینی­های شبکه تنها وابسته به چند ورودی اخیر باشد برای اصلاح و جبران اشتباهات گذشته توسط شبکه، شانس بسیار کمی وجود خواهد داشت. یک راه‌حل برای این مشکل، تزریق نویز به پیش­بینی­های انجام‌شده توسط شبکه قبل از تغذیه آنها به گام زمانی بعدی است. این راه‌حل به تقویت شبکه در قبال ورودی‌های غیرمنتظره منجر می­شود. حافظه طولانی کوتاه‌مدت (LSTM¹⁵ ) یک ساختار شبکۀ عصبی بازگشتی است که به‌منظور ذخیره­سازی و دسترسی بهتر به اطلاعات نسبت به نسخۀ سنتی آن طراحی گردیده است.

برخلاف شبکۀ عصبی بازگشتی استاندارد (RNN)، در یک شبکۀ عصبی بازگشتی (LSTM)، شبکه قادر است نسبت به حفظ حافظه فعلی از طریق گیت‌های معرفی‌شده تصمیم­ بگیرد. به‌طور مفهومی، اگر یک واحد LSTM ویژگی مهمی در دنباله ورودی در مراحل ابتدایی را تشخیص دهد قادر است این اطلاعات را طی مسیر طولانی انتقال داده و اینگونه وابستگی­های بلندمدت احتمالی را دریافت و حفظ نماید.

شبکه­های LSTM از واحدهای LSTM تشکیل شده­اند. واحدهای LSTM با هم ادغام شده و لایه‌های LSTM تشکیل می­شوند. یک واحد LSTM از سلول­هایی تشکیل می­شود که دارای گیت ورودی، گیت خروجی و گیت فراموشی است. معادلات (1) تا (5) فرم عمومی شبکۀ LSTM را ارائه می‌کنند.

(1)
(2)
(3)
(4)
(5)

 

در اینجا xt، بردار ورودی واحد LSTM، ft بردار فعال­سازی گیت فراموشی، it بردار فعال­سازی گیت ورودی، ot: بردار فعال­سازی گیت خروجی، ht بردار خروجی واحد LSTM، ct بردار حالت سلول، gσ تابع سیگموئید، cσ تابع تانژانت هایپربولیک، W، U: ماتریس­های وزن که باید آموزش داده­شده و برازش شوند و b پارامترهای بردار بایاس هستند. ساختار یک بلوک از LSTM در شکل (2) ارائه‌شده است.

شکل (1) ساختار مدل LSTM

3-2 مدل­های کانولوشنی (CNN¹⁶)

شبکه­های عصبی کانولوشنی یا پیچشی (CNN) شاخه‌ای از شبکه­های عصبی عمیق هستند که در پیش­بینی­های سری زمانی در یادگیری ماشین استفاده می‌شوند. در شبکه­های عصبی کانولوشنی به‌منظور حداقل­سازی پیش‌پردازش‌ها از نوعی از پرسپترون­های چندلایه استفاده می‌شود. به‌جای شبکۀ عصبی کانولوشنی گاهی از این شبکه­ها با نام شبکه­های عصبی تغییرناپذیر با انتقال¹⁷ یا تغییرناپذیر با فضا¹⁸ هم یاد می‌شود. این نام­گذاری بر مبنای ساختار این شبکه است. ساختار شبکه­های کانولوشنی از فرایندهای زیستی الگوسازی شده­اند که در آنها نورون‌ها تنها در یک ناحیۀ محدود به تحریک، (که به آن ناحیۀ پذیرش گفته می­شود) واکنش نشان می‌دهند. نواحی پذیرش نورون­های مختلف به‌صورت جزئی با هم همپوشانی داشته به‌گونه‌ای که پوشش کل میدان را نتیجه می­دهند.

ساختار یک شبکۀ عصبی کانولوشنی (CNN) از لایه­های مختلفی تشکیل شده است. لایه­های پنهان کانولوشنی یا ادغامی یا کاملاً متصل هستند. لایه­های کانولوشنی ورودی وظیفۀ فیلتر کردن را به عهده دارند، سپس نتیجه را به لایۀ بعدی منتقل می­نمایند. ممکن است شبکه­های عصبی کانولوشنی از لایه­های ادغام¹⁹ محلی یا سراسری تشکیل شده باشند که خروجی­های خوشه­های نورونی در یک لایه را در یک تک ‌نورون در لایۀ بعدی ادغام می­کنند. روش حداکثر تجمیع²⁰ یک مثالی است که حداکثر مقدار بین خوشه­های نورونی در لایۀ پیشین را مورد استفاده قرار می‌دهد. میانگین تجمیع²¹ که مقدار میانگین خوشه­های نورونی در لایۀ پیشین را در نظر می­گیرد، می‌توان مثالی دیگر در نظر گرفت. شبکه­های عصبی کانولوشنی با اشتراک وزن­ها در لایه­های پیچشی، باعث ایجاد حداقل حافظه و بیشترین کارایی می­شوند. عملیات کانولوشن (فیلتر) استاندارد در معادلۀ (6) نمایش داده شده است. t نشانگر زمان، x نشان‌دهندۀ ورودی و a نشان‌دهندۀ متغیر است.

(6)

معادلۀ (7) جزئیات مربوط به معماری شبکه را ارائه می‌دهد که در آن W نشانگر وزن، x نشان‌دهندۀ ورودی، b نشان‌دهندۀ بایاس و z نشان‌دهندۀ خروجی نورون­ها است. در انتهای شبکه، از تابع softmax برای گرفتن خروجی استفاده می­شود. معادلۀ (8) و (9) تابع softmax را نشان می­دهد که در آن y نشان‌دهندۀ خروجی است.

(7)
(8)
(9)

شکل (1) نمایی کلی از معماری شبکه­های کانولوشنی در یادگیری عمیق را نشان می­دهد.

شکل (2) ساختار شبکه­های کانولوشنی در یادگیری عمیق

3-3 مدل هیبریدی CNN-LSTM

 همان‌طور که پیش­تر بیان شد مدل­های یادگیری عمیق مبتنی بر شبکه­های عصبی کانولوشنی یا پیچشی (CNN) در پیش­بینی­های سری زمانی در یادگیری ماشین استفاده می­شوند بااین‌حال بر اساس مطالعات تجربی، این مدل­ها بر استخراج ویژگی­ها متمرکز می­شوند و از طرفی مدل­های یادگیری عمیق مبتنی بر شبکه­های LSTM دارای ویژگی تعمیم­دهی بر اساس توالی زمانی هستند. بر اساس ویژگی­های دو مدل مذکور، مدل هیبریدی CNN-LSTM به‌منظور پیش­بینی داده­های سری زمانی بازارهای مالی به وجود آمده است. شکل (3)، نمایی کلی از ساختار این مدل را ارائه می­کند. همان‌طور که در این نگاره قابل مشاهده است این مدل شامل لایۀ ورودی، بخش لایۀ کانولوشنی CNN تک‌بعدی، لایۀ ادغام و بخش لایۀ پنهان LSTM است. در ادامه و در شکل (4) مکانیسم آموزش و پیش­بینی به‌وسیله مدل CNN-LSTM ترسیم شده است.

شکل (3). ساختار مدل هیبریدی CNN-LSTM

شکل (4). مکانیسم آموزش و پیش­بینی با استفاده از مدل یادگیری عمیق هیبریدی CNN-LSTM

3-4 معیارهای ارزیابی

برای ارزیابی کارایی روش­های پیش­بینی سری زمانی شاخص بورس اوراق بهادار تهران، از سه معیار اصلی استفاده می­شود:

1- میانگین درصد قدر مطلق خطای متقارن (SMAPE²²)

2- میانگین مطلق درصد خطا²³ (MAPE)

3- ریشه میانگین مربع خطا (²⁴RMSE)

این معیارها به‌صورت روابط زیر تعریف می‌شوند:

(10)
(11)
(12)

جاییکه  و  به ترتیب مقادیر واقعی و پیش­بینی­شده در زمان t هستند.

 

4- نتایج برآورد مدل‌های یادگیری عمیق

در این تحقیق داده­های شاخص بورس اوراق بهادار تهران به‌عنوان متغیر اصلی تحقیق به‌منظور ورود به پروسه مدل‌سازی و پیش­بینی با استفاده از مدل­های یادگیری عمیق (DL) در ابتدا با استفاده از رابطۀ زیر، نرمال‌سازی می­شوند:

(13)

در این رابطه  و  به ترتیب میانگین و انحراف معیار داده­های شاخص بورس در دورۀ مورد بررسی هستند. پس از مرحلۀ پیش‌پردازش و نرمال‌سازی، داده­های نرمال­سازی شده به دو بخش داده­های آموزش و داده­های آزمون تقسیم می­شوند. در این تحقیق 80% داده­ها به بخش آموزش تخصیص داده می­شود و 20% باقیمانده به‌منظور آزمون در مدل یادگیری عمیق مورد استفاده قرار می­گیرد. لازم به ذکر است که در مرحلۀ آموزش اوزان در مدل­های یادگیری عمیق بر اساس شبکه­های عصبی به‌صورتی تعدیل می­شوند که بتوان الگوهای موجود در سری زمانی را شناسایی کرد. در مرحلۀ تست، بر اساس داده­های واقعی و اندازه­گیری معیارهای سنجش کارایی، قدرت پیش­بینی و تعمیم­دهی مدل به داده­های واقعی سنجیده می­شود.

 

4-1 فرآیند آموزش

شکل (5) فرایند آموزش مدل ترکیبی یادگیری عمیق مبتنی بر شبکه CNN-LSTM را نشان می­دهد. همان‌طور که در این شکل مشخص است بهینه­سازی فرایند یادگیری در این مدل بر اساس حداقل­سازی RMSE و تابع زیان انجام شده است. در جدول (1) تنظیمات هایپرپارمترهای مدل که بر اساس برآورد چندین مدل و انتخاب مدل با بالاترین کارایی انجام شده است را نشان می­دهد.

شکل (5). فرآیند آموزش مدل یادگیری عمیق هیبریدی مبتنی بر CNN-LSTM منبع: محاسبات تحقیق

 

جدول (1) تنظیمات هایپرپارامترای مدل CNN-LSTM
32	Convolution layer filters
Tanh	Convolution layer activation function
Same	Convolution layer padding
Same	Pooling layer padding
Relu	Pooling layer activation function
64	Number of hidden units in LSTM layer
Tanh	LSTM layer activation function
0.001	Learning rate
Adam	Optimizer
mean_absolute_error	Loss function
600	Epochs
8	Iteration per Epoch
4800	Iteration

در جدول (1) تمامی تنظیمات هایپر پارامترهای مدل مورد بررسی را نشان می­دهد.

 

4-2 پیش­بینی براساس مدل­های یادگیری عمیق

در ادامه و در شکل (6) تا (8) نتایج پیش­بینی شاخص بورس اوراق بهادار در دورۀ آزمون داده­ها به ترتیب با استفاده از سه مدل LSTM، CNN و مدل هیبریدی CNN-LSTM ارائه‌شده است. نتایج ارائه‌شده نشان‌دهندۀ عملکرد و دقت بهتر مدل هیبریدی CNN-LSTM در پیش­بینی با گام یک روز به جلو نسبت به دو مدل دیگر است. بااین‌حال به‌منظور بررسی دقیق­تر این موضوع باید کارایی این مدل­ها در پیش­بینی وضعیت شاخص بورس بر اساس سه معیار سنجش کارایی بررسی شود.

شکل (6). پیش­بینی شاخص بورس اوراق بهادار تهران بر اساس مدل CNN-LSTM

شکل (7). پیش‌بینی شاخص بورس اوراق بهادار تهران بر اساس مدل LSTM

شکل (8). پیش‌بینی شاخص بورس اوراق بهادار تهران بر اساس مدل CNN

در این بخش از سه معیار سنجش کارایی به‌منظور ارزیابی عملکرد مدل­های پیش‌بینی شاخص بورس اوراق بهادار بر اساس روش یادگیری عمیق مبتنی بر شبکه­های عصبی استفاده می­شود. نتایج محاسبات معیارهای میانگین درصد قدر مطلق خطای متقارن (SMAPE)، میانگین مطلق درصد خطا (MAPE) و ریشه میانگین مربع خطا (RMSE) در جدول (2) ارائه ‌شده است. بر اساس نتایج ارائه‌شده در جدول (2)، مدل CNN-LSTM بهترین عملکرد را داشته است و مدل LSTM در رتبۀ بعدی دقت و کارایی پیش­بینی ارائه ‌شده است.

جدول (2). معیارهای سنجش دقت و کارایی پیش­بینی مدل­های یادگیری عمیق
CNN	LSTM	CNN-LSTM
02044/0	012559/0	0070/0	SMAPE
0858/0	0489/0	0289/0	MAPE
112650	63957	43341	RMSE
منبع: یافته‌های پژوهش

5- بحث و نتیجه­گیری

اخیراً در حوزه یادگیری ماشینی، گرایشی با نام یادگیری عمیق (DL)، در پیش­بینی­های مالی، توجه بسیاری را جلب کرده است. بااینکه یادگیری عمیق در سال­های ابتدایی توسعه خود قرار دارد، اما روند تحقیقات، مقالات و سرمایه‌گذاری‌های شرکت­های بزرگ در این حوزه، نشان­دهندۀ گسترش روزافزون کاربردهای یادگیری است. با توجه به ظرفیت­ها و توانایی قابل توجه روش یادگیری عمیق در استخراج اطلاعات معتبر از مجموعه داده­ها و الگوهای شناسایی قدرتمند، بسیاری از مقالات اخیر بر کاربرد تکنیک­های DP در حوزۀ مالی متمرکز شده­اند و ادغام الگوریتم­های یادگیری عمیق با پیش­بینی­های بازار به‌عنوان یکی از جذاب­ترین مباحث در ادبیات مالی در نظر گرفته می­شود (Cavalcante et al, 2016).

در این تحقیق تلاش شد مدل هیبریدی یادگیری عمیق مبتنی بر ساختار شبکه­های عصبی CNN-LSTM به‌منظور پیش­بینی شاخص بورس اوراق بهادار تهران معرفی شده و کارایی این مدل با ساختارهای سنتی در این حوزه ازجمله مدل LSTM و مدل CNN مقایسه شود. در این راستا از معیارهای سنجش کارایی میانگین درصد قدر مطلق خطای متقارن (SMAPE)، میانگین مطلق درصد خطا (MAPE) و ریشۀ میانگین مربع خطا (RMSE) استفاده شد. نتایج پیش­بینی بر اساس سه مدل مذکور، مدل هیبریدی یادگیری عمیق مبتنی بر ساختار شبکه­های عصبی CNN-LSTM برترین عملکرد را داشته است و مدل یادگیری عمیق مبتنی بر شبکه­های عصبی LSTM در رتبۀ بعدی قرار دارد. نتایج این تحقیق نشان می­دهد که مدل­های یادگیری عمیق می­تواند به‌عنوان ابزاری با کارایی بالا در پیش­بینی روندهای حرکتی متغیرهای مالی مورد استفاده قرار گیرد از اینرو به فعالان بازارهای مالی، استفاده و توجه ویژه به این ابزار پیشنهاد می­شود.

 

References:

-       Adebiyi, A. A., Adewumi, A. O., & Ayo, C. K. (2014). Comparison of arima and artifi- cial neural networks models for stock price prediction. Journal of Applied Math- ematics, 2014.#

-       Andrew Ang & Geert Bekaert (2007). "Stock Return Predictability: Is it There?" Review of Financial Studies, Society for Financial Studies, vol. 20(3), pages 651-707.#

-       Bollerslev, T., Marrone, J., Xu, L., & Zhou, H. (2014). Stock return predictability and variance risk premia: Statistical inference and international evidence. Journal of Financial and Quantitative Analysis, 49 (03), 633–661.#

-       Krauss, C., Do, X. A., Huck, N. (2017). Deep neural networks, gradient boosted trees, random forests: Statistical arbitrage on the S&P 500. European Journal of Operational Research 259(2), 689–702.#

-       Christopher Krauss; Xuan Anh Do and Nicolas Huck, (2017), Deep neural networks, gradient-boosted trees, random forests: Statistical arbitrage on the S&P 500, European Journal of Operational Research, 259, (2), 689-702.#

-       Gonçalves, R., Miguel,R. V, Pereira. F., Rocha. A., (2019). Deep learning in exchange markets. Information Economics and Policy.#

-       Kara, Y. and O. Baykan (2011). “Predicting Direction of Stock Price Index Changes Using Artificial Neural Networks and Support Vector Machines: The Sample of the Istanbul Stock Exchange”, Expert Systems with Applications, Vol. 36, No. 2, pp. 3355-3366.#

-       Krauss, C., Do, X. A., Huck, N. (2017). Deep neural networks, gradient-

     R.C. Cavalcante, R.C. Brasileiro, V.L.F. Souza, J.P. Nobrega, A.L.I. Oliveira, (2016). Computational Intelligence and Financial Markets: A Survey and Future Directions, Expert Systems with Applications, 55,194-211.#

-  Tipirisetty, Abhinav, "Stock Price Prediction using Deep Learning" (2018). Master's Projects. 636. DOI: https://doi.org/10.31979/etd.bzmm-36m7.#

-  Tipirisetty, Abhinav, (2018). Stock Price Prediction using Deep Learning, Master's Projects. 636.#

-  Vadiei, Mohammad Hossein, & Hosseini, Seyyed Mohammad. (2012). The relationship between performance evaluation criteria and abnormal stock return. journal of empirical research in accounting, 1(4), 73-87. #

- W. Long, Z. Lu and L. Cui, (2018). Deep learning-based feature engineering for stock price movement prediction, Knowledge-Based Systems .#

- Yan, L.; Zhang, H. T.; Goncalves, J.; Xiao, Y.; Wang, M. et al. (2020): A machine learning-based model for survival prediction in patients with severe COVID-19 infection. MedRxiv: 2020.2002.2027.20028027#

- Yang Liu, (2019). Novel Volatility Forecasting Using Deep Learning – Long Short Term Memory Recurrent Neural Networks, Expert Systems with Applications.#

 

 

COPYRIGHTS © 2023 by the authors. Licensee Advances in Modern Management Engineering Journal. This article is an open access article distributed under the terms and conditions of the Creative Commons Attribution 4.0 International (CC BY 4.0) (http://creativecommons.org/licenses/by/4.0/).

 

---

[1]  Ph.D. Candidate, Department of Management, Qo.C., Islamic Azad University, Qom, Iran

[2]  Assistant Professor, Department of Accounting, Qo.C., Islamic Azad University, Qom, Iran (Corresponding Author) [e-mail]

[3]  Associate Professor, Department of Management, CT.C, Islamic Azad University, Tehran, Iran

[4]  Assistant Professor, Department of Accounting, Qo.C., Islamic Azad University, Qom, Iran

Citation: Mehdi Heidarzadeh, Mozhgan Safa, Mirfeiz Fallah Shams, Hossein Jahangirnia (2024). Predictability of Tehran Stock Exchange Using Deep Learning Models (Hybrid CNN-LSTM Model). . Modern Management Engineering, 10(3), 154-172. [In Persian] 

 

10.71652/jmem.2024.0108229

[5]  دانشجوی دکتری گروه مدیریت، واحد قم، دانشگاه آزاد اسلامی، قم، ایران.

[6]  استادیار گروه حسابداری، واحد قم، دانشگاه آزاد اسلامی، قم، ایران، (نویسنده مسئول).   [e-mail]

[7]  دانشیار گروه مدیریت، واحد تهران مرکزی، دانشگاه آزاد اسلامی، تهران، ایران. 

[8]  استادیار گروه حسابداری، واحد قم دانشگاه آزاد اسلامی، قم، ایران.

استناد:  مهدی حیدرزاده، مژگان صفا، میرفیض فلاح شمس، حسین جهانگیری (1403) پیش­بینی­پذیری بورس اوراق بهادار تهران با استفاده از مدل­های یادگیری عمیق  (مدل هیبریدی CNN-LSTM). مهندسی مدیریت نوین،154-172. 10(3). 

10.71652/jmem.2024.0108229

[9]  Root Mean Square Error (RMSE)

[10]  Liu

[11]  Gonçalves et al.

[12]  Long et al.

[13]  Tipirisetty.

[14]  Krauss et al.

[15] Long Short-Term Memory

[16]  Convolutional Neural Network

[17]  Shift Invariant

[18]  Space Invariant

[19]  Pooling Layer

[20]  Max Pooling

[21]  Average Pooling

[22]  Symmetric Mean Absolute Percentage Error (SMAPE)

[23]  Mean Absolute Percentage Error (MAPE)

[24]  Root Mean Square Error (RMSE)

---