بررسی کارایی شبکه یادگیری عمیق در شناسایی تغییرات اراضی با استفاده از تصاویر دو زمانه لندست-8

محورهای موضوعی : برنامه های کاربردی در تغییرات آب و هوایی زمین

سهند طاهرمنش ¹ , بهنام اصغری بیرامی ² , مهدی مختارزاده ³

1 - دانشجوی کارشناسی ارشد سنجش از دور ، دانشکده مهندسی نقشه برداری، دانشگاه صنعتی خواجه نصیرالدین طوسی، ایران
2 - دانشجو دکترا سنجش از دور و فتو گرامتری
3 - دانشیار دانشگاه خواجه نصیر الدین طوسی

تاریخ دریافت : 1401/02/25 تاریخ پذیرش : 1401/05/12 تاریخ انتشار : 1403/07/08

کلید واژه: جنگل تصادفی, شبکه عصبی مصنوعی, شبکه عصبی کانولوشن, یادگیری عمیق, پایش تغییرات,

چکیده مقاله :

علم سنجش‌ازدور با به‌کارگیری تصاویر چند زمانه ماهواره‌ای، امکان پایش تغییرات در فواصل زمانی مختلف را فراهم کرده است. رویکرد پیکسل مبنا در شناسایی تغییرات توانایی ارائه ‌دقت بالا را ندارد و ازاین‌رو باید ویژگی‌های مکانی در کنار ویژگی‌های طیفی بکار روند. استفاده از روش‌های سنتی تولید ویژگی‌ مکانی مانند ماتریس هم رخداد با چالش‌هایی روبه‌رو است. تولید این ویژگی‌ها علاوه بر این‌که وابسته به انتخاب کاربر است، به‌صورت ناخواسته باعث افزایش فضای ویژگی می‌گردد. تمرکز اصلی مقاله حاضر در به‌کارگیری ویژگی‌های طیفی-مکانی در راستای حل محدودیت روش‌های سنتی در شناسایی تغییرات می‌باشد. در این تحقیق، ویژگی‌های طیفی-مکانی توسط خود شبکه یادگیری عمیق پیشنهادی استخراج شده و در طبقه‌بندی بکار گرفته‌شده‌اند. تصاویر لندست-8، ورودی شبکه بوده و فرایند استخراج ویژگی‌ به‌صورت سلسله مراتبی صورت گرفته است. بر اساس ویژگی‌های طیفی-مکانی عمیق تولیدی از لایه‌های شبکه، خروجی شبکه تصاویر طبقه‌بندی‌شده‌ی قبل و بعد می‌باشد. درنهایت، بر اساس رویکرد پساطبقه‌بندی نقشه تغییرات حاصل می‌گردد. از شبکه پیشنهادی جهت ارزیابی تغییرات شهر سهند با استفاده از تصاویر سنجنده لندست-8 در بین سال‌های 2013 تا 2021 استفاده ‌شده است. برای اثبات قابلیت شبکه پیشنهادی در به‌کارگیری ویژگی و طبقه‌بندی دقیق تصاویر، نتایج حاصل‌شده با نتایج روش‌های جنگل تصادفی و شبکه عصبی مصنوعی مقایسه ‌شده است. نتایج شناسایی تغییرات نشان داد که به‌کارگیری شبکه یادگیری عمیق پیشنهادی دقت کلی شناسایی تغییرات باینری را به ترتیب به میزان 88/13% و 80/12% نسبت به شبکه عصبی مصنوعی و جنگل تصادفی افزایش می‌دهد. همچنین به‌کارگیری شبکه پیشنهادی دقت کلی نقشه ماهیت تغییرات را به ترتیب به میزان 81/57% و7/65% در مقایسه با جنگل تصادفی و شبکه عصبی مصنوعی افزایش داده است. روش‌های جنگل تصادفی و شبکه عصبی مصنوعی علیرغم اینکه توانسته‌اند محل تغییرات را شناسایی کنند اما در ارائه نوع ماهیت تغییرات عملکرد نامناسبی ارائه کرده‌اند.

چکیده انگلیسی:

Satellite remote sensing images are widely used to monitor the earth's surface phenomena changes at various periods. For accurate change detection, spatial features can be used as the complement information of spectral features. Hand-craft spatial features such as the co-occurrence matrix features are inefficient in detecting the changes due to the complex structure of satellite images. In the present study, a deep learning-based model is proposed as the alternative to address the problems of classical change detection methods. deep neural networks are mainly developed for images and hierarchically extracting spatial-spectral features. In this study, Landsat-8 images between 2013 and 2021 were used to evaluate the changes in Sahand city using the proposed deep network. Pre- and post-classified Landsat-8 images are produced using a deep neural network in the first stage. In the second stage, for producing the change maps, the post-classification approach is used in that change maps are produced based deference of classified images. Finally, the majority voting technique eliminates the noises in change maps. The proposed method results are compared with those obtained by two classical machine learning methods, random forest, and artificial neural networks. According to the change detection results, the proposed deep learning network improves detection accuracy by 13.88% and 12.80% compared with artificial neural networks and random forests. Compared to the random forest and artificial neural networks, the proposed network has improved the overall accuracy of the from-to-change maps by 57.81% and 65.7%, respectively. Final results demonstrate that although Random forest and artificial neural networks have been able to identify the location of changes, they perform poorly in detecting the from-to changes

منابع و مأخذ:


1. Chen H, Wu C, Du B, Zhang L, Wang L. 2020. Change Detection in Multisource VHR Images via Deep Siamese Convolutional Multiple-Layers Recurrent Neural Network. IEEE Transactions on Geoscience and Remote Sensing, 58(4): 2848-2864. doi: 10.1109/TGRS.2019.2956756.
2. Daudt RC, Le Saux B, Boulch A, Gousseau Y. 2018. Urban change detection for multispectral earth observation using convolutional neural networks. International Geoscience and Remote Sensing Symposium (IGARSS), 2018-July: 2115-2118. doi: 10.1109/IGARSS.2018.8518015.
3. Erener A. 2013. Classification method, spectral diversity, band combination and accuracy assessment evaluation for urban feature detection. International Journal of Applied Earth Observation and Geoinformation, 21(1): 397-408. doi: 10.1016/J.JAG.2011.12.008.
4. Estoque RC, Murayama Y. 2015. Classification and change detection of built-up lands from Landsat-7 ETM+ and Landsat-8 OLI/TIRS imageries: A comparative assessment of various spectral indices. Ecological Indicators, 56: 205-217. doi: 10.1016/J.ECOLIND.2015.03.037.
5. Garbin C, Zhu X, Marques O. 2020. Dropout vs. batch normalization: an empirical study of their impact to deep learning. Multimedia Tools and Applications, 79(19): 12777-12815. doi: 10.1007/s11042-019-08453-9.
6. Gislason PO, Benediktsson JA, Sveinsson JR. 2006. Random Forests for land cover classification. Pattern Recognition Letters, 27(4): 294-300. doi: 10.1016/J.PATREC.2005.08.011.
7. Ji M, Liu L, Du R, Buchroithner MF. 2019. A Comparative Study of Texture and Convolutional Neural Network Features for Detecting Collapsed Buildings After Earthquakes Using Pre- and Post-Event Satellite Imagery. Remote Sensing 2019, Vol 11, Page 1202, 11(10): 1202-1202. doi: 10.3390/RS11101202.
8. Krizhevsky A, Sutskever I, Hinton GE. 2012. ImageNet Classification with Deep Convolutional Neural Networks. In: Pereira F, Burges CJC, Bottou L, Weinberger KQ (eds). Curran Associates, Inc.
9. Li S, Song W, Fang L, Chen Y, Ghamisi P, Benediktsson JA. 2019. Deep learning for hyperspectral image classification: An overview. IEEE Transactions on Geoscience and Remote Sensing, 57(9): 6690-6709. doi: 10.1109/TGRS.2019.2907932.
10. Liu S, Marinelli D, Bruzzone L, Bovolo F. 2019. A review of change detection in multitemporal hyperspectral images: Current techniques, applications, and challenges. IEEE Geoscience and Remote Sensing Magazine, 7(2): 140-158. doi: 10.1109/MGRS.2019.2898520.
11. Lyu H, Lu H, Mou L, Li W, Wright J, Li X, Li X, Zhu XX, Wang J, Yu L, Gong P. 2018. Long-Term Annual Mapping of Four Cities on Different Continents by Applying a Deep Information Learning Method to Landsat Data. Remote Sensing 2018, Vol 10, Page 471, 10(3): 471-471. doi: 10.3390/RS10030471.
12. Ma L, Liu Y, Zhang X, Ye Y, Yin G, Johnson BA. 2019. Deep learning in remote sensing applications: A meta-analysis and review. ISPRS Journal of Photogrammetry and Remote Sensing, 152: 166-177. doi: 10.1016/J.ISPRSJPRS.2019.04.015.
13. Mhangara P, Odindi J. 2013. Potential of texture-based classification in urban landscapes using multispectral aerial photos. South African Journal of Science, 109(3-4): 1-8. doi: 10.1590/sajs.2013/1273.
14. Mishra PK, Rai A, Rai SC. 2020. Land use and land cover change detection using geospatial techniques in the Sikkim Himalaya, India. The Egyptian Journal of Remote Sensing and Space Science, 23(2): 133-143. doi: 10.1016/J.EJRS.2019.02.001.
15. Rohani N, Moradi Faraj A, Mojaradi B, Rajaee T, Jabbari E. 2021. Investigation of land use change in Qom province along with climatic parameters using satellite remote sensing technology. Journal of RS and GIS for Natural Resources, 12(4): 28-46. http://dorl.net/dor/20.1001.1.26767082.1400.12.4.2.9
16. Sadeghi V, Enayati H, Ebadi H. 2016. Improving changedetection in urban areas byselectingthe optimal spectral and spatial features based on genetic algorithm. Scientific- Research Quarterly of Geographical Data (SEPEHR), 24(96): 135-152. (In Persian). doi: 10.22131/sepehr.2016.18949.
17. Sepehri A, Jamali AA, Hasanzadeh M. 2019. Analysis and comparison of land use/land cover changes using artificial neural network (Case study: lands of Taft and Mehriz). Journal of RS and GIS for Natural Resources, 10(4): 91-105.(In Persian).
18. Sharifi O, Mokhtarzadeh M, Asghari Beirami B. 2021. A new deep learning approach for classification of hyperspectral images: feature and decision level fusion of spectral and spatial features in multiscale CNN. Geocarto International 2021 Pages 1-26. doi: 10.1080/10106049.2021.1882006.
19. Shi W, Zhang M, Zhang R, Chen S, Zhan Z. 2020. Change Detection Based on Artificial Intelligence: State-of-the-Art and Challenges. Remote Sensing 2020, Vol 12, Page 1688, 12(10): 1688-1688. doi: 10.3390/RS12101688.
20. Tewkesbury AP, Comber AJ, Tate NJ, Lamb A, Fisher PF. 2015. A critical synthesis of remotely sensed optical image change detection techniques. Remote Sensing of Environment, 160: 1-14. doi: 10.1016/J.RSE.2015.01.006.
21. Viana CM, Oliveira S, Oliveira SC, Rocha J. 2019. Land Use/Land Cover Change Detection and Urban Sprawl Analysis. Spatial Modeling in GIS and R for Earth and Environmental Sciences: 621-651. doi: 10.1016/B978-0-12-815226-3.00029-6.
22. Wang W, Li W, Zhang C, Zhang W. 2018. Improving Object-Based Land Use/Cover Classification from Medium Resolution Imagery by Markov Chain Geostatistical Post-Classification. Land 2018, Vol 7, Page 31, 7(1): 31-31. doi: 10.3390/LAND7010031.
23. Wu C, Du B, Cui X, Zhang L. 2017. A post-classification change detection method based on iterative slow feature analysis and Bayesian soft fusion. Remote Sensing of Environment, 199: 241-255. doi: 10.1016/J.RSE.2017.07.009.
24. Yamashita R, Nishio M, Do RKG, Togashi K. 2018. Convolutional neural networks: an overview and application in radiology. Insights into Imaging, 9(4): 611-629. doi: 10.1007/S13244-018-0639-9/FIGURES/15.
25. Yang L, Xian G, Klaver JM, Deal B. 2003. Urban land-cover change detection through sub-pixel imperviousness mapping using remotely sensed data. Photogrammetric Engineering and Remote Sensing, 69(9): 1003-1010. doi: 10.14358/PERS.69.9.1003.
26. Ye S, Chen D. 2015. An unsupervised urban change detection procedure by using luminance and saturation for multispectral remotely sensed images. Photogrammetric Engineering and Remote Sensing, 81(8): 637-645. doi: 10.14358/PERS.81.8.637.
27. Zhang J, Cheng T, Shi L, Wang W, Niu Z, Guo W, Ma X. 2022a. Combining spectral and texture features of UAV hyperspectral images for leaf nitrogen content monitoring in winter wheat. International Journal of Remote Sensing: 1-22. doi: 10.1080/01431161.2021.2019847.
28. Zhang P, Gong M, Zhang H, Liu J, Ban Y. 2019. Unsupervised Difference Representation Learning for Detecting Multiple Types of Changes in Multitemporal Remote Sensing Images. IEEE Transactions on Geoscience and Remote Sensing, 57(4): 2277-2289. doi: 10.1109/TGRS.2018.2872509.
29. Zhang X, He L, Qin K, Dang Q, Si H, Tang X, Jiao L. 2022b. SMD-Net: Siamese Multi-Scale Difference-Enhancement Network for Change Detection in Remote Sensing. Remote Sensing 2022, Vol 14, Page 1580, 14(7): 1580-1580. doi: 10.3390/RS14071580.
30. ZhiYong L, Liu T, Benediktsson JA, Falco N. 2021. Land Cover Change Detection Techniques: Very-High-Resolution Optical Images: A Review. IEEE Geoscience and Remote Sensing Magazine: 2-21. doi: 10.1109/MGRS.2021.3088865.