مکان‌یابی خودکار کاروانسراها در تصاویر ماهواره‌ای با بهره‌گیری از تکنیک‌های پردازش تصویر مبتنی بر یادگیری عمیق

الموضوعات :

محمدحسین سالاری ¹ , محمدامین شایگان ² , فرناز فرجی ³

1 - آزمایشگاه فناوری‌های تعاملی، دپارتمان علوم جنگلبانی و تکنولوژی،دانشگاه فنلاند شرقی
2 - گروه مهندسی کامپیوتر ، واحد شیراز ، دانشگاه آزاد اسلامی ، شیراز ، ایران
3 - دانشکده علوم انسانی، دانشکده تاریخ، کلاسیک و باستان‌شناسی، دانشگاه نیوکاسل

تاريخ الإرسال : 17 الإثنين , رجب, 1445 تاريخ التأكيد : 10 الثلاثاء , شعبان, 1445 تاريخ الإصدار : 23 الثلاثاء , رمضان, 1445

الکلمات المفتاحية: یادگیری عمیق, کاروانسرا, تصاویر ماهواره‌ای, شبکه‌های عصبی پیچیده, الگوریتم YOLOv5 ,

ملخص المقالة :

علیرغم افزایش روزافزون استفاده از یادگیری عمیق در پردازش تصاویر، لیکن استفاده از این تکنولوژی‌ در زمینه‌های مرتبط با میراث‌فرهنگی، به دلیل مشکلاتی همانند نبود پایگاه‌‌‌داده‌های مناسب، هزینه‌بر بودن ایجاد پایگاه‌داده‌ی جدید‌، پیچیدگی کار با شبکه‌های عصبی عمیق، نیاز به منابع سخت‌افزاری گران‌قیمت و ...، بسیار محدود مانده است. در این مقاله با استفاده از تکنیک‌های پردازش تصویر مبتنی بر یادگیری عمیق، روشی برای مکان‌یابی خودکار کاروانسراها در تصاویر ماهواره¬ای معرفی شده است. بدین منظور یک پایگاه‌داده از تصاویر ماهواره‌ای ۲۰۳ کاروانسرای ایران ایجاد و سپس با استفاده از تکنیک یادگیری انتقالی، الگوریتم یافتن شی YOLOv5 برای مکان‌یابی کاروانسراها بر روی پایگاه‌داده فوق، آموزش داده شده است. برای بررسی کارائی این شبکه، ۲۵ تصویر جدید با ابعاد ۵/۲×۵/۲ کیلومتر مربع از محیط اطراف برخی از کاروانسراها انتخاب و با استفاده از تکنیک پنجره لغزان و وزن‌های آموزش داده شده در گام پیشین، عملیات تشخیص کاروانسراها بر روی این تصاویر انجام گرفت. به منظور کاهش میزان تشخیص‌های اشتباه، مکان‌هایی که به اشتباه تشخیص داده شده بودند، به عنوان داده جدید به پایگاه‌داده افزوده شد و الگوریتم YOLOv5 مجدداً آموزش داده شد. دقت نهایی الگوریتم پیشنهادی در یافتن محل کاروانسرا برابر mAP_0.5 ۴۳/۹۱% بوده است.

المصادر:

[۱] کیانی، م. ی. معماری ایران : دوران اسلامی. سازمان مطالعه و تدوین کتب علوم انسانی دانشگاهها (سمت) ، 1379 .
[۲] زنجانی، ف، مالیان، ع. "استخراج خودکار کاروانسراهای ایرانی از تصاویر ماهواره ای با بهره گیری از الگوریتم تناظریابی الگویی" ، سیزدهمین سمپوزیوم بین المللی پیشرفت های علوم و تکنولوژی:سرزمین پایدار، معماری و شهرسازی ، 1397.
[3] Belhi, Abdelhak, et al. "Deep learning and cultural heritage: the CEPROQHA project case study." 2019 13th International Conference on Software, Knowledge, Information Management and Applications (SKIMA). IEEE, 2019.
[4] Kersten, T. P., and M. Lindstaedt. "Potential of automatic 3D object reconstruction from multiple images for applications in architecture, cultural heritage and archaeology." International Journal of Heritage in the Digital Era 1.3 (2012): 399-420.
[5] Condorelli, Francesca, et al. "A neural networks approach to detecting lost heritage in historical video." ISPRS International Journal of Geo-Information 9.5 (2020): 297.
[۶] کیانی، م، کلایس، و . فهرست کاروانسراهای ایران ، جلد اول ، سازمان میراث فرهنگی کشور، 1363.
[7] Redmon, Joseph, et al. "You only look once: Unified, real-time object detection." Proceedings of the IEEE conference on computer vision and pattern recognition. 2016.
[8] Mohamed, Hussam El-Din, et al. "Msr-yolo: Method to enhance fish detection and tracking in fish farms." Procedia Computer Science 170 (2020): 539-546.
[9] Jocher, Glenn, et al. YOLOv5 . Zenodo. https://doi.org/10.5281/zenodo.5563715 (2021)
[10] Zhou, Junchi, et al. "Ship target detection algorithm based on improved YOLOv5." Journal of Marine Science and Engineering 9.8 (2021): 908.
[11] Yao, Jia, et al. "A real-time detection algorithm for Kiwifruit defects based on YOLOv5." Electronics 10.14 (2021): 1711.
[12] Fang, Yiming, et al. "Accurate and automated detection of surface knots on sawn timbers using YOLO-V5 model." BioResources 16.3 (2021): 5390.
[13] Wang, Chien-Yao, et al. "CSPNet: A new backbone that can enhance learning capability of CNN." Proceedings of the IEEE/CVF conference on computer vision and pattern recognition workshops. 2020.
[14] Powers, David MW. "Evaluation: from precision, recall and F-measure to ROC, informedness, markedness and correlation." arXiv preprint arXiv:2010.16061 (2020).
[15] Chen, Sheng, Bernard Mulgrew, and Peter M. Grant. "A clustering technique for digital communications channel equalization using radial basis function networks." IEEE Transactions on neural networks 4.4 (1993): 570-590.
[16] Rezatofighi, Hamid, et al. "Generalized intersection over union: A metric and a loss for bounding box regression." Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2019.
[۱۷] زنجانی، ف، مالیان، ع. "ملاحظات هندسی و پرتوسنجی برای آشکارسازی و مستندنگاری کاروانسراها" ، نخستین همایش ملی مستندنگاری میراث طبیعی و فرهنگی ، 1396.
[18] Darma, I. Wayan Agus Surya, Nanik Suciati, and Daniel Siahaan. "A performance comparison of balinese carving motif detection and recognition using YOLOv5 and mask R-CNN." 2021 5th International Conference on Informatics and Computational Sciences (ICICoS). IEEE, 2021.
[19] Llamas, Jose, et al. "Classification of architectural heritage images using deep learning techniques." Applied Sciences 7.10 (2017): 992.
[20] Oses, Noelia, Fadi Dornaika, and Abdelmalik Moujahid. "Image-based delineation and classification of built heritage masonry." Remote Sensing 6.3 (2014): 1863-1889.
[21] Groener, Austen, Gary Chern, and Mark Pritt. "A comparison of deep learning object detection models for satellite imagery." 2019 IEEE Applied Imagery Pattern Recognition Workshop (AIPR). IEEE, 2019.
[22] Balaniuk, R., O. Isupova, and S. Reece. "Mining and tailings dam detection in satellite imagery using deep learning. arXiv 2020." arXiv preprint arXiv:2007.01076.
[23] Wang, Tao, et al. "Landslide detection based on improved YOLOv5 and satellite images." 2021 4th International Conference on Pattern Recognition and Artificial Intelligence (PRAI). IEEE, 2021.
[24] Jindal, Manik, et al. "Aircraft Detection from Remote Sensing Images using YOLOV5 Architecture." 2022 6th International Conference on Devices, Circuits and Systems (ICDCS). IEEE, 2022.
[25] Zhanying, Zhang, and Chen Xinyuan. "Research on Forest Fire Detection Algorithm Based on Yolov5." 2021 International Conference on Intelligent Computing, Automation and Systems (ICICAS). IEEE, 2021.
[26] Hu, Mingdi, Yaqian Ren, and Haoxin Chai. "Forest Fire Detection Based on Improved YOLOv5." Proceedings of the 2021 4th International Conference on Artificial Intelligence and Pattern Recognition. 2021.
[۲۷] کیانی ، م، کلایس، ، و . فهرست کاروانسراهای ایران، جلد دوم، سازمان میراث فرهنگی کشور، 1386.
[28] LabelIm. Open Annotation Tool. http://labelme.csail.mit.edu/Release3.0. Last accessed 24 July 2021