مه‌زدایی تصاویر دیجیتال با استفاده از ترکیب ویژگی‌ها و یادگیری عمیق
محورهای موضوعی : یادگیری ماشین (یادگیری عمیق، شبکه های عصبی مصنوعی، الگوریتم های تکاملی، داده کاوی و...)
یاسر علمی سولا
1
*
,
سمیه رستگاری فر
2
1 - دانشکده مهندسی کامپیوتر و فناوری اطلاعات، دانشگاه آزاد اسلامی، سبزوار ، ایران
2 - انشگاه آزاد اسلامی- واحد سبزوار
کلید واژه: مه زدایی تصویر, یادگیری عمیق, یکسان سازی هیستوگرام, شبکه عصبی کانولوشنی,
چکیده مقاله :
مه معمولاً باعث تداخل شدید در تصویر می‌شود. چنین تخریبی در تصاویر هم ناظران انسانی و هم سیستم‌های بینایی رایانه‌ای را با مشکل مواجه می‌کند. مه زدایی تصویر فرآیند بهبود کیفیت تصاویری است که تحت تأثیر پراکندگی ناشی از هوا یا قطرات ریز آب قرار گرفته اند. در این مقاله روشی نوین برای حذف مه با کیفیت بالا پیشنهاد شده‌است. الگوریتم پیشنهاد شده برای حذف مه از تصاویر از ترکیب دو روش کارآمد با پایه ریاضی و افزودن یک طبقه یادگیر عمیق کمک گرفته است. روش پیشنهادی در فاز اول مه زدایی را بر اساس یکسان سازی هیستوگرام تطبیقی و تصحیح گاما انجام می دهد. این بخش در فضای رنگ HSV و RGB عمل می‌کند. در فاز دوم از روش مبتنی بر کانال رنگ استفاده شده است که برای حذف مه با الگو گرفتن از مغز انسان، با پردازش بر روی روشنایی و میزان اشباع پیکسل‌ها در یک تصویر مه‌آلود و بررسی تغییرات غلظت مه زدایی را انجام می دهد. در فاز سوم از شبکه عمیق رفع نویز DnCNN برای رسیدن به تصویر با کیفیت بالاتر کمک گرفته شده است. شبکه DnCNN با این توجیه که پس از پردازش تصاویر، مه باقیمانده از یک الگوی نویزی تبعیت می‌کند و می‌توان آن را نویز در نظر گرفت استفاده شده‌است. نتایج پیاده سازی و ارزیابی روش پیشنهادی بر روی پایگاه داده های تصویری استاندار نشان داد که روش پیشنهادی علاوه بر بهبود کیفیت نتایج نسبت به روش های قبلی، از نظر حافظه‌ی اشغالی نیز بهتر عمل می کند. از دیگر امتیازات روش پیشنهادی آن است که می توان برای مه زدایی تصاویر با اندازه کوچک هم از این روش استفاده کرد.
Fog usually causes severe interference in the image. Such image degradation presents a challenge to both human observers and computer vision systems. Image dehazing is the process of improving the quality of images that are affected by air scattering or water droplets. In this paper, a novel method for high-quality dehazing is proposed. The proposed algorithm for removing fog from images is based on a combination of two efficient mathematically based methods and the addition of a deep learning layer. The proposed method performs dehazing in the first phase based on adaptive histogram equalization and gamma correction. It operates in the HSV and RGB color spaces. In the second phase, a color channel-based method is used to dehazing by modeling it on the human brain, processing the brightness and saturation of pixels in a foggy image and examining the changes in concentration. In the third phase, a deep denoising network DnCNN is used to achieve a higher quality image. The DnCNN network was used with the justification that after image processing, the remaining fog follows a noisy pattern and can be considered as noise. The results of implementing and evaluating the proposed method on standard image databases showed that the proposed method, in addition to improving the quality of the results compared to previous methods, also performs better in terms of occupied memory. Another advantage of the proposed method is that it can be used for dehazing small-sized images.
[1] Ren, W., et al. Single image dehazing via multi-scale convolutional neural networks. in Computer Vision–ECCV 2016: 14th European Conference, Amsterdam, The Netherlands, October 11-14, 2016, Proceedings, Part II 14. 2016. Springer.
[2] Zhang, H. and V.M. Patel. Densely connected pyramid dehazing network. in Proceedings of the IEEE conference on computer vision and pattern recognition. 2018.
[3] Ren, W., et al. Gated fusion network for single image dehazing. in Proceedings of the IEEE conference on computer vision and pattern recognition. 2018.
[4] Li, Y., et al. LAP-Net: Level-aware progressive network for image dehazing. in Proceedings of the IEEE/CVF international conference on computer vision. 2019.
[5] Dong, J. and J. Pan. Physics-based feature dehazing networks. in Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part XXX 16. 2020. Springer.
[6] Deng, Z., et al. Deep multi-model fusion for single-image dehazing. in Proceedings of the IEEE/CVF international conference on computer vision. 2019.
[7] Khosla, P., et al., Supervised contrastive learning. Advances in neural information processing systems, 2020. 33: p. 18661-18673.
[8] Kim, G., S.W. Park, and J. Kwon, Pixel-wise Wasserstein autoencoder for highly generative dehazing. IEEE Transactions on Image Processing, 2021. 30: p. 5452-5462.
[9] Li, P., et al., Deep retinex network for single image dehazing. IEEE Transactions on Image Processing, 2020. 30: p. 1100-1115.
[10] Chen, D., et al. Gated context aggregation network for image dehazing and deraining. in 2019 IEEE winter conference on applications of computer vision (WACV). 2019. IEEE.
[11] Wang, J., C. Li, and S. Xu, An ensemble multi-scale residual attention network (EMRA-net) for image Dehazing. Multimedia Tools and Applications, 2021. 80(19): p. 29299-29319.
[12] Hambarde, P. and S. Murala, S2DNet: Depth estimation from single image and sparse samples. IEEE Transactions on Computational Imaging, 2020. 6: p. 806-817.
[13] Cheng, L. and L. Zhao. Two-stage image dehazing with depth information and cross-scale non-local attention. in 2021 IEEE International Conference on Big Data (Big Data). 2021. IEEE.
[14] Li, B., et al. Aod-net: All-in-one dehazing network. in Proceedings of the IEEE international conference on computer vision. 2017.
[15] Thanh, D.N., N.M. Hue, and V.S. Prasath. Single image dehazing based on adaptive histogram equalization and linearization of gamma correction. in 2019 25th Asia-Pacific Conference on Communications (APCC). 2019. IEEE.
[16] Zhu, Q., J. Mai, and L. Shao, A fast single image haze removal algorithm using color attenuation prior. IEEE transactions on image processing, 2015. 24(11): p. 3522-3533.
[17] Tang, K., J. Yang, and J. Wang. Investigating haze-relevant features in a learning framework for image dehazing. in Proceedings of the IEEE conference on computer vision and pattern recognition. 2014.
[18] He, K., J. Sun, and X. Tang, Guided image filtering. IEEE transactions on pattern analysis and machine intelligence, 2012. 35(6): p. 1397-1409.
[19] Zhang, K., et al., Beyond a gaussian denoiser: Residual learning of deep cnn for image denoising. IEEE transactions on image processing, 2017. 26(7): p. 3142-3155.
[20] Ancuti, C.O., C. Ancuti, and R. Timofte. NH-HAZE: An image dehazing benchmark with non-homogeneous hazy and haze-free images. in Proceedings of the IEEE/CVF conference on computer vision and pattern recognition workshops. 2020.
[21] Ancuti, C.O., et al. Dense-haze: A benchmark for image dehazing with dense-haze and haze-free images. in 2019 IEEE international conference on image processing (ICIP). 2019. IEEE.
[22] Ma, K., W. Liu, and Z. Wang. Perceptual evaluation of single image dehazing algorithms. in 2015 IEEE International Conference on Image Processing (ICIP). 2015. IEEE.
[23] Yang, H.-H., C.-H.H. Yang, and Y.-C.J. Tsai. Y-net: Multi-scale feature aggregation network with wavelet structure similarity loss function for single image dehazing. in ICASSP 2020-2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). 2020. IEEE.
[24] Liu, J., et al. Trident dehazing network. in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. 2020.
[25] Lee, B.-U., et al. CNN-based simultaneous dehazing and depth estimation. in 2020 IEEE international conference on robotics and automation (ICRA). 2020. IEEE.
[26] Sakaridis, C., et al. Model adaptation with synthetic and real data for semantic dense foggy scene understanding. in Proceedings of the european conference on computer vision (ECCV). 2018.
[27] Zhang, X., et al., Hierarchical feature fusion with mixed convolution attention for single image dehazing. IEEE Transactions on Circuits and Systems for Video Technology, 2021. 32(2): p. 510-522.
[28] Das, S.D. and S. Dutta. Fast deep multi-patch hierarchical network for nonhomogeneous image dehazing. in Proceedings of the IEEE/CVF conference on computer vision and pattern recognition workshops. 2020.
[29] Zheng, Z., et al. Ultra-high-definition image dehazing via multi-guided bilateral learning. in 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2021. IEEE.