رویکردی جدید از ادغام تصاویر MRI و CT-Scan با استفاده از تقسیم‌بندی بافت و وزن‌دهی فازی برپایهی تبدیل موجک
الموضوعات :
خلیل مولانی
1
,
mehdi jafari
2
,
malihe hashemi
3
1 - گروه مهندسی کامپیوتر، واحد کرمان، دانشگاه آزاد اسلامی،کرمان، ایران
2 - گروه مهندسی برق، واحد کرمان، دانشگاه آزاد اسلامی، کرمان، ایران
3 - گروه مهندسی کامپیوتر، واحد کرمان، دانشگاه آزاد اسلامی، کرمان، ایران
الکلمات المفتاحية: همجوشی تصاویر, پردازش تصاویر پزشکی, تبدیل موجک گسسته, تقسیم‌بندی بافت, وزن‌دهی فازی,
ملخص المقالة :
تصاویر CT اطلاعاتی در مورد ساختارهای استخوانی ارائه می‌دهند، اما نمی‌توانند اطلاعات بافتی را پشتیبانی کنند؛ در مقابل، تصاویر MRI جزئیاتی را در مورد بافت‌های نرم نشان می‌دهند. به دست آوردن حداکثر اطلاعات و ویژگی‌های کلیدی از تصاویر منبع، افزایش کیفیت بصری و کنتراست تصویر ترکیب شده همچنین کاهش وظایف محاسباتی برای بسیاری از الگوریتم‌های همجوشی تصاویر پزشکی، به صورت یک چالش بزرگ باقی مانده است. در این مقاله، ادغام تصاویر پزشکی بر اساس تبدیل موجک گسسته دو بعدی صورت گرفته است. ابتدا تصاویر اصلی توسط بسته موجک گسسته‌ی Db2 به دو مجموعه ضرایب تقریبی و ضرایب جزئی تجزیه می‌شوند. برای ماتریس ضرایب تقریبی تکنیک وزن‌دهی‌فازی، ماتریس ضرایب تقریبی تصاویر ورودی و برای ضرایب جزئی، از روش میانگین ماتریس ضرایب جزئیات استفاده میشود. وزن‌دهی از تکنیک ماسک حاصل از بخشبندی بافت تصاویر استفاده می‌کند. این تحقیق، به ترکیب تصاویر پزشکی رنگی گسترش یافته است که به طور موثری از اعوجاج رنگ جلوگیری می‌کند و کیفیت بصری را افزایش می‌دهد. نتایج به‌دست آمده نشان می‌دهد که الگوریتم پیشنهادی نه تنها در تشخیص لبه و کانتور و ویژگی‌های بصری برتر عمل می‌کند، بلکه در مقایسه با دیگر پژوهش‌ها، در مقادیر پارامترهای کمی نیز دارای بهبود است.
[1] Aghamaleki, J.A., Ghorbani, A.: Image fusion using dual tree discrete wavelet transform and weights optimization. Visual Comput. 39(3), 1181-1191 (2023), https://doi.org/10.1007/s00371-021-02396-9.
[2] Jiang, H. et al.: Casting defect region segmentation method based on dual-channel encoding–fusion decoding network. Expert Syst Appl., 123254 (2024), https://doi.org/10.1016/j.eswa.2024.123254
[3] Bayoudh, K., Knani, R., Hamdaoui, F. Mtibaa, A.: A survey on deep multimodal learning for computer vision: advances, trends, applications, and datasets. Visual Comput. 38(8), 2939-2970 (2022), https://doi.org/10.1007/s00371-021-02166-7
[4] Dinh, P.: Medical image fusion based on enhanced three-layer image decomposition and Chameleon swarm algorithm, Biomedical Signal Processing and Control,
[5] Volume 84, 2023,104740,ISSN 1746 8094, https://doi.org/10.1016/j.bspc.2023.104740
[6] Shang, X. et al.: Holistic Dynamic Frequency Transformer for image fusion and exposure correction. Inf. Fusion 102, 102073 (2024), https://doi.org/10.1016/j.inffus.2023.102073
[7] Sun, T. et al.: Artificial Intelligence Meets Flexible Sensors: Emerging Smart Flexible Sensing Systems Driven by Machine Learning and Artificial Synapses. Nano-Micro Lett. 16, 14 (2024), https://doi.org/10.1007/s40820-023-01235-x
[8] Kittusamy, K. , Kumar, L. S. V. S.: Non-Sub-Sampled Contourlet with Joint Sparse Representation Based Medical Image Fusion. Comput. Syst. Sci. Eng. 44, 1989-2005 (2023), https://doi.org/10.32604/csse.2023.026501
[9] Pan, Y., Lan, T., Xu, C., Zhang, C. ,Feng, Z.: Recent advances via convolutional sparse representation model for pixel-level image fusion. Multimed. Tools Appl., 1-32 (2023), https://doi.org/10.1007/s11042-023-17584-z
[10] Avcı, D., Sert, E., Özyurt, F. ,Avcı, E.: MFIF-DWT-CNN: Multi-focus ımage fusion based on discrete wavelet transform with deep convolutional neural network. Multimed. Tools Appl. 83, 10951-10968 (2024), https://doi.org/10.1007/s11042-023-16074-6
[11] Luo, Y. et al.: Texture classification combining improved local binary pattern and threshold segmentation. Multimed. Tools Appl., 1-18 (2023), https://doi.org/10.1007/s11042-023-14749-8
[12] Palanisami, D., Mohan, N. ,Ganeshkumar, L.: A new approach of multi-modal medical image fusion using intuitionistic fuzzy set. Biomed. Signal Process. Control. 77, 103762 (2022), https://doi.org/10.1016/j.bspc.2022.103762
[13] Li, Q., Wang, W., Chen, G. ,Zhao, D.: Medical image fusion using segment graph filter and sparse representation. Comput. Biol. Med. 131, 104239 (2021), https://doi.org/10.1016/j.compbiomed.2021.104239
[14] Li, X., Zhou, F., Tan, H., Zhang, W. ,Zhao, C.: Multimodal medical image fusion based on joint bilateral filter and local gradient energy. Inf. Sci. 569, 302-325 (2021), https://doi.org/10.1016/j.ins.2021.04.052
[15] Hermessi, H., Mourali, O. ,Zagrouba, E.: Multimodal medical image fusion review: Theoretical background and recent advances. Signal Process. 183, 108036 (2021), https://doi.org/10.1016/j.sigpro.2021.108036
[16] ULLAH, Hikmat, et al. Multimodality medical images fusion based on local-features fuzzy sets and novel sum-modified-Laplacian in non-subsampled shearlet transform domain. Biomedical Signal Processing and Control, 2020, 57. Jg., S. 101724, https://doi.org/10.1016/j.bspc.2019.101724
[17] Manchanda, M. , Sharma, R.: An improved multimodal medical image fusion algorithm based on fuzzy transform. J. Vis. Commun. Image Represent. 51, 76-94 (2018), https://doi.org/10.1016/j.jvcir.2017.12.011
[18] TANG, Lu, et al. Perceptual quality assessment for multimodal medical image fusion. Signal Processing: Image Communication, 2020, 85. Jg., S. 115852, https://doi.org/10.1016/j.image.2020.115852
[19] TAN, Wei, et al. Multimodal medical image fusion algorithm in the era of big data. Neural Computing and Applications, 2020, S. 1-21, https://doi.org/10.1007/s00521-020-05173-2
[20] XU, Lina, et al. medical image fusion using a modified shark smell optimization algorithm and hybrid wavelet-homomorphic filter. Biomedical Signal Processing and Control, 2020, 59. Jg., S. 101885, https://doi.org/10.1016/j.bspc.2020.101885
[21] Brindha, V., Jayashree, P.: Fusion of radiological images of Glioblastoma Multiforme using weighted average and maximum selection method in 11th International Conference on Advanced Computing (ICoAC), 328-332 (IEEE), https://doi.org/10.1109/ICoAC48765.2019.246861
[22] Bavirisetti, D. P., Kollu, V., Gang, X. ,Dhuli, R.: Fusion of MRI and CT images using guided image filter and image statistics. Int. J. Imaging Syst. Technol. 27, 227-237 (2017), https://doi.org/10.1002/ima.22228
[23] Haribabu, M. , Guruvaiah, V.: Statistical measurements of multi modal MRI–PET medical image fusion using 2D–HT in HSV color space. Procedia Comput. Sci. 165, 209-215 (2019), https://doi.org/10.1016/j.procs.2020.01.090
[24] Nan Jiang, Bin Sheng; Ping Li; Tong-Yee Lee, “PhotoHelper: Portrait Photographing Guidance Via Deep Feature Retrieval and Fusion”, IEEE Trans. Multim. 25, 2226-2238 (2023), https://doi.org/10.1109/TMM.2022.3144890
[25] Liang, N., Medical image fusion with deep neural networks. Scientific Reports, 2024. 14(1): p. 7972, https://doi.org/10.1038/s41598-024-58665-9
[26] Arora, S. , Kaur, A.: Modified edge detection technique using fuzzy inference system. Int. J. Comput. Appl. 44, 9-1 (2012), https://doi.org/10.5120/6409-8757
[27] Anindyaguna, K., Basjaruddin, N. C. ,Saefudin, D.: Overtaking assistant system (OAS) with fuzzy logic method using camera sensorin 2016 2nd International Conference of Industrial, Mechanical, Electrical, and Chemical Engineering (ICIMECE). 89-94 (IEEE), https://doi.org/10.1109/ICIMECE.2016.7910420
[28] Zhang, Z. , Blum, R. S.: A categorization of multiscale-decomposition-based image fusion schemes with a performance study for a digital camera application. Proceedings of the IEEE 87, 1315-1326 (1999), http://doi.org/10.1109/5.775414
[29] Ming, L. , Shunjun, W.: A novel hybrid image fusion method based on integer lifting wavelet and discrete cosine transformer for visual sensor networks in Proceedings Fifth International Conference on Computational Intelligence and Multimedia Applications. ICCIMA 2003. 154-159 (IEEE), https://doi.org/10.1007/s11042-018-6676-z
[30] Laws, K. I. in Image processing for missile guidance. 376-381 (SPIE), https://doi.org/10.1080/713820676
[31] Kassner A, Thornhill RE. Texture analysis: a review of neurologic MR imaging applications. AJNR Am J Neuroradiol. 2010 May;31(5):809-16, https://doi.org/10.3174/ajnr.A2061
[32] Targhi, A. T., Hayman, E., Eklundh, J.-O. ,Shahshahani, M. in Asian Conference on Computer Vision. 70-79 (Springer).
