تشخیص چهره افراد دارای ماسک با استفاده از MediaPipe Facemesh و الگوریتم های یادگیری عمیق
الموضوعات :منصور حسابی مقدم 1 , حمیدرضا غفاری 2 , مهدی خزائی پور 3
1 - گروه مهندسی کامپیوتر، واحد بیرجند، دانشگاه آزاد اسلامی، بیرجند، ایران
2 - گروه مهندسی کامپیوتر، واحد فردوس، دانشگاه آزاد اسلامی، فردوس، ایران
3 - گروه مهندسی کامپیوتر، واحد بیرجند، دانشگاه آزاد اسلامی، بیرجند، ایران
الکلمات المفتاحية: تشخیص چهره, ماسک, MediaPipe, یادگیری عمیق,
ملخص المقالة :
در پاسخ به نیاز اساسی به تشخیص دقیق چهره‌های متنقبضی که ماسک می‌پوشند، این مقاله یک رویکرد نوآورانه ارائه می‌دهد که از روش‌های عمیق یادگیری دو مرحله‌ای موازی به همراه الگوریتم‌های متا-هیوریستیک هیبریدی بهره می‌برد. چالش‌های مرتبط با تشخیص افرادی که ماسک می‌پوشند، از طریق یک چارچوب جامع آدرس داده می‌شوند که از فناوری‌های روز و ورودی‌های متنوع بهره می‌برد. این روش شامل یک استراتژی الگوریتمی موازی است، که تشخیص چهره‌ها با و بدون ماسک به منظور دقت بهینه‌سازی می‌شود. هنگام شناسایی چهره‌های بدون ماسک، الگوریتم خاصی استفاده می‌شود، در حالی که تشخیص چهره‌های با ماسک از یک الگوریتم جداگانه استفاده می‌کند. علاوه بر این، یک ادغام منابع داده متعدد شامل تصاویر چهره با ماسک و ورودی‌های سنسورهای دما، دقت تشخیص را افزایش می‌دهد. مرکز اصلی این تحقیق در خوشه‌بندی داده‌ها واقع شده است، جایی که مجموعه‌داده‌ها بر اساس حجم آنها سازماندهی می‌شوند، سپس با استفاده از یک شبکه عصبی پیچشی پیشنهادی، دسته‌بندی انجام می‌شود. ویژگی‌های تکراری از هر خوشه با دقت حذف می‌شوند و پردازش موازی پسین توسط الگوریتم‌های متمایز انجام می‌شود. در این مطالعه، دو الگوریتم ترکیبی معرفی شده‌اند و با افزایش حجم داده، می‌توان الگوریتم‌های اضافی را به‌سادگی درج کرد تا قابلیت مقیاس‌پذیری و افزایش دقت را فراهم کنند. این رویکرد نوآورانه توانایی بهبود قابل توجه دقت و کارآیی سیستم‌های تشخیص چهره‌های متنقبضی را به نمایش می‌گذارد و نیاز مهمی در حوزه‌های امنیت تا به سلامت عمومی و فراتر از آن را برطرف می‌کند. همچنین با پیشرفت فناوری و پیشرفت تحقیقات در این حوزه، امکان بهبود دقت تشخیص چهره‌های متنقبضی هنوز امیدوارکننده است.
1. Mukhiddinov, M.; Djuraev, O.; Akhmedov, F.; Mukhamadiyev, A.; Cho, J. Masked Face Emotion Recognition Based on Facial Landmarks and Deep Learning Approaches for Visually Impaired People. Sensors 2023.
2. Van Kleef, G.A. How emotions regulate social life: The emotions as social information (EASI) model. Curr. Dir. Psychol. Sci. 2009, 18, 184–188.
3. Hess, U. Who to whom and why: The social nature of emotional mimicry. Psychophysiology 2020, 58, e13675.
4. Mukhamadiyev, A.; Khujayarov, I.; Djuraev, O.; Cho, J. Automatic Speech Recognition Method Based on Deep Learning Approaches for Uzbek Language. Sensors 2022, 22, 3683
5. Keltner, D.; Sauter, D.; Tracy, J.; Cowen, A. Emotional Expression: Advances in Basic Emotion Theory. J. Nonverbal Behav. 2019, 43, 133–160.
6. Mukhiddinov, M.; Jeong, R.-G.; Cho, J. Saliency Cuts: Salient Region Extraction based on Local Adaptive Thresholding for Image Information Recognition of the Visually Impaired. Int. Arab. J. Inf. Technol. 2020, 17, 713–720.
7. Susskind, J.M.; Lee, D.H.; Cusi, A.; Feiman, R.; Grabski, W.; Anderson, A.K. Expressing fear enhances sensory acquisition. Nat. Neurosci. 2008, 11, 843–850.
8. Guo, K.; Soornack, Y.; Settle, R. Expression-dependent susceptibility to face distortions in processing of facial expressions of emotion. Vis. Res. 2019, 157, 112–122.
9. Ramdani, C.; Ogier, M.; Coutrot, A. Communicating and reading emotion with masked faces in the Covid era: A short review of the literature. Psychiatry Res. 2022, 114755.
10. Canal, F.Z.; Müller, T.R.; Matias, J.C.; Scotton, G.G.; de Sa Junior, A.R.; Pozzebon, E.; Sobieranski, A.C. A survey on facial emotion recognition techniques: A state-of-the-art literature review. Inf. Sci. 2021, 582, 593–617.
11. Maithri, M.; Raghavendra, U.; Gudigar, A.; Samanth, J.; Barua, P.D.; Murugappan, M.; Chakole, Y.; Acharya, U.R. Automated emotion recognition: Current trends and future perspectives. Comput. Methods Programs Biomed. 2022, 215, 106646.
12. Xia, C.; Pan, Z.; Li, Y.; Chen, J.; Li, H. Vision-based melt pool monitoring for wire-arc additive manufacturing using deep learning method. Int. J. Adv. Manuf. Technol. 2022, 120, 551–562.
13. Li, W.; Zhang, L.; Wu, C.; Cui, Z.; Niu, C. A new lightweight deep neural network for surface scratch detection. Int. J. Adv. Manuf. Technol. 2022, 123, 1999–2015.
14. Mukhiddinov, M.; Akmuradov, B.; Djuraev, O. Robust text recognition for Uzbek language in natural scene images. In Proceedings of the 2019 International Conference on Information Science and Communications Technologies (ICISCT), Tashkent, Uzbekistan, 4–6 November 2019; pp. 1–5.
15. Khamdamov, U.R.; Djuraev, O.N. A novel method for extracting text from natural scene images and TTS. Eur. Sci. Rev. 2018, 1, 30–33.
16. Chen, X.; Wang, X.; Zhang, K.; Fung, K.-M.; Thai, T.C.; Moore, K.; Mannel, R.S.; Liu, H.; Zheng, B.; Qiu, Y. Recent advances and clinical applications of deep learning in medical image analysis. Med. Image Anal. 2022, 79, 102444.
17. Avazov, K.; Abdusalomov, A.; Mukhiddinov, M.; Baratov, N.; Makhmudov, F.; Cho, Y.I. An improvement for the automatic classification method for ultrasound images used on CNN. Int. J. Wavelets Multiresolution Inf. Process. 2021, 20, 2150054.
18. Mellouk, W.; Handouzi, W. Facial emotion recognition using deep learning: Review and insights. Procedia Comput. Sci. 2020, 175, 689–694.
19. Saxena, A.; Khanna, A.; Gupta, D. Emotion Recognition and Detection Methods: A Comprehensive Survey. J. Artif. Intell. Syst. 2020, 2, 53–79.
20. Ko, B.C. A Brief Review of Facial Emotion Recognition Based on Visual Information. Sensors 2018, 18, 401.
21. Dzedzickis, A.; Kaklauskas, A.; Bucinskas, V. Human Emotion Recognition: Review of Sensors and Methods. Sensors 2020, 20, 592.
22. Hangaragi, S., Singh, T., & Neelima N. Face Detection and Recognition Using Face Mesh and Deep Neural Network. 2021, 10.1007/978-981-16-5436-7_9.
