Face Detection based on Semantic Model for Mobile Banking

Subject Areas : Computer Engineering and IT

leili nosrati ¹ , Amir Massoud Bidgoli ² , hamid hajseiedjavadi ³

1 - phd student
2 - Department of Computer Engineering, Tehran North Branch,Islamic Azad University, Tehran, Iran
3 - shahed university professor

Received: 2023-09-29 Accepted : 2023-12-06 Published : 2023-12-19

Keywords: face detection authentication, mobile banking, semantic learning, Genetic Algorithm, Decision tree.,

Abstract :

In this paper, a new authentication protocol for online banking based on the semantic model of features extracted from people's image is introduced. The proposed approach is presented using smart mobile phones for online digital imaging for customers. In this work, a fuzzy clustering has been used to categorize the characteristics of the images of different people and by applying them to different machine learning methods, a combined technique of machine learning classification methods has been presented to improve performance and increases strength against various attacks. Also to reduce the complexity of machine design for operational tasks, the technique of reducing features extracted from face images with the help of genetic algorithm has been used. In the last part, in order to make a decision for authentication selected by machine learning systems, a fuzzy logic system is presented based on the highest accuracy of identifying the desired person. Using a public dataset, the experimental results showed that the genetic algorithm-based technique is the best feature selection to create an implicit authentication method for the smartphone environment. The results showed an accuracy of about 99.80% using only 30 features out of 77 to authenticate users. At the same time, the results showed that the proposed method has a lower error rate compared to the related work.

References:

[1] Smith-Creasey M, Albalooshi FA, & Rajarajan M (2018) Continuous face authentication scheme for mobile devices with tracking and liveness detection. Microprocess Microsyst 63:147-157.
[2] Jafri R & Arabnia HR (2009) A survey of face recognition techniques. J Inf Process Syst 5:41-68.
[3] Mohan J, & Rajesh R (2021) Enhancing home security through visual cryptography. Microprocess Microsyst 80:103355.
[4] Adesuyi F A, Oluwafemi O, Oludare AI & Rick A (2013) Secure authentication for mobile banking using facial recognition.
[5] Stragapede G et al. (2022) Mobile behavioral biometrics for passive authentication. Pattern Recognit Lett 157: 35-41.
[6] Saxena N & Varshney D (2021) Smart Home Security Solutions using Facial Authentication and Speaker Recognition through Artificial Neural Networks. International Journal of Cognitive Computing in Engineering 2:154-164.
[7] Zeroual A, Amroune M, Derdour M & Bentahar A (2021) Lightweight deep learning model to secure authentication in Mobile Cloud Computing. J. King Saud Univ. - Comput Inf Sci.
[8] Pérez JC, Alfarra M, Thabet A, Arbeláez P & Ghanem B (2022) Towards Assessing and Characterizing the Semantic Robustness of Face Recognition. arXiv preprint arXiv:2202.04978.
[9] Gong D, Zhu K, Li Z & Qiao Y (2013) in 2013 IEEE International Conference on Information and Automation (ICIA). 1369-1374 (IEEE).
[10] El-Soud MWA, Gaber T, AlFayez F & Eltoukhy MM (2021) Implicit authentication method for smartphone users based on rank aggregation and random forest. Alex Eng J 60:273-283.
[11] Shu Y et al. in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 11916-11925.
[12] Samangouei P, Patel VM & Chellappa R (2017) Facial attributes for active authentication on mobile devices. Image Vis Comput 58:181-192.
[13] Yanakova E, Ishkova T, Belyaev A, Koldaev V & Kolobanova M (2019) in 2019 IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering (EIConRus). 1848-1851 (IEEE).
[14] Gudi A (2015) Recognizing semantic features in faces using deep learning. arXiv preprint arXiv:1512.00743.
[15] Almudhahka NY, Nixon MS & Hare JS (2017) in 2017 12th IEEE International Conference on Automatic Face & Gesture Recognition (FG 2017). 180-185 (IEEE).
[16] de Castro D C & Nowozin S: in Proceedings of the European Conference on Computer Vision (ECCV). 745-761.
[17] Choi HS & Cho YH (2019) Analysis of Security Problems of Deep Learning Technology. Journal of the Korea Convergence Society 10: 9-16.
[18] Najafabadi MM et al. (2015) Deep learning applications and challenges in big data analytics. J Big Data 2:1-21.
[19] Kim Th: in International Conference on Information Security and Assurance. 138-148 (Springer).
[20] Sujatha K et al. in Proceedings of International Conference on Sustainable Computing in Science, Technology and Management (SUSCOM), Amity University Rajasthan, Jaipur-India.
[21] Redla SS, Mallik B & Mangalampalli VK (2020) in 2020 2nd International Conference on Innovative Mechanisms for Industry Applications (ICIMIA). 223-229 (IEEE).
[22] Ruspini EH (1969) A new approach to clustering. Information and control 15:22-32.
[23] Bezdek JC (1980) A convergence theorem for the fuzzy ISODATA clustering algorithms. IEEE Trans Pattern Anal Mach Intell 1-8.
[24] Li MJ, Ng MK, Cheung Ym. & Huang JZ (2008) Agglomerative fuzzy k-means clustering algorithm with selection of number of clusters. IEEE Trans Knowl Data Eng 20:1519-1534.
[25] Naruei I & Keynia F (2021) Wild horse optimizer: A new meta-heuristic algorithm for solving engineering optimization problems. Eng Comput 1-32.
[26] Wu YL, Tang CY, Hor MK & Wu PF (2011) Feature selection using genetic algorithm and cluster validation. Expert Syst Appl 38:2727-2732.
[27] Venkatesh B & Anuradha J (2019) A review of feature selection and its methods. Cybern Inf Technol 19:3-26.
[28] Malhotra R, Singh N & Singh Y (2011) Genetic algorithms: Concepts, design for optimization of process controllers. Comput Sci Inf Syst 4:39.
[29] Pei M, Goodman E & Punch W. in Proceedings of the 1st International Symposium on Intelligent Data Engineering and Learning, IDEAL. 371-384.
[30] Suardani LGP, Bhaskara IMA & Sudarma M (2018) Optimization of Feature Selection Using Genetic Algorithm with Naïve Bayes Classification for Home Improvement Recipients. Int J Eng Emerging Technol 3:66-70.
[31] Huszár VD & Adhikarla VK (2021) Live spoofing detection for automatic human activity recognition applications. Sensors 21:7339.
[32] Milborrow S, Morkel J & Nicolls F (2010) The MUCT landmarked face database. Pattern recognition association of South Africa 201.
[33] Cherifi F, Hemery B, Giot R, Pasquet M & Rosenberger C (2010) in Behavioral biometrics for human identification: Intelligent applications 57-74 (IGI Global, 2010).
[34] Maglogiannis I, Iliadis L, Macintyre J & Cortez P (2022) Artificial Intelligence Applications and Innovations: 18th IFIP WG 12.5 International Conference, AIAI 2022, Hersonissos, Crete, Greece, June 17–20, 2022, Proceedings, Part II. Vol. 647 (Springer Nature, 2022).
[35] Eberz S, Rasmussen KB, Lenders V & Martinovic I (2017) in Proceedings of the 2017 ACM on Asia conference on computer and communications security. 386-399.
[36] Buriro A, Crispo B, Frari FD, Klardie J & Wrona K: in International conference on passwords. 45-61 (Springer).
[37] Kumar R, Phoha VV & Raina R (2016) Authenticating users through their arm movement patterns. arXiv preprint arXiv:1603.02211.
[38] Shrestha B, Mohamed M & Saxena N (2016) Walk-unlock: Zero-interaction authentication protected with multi-modal gait biometrics. arXiv preprint arXiv:1605.00766.
[39] Ehatisham-ul-Haq M et al (2017) Authentication of smartphone users based on activity recognition and mobile sensing. Sensors 17:2043.
[40] Li G & Bours P (2018) in 2018 21st International Conference on Information Fusion (FUSION). 2091-2097 (IEEE).
[41] Buriro A, Crispo B & Conti M (2019) AnswerAuth: A bimodal behavioral biometric-based user authentication scheme for smartphones. J Inf Secur Appl 44:89-103.
[42] Volaka HC, Alptekin G, Basar OE, Isbilen M & Incel OD (2019) Towards continuous authentication on mobile phones using deep learning models. Procedia Comput Sci 155:177-184.
[43] Lamiche I, Bin G, Jing Y, Yu Z & Hadid A (2019) A continuous smartphone authentication method based on gait patterns and keystroke dynamics. J Ambient Intell Humaniz Comput 10: 4417-4430.
[1] [44] Abuhamad M, Abuhmed T, Mohaisen D & Nyang D (2020) AUToSen: Deep-learning-based implicit continuous authentication using smartphone sensors. IEEE Internet Things J 7:5008-5020.Object Management Group. Unified Modeling Language: Superstructure, Version 2.0, ptc/03-07-06, July 2003, http://www.omg.org/cgi-bin/doc?ptc/2003-08-02.

Full-Text:



 شناسایی چهره افراد بر اساس مدل معنایی برای موبایل بانک

لیلی نصرتی1 ، امیر مسعود بیدگلی2¹، حمید حاج سید جوادی3

1- گروه مهندسی کامپیوتر ، واحد تهران شمال، دانشگاه آزاد اسلامی، تهران، ایران

[e-mail]

2- - گروه مهندسی کامپیوتر ، واحد تهران شمال، دانشگاه آزاد اسلامی، تهران، ایران

[e-mail]

3- دانشکده ریاضیات و علوم پایه، دانشگاه شاهد، تهران، ایران

[e-mail]

 

چکیده: در این مقاله، یک پروتکل احراز هویت جدید برای بانکداری آنلاین بر اساس مدل معنایی ویژگی­های استخراج شده از تصویر افراد معرفی شده است. رویکرد پیشنهادی با استفاده از تلفن­های همراه هوشمند برای تصویربرداری دیجیتال برای مشتریان ارائه شده است. در این روش از خوشه‌بندی فازی برای دسته‌بندی ویژگی‌های تصاویر افراد مختلف استفاده شده است و با اعمال آن‌ها در روش‌های مختلف یادگیری ماشین، ترکیب روش‌های طبقه‌بندی یادگیری ماشینی برای بهبود عملکرد و افزایش قدرت در برابر حملات مختلف ارائه شده است. همچنین به منظور کاهش پیچیدگی طراحی ماشین برای کارهای عملیاتی، از روش کاهش ویژگی­های استخراج شده از تصاویر چهره افراد به کمک الگوریتم ژنتیک و در قسمت آخر برای تصمیم­گیری جهت احراز هویت فرد انتخاب شده، از سیستم منطق فازی بر اساس بالاترین دقت شناسایی فرد مورد نظر استفاده شده است. با استفاده از یک مجموعه داده عمومی، نتایج تجربی نشان داد که روش مبتنی بر الگوریتم ژنتیک بهترین انتخاب ویژگی برای ایجاد یک روش احراز هویت ضمنی برای محیط تلفن هوشمند است. نتیجه محاسبات دقت حدود 80/99% را با استفاده از تنها 30 ویژگی از 77 ویژگی برای احراز هویت کاربران نشان داد که بیانگر نیاز به منابع کمتر تلفن همراه است.

واژه های کلیدی: احراز هویت چهره، بانکداری همراه، مدل معنایی، الگوریتم ژنتیک، درخت تصمیم.

Face Detection based on Semantic Model for Mobile Banking

Leili Nosratii1, Amir Masoud Bidgoli*2, hamid haj seied javadi3

1 Department of computer engineering, North Tehran Branch, Islamic Azad University, Tehran, Iran

[e-mail]

2 Department of computer engineering, North Tehran Branch, Islamic Azad University, Tehran, Iran 

[e-mail]

3 Mathematic department, Shahed University, Tehran, Iran

 

Abstract: 

In this paper, a new authentication protocol for online banking based on the semantic model of features extracted from people's image is introduced. The proposed approach is presented using smart mobile phones for online digital imaging for customers. In this work, a fuzzy clustering has been used to categorize the characteristics of the images of different people and by applying them to different machine learning methods, a combined technique of machine learning classification methods has been presented to improve performance and increases strength against various attacks. Also to reduce the complexity of machine design for operational tasks, the technique of reducing features extracted from face images with the help of genetic algorithm has been used. In the last part, in order to make a decision for authentication selected by machine learning systems, a fuzzy logic system is presented based on the highest accuracy of identifying the desired person. Using a public dataset, the experimental results showed that the genetic algorithm-based technique is the best feature selection to create an implicit authentication method for the smartphone environment. The results showed an accuracy of about 99.80% using only 30 features out of 77 to authenticate users. At the same time, the results showed that the proposed method has a lower error rate compared to the related work.

Keywords: face detection authentication, mobile banking, semantic learning, Genetic Algorithm, Decision tree.

DOI: 00.00000/0000		نوع مقاله: پژوهشی
تاریخ چاپ مقاله:  28/09/1402	تاریخ پذیرش مقاله:  15/09/1402	تاریخ ارسال مقاله: 07/07/1402

 

---

[1]  نویسنده­ی مسئول

 

1-       مقدمه

پیشرفت در فناوری دستگاه­های تلفن همراه راه­های جدید را برای بانکداری آنلاین امن­تر کرده است. موسسات مالی پس از پی بردن به مزایای موبایل بانک، فرصت‌های بانکداری موبایلی را برای مشتریان خود فراهم کرده‌اند تا به آنها در هر زمان و مکان، امکان انجام عملیات بانکی مانند پرداخت صورت‌حساب، بررسی مانده حساب‌ها و انتقال پول را بدهند. یکی از مهمترین مسائل در بانکداری همراه امنیت است. احراز هویت در دستگاه­های تلفن همراه می­تواند نقطه عطفی باشد که بانکداری آنلاین و تلفن همراه را به روشی که امنیت کاربران را فراهم می­کند، به هم متصل کند. بانکداری تلفن همراه به تلفن بانک همراه نیز معروف است. از آن به عنوان استفاده از تلفن همراه برای مشاغل مرتبط با بانکداری یاد می­شود [1]. برای تراکنش­های مالی آنلاین، روش­های سنتی در بانکداری تلفن همراه شامل اطلاعاتی است که مشتری می­داند. چنین اقداماتی عمدتاً به شکل پین‌ها، رمزهای عبور، نشانه‌ها، کلیدها یا سؤالات امنیتی است که می‌توانند توسط کلاهبرداران به سرقت بروند یا حدس زده شوند. بنابراین، اعتماد نسبت به فناوری ممکن است تحت تأثیر قرار گیرد و افراد کمتری به بانکداری آنلاین روی بیاورند [2].

ثابت شده است که انسان­ها در به خاطر سپردن چهره یک فرد بسیار بهتر از نام او هستند. لذا یکی از رویکردهای امیدوارکننده برای ایجاد یک طرح رمز عبور ایمن، استفاده از مجموعه­ای از تصاویر چهره افراد به عنوان رمز­عبور به جای شماره­های پین معمولی است. منطق معرفی سیستم رمز عبور بصری استفاده از دو فاکتور است: (1) قدرت پردازش اطلاعات انسانی برای تشخیص تصاویر بصری، که برای رایانه­ها کار دشواری تلقی می­شود. (2) قدرت پردازش سریالی سریع یک کامپیوتر دیجیتال برای به حداقل رساندن خطای انسانی در تعامل کامپیوتری. بنابراین ارائه راهکاری مبتنی بر یادآوری تصاویر چهره افراد برای شناسایی و احراز هویت در حوزه موبایل بانک کمک شایانی به حفظ امنیت اطلاعات و مقابله با حملات می­کند.

حفظ حریم خصوصی و محرمانه بودن داده­های بیومتریک هنوز یک چالش است و روش‌های امنیتی قبلی مانند رمزگذاری و واترمارک دیجیتال برای استفاده بلادرنگ موفق نیستند. امروزه فرآیند احراز هویت کاربر با تهدیدات امنیتی بسیاری مواجه است. لذا سطح امنیت دستگاه­های بیومتریک باید افزایش یابد تا بتوان یک سیستم کارآمد به ویژه برای بانکداری آنلاین ارائه نمود. با یک سیستم احراز هویت آنلاین، مشکلاتی از جمله عدم اطمینان در شناسایی صحیح افراد وجود خواهد داشت و فرآیند احراز هویت شامل چالش­های بیشتری نیز می­شود زیرا همه چیز توسط اینترنت اشیاء به هم متصل می­شود. علاوه بر این، به دلیل تغییر در چهره افراد و حتی موقعیت سر در مقابل دوربین گوشی هوشمند، احراز هویت چهره برای سیستم شناسایی دشوار و نامشخص است. بنابراین، ارائه یک روش مدل معنایی می­تواند به تقویت سیستم احراز­ هویت کمک کند. احراز ­هویت تلفن همراه می­تواند راه حل مناسبی باشد که بانکداری آنلاین، بانکداری تلفن همراه و پرداخت­های از طریق تلفن همراه را به روشی امن، به هم متصل کند [4]. احراز هویت به تنهایی مستعد آسیب­پذیری است، در موارد سرقت یا اشخاص ثالث قابل اعتماد، امنیت آن می­تواند به راحتی نقض شود و هکرهای رمز عبور به راحتی می­توانند امنیت را از بین ببرند زیرا اکثر رمزهای عبور ضعیف هستند. بانکداری امن همراه، به مشتریان این اطمینان را می­دهد که بدانند اطلاعات آنها امن است و می­توانند با اطمینان تراکنش­های امن انجام دهند.

به منظور ایجاد امنیت در سیستم بانکداری آنلاین که موبایل بانک یکی از آن سیستم­هاست، تاکنون روش­های مختلفی ارائه شده است. هر کدام از این روش­ها با منطق و استراتژی خاصی سعی در کشف حمله داشته و از نفوذ به سیستم جلوگیری کرده­اند. علیرغم تلاش­های زیادی که صورت گرفته، این روش­ها همچنان با چالش­های امنیتی مواجه بوده و نتوانسته­اند از نظر امنیتی عملکرد مناسبی را در این سیستم­ها حفظ کنند. بنابراین در این مقاله مدلی را ارائه خواهیم داد که با استفاده از قابلیت های معنایی مبتنی بر منطق فازی به کشف هویت نمونه­ها و احراز هویت افراد به کمک تصویربرداری آنلاین تلفن همراه می­پردازد. مدل پیشنهادی در این مقاله بر اساس رویکرد شبکه عصبی مصنوعی ANN، شبکه فازی عصبی ANFIS و درخت تصمیم برای احراز هویت افراد پیاده‌سازی شده است. در این کار یک الگوریتم احراز هویت چهره برای بانکداری موبایلی تحت نرم افزار متلب مدلسازی شده و سپس طرح­ها، روش­ها و سایر موارد پیشنهادی برای سیستم مورد نظر پیاده­سازی و بررسی می­شوند. در نهایت، نتایج شبیه‌سازی با سایر روش‌های احراز هویت مقایسه شده و در این زمینه تلاش خواهیم کرد تا به یک فناوری هوشمند برای بانکداری ایمن و راحت مبتنی بر شناسایی هویت افراد بر اساس تصویر چهره با تماس­های تلفن همراه دست یابیم. با توجه به نقاط ضعف و نفوذپذیری الگوریتم­های موجود برای احراز­ هویت در موبایل بانک­ها، در این مستند تلاش شده پس از بررسی روش‌های احراز هویت موجود و مقایسه آن‌ها، یک روش یکپارچه جدید مبتنی بر مدل معنایی در موبایل بانک و بستر رایانش ابری برای برقراری امنیت و دقت بیشتر ارائه شود.

فناوری تشخیص چهره (FRT) خود را به عنوان یک ابزار همه­کاره برای پشتیبانی از تأیید هویت و احراز هویت تثبیت کرده است. گام‌های بزرگی در توسعه راه‌حل‌های FRT دقیق و مقاوم در برابر دستکاری، با کمک فناوری‌های یادگیری ماشین (ML) و هوش مصنوعی (AL) چه بر روی تراشه و چه در فضای ابری برداشته شده است. این تحولات منجر به اعتماد بیشتر بانک­ها در به کارگیری این فناوری برای طیف گسترده­ای از کاربردها و موارد استفاده شده است. استفاده از الگوریتم­های تکاملی به عنوان یک رویکرد جدید در این مقاله می­تواند به ایجاد یک مدل معنایی در فرایند شناسایی کمک کند. بر این اساس، ما با کمک سازگاری ویژگی­های استخراج شده از مجموعه تصاویر افراد با کمک الگوریتم ژنتیک، توانسته­ایم به افزایش امنیت برای FRT کمک کنیم. بانک­ها همچنین به طور مستقیم از قدرت فناوری ML و AL و الگوریتم­های تکاملی برای بهبود عملکرد بیومتریک و شناسایی هویت استفاده می­کنند. این امر ضروری است و به بانک­ها این اطمینان را می­دهد که فناوری بیومتریک ایمن و قابل اعتماد است.

صورت انسان دائماً اطلاعات را آگاهانه و ناخودآگاه منتقل می­کند. با این حال، به همان اندازه که تفسیر بصری این اطلاعات برای انسان­ها اساسی است، برای ماشین­ها یک چالش بزرگ است. روش‌های مرسوم برای تشخیص و تحلیل ویژگی‌های معنایی صورت عمدتاً فاقد استحکام هستند و از زمان محاسباتی بالا رنج می‌برند. هدف این مقاله کشف راه‌هایی برای ماشین‌ها جهت یادگیری تفسیر اطلاعات معنایی موجود در چهره‌ها به شیوه‌ای خودکار و بدون نیاز به طراحی دستی آشکارسازهای ویژگی، با استفاده از رویکرد یادگیری عمیق است. قسمت­های اصلی این مقاله به شرح زیر خلاصه می‌شوند: (1) یک سیستم احراز هویت چهره مبتنی بر هوش مصنوعی، با استفاده از پیاده­سازی یک مدل معنایی برای احراز هویت پویا ارائه می­شود. (2) روش پیشنهادی در مدلسازی ­نرم بر اساس طبقه­بندی افراد طراحی و آزمایش شده است. مجموعه داده شامل ویدیوهای ضبط شده توسط چندین کاربر، دوربین­های مختلف گوشی­های هوشمند و تصاویر افراد در سایت­های مختلف و در جهات مختلف است. (3) طبقه‌بندی ویژگی‌های استخراج‌شده از انواع مختلف تصاویر بر اساس یک مدل خوشه‌بندی معنایی مبتنی بر کیلومترهای فازی برای سه مجموعه از روش‌های یادگیری ماشین است: ANN، ANFIS و درخت تصمیم. (4) برای کاهش پیچیدگی­های پردازش مجموعه ویژگی­های استخراج شده برای هر تصویر، از روش انطباق معنایی ویژگی­ها با افراد مورد نظر استفاده می­شود تا بتوان آن را توسط پردازنده­های انواع تلفن­های همراه پیاده سازی کرد. در این روش، از الگوریتم ژنتیک برای آموزش سیستم‌های یادگیری ماشینی با کاهش ویژگی‌ها از طریق حذف ویژگی‌های ناسازگار با افراد واقعی در حال آزمایش استفاده می­شود.

بخش­های باقی مانده از مقاله پژوهشی به روش زیر ساختار یافته است. بخش 2 شامل مروری بر کارهای تحقیقاتی قبلی انجام شده توسط محققان، بخش 3 ارائه روش پیشنهادی، بخش 4 آزمون­های شبیه­سازی و استنباط آنها و بخش 5 نتیجه­گیری و گسترش کار در آینده می­باشند.

2-       بررسی ادبیات

از آنجایکه سیستم‌های فعلی احراز هویت کاربر تلفن همراه مبتنی بر کدهای پین، اثر انگشت و تشخیص چهره دارای کاستی‌های متعددی هستند، در این مقاله تجزیه و تحلیل مقایسه‌ای از ویژگی‌های بیومتریک رفتاری تک‌وجهی و چندوجهی به‌دست‌آمده در حال انجام فعالیت­های مختلف روی تلفن مانند تایپ کردن، اسکرول کردن، کشیدن و ضربه زدن روی صفحه، با در نظر گرفتن صفحه لمسی و داده­های حسگر همزمان پس­زمینه مانند (شتاب­سنج، سنسور گرانش، ژیروسکوپ، شتاب­سنج­ خطی و مغناطیس­سنج) انجام شده است. یک شبکه عصبی بازگشتی جداگانه (RNN) با از دست دادن سه گانه برای هر مدالیته به کار گرفته شده است و سپس، ترکیب وزنی مدالیته‌های مختلف از طریق امتیاز دهی استخراج شده­اند[5]. همچنین یک راه­حل جامع برای امنیت خانه­های هوشمند پیاده­سازی شده که به بهبود حریم خصوصی و امنیت با استفاده از دو فناوری مستقل و نوظهور احراز هویت چهره و تشخیص گفتار توسط تلفن همراه، تبلت، رایانه شخصی کمک می­کند. کل فرآیند مورد اشاره با کمک شبکه های عصبی انجام می­شود [6]. بعلاوه، یک راه حل ترکیبی برای رسیدگی به دو چالش کلیدی احراز هویت، حریم خصوصی داده­ها و محدودیت­های منابع دستگاه­های تلفن همراه نیز ارائه شده است. در مورد اول از رمزگذاری جزئی همورفیک براساس الگوریتم Paillier برای رمزگذاری استفاده شده و در دومی از ترکیبی از شبکه عصبی پیچیده عمیق و الگوی سه­گانه محلی برای تشخیص چهره استفاده شده است [7].

از آنجا که ورودی شبکه‌های عصبی عمیق (DNN) در برابر اغتشاشات نامحسوس استحکام ندارند، مدل‌های تشخیص چهره (FRMs) مبتنی بر DNN این آسیب‌پذیری را به ارث می‌برند. در این مقاله روشی برای ارزیابی و توصیف استحکام FRM ها در برابر اختلالات معنایی ورودی آنها پیشنهاد شده است. در این روش، با طراحی حملات متخاصم که به دنبال ایجاد تغییرات در حفظ هویت چهره­ها هستند، FRMها را دچار نقص می­کند. به طور خاص، با توجه به یک چهره، حملات انواع حفظ هویت چهره را پیدا می­کنند به طوری که یک FRM قادر به تشخیص تصاویر متعلق به همان هویت نیست. این تغییرات مدل­سازی می­شوند و در نهایت با ترکیب با روش صدور گواهی تضمین­های نظری در خصوص عملکرد یک FRM و همچنین یک توصیف رسمی از اینکه چگونه یک FRM ممکن است مفهوم هویت چهره را مدل سازی کند ارائه می شود [8]. همچنین به علت چالش­های موجود در تشخیص چهره مبتنی بر ویدئو که ناشی از تعداد زیاد فریم­ها و اختلافات درونی آنها می­باشد یک مدل معنایی جدید برای بهبود عملکرد تشخیص چهره مبتنی بر ویدیو پیشنهاد شده است. ایده اصلی ساخت یک زیرفضای کم­بعدی مناسب برای هر فرد است که بر اساس آن یک مدل معنایی برای طبقه‌بندی فریم‌های کلیدی فرد در کلاس خاص ساخته می‌شود. پس از طبقه‌بندی معنایی، از فریم‌های کلیدی متعلق به همان کلاس‌ها، یعنی همان معناشناسی، برای آموزش طبقه‌بندی‌کننده‌های خطی برای تشخیص استفاده می‌شود [9].

به طور معمول، احراز هویت کاربران تلفن هوشمند با استفاده از مکانیسم‌هایی (رمز عبور یا الگوی امنیتی) برای تأیید هویت کاربر انجام می‌شود که اگرچه این مکانیسم ها ارزان، ساده و به اندازه کافی سریع برای ورود مکرر هستند، اما در برابر حملاتی مانند  Shoulder surfing یا Smudge attack آسیب­پذیر هستند. این مشکل را می­توان با احراز هویت کاربران با استفاده از رفتار آنها (به عنوان مثال، رفتار لمسی) در هنگام استفاده از تلفن­های هوشمند برطرف کرد. چنین رفتارهایی شامل فشار انگشت، اندازه و زمان فشار هنگام ضربه زدن به کلیدها است. انتخاب ویژگی‌ها (از میان این رفتارها) می‌تواند نقش مهمی در عملکرد فرآیند احراز هویت داشته باشد. برای مورد مذکور یک روش احراز هویت ضمنی برای کاربران گوشی‌های هوشمند ارائه شده که در حالی که هزینه اضافی سخت‌افزار خاص را تحمیل نمی‌کند، به قابلیت‌های محدود گوشی‌های هوشمند می­پردازد [10].

در بسیاری از برنامه‌های کاربردی تشخیص ویژگی چهره (FAR) در دنیای واقعی، تنها داده‌های برچسب‌گذاری شده محدودی در دسترس هستند که منجر به بدتر شدن قابل‌توجه عملکرد اکثر روش‌های FAR که مبتنی بر یادگیری عمیق می‌باشند می‌شود. در همین راستا روشی به نام یادگیری وصله مکانی- معنایی (SSPL) پیشنهاد شده که آموزش آن شامل دو مرحله است. ابتدا، سه کار کمکی، متشکل از یک وظیفه چرخش وصله (PRT)، یک وظیفه تقسیم‌بندی وصله (PST) و یک وظیفه طبقه‌بندی وصله (PCT)، برای یادگیری رابطه مکانی- معنایی از داده‌های چهره بدون برچسب در مقیاس بزرگ ارائه می­شود. به طور خاص، PRT از اطلاعات فضایی تصاویر چهره به روش یادگیری خود نظارتی بهره برداری می­کند، PST و PCT به ترتیب اطلاعات معنایی در سطح پیکسل و سطح تصویر چهره را بر اساس مدل تجزیه چهره ضبط می­کنند. دانش مکانی- معنایی آموخته شده از وظایف کمکی به وظیفه FAR منتقل می­شود و این امکان را فراهم می­کند که فقط تعداد محدودی از داده­های برچسب گذاری شده برای تنظیم دقیق مدل از پیش آموزش دیده شده مورد استفاده قرار گیرد [11]. از طرفی از طریق شناسایی و پیاده­سازی منابع فشرده­ترین الگوریتم­ها بر روی هسته­های DSP Lcore و تحلیل تصویر معنایی برای تشخیص چهره، فن­آوری­های ایجاد دوربین­های هوشمند برای تجزیه و تحلیل تصویر معنایی بر اساس هسته های Lcore را شرح داده شده است [13]. 

در رویکردی دیگر با مورد مطالعه قرار گرفتن تشخیص چهره انسان بدون محدودیت با استفاده از بیومتریک­های نرم­مقایسه­ای در یک گالری برچسب انسانی (و بالعکس) برای برچسب‌گذاری مقایسه‌ای خودکار، بیومتریک­نرم صورت پیشنهاد شده است [15]. در روشی دیگر دسته‌ای از طبقه‌بندی‌کننده‌های ویژگی باینری که توصیف‌های بصری فشرده از چهره‌ها را ارائه می‌دهند، آموزش داده شده‌اند و این طبقه­بندی کننده­ها روی تصویر کاربر فعلی یک دستگاه تلفن همراه اعمال می‌شوند تا ویژگی‌ها را استخراج کنند و سپس احراز هویت با مقایسه ویژگی‌های محاسبه‌شده با ویژگی‌های ثبت‌شده کاربر اصلی انجام می‌شود و به این ترتیب روشی با استفاده از ویژگی­های چهره برای احراز هویت مداوم کاربران گوشی­های هوشمند ارائه­ شده است [12]. در رویکردی دیگر اثرات عوامل مختلف و فراپارامترهای شبکه­های عصبی عمیق برای یک پیکربندی شبکه­ای بهینه مورد بررسی قرار گرفته است که بتواند ویژگی­های معنایی چهره مانند احساسات، سن، جنسیت، قومیت و غیره را به درستی تشخیص دهد. در این روش علاوه بر بررسی رابطه بین اثر مفاهیم سطح بالا بر روی ویژگی­های سطح پایین از طریق تجزیه و تحلیل شباهت­ها در توصیفگرهای سطح پایین، ایده جدیدی از استفاده از یک شبکه عمیق برای تولید مدل‌های ظاهری فعال سه‌بعدی چهره‌ها از تصاویر دوبعدی دنیای واقعی نشان داده می­شود [14]. در مدل یکپارچه بعدی به طور منسجم در مورد تصاویر مشاهده شده، هویت­ها، دانش جزئی در مورد نام­ها، و زمینه موقعیتی هر مشاهده دلیل ارائه می­شود. هنگامی که مدل در برابر هویت­های شناخته شده به عملکرد تشخیصی خوبی دست می­یابد، می­تواند هویت­های جدیدی را از داده­های نظارت نشده ارائه دهد و یاد می­گیرد که بسته به اینکه کدام هویت­ها تمایل دارند با هم مشاهده شوند، هویت­ها را با زمینه­های مختلف مرتبط کند. علاوه بر این، مؤلفه نیمه نظارت شده پیشنهادی می‌تواند نه تنها آشنایان را که نامشان مشخص است، بلکه چهره‌های آشنای بدون برچسب و غریبه‌ها را نیز در چارچوبی یکپارچه مدیریت کند [16].

3-       روش شناسی

از آنجایی که ما به تکامل یک سیستم احراز هویت چهره علاقه­مندیم، این مطالعه یک رویکرد معنایی را پیشنهاد می­کند که هم تشخیص امنیتی و هم چالش­های تأیید چهره را بررسی می­کند. در بخش­های بعدی ابتدا به معرفی مفاهیم و پیشینه­های مورد استفاده در این مقاله می­پردازیم؛ سپس رویکرد تلفیقی مبتنی بر مدل معنایی پیشنهادی این مستند را برای تأیید چهره توصیف می‌کنیم. ما طرح‌های تک تصویری را در مقابل رویکردهای مبتنی بر ویدئو برای احراز هویت با چهره مقایسه می‌کنیم. هر دو مورد، برای کاربردهای متفاوت استفاده می‌شوند و در بسیاری موارد، این روش‌ها می‌توانند با موفقیت ترکیب شوند، یکدیگر را تکمیل کنند و اقدامات امنیتی در برابر حملات را بهبود بخشند.

1-3- زمینه

در این مطالعه، سه روش یادگیری ماشین برای احراز هویت چهره مورد بحث قرار گرفته است. اساس تقسیم‌بندی اطلاعات شامل ویژگی‌های استخراج‌شده، ارائه خوشه‌بندی K-Means فازی و کاهش ویژگی‌ها با کمک الگوریتم ژنتیک است که در ادامه بیان می‌شود.

1-1-3- فراگیری ماشین

یادگیری ماشینی روشی برای به کار انداختن ماشین از طریق توانایی استدلال بر اساس نتایج یادگیری است. به عبارت دیگر، هنگامی که مجموعه داده­های دقیقی در اختیار یک ماشین قرار می گیرد، ماشین به تنهایی قوانین مربوطه را یاد می­گیرد و نتیجه مربوط به این قوانین را برای داده­ها به عنوان خروجی ارائه می­دهد. در میان این روش‌های یادگیری ماشینی، یادگیری عمیق، که نورون‌های انسانی را کپی می‌کند و چندین لایه از لایه‌های یادگیری را بین ورودی‌ها و خروجی‌ها سازماندهی می‌کند تا نتایج پیشرونده‌تری ارائه کند، در کانون توجه قرار دارد [17]. یادگیری عمیق (DL) می تواند برای استخراج انتزاعات پیچیده و سطح بالا از نمایش داده ها استفاده شود. این کار با استفاده از یک معماری سلسله مراتبی و لایه‌ای یادگیری انجام می‌شود، که در آن ویژگی‌های انتزاعی بیشتر یعنی سطح بالاتر بیان می‌شوند و در بالای موارد انتزاعی کمتر یعنی سطح پایین توصیف می­شوند. روش‌های DL می‌توانند حجم عظیمی از داده‌های بدون نظارت را تجزیه و تحلیل کنند و از آن‌ها بیاموزند، که این روش برای BDA مناسب است؛ در BDA داده‌های خام عمدتاً بدون برچسب و طبقه‌بندی نشده هستند [18].

در میان مدل‌های یادگیری ماشین مبتنی بر یادگیری عمیق، شبکه عصبی مصنوعی [19]، استنتاج فازی مبتنی بر شبکه تطبیقی (ANFS) [20] و درخت تصمیم (DT) [21] روش‌های مهمی هستند که برای تشخیص اشیا استفاده می‌شوند. در این تحقیق از این ابزارها برای احراز هویت افراد با ترکیبی از ویژگی­های استخراج شده استفاده کرده­ایم.

2-1-3- خوشه بندی K-Means فازی

روش K-Means یک الگوریتم خوشه‌بندی است که مجموعه‌ای از نقاط داده را به خوشه‌ها اختصاص می‌دهد به صورتی که نقاط داده در همان خوشه شباهت بالایی داشته باشند. الگوریتم K-Means به دلیل کارایی آن مورد استفاده بوده و با تغییرات و تعمیم­های متنوعی در طول سال­ها توسعه یافته است. در میان انواع مختلف الگوریتم K-Means ، الگوریتم K-Means فازی (FKM) محبوب­ترین است [22-23]. به این ترتیب، برای مقابله با برخی از مشکلات در طول خوشه­بندی، مانند تعداد خوشه­ها و مراکز اولیه خوشه، یک اصطلاح پنالتی به تابع هدف FKM معرفی شده است [24]. خوشه‌بندی X به خوشه‌های C توسط این الگوریتم برای به حداقل رساندن تابع هدف زیر است:

منوط به

(1)

در جایی که  یک ماتریس تقسیم­بندی NC،  یک ماتریس CMM حاوی مراکز خوشه و DIK یک تفاوت اندازه‌گیری بین مرکز خوشه KT و شی i-t است. روش به حداقل رساندن متناوب بین ماتریس عضویت  و ماتریس مرکز خوشه  را می­توان برای (1) اعمال کرد:

(3)

(4)

        

اولین عبارت در (1) تابع­ هزینه الگوریتم استاندارد K-Means است. عبارت دوم برای به حداکثر رساندن آنتروپی منفی عضویت اشیاء به خوشه در فرآیند خوشه‌بندی اضافه می‌شود، که می‌تواند همزمان پراکندگی درون خوشه‌ای را به حداقل برساند و آنتروپی وزن منفی را جهت تعیین خوشه‌ها برای کمک به ارتباط اشیاء به حداکثر برساند.

3-1-3- الگوریتم ژنتیک

(2)

شکل 2: مسیر نسل جدید در الگوریتم ژنتیک] 29[

الگوریتم­های ژنتیک فرآیند جستجوی مقادیر بهینه را در چندین نقطه به طور همزمان در یک نسل انجام می­دهند [1]. فرآیند تکرار با رویکرد تکاملی نسل به نسل انجام می­شود، اما تعداد اعضای کروموزوم با بهترین تناسب برای هر نسل حفظ می­شود زیرا آنها مجموعه ای از راه­حل­ها هستند [24]. کروموزوم­ها می­توانند کدهای باینری، عدد صحیح یا اعشاری باشند. در فرآیند تکامل، تعدادی از ژن‌ها که کروموزوم را می‌سازند در یک فرآیند متقاطع و جهش هستند [25]. الگوریتم‌های ژنتیک با استفاده از کروموزوم‌هایی که برای به دست آوردن جواب بهینه زنده نگه­داشته می‌شوند از انتقال امکان­پذیر برای انتخاب بهترین کروموزوم‌ها استفاده می‌کنند [30 و 31]. فرآیند تناسب هر کروموزوم به­طور جداگانه با تغییر ژنوتیپ کروموزوم به فنوتیپ آن انجام می­شود. رشته­های باینری به متغیرهایی به شکل جفت های واقعی  تبدیل می­شوند. جمعیت اولیه، یک رشته باینری با طول  است که مردم نامیده می­شوند. این فرآیند انتخاب را برای نسل بعدی توسط چرخ رولت حفظ می­کند. بنابراین، کروموزوم با تناسب بالا شانس بیشتری برای انتخاب دارد. انتخاب افرادی که به نسل بعدی منتقل می­شوند با تولید اعداد تصادفی  انجام می شود [29]. روند فرآیند یک الگوریتم ژنتیک در شکل (1) نشان داده شده است. 

تقاطع از روش یک نقطه برش با جفت شدن دلخواهانه کروموزوم­ها، سپس انتخاب یک نقطه متقاطع برای تنظیم محل برش در کروموزوم­ها استفاده می­کند. به عنوان مثال، کروموزوم­های 2 و 5 به عنوان اولین جفت برای عبور انتخاب می­شوند و  نقطه متقاطع است. در این تحقیق، انتخاب  به این معنی است که حدود 1% از ژن ها در جمعیت جهش می­یابند. اگر مقدار ژن  صفر باشد، مقدار ژن به 1 تغییر می­کند، اما اگر مقدار آن 1 باشد، به 0 تغییر می­کند. علاوه بر این، ژن­های کروموزوم­های 1، 3 و 4 با مقدار 1 جهش می­یابند. کروموزوم­ با ارزش تناسب بالا، احتمال تکثیر در نسل بعدی را خواهد داشت [30].

2-3- کار پیشنهادی

امروزه بانک­ها به طور فزاینده­ای از فناوری بیومتریک برای شناسایی بهتر مشتریان جدید، احراز­ هویت ایمن مشتریان فعلی، محافظت از تراکنش­های با ارزش بالا و مبارزه با کلاهبرداری استفاده می کنند. در واقع، از آنجایی که بانک‌ها بیومتریک را در همه جا از شعب فیزیکی سنتی گرفته تا جدیدترین پلت‌فرم‌های دیجیتال به کار می‌گیرند، این فناوری تنها ابزار قابل اعتماد برای احراز هویت و تامین امنیت مشتریان بانکی در همه کانال‌ها می­باشد. روندهای منتهی به پذیرش بیومتریک در بین بانک ها متعدد و شامل موارد زیر است:

• ظهور تلفن­های همراه و احراز هویت بیومتریک چند وجهی مبتنی بر تلفن همراه.

• ظهور کارت­های بانکی بیومتریک به معنای «خداحافظی با کدهای پین».

• دریافت کراس کانال، پذیرش بیومتریک در تمام کانال‌های بانکی اتفاق می‌افتد، پشتیبانی فزاینده API های بانکداری باز، از طریق مقرراتی مانند PSD2 که استفاده از بیومتریک را در سناریوهای احراز هویت چند عاملی تشویق می‌کنند و دستگاه‌های اینترنت اشیاء که از صدا و تصویر پشتیبانی می‌کنند.

در این مقاله ضمن بررسی مشکلات امنیتی در بانکداری همراه به روش­های احراز هویت در بانکداری آنلاین و موبایلی پرداخته شده و در این راستا روش جدیدی برای حل چالش اصلی امنیت و احراز هویت در حوزه بانکداری همراه ارائه شده است. روش پیشنهادی ترکیبی از روش­های داده­کاوی شامل روش­های یادگیری عمیق مانند شبکه عصبی مصنوعی (ANN)، شبکه فازی عصبی تطبیقی (ANFIS) و الگوریتم درخت تصمیم C4.5 است. در ادامه مراحل اجرای طرح احراز هویت با چهره افراد بر اساس مدل معنایی پیشنهادی شرح داده شده است. اساس مدل‌سازی معنایی این اثر، سازگاری ویژگی‌های استخراج ‌شده از تصویر چهره افراد برای احراز هویت است.

این فرآیند شامل موارد زیر می باشد:

·       فاز 1: مجموعه داده‌های مورد استفاده در این مقاله می­تواند شامل هر نوع داده­ای باشد که در زمینه موبایل بانک استفاده می­شود؛ اما با توجه به تمرکز این کار بر احراز هویت اشخاص حقیقی، سعی خواهد شد از مجموعه­ای از تصاویر استفاده شود. تصویر افراد مختلف باید از زوایای مختلف مورد استفاده قرار گیرد. داده­های [25،26] می­تواند از جمله مجموعه داده­های مورد استفاده در این تحقیق باشد. 

·       فاز 2: تهیه داده‌گاهی در متون داده­کاوی به عنوان یک موضوع جزئی و به عنوان گامی در فرآیند داده­کاوی نادیده گرفته می­شود. در برنامه­های کاربردی داده­کاوی در دنیای واقعی، وضعیت برعکس است و تلاش بیشتری صرف آماده­سازی داده­ها، نسبت به روش­های داده­کاوی می­شود. در این راستا دو وظیفه اصلی برای آماده­سازی داده­ها وجود دارد: (الف) سازماندهی استاندارد داده­ها در اجرای پروژه­های داده­کاوی به منظور آماده سازی داده­ها برای پردازش با داده­کاوی و سایر ابزارهای مبتنی بر رایانه. (ب) تهیه مجموعه داده­ها به گونه­ای که به بهترین عملکرد روش­های داده­کاوی منجر شود.

·       فاز 3: انتخاب دسته­بندی­ها برای ادغام باید به گونه­ای باشد که این دسته­ها مکمل یکدیگر باشند و هر کدام به اختصار توضیح داده شوند. تفکیک نمونه­های آموزشی و آزمون برای دسته­هایی که مکمل یکدیگر هستند بر اساس ویژگی­های استخراج شده مورد توجه است. خوشه‌بندی K-Means فازی نظارت شده برای مجموعه‌ای از نمونه‌های تصویر جهت آموزش یک سیستم یادگیری ماشین استفاده شده است. این مجموعه داده شامل 77 ویژگی است که از تصاویر چهره افراد مورد مطالعه استخراج شده است.

·       فاز 4: از یک روش الگوریتم تکاملی برای هر دسته از ویژگی‌ها استفاده می‌شود تا مجموعه‌ای از ویژگی‌ها انتخاب شود که با برآورد صحیح افراد مطابقت داشته باشد. با توجه به الگوریتم ژنتیک پیشنهادی برای طبقه‌بندی و جداسازی نمونه‌ها برای این مرحله یک تابع­ هدف سازگاری تعریف شده است. تابع هدف در بخش بعدی معرفی می­شود.

 

شکل (1): مسیر نسل جدید در الگوریتم ژنتیک] 29[

 

شکل (2): فلوچارت مراحل اجرای طرح احراز هویت چهره پیشنهادی بر اساس مدل معنایی

·       فاز 5: نتایج به دست آمده از دسته‌ها به صورت اکثریت آرا ترکیب می­شوند. در این مرحله، مقادیر انتخاب شده برای خروجی نهایی از پاسخ‌ها بر اساس دسته­بندی­ها و بر اساس یک تصمیم جمعی فازی برای داده­ها به دست می­آید. قوانین فازی حاکم بر این تصمیم در بخش بعدی ارائه شده است. فرآیندهای اجرای طرح احراز هویت چهره پیشنهادی بر اساس مدل معنایی در شکل (2) نشان داده شده است.

1-2-3- روش‌های مدل معنایی با کمک سازگاری ویژگی با خروجی‌های برچسب‌گذاری شده افراد

این پروژه با توجه به مراحل ذکر شده به منظور انجام یک سیستم یادگیری ماشینی به عنوان یک سیستم آموزش و تست شامل ANN، ANFIS، DT بر اساس مدل معنایی پیشنهادی انجام شده است. در این رویکرد از دو روش برای ایجاد یک مدل معنایی استفاده شده است. در روش اول از خوشه­بندی K-Means فازی برای دسته­بندی ویژگی­های استخراج شده از چهره افراد با کمک داده­های آموزش تصویر استفاده شده است. بنابراین، با توجه به مقادیر خروجی داده‌های آموزشی، خوشه‌بندی ویژگی‌ها برای تصاویر افرادی که برای ایجاد حساب همراه بانک ثبت­نام کرده‌اند، انجام شده است. خوشه­بندی پیشنهادی ویژگی­های استخراج شده، تصاویر را به سه دسته از ویژگی­های مورد استفاده برای سیستم یادگیری ماشین تقسیم می­کند.

روش دوم بر اساس توانایی کمک یک تابع هدف چند جمله­ای برای هر ویژگی از تصاویر آموزشی است. در این روش پس از نرمال­سازی ویژگی­ها، از الگوریتم ژنتیک استفاده می­کنیم. این الگوریتم ضرایب چندجمله­ای را پس از 300 دوره تکرار تعیین می­کند. در این بخش، تابع هدف را به عنوان انحراف چندجمله­ای مقادیر خروجی هدف برای تعداد تصاویر افراد مختلف تعریف می­کنیم. ضرایب چند جمله­ای، پاسخ­های مستقل از الگوریتم ژنتیک را برای حداقل انحراف نهایی از مقادیر خروجی تصویر نشان می­دهند. در این مرحله، پس از تعیین ضرایب چندملیتی مورد نظر برای همه ویژگی‌ها، هر کدام که خطای خروجی کمتری دارند، به عنوان ویژگی‌های تطبیقی با تصویر فرد شناسایی می‌شوند؛ که این ویژگی‌ها برای آموزش سیستم یادگیری ماشینی در دسته‌های خوشه‌ای انتخاب شده‌اند.

کد برنامه تابع شیء در زیر آمده است: 

 

 

 

 

 

 

 

2-2-3- پاسخ­های سیستم­های یادگیری ماشین

پس از انتخاب و طبقه­بندی ویژگی­های استخراج شده از تصاویر بر اساس تقسیم­بندی­های انجام شده، مجموعه­ای از ویژگی­ها به هر سیستم یادگیری ماشین اختصاص داده می­شود. با توجه به آموزش داده شده، برای هر شخص واقعی به هر سیستم یادگیری ماشینی یک انتخاب با درصد مشخصی از دقت داده می­شود. قوانین حاکم برای این تصمیم فازی در جدول (1) آورده شده است. مقادیر ورودی سیستم فازی با کمک سطح دقت هر سیستم یادگیری ماشینی مورد نظر برای هر فرد در محدوده بین 0 و 1 تعریف می­شود که برای هر فرد و هر سیستم یادگیری با کمک سیستم آموزش چهره از پیش تعیین شده است. مقدار 1 برای هر شخص مورد نظر به این معنی است که تصویر این شخص توسط سیستم یادگیری ماشینی با دقت 100 درصد به درستی شناسایی شده است. همچنین مقدار 0 به این معنی است که فرد شناسایی شده به درستی توسط این سیستم یادگیری ماشینی با دقت 0 درصد شناسایی شده است. رابطه دقت محاسبه شناسایی افراد توسط الگوریتم یادگیری مورد نظر به صورت زیر تعریف می­شود:

دقت شناسایی افراد = تعداد تصاویر افراد به درستی شناسایی شده / تعداد کل تصاویر افراد برای آموزش سیستم یادگیری ماشین

جدول (1): قواعد اساسی تصمیم­گیری فازی

DT	ANN	ANFIS	Decision Output
Low	Low	Low	Low
Low	Low	Mid	Low
Low	Low	High	Low
Low	Mid	Low	Low
Low	Mid	Mid	Low
Low	Mid	High	Low
Low	High	Low	Low
Low	High	Mid	Low
Low	High	High	High
Mid	Low	Low	Low
Mid	Low	Mid	Low
Mid	Low	High	Low
Mid	Mid	Low	Low
Mid	Mid	Mid	Low
Mid	Mid	High	High
Mid	High	Low	Low
Mid	High	Mid	High
Mid	High	High	High
High	Low	Low	Low
High	Low	Mid	Low
High	Low	High	High
High	Mid	Low	Low
High	Mid	Mid	High
High	Mid	High	High
High	High	Low	High
High	High	Mid	High
High	High	High	High

 

شکل (3): محاسبه دقت شناسایی افراد توسط DT، ANFIS و ANN برای 5 نفر

4-       نتایج و بحث­ها

به منظور آزمایش رویکردهای پیشنهادی، از پایگاه داده چهره AR [25،26] و فریم دوربین موبایل برای افراد مختلف استفاده شده است که در آن برای هر فرد 15 عکس با حالات چهره و تغییرات نور متفاوت وجود دارد. همچنین از پایگاه ­داده MUTC با 3755 چهره برای 76 عضو ثبت شده استفاده شده که در آن یک فایل برای هر یک از پنج دوربین و یک فایل برای اطلاعات نشانه­های دستی وجود دارد. برای جلوگیری از جعل و کلاهبرداری از یک سری تصاویر با فریم های مختلف چهره افراد که از طریق دوربین­های مختلف موبایل گرفته شده است، استفاده شده است. این کار ضمن افزایش ارزش عملی روش پیشنهادی در زمینه موبایل بانک، امکان استفاده هکرها از تصاویر جعلی را تا حد زیادی کاهش می­دهد. دلیل این امر استفاده آنلاین از پردازش تصویر با فریم های مختلف است.

در رویکرد پیشنهادی، ویدیویی از یک کاربر که هر یک از چالش‌ها را انجام می‌دهد، یک تلاش فردی برای ورود به سیستم تلقی می­شود. از آنجایی که اکتساب داده­ها کنترل نمی­شود، ویدئوهایی با طول­های مختلف جمع­آوری می­شوند. بنابراین، یک خط لوله خودکار برای پردازش ویدیوهای ضبط شده به داده­های ساختاریافته پیشنهاد شده که بعداً برای ایجاد ویژگی­هایی برای احراز هویت چهره استفاده می­شود. در این راستا ابتدا، ابرداده جهت‌گیری ویدئو استخراج شده تا بهترین عملکرد را از کتابخانه‌های نرم‌افزار MATLAB که برای تشخیص چهره و تشخیص نقطه‌نظر استفاده می‌شوند، داشته باشیم. سپس مجموعه­ای از فریم­ها از هر ویدیوی جمع­آوری شده نمونه برداری می­شوند. در مطالعه پیش­رو، تمام ویدیوها با سرعت 10 فریم در ثانیه (fps) نمونه­برداری شده­اند. پس از آن، برای پارادایم، تشخیص چهره طبق روش­های ذکر­شده بر اساس توابع و جعبه ابزار MATLAB مدل سازی و پیاده سازی شده است.

پیش پردازش تصاویر به منظور حذف نویز و افزایش کیفیت تصاویر با کمک مدل­های اولیه انجام می­شود. برای مشکل روشنایی در این کار سعی شده است که میانگین تضاد تصاویر برای همه نمونه­ها و فریم­ها در مقدار 30 نرمال شود. برای استخراج ویژگی­هایی مانند بافت، رنگ و مشخصات هندسی در قسمت­های مختلف از توابع متفاوتی استفاده شده است. در مجموع 77 ویژگی برای هر تصویر از شخص مورد نظر استخراج می­شود که به دلیل ناکارآمدی برخی ویژگی­های تصاویر نمونه، برای طبقه­بندی هویت افراد، در پردازش­های بعدی می­بایست ارزش آن ویژگی­ها کاهش یابد یا کلاً حذف شوند. با توجه به این دیدگاه، در این اثر، یک مدل معنایی برای خوشه‌بندی ویژگی‌ها بر اساس وابستگی آنها به افراد هدف و سازگاری آنها با کدهای احراز هویت افراد ارائه شده است. این مدل معنایی ضمن کمک به کاهش حجم پردازش اطلاعات برای سیستم‌های پردازشگر سیار به صورت بهینه از مهم­ترین ویژگی‌های موجود استفاده می‌کند. با توجه به این فرآیندها، ویژگی­ها به سه دسته تقسیم شده و با کمک روش­های پیشنهادی مبتنی بر الگوریتم ژنتیک و خوشه بندی K-Means فازی، مجموعه 77 ویژگی در سه گروه 2، 4 و 24 طبقه بندی می­شوند. در مجموع از 30 ویژگی برای شناسایی تصویر چهره افراد استفاده شده است. در این مرحله، ویژگی‌های انتخاب‌ شده و دسته‌بندی‌شده به‌ترتیب توسط گروه‌های ۲۴، ۴ و ۲ وارد سه سیستم یادگیری ماشین به نام‌های ANFIS ،ANN و DT می‌شوند. آموزش با کمک این داده­ها انجام می­شود. اکنون برای داده­های تصویر آزمایش شده، دقت احراز هویت هر فرد برای هر سیستم یادگیری ماشینی محاسبه می­شود. شکل (3) نتایج دقت شناسایی 5 فرد آزمایش شده را برای هر سه سیستم یادگیری ماشینی به صورت نمودار میله­ای نشان می­دهد. در نهایت نتایج تصمیم­گیری برای تصویر آزمایشی با کمک سیستم منطق فازی نمایش داده شده است. برای نمونه تصویر آزمایش شده، تا 5/98 درصد تشخیص صحیح چهره با کمک سیستم منطق تصمیم گیری فازی تضمین شده است.

5-       نتیجه

در این کار، یک روش احراز هویت چهره پویا مبتنی بر مدل معنایی با کمک خوشه‌بندی ویژگی با روش K-Means فازی و انتخاب ویژگی تطبیقی توسعه داده شده. روش‌های مهندسی ویژگی توسعه داده شده برای نشان دادن نشانه های زمان چالش و ویژگی‌های چهره مؤثر هستند. همچنین، مجموعه‌ای از معماری‌های یادگیری ماشین پیشنهاد و پیکربندی شده­اند تا تأیید چهره را به طور مؤثر انجام دهند. مطالعه انجام شده رویکردی موثر برای سیستم‌های احراز هویت چهره ارائه می‌کند که می‌تواند در حوزه بانکداری موبایلی مورد استفاده قرار گیرد و امنیت حساب‌های بانکی و اعتماد مشتریان را افزایش دهد. در تحقیقات آتی، پارادایم‌هایی پیشنهاد شده‌اند که می‌توانند انواع مختلف حملات مبتنی بر بانکداری آنلاین و رسانه‌ای (حملات چاپی، حملات صفحه نمایش، ماسک‌های دوبعدی، ویدیوهای سرقت شده از رسانه، جعلی‌های عمیق ) را شناسایی کنند.

مراجع

[1] Smith-Creasey M, Albalooshi FA, & Rajarajan M (2018) Continuous face authentication scheme for mobile devices with tracking and liveness detection. Microprocess Microsyst 63:147-157.

 [2] Jafri R & Arabnia HR (2009) A survey of face recognition techniques. J Inf Process Syst 5:41-68.

 [3] Mohan J, & Rajesh R (2021) Enhancing home security through visual cryptography. Microprocess Microsyst 80:103355.

 [4] Adesuyi F A, Oluwafemi O, Oludare AI & Rick A (2013) Secure authentication for mobile banking using facial recognition.

 [5] Stragapede G et al. (2022) Mobile behavioral biometrics for passive authentication. Pattern Recognit Lett 157: 35-41.

 [6] Saxena N & Varshney D (2021) Smart Home Security Solutions using Facial Authentication and Speaker Recognition through Artificial Neural Networks. International Journal of Cognitive Computing in Engineering 2:154-164.

 [7] Zeroual A, Amroune M, Derdour M & Bentahar A (2021) Lightweight deep learning model to secure authentication in Mobile Cloud Computing. J. King Saud Univ. - Comput Inf Sci.

 [8] Pérez JC, Alfarra M, Thabet A, Arbeláez P & Ghanem B (2022) Towards Assessing and Characterizing the Semantic Robustness of Face Recognition. arXiv preprint arXiv:2202.04978.

 [9] Gong D, Zhu K, Li Z & Qiao Y (2013) in 2013 IEEE International Conference on Information and Automation (ICIA). 1369-1374 (IEEE).

 [10] El-Soud MWA, Gaber T, AlFayez F & Eltoukhy MM (2021) Implicit authentication method for smartphone users based on rank aggregation and random forest. Alex Eng J 60:273-283.

 [11] Shu Y et al. in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 11916-11925.

 [12] Samangouei P, Patel VM & Chellappa R (2017) Facial attributes for active authentication on mobile devices. Image Vis Comput 58:181-192.

 [13] Yanakova E, Ishkova T, Belyaev A, Koldaev V & Kolobanova M (2019) in 2019 IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering (EIConRus). 1848-1851 (IEEE).

 [14] Gudi A (2015) Recognizing semantic features in faces using deep learning. arXiv preprint arXiv:1512.00743.

 [15] Almudhahka NY, Nixon MS & Hare JS (2017) in 2017 12th IEEE International Conference on Automatic Face & Gesture Recognition (FG 2017). 180-185 (IEEE).

 [16] de Castro D C & Nowozin S: in Proceedings of the European Conference on Computer Vision (ECCV). 745-761.

 [17] Choi HS & Cho YH (2019) Analysis of Security Problems of Deep Learning Technology. Journal of the Korea Convergence Society 10: 9-16.

 [18] Najafabadi MM et al. (2015) Deep learning applications and challenges in big data analytics. J Big Data 2:1-21.

 [19] Kim Th: in International Conference on Information Security and Assurance. 138-148 (Springer).

 [20] Sujatha K et al. in Proceedings of International Conference on Sustainable Computing in Science, Technology and Management (SUSCOM), Amity University Rajasthan, Jaipur-India.

 [21] Redla SS, Mallik B & Mangalampalli VK (2020) in 2020 2nd International Conference on Innovative Mechanisms for Industry Applications (ICIMIA). 223-229 (IEEE).

 [22] Ruspini EH (1969) A new approach to clustering. Information and control 15:22-32.

 [23] Bezdek JC (1980) A convergence theorem for the fuzzy ISODATA clustering algorithms. IEEE Trans Pattern Anal Mach Intell 1-8.

 [24] Li MJ, Ng MK, Cheung Ym. & Huang JZ (2008) Agglomerative fuzzy K-Means clustering algorithm with selection of number of clusters. IEEE Trans Knowl Data Eng 20:1519-1534.

 [25] Naruei I & Keynia F (2021) Wild horse optimizer: A new meta-heuristic algorithm for solving engineering optimization problems. Eng Comput 1-32.

 [26] Wu YL, Tang CY, Hor MK & Wu PF (2011) Feature selection using genetic algorithm and cluster validation. Expert Syst Appl 38:2727-2732.

 [27] Venkatesh B & Anuradha J (2019) A review of feature selection and its methods. Cybern Inf Technol 19:3-26.

 [28] Malhotra R, Singh N & Singh Y (2011) Genetic algorithms: Concepts, design for optimization of process controllers. Comput Sci Inf Syst 4:39.

 [29] Pei M, Goodman E & Punch W. in Proceedings of the 1st International Symposium on Intelligent Data Engineering and Learning, IDEAL. 371-384.

 [30] Suardani LGP, Bhaskara IMA & Sudarma M (2018) Optimization of Feature Selection Using Genetic Algorithm with Naïve Bayes Classification for Home Improvement Recipients. Int J Eng Emerging Technol 3:66-70.

 [31] Huszár VD & Adhikarla VK (2021) Live spoofing detection for automatic human activity recognition applications. Sensors 21:7339.

 [32] Milborrow S, Morkel J & Nicolls F (2010) The MUCT landmarked face database. Pattern recognition association of South Africa 201.

 [33] Cherifi F, Hemery B, Giot R, Pasquet M & Rosenberger C (2010) in Behavioral biometrics for human identification: Intelligent applications 57-74 (IGI Global, 2010).

 [34] Maglogiannis I, Iliadis L, Macintyre J & Cortez P (2022) Artificial Intelligence Applications and Innovations: 18th IFIP WG 12.5 International Conference, AIAI 2022, Hersonissos, Crete, Greece, June 17–20, 2022, Proceedings, Part II. Vol. 647 (Springer Nature, 2022).

 [35] Eberz S, Rasmussen KB, Lenders V & Martinovic I (2017) in Proceedings of the 2017 ACM on Asia conference on computer and communications security. 386-399.

 [36] Buriro A, Crispo B, Frari FD, Klardie J & Wrona K: in International conference on passwords. 45-61 (Springer).

 [37] Kumar R, Phoha VV & Raina R (2016) Authenticating users through their arm movement patterns. arXiv preprint arXiv:1603.02211.

 [38] Shrestha B, Mohamed M & Saxena N (2016) Walk-unlock: Zero-interaction authentication protected with multi-modal gait biometrics. arXiv preprint arXiv:1605.00766.

 [39] Ehatisham-ul-Haq M et al (2017) Authentication of smartphone users based on activity recognition and mobile sensing. Sensors 17:2043.

 [40] Li G & Bours P (2018) in 2018 21st International Conference on Information Fusion (FUSION). 2091-2097 (IEEE).

 [41] Buriro A, Crispo B & Conti M (2019) AnswerAuth: A bimodal behavioral biometric-based user authentication scheme for smartphones. J Inf Secur Appl 44:89-103.

 [42] Volaka HC, Alptekin G, Basar OE, Isbilen M & Incel OD (2019) Towards continuous authentication on mobile phones using deep learning models. Procedia Comput Sci 155:177-184.

 [43] Lamiche I, Bin G, Jing Y, Yu Z & Hadid A (2019) A continuous smartphone authentication method based on gait patterns and keystroke dynamics. J Ambient Intell Humaniz Comput 10: 4417-4430.

[44] Abuhamad M, Abuhmed T, Mohaisen D & Nyang D (2020) AUToSen: Deep-learning-based implicit continuous authentication using smartphone sensors. IEEE Internet Things J 7:5008-5020.Object Management Group. Unified Modeling Language: Superstructure, Version 2.0, ptc/03-07-06, July 2003, http://www.omg.org/cgi-bin/doc?ptc/2003-08-02.

 

1

نشریه تحلیل مدارها، داده ها و سامانه ها - سال اول- شماره سوم - پاییز 1402

 

---