شناسایی امضای آفلاین بر اساس یادگیری عمیق با استفاده از شبکه‌های عصبی پیچشی
محورهای موضوعی : پردازش چند رسانه ای، سیستمهای ارتباطی، سیستمهای هوشمند
مجید کشاورز هدایتی
1
,
رویا راد
2
*
,
علیرضا تقی زاده
3
1 - دانشجوي کارشناسي ارشد، گروه کامپيوتر وIT، واحد پرند، دانشگاه آزاد اسلامي، تهران، ايران
2 - استاديار، گروه کامپيوتر وIT، واحد پرند، دانشگاه آزاد اسلامي، تهران، ايران
3 - استاديار، گروه کامپيوتر وIT ، واحد پرند، دانشگاه آزاد اسلامي، تهران، ايران
کلید واژه: شناسایی امضا, شبکه‌های عصبی پیچشی, بینایی ماشین, استخراج ویژگی, یادگیری عمیق,
چکیده مقاله :
چکیده: یکی از کارآمدترین روشهای شناسایی و تأیید هویت، استفاده از مشخصه‌های زیست‌سنجی یا بیومتریک است. امضا به این دلیل که یکی از مشخصه‌های رفتاری فرد در علم بیومتریک است، گزینه بسیار خوبی برای تأیید هویت هر فرد است. این پژوهش به طراحی و پیاده‌سازی سیستمی برای تشخیص و تأیید امضا با استفاده از الگوریتم‌های بینایی ماشین و یادگیری عمیق می‌پردازد. روش پیشنهادی برای تشخیص امضای آفلاین شامل 4 مرحله کلی شامل پیش‌پردازش، استخراج ویژگی، دسته‌بندی و ارزیابی است. دسته‌بندی امضا بر اساس شبکه‌های عصبی پیچشی با دو معماریVGG19 و Inception V3 پیاده سازی شده است. برای جلوگیری از بیشبرازش از یادگیری انتقالی و دادهافزایی نیز در روند آموزش مدل استفاده شده است. علاوه بر تشخیص امضا از سیستم پیشنهادی می‌توان برای تایید اصلی یا جعلی بودن امضا نیز استفاده نمود. آموزش و آزمایش مدل بر روی دیتاست UTSig صورت گرفته که شامل نمونه امضاهای اسکن شده ایرانی‌ها و توسط دانشگاه تهران تهیه گردیده است. این دیتاست از نمونه امضای 115 نفر و از هر نفر 27 امضا تشکیل شده است؛ در این دیتاست امضاهای جعلی نیز موجود است که برای ارزیابی مدل پس از آموزش و در مرحله تایید امضا از آن‌ها استفاده شده است. در ارزیابی مدل بر روی این دیتاست دقت 94.3% به دست آمد که نشان‌دهنده قدرت روش پیشنهادی نسبت به روشهای مشابه است.
Introduction: In many daily affairs, it is necessary to confirm the identity of each person, such as banking affairs, document registration, property purchase, etc. Among the methods of identity verification, biometric characteristics are one of the most efficient methods, and signature is considered as one of the behavioral characteristics. In this research, a system was designed and implemented to detect and verify signatures with high accuracy and low error using machine vision and deep learning algorithms. In the offline signature Identification method, only the signature scanned image is needed, in order to obtain the features of the image for training. On the contrary, the online method where the signer himself is present and his characteristics are checked with special tools at the moment, such as the angle of the pen, starting points, slippage, etc.The proposed method for offline signature detection includes 4 general steps including pre-processing, feature extraction, classification and evaluation.
Method: One of the challenges of signature Identification in previous methods was the model's need for heavy pre-processing and feature extraction, which sometimes became more complicated than the training process. By using deep learning in convolutional neural networks, these challenges have been solved. To classify signatures, deep neural networks and VGG19 and Inception V3 architecture were used. These architectures include convolution and pooling layers, which are the basis of feature extraction from the image during training, and classification was done based on these features. To prevent overfitting, transfer learning and data augmentation have also been used in the model training process. In the proposed system, it is possible to distinguish between the original and fake signature.
Results: This dataset includes Iranian signature samples of 115 people and 27 scanned signatures from each person, totaling 3105 numbers; In this dataset, there are also fake signatures that are used to test the model after training and evaluation. In the evaluation of the model on this dataset, 94.3% accuracy was obtained, which shows the strength of the proposed method compared to similar methods.
Discussion: High accuracy and low error are the characteristics of the method mentioned in this article. By using convolutional neural networks, due to maintaining local information, the relationship between neighboring pixels is learned, and this makes the model not sensitive to the change of location and center of gravity, noise, etc. As a result, the training process is better and high accuracy and error less is obtained.
[1] Afrasiabi, Mansourizadeh,"Signature identification using neural network and comparison of Iranian and foreign signatures", the first Iranian Information Technology Student Conference, Sanandaj, 2018.
[2] Abdipour, Shokohi Rostami and Naderi, "Signature identification by a strong data mining algorithm and presentation of a feature set", International Conference on Science, Engineering, Technology and Technological Businesses, Tehran, 2018.
[3] Keshavarz, Jamali and Rafiei, "Offline signature identification using support vector machine", the second conference of new achievements in electrical and computer engineering, Islamic Azad University, Joibar branch, 2013.
[4] Jivesh Poddara, Vinanti Parikha, Santosh Kumar Bhartia, "Offline Signature Recognaition and Forgery Detection using Deep Learning" Pandit Deendayal Petroleum University, Gandhinagar, Gujarat، India 2020
[5] Victoria Ruiz، Ismael Linares، Angel Sanchez، JoseF. Velez، "Off-line Handwritten Signature Verification using Compositional Synthetic Generation of Signatures and Siamese Neural Networks", 2019
[6] Elias N. Zois، Alex Alexandridis، George Economou،" Writer Independent Offline Signature Verification based on Asymmetric Pixel Relations and Unrelated Training-Testing Datasets "، 2019
[7] Szegedy, Christian, et al. "Rethinking the inception architecture for computer vision." Proceedings of the IEEE conference on computer vision and pattern recognaition 2016.
[8] Breast cancer screening using convolutional neural network and follow-up digital mammography - Scientific Figure on ResearchGate. Available from: https://www.researchgate.net/figure/llustration-of-the-network-architecture-of-VGG-19-model-conv-means-convolution-FC-means_fig2_325137356 [accessed 24 Jan, 2023]
[9] Amir Soleimani 1,*, Kazim Fouladi 1, Babak N. Araabi, "UTSig: A Persian Offline Signature Dataset", IET journals, 2016,