طبقه بندی حالات منتخب صورت از طریق سیگنال الکترومایوگرافی تک کاناله به وسیله شبکه عصبی مصنوعی و درخت تصمیم

محورهای موضوعی : مهندسی پزشکی

نیلوفر شجاعیان ^{1 *} , بابک رضایی افشار ²

1 - گروه مهندسی پزشکی بیوالکتریک دانشگاه آزاد اسلامی واحد تهران مرکزی. تهران
2 - Head of Cognetive science lab ,incubator center of mohaghegh ardebili univrsity.

تاریخ دریافت : 1403/11/03 تاریخ پذیرش : 1404/02/16 تاریخ انتشار : 1404/03/31

کلید واژه: حالات صورت, الکترومایوگرافی, شبکه عصبی مصنوعی, درخت تصمیم, تحلیل مؤلفه‌های اساسی,

چکیده مقاله :

این مطالعه، به بررسی حالات مختلف صورت از طریق الکترومایوگرافی تک‌کاناله با حداقل پیچیدگی محاسباتی به‌منظور استفاده در کاربردهای واقعی به‌صورت بلادرنگ می‌پردازد. داده‌های الکترومایوگرافی عضلات صورت نشأت گرفته از پتانسیل الکتریکی اجرای حالات مختلف صورت است که به‌ازای حالات مختلف می‌تواند مقادیر متفاوتی را داشته باشد. در این مطالعه، داده‌های الکترومایوگرافی از حالت‌های مختلف عضلات صورت 6 نفر از شرکت‌کنندگان زن با میانگین سنی ۵±۲۵ سال ثبت گردید و پس از اعمال فیلتر باترورث مرتبه چهار، داده‌ها در پنجره‌های ۱۰ ثانیه‌ای تقسیم‌بندی شد و سپس ۱۲ ویژگی در حوزه زمان و فرکانس از آن استخراج گردید. برای کاهش حجم محاسباتی از روش کاهش ویژگی PCA و برای طبقه‌بندی داده‌ها از شبکه عصبی مصنوعی و درخت تصمیم استفاده شد. پس از اعمال فیلترها و استخراج ویژگی، داده‌ها توسط طبقه‌بندهای پرسپترون چندلایه با صحت ۷۳.۵۷ درصدی، درخت تصمیم با صحت ۹۵.۱۶ درصدی، MPL-PCA با صحت ۶۵.۲۰ درصدی و DT-PCA با صحت ۹۶.۳۳درصدی مورد طبقه‌بندی قرار گرفتند. از چالش‌های این مطالعه می‌توان به تعداد کم افراد شرکت‌کننده و تک‌کاناله بودن اشاره کرد. همچنین در مطالعات آینده می‌توان داده‌های عضلات صورت را به‌صورت ترکیبی استفاده کرد.

چکیده انگلیسی:

This study examines various facial expressions using single-channel electromyography with minimal computational complexity for real-time applications. The electromyography data of facial muscles is derived from the electrical potential generated by different facial expressions, which can have varying values for each expression. In this study, electromyography data were recorded from the facial muscles of six female participants with a mean age of 25±5 years. After applying a fourth-order Butterworth filter, the data were divided into 10-second windows, and 12 features were extracted in both time and frequency domains. To reduce computational load, Principal Component Analysis (PCA) was utilized for feature reduction, while classification of the data was performed using artificial neural networks and decision trees. After applying the filters and extracting features, the data were classified using multilayer perceptron classifiers with an accuracy of 73.57%, decision trees with an accuracy of 95.16%, MPL-PCA with an accuracy of 65.20%, and DT-PCA with an accuracy of 96.33%. Challenges in this study include the small number of participants and the single-channel nature of the data. Future studies could combine facial muscle data.

منابع و مأخذ:

V. Kehri and R. Awale, "A facial EMG data analysis for emotion classification based on spectral kurtogram and CNN," International Journal of digital signals and smart systems, vol. 4, pp. 50-63, 2020. https://doi.org/10.1504/IJDSSS.2020.106072
[2] K.-H. S. Chen and R. Chen, "Principles of electrophysiological assessments for movement disorders," Journal of movement disorders, vol. 13, p. 27, 2020. https://doi.org/10.14802/jmd.19064
[3] C. L. Kok, C. K. Ho, F. K. Tan, and Y. Y. Koh, "Machine learning-based feature extraction and classification of emg signals for intuitive prosthetic control," Applied Sciences, vol. 14, p. 5784, 2024. https://doi.org/10.3390/app14135784
[4] M. Gjoreski, I. Kiprijanovska, S. Stankoski, I. Mavridou, M. J. Broulidakis, H. Gjoreski, et al., "Facial EMG sensing for monitoring affect using a wearable device," Scientific reports, vol. 12, p. 16876, 2022.
[5] J. Zhang, X. Xie, G. Peng, L. Liu, H. Yang, R. Guo, et al., "A Real-Time and Privacy-Preserving Facial Expression Recognition System Using an AI-Powered Microcontroller," Electronics, vol. 13, p. 2791, 2024. https://doi.org/10.3390/electronics13142791
[6] S. A. Hussain and A. S. A. Al Balushi, "A real time face emotion classification and recognition using deep learning model," in Journal of physics: Conference series, 2020, p. 012087. 10.1088/1742-6596/1432/1/012087
[7] E. S. Agung, A. P. Rifai, and T. Wijayanto, "Image-based facial emotion recognition using convolutional neural network on emognition dataset," Scientific reports, vol. 14, p. 14429, 2024.
[8] J. Wei, G. Hu, X. Yang, A. T. Luu, and Y. Dong, "Learning facial expression and body gesture visual information for video emotion recognition," Expert Systems with Applications, vol. 237, p. 121419, 2024. https://doi.org/10.1016/j.eswa.2023.121419
[9] J. Basavaiah, A. A. Anthony, N. K. HN, and C. M. Patil, "Facial Emotion Recognition: A Review on State-of-the-art Techniques," in 2024 4th International Conference on Data Engineering and Communication Systems (ICDECS), 2024, pp. 1-6.
[10] S. Casaccia, E. J. Sirevaag, M. G. Frank, J. A. O’Sullivan, L. Scalise, and J. W. Rohrbaugh, "Facial muscle activity: High-sensitivity noncontact measurement using laser Doppler vibrometry," IEEE Transactions on Instrumentation and Measurement, vol. 70, pp. 1-10, 2021. https://doi.org/10.1109/TIM.2021.3060564
[11] Q. Zhu, G. Lu, and J. Yan, "Valence-arousal model based emotion recognition using EEG, peripheral physiological signals and facial expression," in Proceedings of the 4th International Conference on Machine Learning and Soft Computing, 2020, pp. 81-85. https://doi.org/10.1145/3380688.3380694
[12] A. Kelati, J. Plosila, and H. Tenhunen, "Machine learning for semg facial feature characterization," in 2019 Signal Processing: Algorithms, Architectures, Arrangements, and Applications (SPA), 2019, pp. 169-174. https://doi.org/10.23919/SPA.2019.8936818
[13] S. S. Blom, H. Aarts, and G. R. Semin, "Lateralization of facial emotion processing and facial mimicry," Laterality, vol. 25, pp. 259-274, 2020. https://doi.org/10.1080/1357650X.2019.1657127
[1] V. Kehri and R. Awale, "A facial EMG data analysis for emotion classification based on spectral kurtogram and CNN," International Journal of digital signals and smart systems, vol. 4, pp. 50-63, 2020. https://doi.org/10.1504/IJDSSS.2020.106072
[2] K.-H. S. Chen and R. Chen, "Principles of electrophysiological assessments for movement disorders," Journal of movement disorders, vol. 13, p. 27, 2020. https://doi.org/10.14802/jmd.19064
[3] C. L. Kok, C. K. Ho, F. K. Tan, and Y. Y. Koh, "Machine learning-based feature extraction and classification of emg signals for intuitive prosthetic control," Applied Sciences, vol. 14, p. 5784, 2024. https://doi.org/10.3390/app14135784
[4] M. Gjoreski, I. Kiprijanovska, S. Stankoski, I. Mavridou, M. J. Broulidakis, H. Gjoreski, et al., "Facial EMG sensing for monitoring affect using a wearable device," Scientific reports, vol. 12, p. 16876, 2022.
[5] J. Zhang, X. Xie, G. Peng, L. Liu, H. Yang, R. Guo, et al., "A Real-Time and Privacy-Preserving Facial Expression Recognition System Using an AI-Powered Microcontroller," Electronics, vol. 13, p. 2791, 2024. https://doi.org/10.3390/electronics13142791
[6] S. A. Hussain and A. S. A. Al Balushi, "A real time face emotion classification and recognition using deep learning model," in Journal of physics: Conference series, 2020, p. 012087. 10.1088/1742-6596/1432/1/012087
[7] E. S. Agung, A. P. Rifai, and T. Wijayanto, "Image-based facial emotion recognition using convolutional neural network on emognition dataset," Scientific reports, vol. 14, p. 14429, 2024.
[8] J. Wei, G. Hu, X. Yang, A. T. Luu, and Y. Dong, "Learning facial expression and body gesture visual information for video emotion recognition," Expert Systems with Applications, vol. 237, p. 121419, 2024. https://doi.org/10.1016/j.eswa.2023.121419
[9] J. Basavaiah, A. A. Anthony, N. K. HN, and C. M. Patil, "Facial Emotion Recognition: A Review on State-of-the-art Techniques," in 2024 4th International Conference on Data Engineering and Communication Systems (ICDECS), 2024, pp. 1-6.
[10] S. Casaccia, E. J. Sirevaag, M. G. Frank, J. A. O’Sullivan, L. Scalise, and J. W. Rohrbaugh, "Facial muscle activity: High-sensitivity noncontact measurement using laser Doppler vibrometry," IEEE Transactions on Instrumentation and Measurement, vol. 70, pp. 1-10, 2021. https://doi.org/10.1109/TIM.2021.3060564
[11] Q. Zhu, G. Lu, and J. Yan, "Valence-arousal model based emotion recognition using EEG, peripheral physiological signals and facial expression," in Proceedings of the 4th International Conference on Machine Learning and Soft Computing, 2020, pp. 81-85. https://doi.org/10.1145/3380688.3380694
[12] A. Kelati, J. Plosila, and H. Tenhunen, "Machine learning for semg facial feature characterization," in 2019 Signal Processing: Algorithms, Architectures, Arrangements, and Applications (SPA), 2019, pp. 169-174. https://doi.org/10.23919/SPA.2019.8936818
[13] S. S. Blom, H. Aarts, and G. R. Semin, "Lateralization of facial emotion processing and facial mimicry," Laterality, vol. 25, pp. 259-274, 2020. https://doi.org/10.1080/1357650X.2019.1657127
[14] M. N. Kyranides, M. Petridou, H. A. Gokani, S. Hill, and K. A. Fanti, "Reading and reacting to faces, the effect of facial mimicry in improving facial emotion recognition in individuals with antisocial behavior and psychopathic traits," Current Psychology, vol. 42, pp. 14306-14319, 2023.
[15] A. González-Rodríguez, Á. García-Pérez, M. Godoy-Giménez, P. Sayans-Jiménez, F. Cañadas, and A. F. Estévez, "The role of the differential outcomes procedure and schizotypy in the recognition of dynamic facial expressions of emotions," Scientific Reports, vol. 14, p. 2322, 2024.
[16] L. O. LUNDQVIST, "Facial EMG reactions to facial expressions: A case of facial emotional contagion?," Scandinavian journal of psychology, vol. 36, pp. 130-141, 1995. https://doi.org/10.1111/j.1467-9450.1995.tb00974.x
[17] B. 't Hart, M. E. Struiksma, A. van Boxtel, and J. J. Van Berkum, "Emotion in stories: Facial EMG evidence for both mental simulation and moral evaluation," Frontiers in psychology, vol. 9, p. 613, 2018. https://doi.org/10.3389/fpsyg.2018.00613
[18] J. J. van Berkum, M. Struiksma, and B. t Hart, "Using facial EMG to track emotion during language comprehension: past, present, and future," in Language Electrified, ed: Springer, 2023, pp. 687-729.
[19] J. Chen, T. Ro, and Z. Zhu, "Emotion recognition with audio, video, EEG, and EMG: a dataset and baseline approaches," IEEE Access, vol. 10, pp. 13229-13242, 2022.
[20] C.-T. Hsu and W. Sato, "Electromyographic validation of spontaneous facial mimicry detection using automated facial action coding," Sensors, vol. 23, p. 9076, 2023.
[21] G. Lombardi, M. Gerbella, M. Marchi, A. Sciutti, G. Rizzolatti, and G. Di Cesare, "Investigating form and content of emotional and non-emotional laughing," Cerebral Cortex, vol. 33, pp. 4164-4172, 2023. https://doi.org/10.1093/cercor/bhac334
[22] L. Franz, C. de Filippis, A. Daloiso, E. Biancoli, F. P. Iannacone, D. Cazzador, et al., "Facial surface electromyography: A systematic review on the state of the art and current perspectives," American Journal of Otolaryngology, vol. 45, p. 104041, 2024. https://doi.org/10.1016/j.amjoto.2023.104041
[23] A. van Boxtel, "Electromyographic (EMG) responses of facial muscles during language processing," in Language Electrified: Principles, Methods, and Future Perspectives of Investigation, ed: Springer, 2023, pp. 367-385.
[24] C. J. Doelman and J. A. Rijken, "Yawning and airway physiology: a scoping review and novel hypothesis," Sleep and Breathing, vol. 26, pp. 1561-1572, 2022.
[25] B. Merzoug, M. Ouslim, L. Mostefai, and M. Benouis, "Evaluation of dimensionality reduction using PCA on EMG-based signal pattern classification," Engineering Proceedings, vol. 14, p. 23, 2022. https://doi.org/10.3390/engproc2022014023
[26] T. S. Murotzhonovich, "Introduction to Artificial Neural Networks," Web of Synergy: International Interdisciplinary Research Journal, vol. 2, pp. 198-202, 2023. 10.4018/979-8-3693-7250-0.ch016
[27] A. K. Ali and E. Erçelebi, "Automatic modulation classification using different neural network and PCA combinations," Expert Systems with Applications, vol. 178, p. 114931, 2021. https://doi.org/10.1016/j.eswa.2021.114931
[28] F. Vargas, D. Lettnin, M. C. F. de Castro, and M. Macarthy, "Electrocardiogram pattern recognition by means of MLP network and PCA: A case study on equal amount of input signal types," in VII Brazilian Symposium on Neural Networks, 2002. SBRN 2002. Proceedings., 2002, pp. 200-205. https://doi.org/10.1109/SBRN.2002.1181474
[29] L. Shao, "Facial movements recognition using multichannel EMG signals," in 2019 IEEE Fourth International Conference on Data Science in Cyberspace (DSC), 2019, pp. 561-566.
[30] J. Zhang, S. Huang, J. Li, Y. Wang, Z. Dong, and S.-J. Wang, "A Perifacial EMG Acquisition System for Facial-Muscle-Movement Recognition," Sensors, vol. 23, p. 8758, 2023.
[31] S. A. Mithbavkar and M. S. Shah, "Recognition of emotion through facial expressions using EMG signal," in 2019 international conference on nascent technologies in engineering (ICNTE), 2019, pp. 1-6.
[32] L. Kulke, D. Feyerabend, and A. Schacht, "A comparison of the Affectiva iMotions Facial Expression Analysis Software with EMG for identifying facial expressions of emotion," Frontiers in psychology, vol. 11, p. 329, 2020.

متن کامل:



The classification of selected facial expressions using …/ Shojaeian and Rezaee-Afshar

The classification of selected facial expressions using single-channel electromyographic signals through artificial neural networks and decision trees

Niloofar Shojaeian1*, Babak Rezaee Afshar2

1 Department of Biomedical Engineering Group, Bioelectrics, Islamic Azad University, Central Tehran Branch, Tehran, Iran [e-mail]

2 Orthotics and Prosthetics, Faculty of Rehabilitation Sciences, Iran University of Medical Sciences, Tehran, Iran

[e-mail]

Abstract: This study examines various facial expressions using single-channel electromyography with minimal computational complexity for real-time applications. The electromyography data of facial muscles is derived from the electrical potential generated by different facial expressions, which can have varying values for each expression. In this study, electromyography data were recorded from the facial muscles of six female participants with a mean age of 25±5 years. After applying a fourth-order Butterworth filter, the data were divided into 10-second windows, and 12 features were extracted in both time and frequency domains. To reduce computational load, Principal Component Analysis (PCA) was utilized for feature reduction, while classification of the data was performed using artificial neural networks and decision trees. After applying the filters and extracting features, the data were classified using multilayer perceptron classifiers with an accuracy of 73.57%, decision trees with an accuracy of 95.16%, MPL-PCA with an accuracy of 65.20%, and DT-PCA with an accuracy of 96.33%. Challenges in this study include the small number of participants and the single-channel nature of the data. Future studies could combine facial muscle data. 

Keywords: Facial expressions, electromyography, artificial neural network, decision tree, principal component analysis

JCDSA, Vol. 3, No. 1, Spring 2025	Online ISSN: 2981-1295	Journal Homepage: https://sanad.iau.ir/en/Journal/jcdsa
Received: 2025-01-22	Accepted: 2025-05-06	Published: 2025-06-21
CITATION	Shojaeian, N., Rezaee Afshar, B., "The classification of selected facial expressions using single-channel electromyographic signals through artificial neural networks and decision trees", Journal of Circuits, Data and Systems Analysis (JCDSA), Vol. 3, No. 1, pp. 44-53, 2025. DOI: 10.82526/JCDSA.2025.1197302
COPYRIGHTS	©2025 by the authors. Published by the Islamic Azad University Shiraz Branch. This article is an open-access article distributed under the terms and conditions of the Creative Commons Attribution 4.0 International (CC BY 4.0) https://creativecommons.org/licenses/by/4.0

 

* Corresponding author

 

Extended Abstract

1-       Introduction

Electromyography (EMG) is a medical technique that records and analyzes the electrical activity of muscles. This method uses electrodes to capture the electrical signals generated by the muscles. According to recent articles, the main applications of electromyography include analyzing emotions from facial muscles in identifying and differentiating various emotions such as happiness, sadness, anger, etc. [1], as well as clinical diagnosis in identifying movement disorders and other medical conditions, such as swallowing difficulties in stroke patients [2], and controlling prosthetic devices in human-machine interfaces (HMI) [3], as well as biometric research on physiological states like muscle fatigue [1].

Facial muscles play a vital role in conveying emotional states. Facial expressions are a source of information that help in understanding an individual's emotional condition; thus, recognizing facial expressions is essential for effective communication and social interactions. Moreover, facial emotional disorders can be an early indicator of various medical conditions. For instance, stroke patients may experience swallowing difficulties as an early sign that can be detected through changes in facial expressions. This highlights the importance of facial expression recognition in clinical diagnosis and monitoring health conditions.

In this study, we will examine the relationship between electromyography and facial expressions and the differentiation of states through machine learning methods. It seems that machine learning methods, combined with signal processing algorithms, can effectively differentiate data related to single-channel electromyography.

2-       Methodology

In this study, four female participants with an average age of 25±2 years and a body mass index of 23.2±2 kg/m² were present. All participants were healthy adults with no history of neuromuscular disease. These individuals participated voluntarily and with full awareness of the study's implementation process. To obtain facial data, it is necessary to place two electrodes connected to the input terminals (orange and red) at a maximum distance of 4 centimeters on the cheeks and a reference electrode (green) on the forehead bone or behind the ear. In this case, the electromyographic signal related to the face will be easily identifiable through the signal amplitude. Additionally, the seniam electrode placement method was used differentially. Data for each class of facial movements was recorded over a period of 10 seconds. Each individual repeated each movement 15 times in each class. Six classes of different facial movements (natural expression, yawning, laughing, studying, and chewing gum) were performed by each individual as shown in Figure (2), and the corresponding data was recorded as per the sample in Figure (3). After this step, 12 features in the time and frequency domains that had the most variance among the selected features were extracted for data analysis from the windows. Initially, 24 features were chosen as effective features based on preliminary studies, which were ultimately narrowed down to 12 selected features after the feature extraction and variance analysis of the data. After the feature extraction phase and considering the numerous features extracted from the data, there is a need to reduce the computational burden. In the data classification stage, the use of machine learning methods is essential. For this purpose, the artificial neural network (ANN) is a computational model inspired by the structure of the human brain that is capable of learning and solving complex problems.

3-       Results and discussion

The display of the data by two selected features in the time and frequency domain, namely RMS and MDF features, shows a good condition as indicated in Figure X. Based on this figure, which is for the third sample data, it has been determined that MDF is scattered between 90 to 155 units and RMS between 0.75 to 9, indicating that the densities reflect the validity of performance during the data acquisition period. According to the results obtained after extracting 12 features from the time and frequency domains, various classifiers with different accuracies, precision, features, and sensitivities were applied, including a multilayer perceptron with an accuracy of 73.57%, a decision tree with an accuracy of 95.16%, an MLP-PCA combination with an accuracy of 65.20%, and a DT-PCA combination with an accuracy of 96.33% for the purpose of detecting different states based on facial muscles; therefore, the highest classification accuracy was achieved when the decision tree was combined with principal component analysis. The results indicate that the classifications have various levels of accuracy, precision, and sensitivity. Ultimately, we concluded that the decision tree has higher accuracy and precision compared to the other classifiers.

4-       Conclusion

Considering the results obtained, EMG has been a powerful tool, applicable in various fields, and has provided extensive capabilities to researchers and specialists. According to this study, EMG is used for emotion analysis and recognition tasks, and the decision tree performs very effectively in this process, providing results with a high percentage of accuracy. Combining it with principal component analysis improves performance. One of the limitations of this study is the use of single-channel signals. In other words, in this research, the human body is assumed to be symmetrical, disregarding the differences in individuals' physical characteristics.

 

 

 

 

 طبقه بندی حالات منتخب صورت از طریق سیگنال الکترومایوگرافی تک کاناله به وسیله شبکه عصبی مصنوعی و درخت تصمیم

نیلوفر شجاعیان1¹، بابک رضایی افشار۲

۱- گروه مهندسی پزشکی بیوالکتریک، دانشگاه آزاد اسلامی واحد تهران مرکزی، تهران، ایران ([e-mail])

۲- گروه ارتز و پروتز، دانشکده توان‌بخشی، دانشگاه علوم پزشکی ایران، تهران، ایران ([e-mail])

چکیده: این مطالعه، به بررسی حالات مختلف صورت از طریق الکترومایوگرافی تک‌کاناله با حداقل پیچیدگی محاسباتی به‌منظور استفاده در کاربردهای واقعی به‌صورت بلادرنگ می‌پردازد. داده‌های الکترومایوگرافی عضلات صورت نشأت گرفته از پتانسیل الکتریکی اجرای حالات مختلف صورت است که به‌ازای حالات مختلف می‌تواند مقادیر متفاوتی را داشته باشد. در این مطالعه، داده‌های الکترومایوگرافی از حالت‌های مختلف عضلات صورت 6 نفر از شرکت‌کنندگان زن با میانگین سنی ۵±۲۵ سال ثبت گردید و پس از اعمال فیلتر باترورث مرتبه چهار، داده‌ها در پنجره‌های ۱۰ ثانیه‌ای تقسیم‌بندی شد و سپس ۱۲ ویژگی در حوزه زمان و فرکانس از آن استخراج گردید. برای کاهش حجم محاسباتی از روش کاهش ویژگی PCA و برای طبقه‌بندی داده‌ها از شبکه عصبی مصنوعی و درخت تصمیم استفاده شد. پس از اعمال فیلترها و استخراج ویژگی، داده‌ها توسط طبقه‌بندهای پرسپترون چندلایه با صحت ۷۳.۵۷ درصدی، درخت تصمیم با صحت ۹۵.۱۶ درصدی، MPL-PCA با صحت ۶۵.۲۰ درصدی و DT-PCA با صحت ۹۶.۳۳درصدی مورد طبقه‌بندی قرار گرفتند. از چالش‌های این مطالعه می‌توان به تعداد کم افراد شرکت‌کننده و تک‌کاناله بودن اشاره کرد. همچنین در مطالعات آینده می‌توان داده‌های عضلات صورت را به‌صورت ترکیبی استفاده کرد.

واژه های کلیدی: حالات صورت، الکترومایوگرافی، شبکه عصبی مصنوعی، درخت تصمیم، تحلیل مؤلفه‌های اساسی

DOI: 10.82526/JCDSA.2025.1197302		نوع مقاله: پژوهشی
تاریخ چاپ مقاله: 31/03/1404	تاریخ پذیرش مقاله: 16/02/1404	تاریخ ارسال مقاله: 03/11/1403

 

---

[1]  نویسنده­ مسئول

1-        مقدمه

الکترومایوگرافی¹(EMG) یک تکنیک پزشکی است که به ثبت و تحلیل فعالیت الکتریکی عضلات می‌پردازد. این روش با استفاده از الکترودها، سیگنال‌های الکتریکی تولیدشده توسط عضلات را ضبط می‌کند. مطابق مقالات اخیر کاربردهای اصلی الکترومایوگرافی، تحلیل احساسات از عضلات صورت در شناسایی و تفکیک انواع احساسات نظیر شادی، غم، عصبانیت و غیره [1]، همچنین تشخیص بالینی در شناسایی اختلالات حرکتی و دیگر شرایط پزشکی، مانند مشکلات بلع در بیماران سکته مغزی [2] و نیز کنترل دستگاه‌های پروتزی در رابط‌های انسان و ماشین (HMI)² [3] و تحقیقات بیومتریک در مورد وضعیت‌های فیزیولوژیکی مانند خستگی عضلانی ارائه دهند [1]. عضلات صورت نقش حیاتی در انتقال حالات عاطفی دارند. حالات صورت منبعی از اطلاعات هستند که به درک وضعیت عاطفی یک فرد کمک می‌کنند؛ بنابراین، تشخیص حالات صورت برای برقراری ارتباط مؤثر و تعاملات اجتماعی ضروری است. همچنین اختلالات عاطفی صورت می‌توانند نشانگر اولیه انواع شرایط پزشکی باشند. به‌عنوان‌مثال، بیماران سکته مغزی ممکن است مشکلات بلع را به‌عنوان یک علامت اولیه تجربه کنند که از طریق تغییرات در حالات صورت قابل‌تشخیص است. این امر اهمیت تشخیص حالات صورت را در تشخیص بالینی و پایش شرایط سلامتی نشان می‌دهد ]۱[. پردازش دقیق اطلاعات عاطفی از طریق تحلیل فعالیت عضلات صورت می‌تواند به‌عنوان ابزاری برای بازخورد در زمان واقعی در سیستم‌های هوش مصنوعی و فناوری‌های نوین، از جمله رابط‌های انسان و ماشین به کار رود [4]. در برخی مطالعات از سیگنال‌های اخذ شده از سنسورها برای بررسی حالات صورت بهره برده‌اند. به طور مثال در مطالعه ژانگ و همکاران از یک سیستم پوشیدنی مبتنی بر حسگر ToF و یادگیری عمیق بهره برداری شده که قادر به تشخیص هفت حالت چهره اصلی بوده است. این سیستم به گونه‌ای طراحی شده است که در دستگاه‌های کم‌مصرف و با استفاده از یک MCU (STM32F476) قابل اجرا باشد .[5] در مطالعه اسیف حسین و همکاران از روشی نوآورانه برای تشخیص حالات صورت استفاده کرده است که ترکیبی از الکترومایوگرافی صورت ³ (fEMG)، آنالیز کورتوگرام و شبکه‌های عصبی کانولوشنی ⁴(CNN)  است. در واقع این مقاله از یک روش قوی استفاده می‌کند که fEMG و تکنیک‌های یادگیری عمیق، به‌ویژه  CNNها، را برای تشخیص مؤثر حالات صورت ادغام می‌کند. این رویکرد چندوجهی از طریق پروتکل‌های آزمایش دقیق تأیید شده و دقت بالایی در طبقه‌بندی حالات احساسی نشان می‌دهد .[6] علاوه بر روش های سیگنالی، روش های مبتنی بر تصویر نیز در مقالات اخیر بیشتر استفاده شده است [7-9]. مثلا مقاله فرنک و همکاران از الگوریتم های پیشرفته برای دقت در شناسایی حالات عاطفی استفاده کرده است [10].

بطورکلی مطالعات پیشین از روش‌های نوآورانه‌ای برای تشخیص حالات صورت استفاده کرده‌اند اما هر کدام محدودیت‌های قابل‌توجهی دارند که ممکن است کارایی و قابلیت استفاده از آنها را دچار مشکلاتی کند. چالش‌های مطالعات شامل کیفیت سنسور، حساسیت به محیط، وابستگی به فناوری‌های خاص، مشکلات حریم خصوصی، عدم تفکیک جنسیت، عدم مقایسه باسایر مطالعات و نیاز به آزمایش گسترده در دنیای واقعی است. علاوه بر این، موضوعاتی مانند عدم تعادل در مجموعه داده‌ها و نیاز به محاسبات سنگین می‌تواند توسعه سیستم‌های قوی را با مشکل مواجه کند .[1, 4, 5, 11-20] دلیل انتخاب حرکات (خنده، جویدن آدامس، خواندن کتاب، حالت نرمال و حالت خمیازه) این است که در مطالعات پیشین بر روی این حالت ها مطالعه صورت گرفته است [21-24]. نوآوری‌های قابل‌توجهی در این پژوهش بر روی انتخاب حرکات انجام شده است؛ به‌گونه‌ای که اکثر حرکات مورد تفکیک در این مطالعه بیانگر حالات روحی فردی در حال رانندگی است که نتایج این پژوهش را می‌تواند به سمت موضوع آنالیز خستگی و خواب‌آلودگی از طریق بررسی همین حالات چهره بکشاند. علاوه بر این ترکیب و مقایسه روش‌های طبقه‌بندی در این مطالعه می‌تواند به بهبود قدرت تفکیک داده‌ها بینجامد. لازم به ذکر است مطالعات قبلی برای اخذ داده‌ها از چندین کانال الکترومایوگرافی استفاده کرده بودند که مشکلات مربوط به الکترودگذاری و همچنین مشکلات مداخله در رفتار نرمال فرد را به همراه داشت که اخذ تک‌کاناله این مشکلات را به حداقل می‌رساند.

در این مطالعه، به بررسی موضوع ارتباط بین الکترومایوگرافی و حالات صورت و تفکیک حالات از طریق روش‌های یادگیری ماشین خواهیم پرداخت. به نظر می‌رسد روش‌های یادگیری ماشین در ترکیب با الگوریتم‌های پردازش سیگنال می‌توانند تفکیک داده‌های مربوط به الکترومایوگرافی تک‌کاناله را به‌خوبی انجام دهند.

2-       مواد و روش­ها

در این پژوهش، چهار نفر از شرکت‌کنندگان زن با میانگین سنی ۵±۲۵ سال و شاخص توده بدنی ۲±۲۳.۲ کیلوگرم بر مترمربع حضور داشتند. تمامی شرکت‌کنندگان، افراد بالغ و سالم بودند و هیچ‌گونه سابقه بیماری عصبی - عضلانی نداشتند. این افراد به‌صورت داوطلبانه و با آگاهی کامل از روند اجرای مطالعه در آن شرکت کردند. فرایند انجام مطالعه مطابق با شکل (1) پیاده‌سازی شد. همچنین در این پژوهش، برای جمع‌آوری داده‌ها از دستگاه الکترومایوگرافی تک‌کاناله مدل sEMG شرکت ساب تل استفاده شد. این دستگاه دارای امپدانس ورودی ۲ گیگا اهم و نسبت رد مد مشترک (CMRR)⁵ برابر با ۱۲۰ دسی‌بل است. این ماژول به‌منظور دریافت و تقویت سیگنال‌های حیاتی، به‌ویژه الکتروکاردیوگرام، به کار گرفته شد. ماژول مذکور با بهرة ۸۸۰ و فرکانس بالاگذر ۴۰۰ هرتز و فیلتر پایین گذر ۲۰ هرتز با ولتاژ ۵ ولت جریان مستقیم تغذیه می‌شود. قبل از انجام الکترودگذاری، لازم است از دستیابی امپدانس پوست به سطح قابل‌قبول اطمینان حاصل شود. پروسه آماده‌سازی پوست باید به‌گونه‌ای انجام شود که با استفاده از پد الکلی یا پنبه‌ای مرطوب، سطح پوست به‌آرامی سابیده شود تا مقاومت پوست به حداقل برسد. هرچند ممکن است بخشی از پوست در اثر سابیدن قرمز شود، اما نباید آسیبی جدی به آن وارد گردد. با انجام صحیح آماده‌سازی پوست، الکترودها ارتباط بهتری با بدن خواهند داشت. الکترودهای مورد استفاده به‌صورت چسبی و از جنس نقره یا نقره کلرید ساخته شده‌اند.

 برای دریافت داده‌های مربوط به‌صورت، لازم است دو الکترود متصل به پایه‌های ورودی (نارنجی و قرمز) بافاصله حداکثر ۴ سانتی‌متر بر روی گونه‌ها قرار گیرند و یک الکترود مرجع (سبزرنگ) روی استخوان پیشانی یا پشت‌گوش قرار گیرد. در این حالت، سیگنال الکترومایوگرافی مرتبط با صورت به‌آسانی از طریق دامنه سیگنال قابل‌شناسایی خواهد بود. همچنین از روش الکترودگذاری seniam به‌صورت تفاضلی استفاده گردید. علاوه‌برآن در زمان ثبت سیگنال، باید در وضعیت کاملاً آرام و ریلکس باشید؛ زیرا فعالیت‌های عضلانی می‌تواند به‌عنوان نویز بر روی سیگنال مغزی تأثیر بگذارد. لازم است به این نکته توجه شود که الکترودها باید به میزان کافی ژل داشته باشند. این ژل برای ایجاد اتصال صحیح ضروری است و موجب تسهیل رسانایی جریان می‌شود. درصورتی‌که مقدار ژل به‌اندازه کافی نباشد، می‌توان با خیس کردن پوست با آب، این کمبود را جبران کرد. قابل توجه است که ابزار باید از هرگونه سیستم متصل به برق شهری فاصله داشته باشد تا با نویز ۵۰ یا ۶۰ هرتز برق شهر مواجه نشود. در این پژوهش به جهت کاهش نویز مربوط به برق شهر، تا حد ممکن فضا ایزوله گردید. در شکل (۲) نحوه قرارگیری الکترودهای EMG نشان داده شده است. برای مشاهده و ذخیره سیگنال EMG بر روی نمایشگر رایانه، از برد آردوینو مدل UNO  و نرم‌افزار Serial Oscilloscope به‌عنوان رابط سخت‌افزاری و نرم‌افزاری استفاده می‌کنیم. در این سیستم، آردوینو به‌عنوان مبدل آنالوگ به دیجیتال عمل می‌کند و داده‌های آنالوگ با دامنه بین ۰ تا ۵ ولت را به داده‌های دیجیتال باینری تبدیل می‌نماید. برد آردوینو UNO دارای رزولوشن ۱۰ بیت و ۱۰۲۴ سطح مجزا است. همچنین، نرخ نمونه‌برداری برای دریافت سیگنال EMG بر روی ۲۰۰۰ هرتز تنظیم شده است، زیرا فرکانس موردنظر ما بین ۲۰ تا ۴۵۰ هرتز قرار دارد. 

 

شکل (۱):چارت مراحل پردازش سیگنال در این مطالعه

 

شکل (۲): نحوه قرارگرفتن الکترود EMG

 

 

شکل (۳): نمونه داده‌های هر کلاس

داده‌های هر کلاس از حرکات صورت، طی مدت ۱۰ ثانیه ثبت شد. هر فرد در هر کلاس، هر حرکت را ۱۵ بار تکرار کرد. شش کلاس حرکات مختلف صورت (حالت طبیعی، خمیازه، خنده، مطالعه، و جویدن آدامس) مطابق شکل (2)، توسط هر فرد اجرا و داده‌های مربوطه مطابق نمونة شکل (۳) ثبت شد. تجزیه‌وتحلیل داده‌ها با استفاده از نرم‌افزار MATLAB نسخه 2018a انجام شد. پس از واردکردن داده‌ها به نرم‌افزار و اصلاح خط مبنا، یک فیلتر میان‌گذر باترورث مرتبه ۴ بر روی داده‌ها اعمال شد تا داده‌های خارج از محدوده فرکانسی مورد نظر تضعیف شوند. با افزایش مرتبه فیلتر، پاسخ فرکانسی آن به پاسخ ایده‌آل (دیوار آجری) نزدیک‌تر می‌شود. پس از آزمایش چندین مرتبه، بهینه‌ترین مرتبه برای فیلتر انتخاب گردید. برای تجزیه‌وتحلیل داده‌ها، از تکنیک پنجره‌گذاری با همپوشانی صفر درصد استفاده شد. این تکنیک به تقسیم داده‌ها درون پنجره‌های ۱۰ ثانیه‌ای به مدت ۱۰ ثانیه با همپوشانی صفر در میان کمک نمود. پس از انجام این کار، ۱۲ ویژگی در حوزه‌های زمان و فرکانس که از میان ویژگی‌های منتخب دارای بیشترین واریانس بودند به‌منظور تجزیه‌وتحلیل داده‌ها از پنجره‌ها استخراج شد. ۲۴ ویژگی در ابتدا بر اساس مطالعات اولیه به‌عنوان ویژگی‌های مؤثر انتخاب شد که نهایتاً پس از استخراج ویژگی‌ها و بررسی واریانس داده‌ها، ۱۲ ویژگی منتخب در ادامه مورد بررسی قرار می‌گیرد.

میانگین، یک مفهوم آماری است که به‌عنوان یک نوع "معدل" برای مجموعه‌ای از داده‌ها و اعداد تعریف می‌شود که در (1) آمده است.

که دراین‌رابطه  نمایانگر مقدار هر یک از نقاط درداده و  نشانگر تعداد نمونه‌های پنجره است. میانه، یکی از ویژگی‌های آماری متداول حوزه زمان است که در (2) آمده است.

(1)

که دراین‌رابطه ، لیست مرتب شده مقادیر در مجموعه‌داده‌ها و n، تعداد مقادیر در مجموعه‌داده‌ها است. واریانس، یک معیار آماری است که در واقع میزان پراکندگی یا تنوع داده‌ها نسبت به میانگین می‌پردازد. به‌عبارت‌دیگر، واریانس فاصله داده‌ها از میانگین آنها را نشان می‌دهد و از طریق (3) بیان می‌شود.

(2)

جذر میانگین مربعات (RMS)⁶، یک معیار آماری است که جهت اندازه‌گیری اندازه یا شدت یک مجموعه از مقادیر استفاده می‌شود. رابطه آن به‌صورت (4) بیان می‌شود.

(3)

که در آن، RMS ریشه میانگین مربع، n تعداد مربعات و Xi هر مقدار است.

تعداد عبور از صفر، به تعداد دفعاتی گفته می‌شود که یک سیگنال (معمولاً یک سیگنال متغیر یا زمانی) از مقدار صفر عبور کرده باشد که در (5) آمده است.

(4)

iEMG، یا همان الکترومایوگرافی خام، مجموع داده‌های سیگنال الکترومایوگرافی در یک پنجره است که نشانگر تقارن داده‌هاست و از طریق (6) محاسبه می‌شود.

(5)

sgn(x)=

مرتبه v، به وابستگی عملکرد یک الگوریتم یا تابع به پارامتر ورودی اشاره دارد و به‌صورت (7) تعریف می‌شود.

(6)

میانگین فرکانسی، به میانگین فرکانس‌های موجود در یک سیگنال یا تابع زمانی اشاره دارد و در (8) آمده است.

(7)

که دراین‌رابطه مقادیر P از طریق محاسبه تبدیل فوریه سریع برای هر طیف فرکانسی به دست می‌آید. میانه فرکانسی، بیان می‌کند که در چه نقطه‌ای از توزیع فرکانس، ۵۰ درصد از انرژی یا قدرت سیگنال تحت پوشش قرار گرفته است و به‌صورت (9) تعریف می‌شود.

(8)

پیک فرکانسی، فرکانسی است که ماکسیمم توان در آن به نمایش درمی‌آید که در (10) آورده شده است.

(9)

میانگین قدرت، فرکانس متوسط یک طیف به‌صورت مجموع حاصل‌ضرب شدت طیف (به دسی‌بل) و فرکانس تقسیم بر مجموع کل شدت طیف گرام محاسبه می‌شود.

(10)

قدرت مجموع، مجموع حاصل‌ضرب شدت طیف و فرکانس که پس از استخراج از طریق تبدیل فوریه سریع به دست می‌آید.

پس از مرحله استخراج ویژگی و باتوجه‌به تعدد ویژگی‌های مستخرج از داده‌ها نیاز به کاهش بار محاسباتی احساس می‌شود. تحلیل مؤلفه‌های اصلی (PCA)⁷ یک روش آماری است که به‌منظور تبدیل مجموعه‌ای از متغیرها به متغیرهای جدید طراحی شده است. این متغیرهای جدید، به‌صورت کامل یا جزئی، از ترکیب متغیرهای اولیه تشکیل می‌شوند. هدف اصلی این روش، کاهش بعد داده‌ها و همچنین کاهش تعداد متغیرهای ورودی است که به نوبه خود می‌تواند پیچیدگی مدل‌های آماری را کاهش دهد. در تحلیل مؤلفه‌های اصلی می‌توان متغیرهای اولیه را به‌صورت خطی به‌عنوان ترکیب خطی از متغیرهای جدید تجزیه‌وتحلیل کرد. این متغیرهای جدید معمولاً به‌عنوان مؤلفه‌های اصلی شناخته می‌شوند که بر اساس شدت همبستگی با داده‌ها ترتیب داده می‌شوند. بااین‌حال، باید به این نکته توجه کرد که تحلیل مؤلفه‌های اصلی تنها یک روش کاهش ابعاد است و قادر به حل مشکلات ناشی از عدم تعادل داده‌ها یا شرایط خاص دیگر نمی‌باشد [25].

در مرحله طبقه‌بندی داده‌ها استفاده از روش‌های یادگیری ماشین ضروری است. به همین منظور شبکه عصبی مصنوعی (ANN) ⁸ یک مدل محاسباتی الهام‌گرفته از ساختار مغز انسان است که قادر به یادگیری و حل مسائل پیچیده است. این شبکه‌ها از نودها (نورون‌ها) تشکیل شده که به یکدیگر متصل هستند و می‌توانند سیگنال‌ها را پردازش کنند. اجزای اصلی آن شامل ورودی‌ها یعنی داده‌های ورودی که به شبکه وارد می‌شوند، لایه‌های پنهان یعنی لایه‌هایی که بین لایه ورودی و خروجی قرار دارند و مسئول پردازش اطلاعات و استخراج الگوها هستند، خروجی‌ها که نمایانگر خروجی نهایی شبکه است که پیش‌بینی یا تصمیم‌گیری را نشان می‌دهد، وزن‌ها و بایاس‌ها که شامل ارتباط بین نورون‌ها و بایاس‌ها است [26].

علاوه بر روش‌های با نظارت یادگیری ماشین همانند شبکه عصبی مصنوعی الگوریتم‌های دیگری نیز امروزه مورد توجه است. از این میان درخت تصمیم (DT)⁹، یک مدل پیش‌بینی آماری است که به‌وسیله آن می‌توان به کمک یک درخت تصمیم‌گیری کرد. این درخت بر اساس ویژگی‌های ورودی داده‌ها و روابط بین آن‌ها، به یک تصمیم نهایی برسد. درخت تقسیم یک روش تفکیکی است که در آن، داده‌ها را بر اساس ویژگی‌های آن‌ها به شاخه‌های مختلف تقسیم می‌کند. این شاخه‌ها هر کدام را می‌توان به شاخه‌های کوچک‌تر و کوچک‌تر تقسیم کرد تا در نهایت به یک نتیجه یا کلاس پیش‌بینی برسد. فازهای اصلی درخت تقسیم به ۴ مرحله تقسیم می‌شوند. مرحله اول شامل انتخاب ویژگی است که در این مرحله ویژگی‌های داده مشخص می‌شوند، سپس در مرحله بعد از روش‌های تفکیکی برای تقسیم‌کردن داده‌ها استفاده می‌کنیم، در مرحله ۳ پیش‌بینی برای هر داده بر اساس تقسیم‌هایی که صورت‌گرفته است، انجام می‌شود، سپس در مرحله آخر پارامترهای درخت تصمیم‌گیری انتخاب می‌شوند. همچنین ۷۰ درصد از داده‌های جمع‌آوری‌شده برای آموزش و ۳۰ درصد باقیمانده برای آزمایش مدل طبقه‌بندی مورد استفاده قرار گرفت. به‌منظور بررسی طبقه‌بندی از مؤلفه صحت مطابق با (12) استفاده می‌شود.

(11)

در این ‌رابطه TP نشانگر مثبت صادق، TN نشانگر منفی صادق، FP نشانگر مثبت کاذب، FN نشانگر منفی کاذب است.

(11)

ACC=

12 ویژگی لایه ورودی

50 نرون لایه پنهان

5 کلاس لایه خروجی

 

 

 

شکل (۴): ساختار شبکه عصبی مصنوعی

باتوجه‌به آنچه در مراحل قبلی انجام شد، داده‌ها امکان تفکیک‌یافته و میزان تفکیک داده‌ها به‌صورت مقادیر آماری از طریق مؤلفه سنجشی صحت اندازه‌گیری خواهد شد. همچنین بررسی مقدار صحت تفکیک نمایة مناسبی برای کارآمدی روش‌های پردازشی خواهد بود.

3-       نتایج

نتایج اصلی این پژوهش شامل داده‌های جمع‌آوری‌شده از سیگنال‌های الکترومایوگرافی (EMG) چهار فرد است که در حین انجام شش کلاس منتخب حرکات صورت مورد بررسی و آزمایش قرار گرفته‌اند. در این مطالعه، ۱۲ ویژگی از داده‌ها استخراج شد که شامل ۷ ویژگی در حوزه زمان و ۵ ویژگی در حوزه فرکانس بود. در مجموع ۳۰۰ داده مختلف از افراد جمع‌آوری شد. داده‌های هر کلاس از حرکات صورت، در مدت ۱۰ ثانیه ثبت گردید. هر حرکت توسط هر فرد ۱۵ بار تکرار گردید. همچنین پنج کلاس از حرکات مختلف صورت شامل (حالت طبیعی، خمیازه، خنده، مطالعه، و جویدن آدامس) ثبت گردید.

نمایش داده‌ها توسط دو ویژگی منتخب در حوزه زمان و فرکانس یعنی ویژگی‌های RMS و MDF وضعیت خوبی را مطابق شکل X نشان می‌دهد. بر اساس این شکل که برای داده‌های نمونه سوم است، مشخص گردیده MDF در کلاس‌های مختلف بین ۹۰ تا ۱۵۵ واحد و RMS بین ۷۵/۰ تا ۹ پراکنده شده است که تراکم‌ها را در بخشی از نمودار مذکور نشان‌دهنده صحت عملکرد در زمان داده‌گیری است. اجرای روش‌های طبقه‌بندی توسط ۲ طبقه‌بند پرسپترون چندلایه MLP و درخت تصمیم انجام شد. حالاتی که از تحلیل مؤلفه‌های اصلی برای کاهش ویژگی استفاده شده یا استفاده از تحلیل مؤلفه‌های اصلی نادیده گرفته شده است که در جدول (۱) آمده است. طبق نتایج به‌دست‌آمده پس از استخراج ۱۲ ویژگی از حوزه زمان و فرکانس، طبقه‌بندهای مختلف بادقت، صحت، ویژگی‌ها و حساسیت‌های مختلف شامل پرسپترون چندلایه با صحت ۷۳.۵۷ درصدی، درخت تصمیم با صحت ۹۵.۱۶ درصدی، ترکیب MLP-PCA با صحت ۶۵.۲۰ درصدی و DT-PCA با صحت ۹۶.۳۳ درصدی باهدف تشخیص حالات مختلف از روی عضلات صورت اعمال شدند؛ بنابراین بالاترین صحت تفکیک برای طبقه‌بندی در زمانی که درخت تصمیم با تحلیل مؤلفه‌های اصلی ترکیب شده بود به دست آمد. نتایج طبقه‌بندی توسط ماتریس تصمیم نیز به جهت بهره‌برداری در راستای بهبود عملکرد شبکه برای تمامی کلاس‌ها و افراد اجرا گردید که نمونه‌ای از آن مطابق شکل (۶) است. نتیجه‌های نشان‌داده‌شده حاکی از آن است که طبقه‌بندی‌ها دارای دقت، صحت و حساسیت‌های مختلفی بوده‌اند. نهایتاً به این نتیجه رسیدیم که درخت تصمیم از نتایج، صحت و دقت بالاتری نسبت به دیگر طبقه‌بندها برخوردار است.

 

 

 

 

 

شکل (۵): نمودار ویژگی‌ها بر اساس دو ویژگی منتخب در حوزه فرکانس یعنی RMS و MDF

جدول (۱): مقادیر حاصل از طبقه‌بندی توسط MLP DT با استفاده و بدون استفاده از تحلیل مؤلفه‌های اصلی

تعداد نفرات	MLP	DT	MLP-PCA	DT-PCA
نفر اول	۴۲.۸۶%	۹۸%	۴۲.۸۶%	۹۸%
نفر دوم	۸۵%	۱۰۰%	۷۱.۴۳%	۱۰۰%
نفر سوم	۷۱.۴۳%	۹۲%	۲۸.۵۷%	۹۸%
نفر چهارم	۸۵.۷۱%	۹۲%	۷۱.۴۳%	۹۴%
نفر پنجم	۸۶%	۹۵%	۵۵.۲۸%	۹۵%
نفر ششم	۷۰.۴۲%	۹۴%	۶۵.۲۳%	۹۳%
میانگین	۷۳.۵۷%	۹۵.۱۶%	۶۵.۲۰%	۹۶.۳۳%

 

شکل (۶:( طبقه‌بندی توسط ماتریس تصمیم

جدول (۲): مقایسه نتایج به‌دست‌آمده از مطالعات پیشین

مرجع	تعداد کانال	روش تفکیک	تعداد کلاس	درصد صحت
[29]	۱۴	الگوریتم‌های طبقه‌بندی KNN,SVM	۱۱	۸۳.۹%
[30]	۱۶	الگوریتم‌های طبقه‌بندی SVM و ICA	۵	۷۱.۱۳%
[31]	۱	شبکه عصبی RMS,VAR,IEMG	۴	۴۱.۲%
[32]	۱۰	تحلیل فریم با استفاده از نرم‌افزار Affectiva	۳	۶۷.۵۳%

4-       بحث

در این مطالعه، دوازده شاخص متمایز از داده‌های گردآوری‌شده در دو بازه زمانی و فرکانسی استخراج گردید. هر یک از این شاخص‌ها قابلیت تفکیک‌پذیری منحصربه‌فردی را به نمایش می‌گذاشتند و دربردارنده اطلاعات و تغییراتی ارزشمند برای تفکیک داده‌ها بودند. بر این ‌اساس، هر شاخصی که از درصد بالاتری برخوردار بود، بهتر از دیگر داده‌ها بود. همچنین، حسگرهای به‌کاررفته در این مطالعه، اطلاعات بسیاری را از فعالیت‌های عضله در اختیار ما قرار دادند. طبق مطالعه صورت‌گرفته، پس از دریافت و ثبت سیگنال‌های EMG، مشاهده گردید که دامنه این سیگنال‌ها، بر حسب نوع حرکت، نوسانات و تغییرات قابل‌توجهی را از خود بروز می‌دهد. این تغییرات، به‌گونه‌ای معنادار و قابل‌تأمل، حرکات مختلف و متنوع (از جمله خنده، جویدن آدامس، مطالعه و کتاب‌خوانی، حالت عادی و نرمال، و خمیازه‌کشیدن) را از یکدیگر متمایز می‌سازد و هر یک را با امضایی منحصربه‌فرد و هویتی مستقل مشخص می‌نماید. این تفاوت‌های مشهود و محسوس، حاکی از آن است که سیگنال EMG، ابزاری کارآمد و توانا برای تفکیک الگوهای حرکتی گوناگون به شمار می‌آید. همچنین مشخص گردید تحلیل مؤلفه‌های اصلی می‌تواند بهبود قابل‌توجهی در نتایج طبقه‌بندی ما ایجاد نماید. این بهبود در ترکیب با درخت تصمیم نتایج بالاتری از صحت را با میانگین حدود ۹۶.۳۳ درصد ایجاد کرد.

5-       جمع بندی

باتوجه‌به نتایج حاصل شده، EMG به‌عنوان ابزاری قدرتمند، در حوزه‌های گوناگونی کاربرد داشته و امکانات گسترده‌ای را در اختیار محققان و متخصصان قرار داده است. این کاربردها می‌تواند در حوزه‌های مختلف از جمله هوش مصنوعی، تحلیل حالات احساسی افراد، بررسی فرایندهای شناختی، تشخیص اختلالات روان‌شناختی، تشخیص فلج عضلات صورت، پایش پیشرفت درمان و طراحی ربات‌های اجتماعی باشد. ترکیب طبقه‌بندهای پرسپترون چند لایه و تحلیل مؤلفه‌های اصلی به عنوان یک رویکرد موثر در یادگیری ماشین به منظور بهبود دقت پیش‌بینی و کاهش ابعاد داده‌ها شناسایی می‌شود. طبق تحقیقاتی که در سال‌های اخیر انجام شده است، استفاده از تحلیل مؤلفه‌های اصلی به عنوان پیش پردازش، قبل از طبقه بندی با MLP باعث افزایش دقت نسبت به مدل تحلیل مؤلفه‌های اصلی می شود. نهایتا ترکیب این دو مدل با یکدیگر علاوه بر اینکه دقت را افزایش می‌دهد، به افزایش توانایی تفسیر نتایج هم کمک می‌کند. همچنین طبق مطالعه ارکلبی و همکاران، ترکیب این دو طبقه بند با یکدیگر دقت و کارایی را به طرز قابل توجهی بالا برد و در مطالعه ما نیز با ترکیب این دو با یکدیگر، مقادیر بالا رفته است [27]. ضمن اینکه در مطالعه ورگاس و همکاران نیز مشخص گردیده استفاده از تحلیل مؤلفه‌های اصلی در کنار MLP موجب بهبود صحت طبقه بندی می شود [28]. که این نتیجه در مطالعه اخیر نیز حاصل گردیده است هرچند در مطالعه اخیر علاوه بر این موضوع مشخص گردید تحلیل مؤلفه‌های اصلی در کنار درخت تصمیم نیز باعث افزایش صحت طبقه بندی می شود.

طبق این مطالعه، EMG برای کارهای تحلیل و تشخیص احساسات مورد استفاده قرار می‌گیرد و درخت تصمیم در این روند بسیار قوی عمل کرده و نتیجه را با درصد دقت بالایی می‌دهد و ترکیب آن با تحلیل مؤلفه‌های اصلی، باعث بهبود عملکرد می‌شود. از محدودیت‌های این مطالعه، می‌توان به تک‌کاناله بودن سیگنال‌ها اشاره کرد. به‌عبارت‌دیگر، در این تحقیق، بدن انسان به‌صورت متقارن فرض شده و از تفاوت‌های موجود در ویژگی‌های بدنی افراد صرف‌نظر شده است. این تصمیم ممکن است تأثیراتی بر دقت و تعمیم‌پذیری نتایج به‌دست‌آمده داشته باشد. در واقع، با نادیده‌گرفتن تفاوت‌های فردی، ممکن است برخی از جنبه‌های مهم و قابل‌توجه در تحلیل داده‌ها تحت‌تأثیر قرار گیرد؛ بنابراین، این نکته باید در تفسیر یافته‌ها و کاربردهای عملی مطالعه در نظر گرفته شود. همچنین از مزیت‌های آن این است که ساده‌تر هست و الکترودگذاری و تعداد داده کمتری مورد استفاده قرار گرفت. به‌عنوان‌مثال در مقاله ساتو و همکاران ۶ کانال استفاده کردید که موجب بالابردن دقت نهایی گردید [۲۹].

مطابق جدول (2)، در مطالعات گذشته تعداد کانال‌های استفاده شده نسبت به مطالعه حاضر بیشتر بوده و نتیجه حاصل با تعداد کانال کمتری بوده است. کانال‌های کمتر مداخلات کمتری در دیتاگیری ایجاد می‌کند. همچنین تعداد کلاس‌های مطالعات [31]-[32] از مطالعه فعلی کمتر بوده و در مطالعاتی هم که تعداد کلاس‌ها بالاتر بوده، درصد صحت تفکیک کمتر بوده بنابراین با استفاده از روش‌های پردازشی ترکیبی با تعداد کانال کمتر و تعداد کلاس‌های بیشتر، درصد صحت بالاتری حاصل گردید. در مطالعات آینده می‌توان ترکیبی از داده‌های عضلات صورت را استفاده کرد، همچنین می‌توان تعداد حرکات انتخابی صورت را بیشتر کرد و حرکات بیشتری از صورت را مورد بررسی قرارداد. ضمن اینکه با استفاده از هم‌زمان‌سازی سنسورها، تأثیر ­مؤلفه‌های مغزی روی عضلات صورت را بررسی کنیم. این رویکرد نه‌تنها به درک عمیق‌تری از ارتباطات میان‌مغز و حرکات صورت کمک می‌کند، بلکه می‌تواند زمینه‌ساز پیشرفت‌های قابل‌توجهی در زمینه‌های مختلفی مانند روان‌شناسی، عصب‌شناسی و حتی هنرهای زیبا گردد.

مراجع

[1]        V.  Kehri and R. Awale, "A facial EMG data analysis for emotion classification based on spectral kurtogram and CNN," International Journal of digital signals and smart systems, vol. 4, pp. 50-63, 2020. https://doi.org/10.1504/IJDSSS.2020.106072

[2]        K.-H. S. Chen and R. Chen, "Principles of electrophysiological assessments for movement disorders," Journal of movement disorders, vol. 13, p. 27, 2020. https://doi.org/10.14802/jmd.19064

[3]        C. L. Kok, C. K. Ho, F. K. Tan, and Y. Y. Koh, "Machine learning-based feature extraction and classification of emg signals for intuitive prosthetic control," Applied Sciences, vol. 14, p. 5784, 2024. https://doi.org/10.3390/app14135784

[4]        M. Gjoreski, I. Kiprijanovska, S. Stankoski, I. Mavridou, M. J. Broulidakis, H. Gjoreski, et al., "Facial EMG sensing for monitoring affect using a wearable device," Scientific reports, vol. 12, p. 16876, 2022.

[5]        J. Zhang, X. Xie, G. Peng, L. Liu, H. Yang, R. Guo, et al., "A Real-Time and Privacy-Preserving Facial Expression Recognition System Using an AI-Powered Microcontroller," Electronics, vol. 13, p. 2791, 2024. https://doi.org/10.3390/electronics13142791

[6]        S. A. Hussain and A. S. A. Al Balushi, "A real time face emotion classification and recognition using deep learning model," in Journal of physics: Conference series, 2020, p. 012087. 10.1088/1742-6596/1432/1/012087

[7]        E. S. Agung, A. P. Rifai, and T. Wijayanto, "Image-based facial emotion recognition using convolutional neural network on emognition dataset," Scientific reports, vol. 14, p. 14429, 2024.

[8]        J. Wei, G. Hu, X. Yang, A. T. Luu, and Y. Dong, "Learning facial expression and body gesture visual information for video emotion recognition," Expert Systems with Applications, vol. 237, p. 121419, 2024. https://doi.org/10.1016/j.eswa.2023.121419

[9]        J. Basavaiah, A. A. Anthony, N. K. HN, and C. M. Patil, "Facial Emotion Recognition: A Review on State-of-the-art Techniques," in 2024 4th International Conference on Data Engineering and Communication Systems (ICDECS), 2024, pp. 1-6.

[10]        S. Casaccia, E. J. Sirevaag, M. G. Frank, J. A. O’Sullivan, L. Scalise, and J. W. Rohrbaugh, "Facial muscle activity: High-sensitivity noncontact measurement using laser Doppler vibrometry," IEEE Transactions on Instrumentation and Measurement, vol. 70, pp. 1-10, 2021. https://doi.org/10.1109/TIM.2021.3060564

[11]        Q. Zhu, G. Lu, and J. Yan, "Valence-arousal model based emotion recognition using EEG, peripheral physiological signals and facial expression," in Proceedings of the 4th International Conference on Machine Learning and Soft Computing, 2020, pp. 81-85. https://doi.org/10.1145/3380688.3380694

[12]        A. Kelati, J. Plosila, and H. Tenhunen, "Machine learning for semg facial feature characterization," in 2019 Signal Processing: Algorithms, Architectures, Arrangements, and Applications (SPA), 2019, pp. 169-174. https://doi.org/10.23919/SPA.2019.8936818

[13]        S. S. Blom, H. Aarts, and G. R. Semin, "Lateralization of facial emotion processing and facial mimicry," Laterality, vol. 25, pp. 259-274, 2020. https://doi.org/10.1080/1357650X.2019.1657127

[1]        V. Kehri and R. Awale, "A facial EMG data analysis for emotion classification based on spectral kurtogram and CNN," International Journal of digital signals and smart systems, vol. 4, pp. 50-63, 2020. https://doi.org/10.1504/IJDSSS.2020.106072

[2]        K.-H. S. Chen and R. Chen, "Principles of electrophysiological assessments for movement disorders," Journal of movement disorders, vol. 13, p. 27, 2020. https://doi.org/10.14802/jmd.19064

[3]        C. L. Kok, C. K. Ho, F. K. Tan, and Y. Y. Koh, "Machine learning-based feature extraction and classification of emg signals for intuitive prosthetic control," Applied Sciences, vol. 14, p. 5784, 2024. https://doi.org/10.3390/app14135784

[4]        M. Gjoreski, I. Kiprijanovska, S. Stankoski, I. Mavridou, M. J. Broulidakis, H. Gjoreski, et al., "Facial EMG sensing for monitoring affect using a wearable device," Scientific reports, vol. 12, p. 16876, 2022.

[5]        J. Zhang, X. Xie, G. Peng, L. Liu, H. Yang, R. Guo, et al., "A Real-Time and Privacy-Preserving Facial Expression Recognition System Using an AI-Powered Microcontroller," Electronics, vol. 13, p. 2791, 2024. https://doi.org/10.3390/electronics13142791

[6]        S. A. Hussain and A. S. A. Al Balushi, "A real time face emotion classification and recognition using deep learning model," in Journal of physics: Conference series, 2020, p. 012087. 10.1088/1742-6596/1432/1/012087

[7]        E. S. Agung, A. P. Rifai, and T. Wijayanto, "Image-based facial emotion recognition using convolutional neural network on emognition dataset," Scientific reports, vol. 14, p. 14429, 2024.

[8]        J. Wei, G. Hu, X. Yang, A. T. Luu, and Y. Dong, "Learning facial expression and body gesture visual information for video emotion recognition," Expert Systems with Applications, vol. 237, p. 121419, 2024. https://doi.org/10.1016/j.eswa.2023.121419

[9]        J. Basavaiah, A. A. Anthony, N. K. HN, and C. M. Patil, "Facial Emotion Recognition: A Review on State-of-the-art Techniques," in 2024 4th International Conference on Data Engineering and Communication Systems (ICDECS), 2024, pp. 1-6.

[10]        S. Casaccia, E. J. Sirevaag, M. G. Frank, J. A. O’Sullivan, L. Scalise, and J. W. Rohrbaugh, "Facial muscle activity: High-sensitivity noncontact measurement using laser Doppler vibrometry," IEEE Transactions on Instrumentation and Measurement, vol. 70, pp. 1-10, 2021. https://doi.org/10.1109/TIM.2021.3060564

[11]        Q. Zhu, G. Lu, and J. Yan, "Valence-arousal model based emotion recognition using EEG, peripheral physiological signals and facial expression," in Proceedings of the 4th International Conference on Machine Learning and Soft Computing, 2020, pp. 81-85. https://doi.org/10.1145/3380688.3380694

[12]        A. Kelati, J. Plosila, and H. Tenhunen, "Machine learning for semg facial feature characterization," in 2019 Signal Processing: Algorithms, Architectures, Arrangements, and Applications (SPA), 2019, pp. 169-174. https://doi.org/10.23919/SPA.2019.8936818

[13]        S. S. Blom, H. Aarts, and G. R. Semin, "Lateralization of facial emotion processing and facial mimicry," Laterality, vol. 25, pp. 259-274, 2020. https://doi.org/10.1080/1357650X.2019.1657127

[14]        M. N. Kyranides, M. Petridou, H. A. Gokani, S. Hill, and K. A. Fanti, "Reading and reacting to faces, the effect of facial mimicry in improving facial emotion recognition in individuals with antisocial behavior and psychopathic traits," Current Psychology, vol. 42, pp. 14306-14319, 2023.

[15]        A. González-Rodríguez, Á. García-Pérez, M. Godoy-Giménez, P. Sayans-Jiménez, F. Cañadas, and A. F. Estévez, "The role of the differential outcomes procedure and schizotypy in the recognition of dynamic facial expressions of emotions," Scientific Reports, vol. 14, p. 2322, 2024.

[16]        L. O. LUNDQVIST, "Facial EMG reactions to facial expressions: A case of facial emotional contagion?," Scandinavian journal of psychology, vol. 36, pp. 130-141, 1995. https://doi.org/10.1111/j.1467-9450.1995.tb00974.x

[17]        B. 't Hart, M. E. Struiksma, A. van Boxtel, and J. J. Van Berkum, "Emotion in stories: Facial EMG evidence for both mental simulation and moral evaluation," Frontiers in psychology, vol. 9, p. 613, 2018. https://doi.org/10.3389/fpsyg.2018.00613

[18]        J. J. van Berkum, M. Struiksma, and B. t Hart, "Using facial EMG to track emotion during language comprehension: past, present, and future," in Language Electrified, ed: Springer, 2023, pp. 687-729.

[19]        J. Chen, T. Ro, and Z. Zhu, "Emotion recognition with audio, video, EEG, and EMG: a dataset and baseline approaches," IEEE Access, vol. 10, pp. 13229-13242, 2022.

[20]        C.-T. Hsu and W. Sato, "Electromyographic validation of spontaneous facial mimicry detection using automated facial action coding," Sensors, vol. 23, p. 9076, 2023.

[21]        G. Lombardi, M. Gerbella, M. Marchi, A. Sciutti, G. Rizzolatti, and G. Di Cesare, "Investigating form and content of emotional and non-emotional laughing," Cerebral Cortex, vol. 33, pp. 4164-4172, 2023. https://doi.org/10.1093/cercor/bhac334

[22]        L. Franz, C. de Filippis, A. Daloiso, E. Biancoli, F. P. Iannacone, D. Cazzador, et al., "Facial surface electromyography: A systematic review on the state of the art and current perspectives," American Journal of Otolaryngology, vol. 45, p. 104041, 2024. https://doi.org/10.1016/j.amjoto.2023.104041

[23]        A. van Boxtel, "Electromyographic (EMG) responses of facial muscles during language processing," in Language Electrified: Principles, Methods, and Future Perspectives of Investigation, ed: Springer, 2023, pp. 367-385.

[24]        C. J. Doelman and J. A. Rijken, "Yawning and airway physiology: a scoping review and novel hypothesis," Sleep and Breathing, vol. 26, pp. 1561-1572, 2022.

[25]        B. Merzoug, M. Ouslim, L. Mostefai, and M. Benouis, "Evaluation of dimensionality reduction using PCA on EMG-based signal pattern classification," Engineering Proceedings, vol. 14, p. 23, 2022. https://doi.org/10.3390/engproc2022014023

[26]        T. S. Murotzhonovich, "Introduction to Artificial Neural Networks," Web of Synergy: International Interdisciplinary Research Journal, vol. 2, pp. 198-202, 2023. 10.4018/979-8-3693-7250-0.ch016

[27]        A. K. Ali and E. Erçelebi, "Automatic modulation classification using different neural network and PCA combinations," Expert Systems with Applications, vol. 178, p. 114931, 2021. https://doi.org/10.1016/j.eswa.2021.114931

[28]        F. Vargas, D. Lettnin, M. C. F. de Castro, and M. Macarthy, "Electrocardiogram pattern recognition by means of MLP network and PCA: A case study on equal amount of input signal types," in VII Brazilian Symposium on Neural Networks, 2002. SBRN 2002. Proceedings., 2002, pp. 200-205. https://doi.org/10.1109/SBRN.2002.1181474

[29]        L. Shao, "Facial movements recognition using multichannel EMG signals," in 2019 IEEE Fourth International Conference on Data Science in Cyberspace (DSC), 2019, pp. 561-566.

[30]        J. Zhang, S. Huang, J. Li, Y. Wang, Z. Dong, and S.-J. Wang, "A Perifacial EMG Acquisition System for Facial-Muscle-Movement Recognition," Sensors, vol. 23, p. 8758, 2023.

[31]        S. A. Mithbavkar and M. S. Shah, "Recognition of emotion through facial expressions using EMG signal," in 2019 international conference on nascent technologies in engineering (ICNTE), 2019, pp. 1-6.

[32]        L. Kulke, D. Feyerabend, and A. Schacht, "A comparison of the Affectiva iMotions Facial Expression Analysis Software with EMG for identifying facial expressions of emotion," Frontiers in psychology, vol. 11, p. 329, 2020.

 

---

[1]  Electromyography

[2]  Human-machine interfaces

[3]  Facial Electromyography

[4]  convolutional neural network

[5]  common mode rejection ratio

[6]  Root Mean Squared‌

[7]  Principal Component Analysis

[8]  Artificial Neural Networks

[9]  Decision Tree