کدبرداری از کدهای خطی بر مبنای معادله سندرم با استفاده از یادگیری عمیق

محورهای موضوعی : پردازش چند رسانه ای، سیستمهای ارتباطی، سیستمهای هوشمند

علی مرادی ¹ , محمد تحقیقی شربیان ²

1 - دانشکده مهندسی برق و کامپیوتر، دانشگاه آزاد اسلامی واحد نجان، زنجان، ایران
2 - استادیار، دانشکده مهندسی برق و کامپیوتر، واحد زنجان، دانشگاه آزاد اسلامی، زنجان، ایران

تاریخ دریافت : 1400/02/28 تاریخ پذیرش : 1400/05/02 تاریخ انتشار : 1400/04/01

کلید واژه: کدینگ, کدهای LDPC, شبکه‌های کانولوشنی, یادگیری عمیق,

چکیده مقاله :

استفاده از کدهای طول کوتاه در ارتباطات دیجیتال به خاطر فراگیر شدن پدیده اینترنت اشیاء از اهمیت ویژه‌ای برخوردار است. از طرفی مدل های یادگیری عمیق در زمینه‌های مختلفی مانند تشخیص اشیاء و تشخیص گفتار نتایج لبه علمی را بدست آورده‌اند. از این میان شبکه‌های کانولوشنی نقش اساسی در موفقیت مدل های یادگیری عمیق را دارند. برای افزایش دقت کدبرداری کدهای طول کوتاه (Low Density Parity Check Codes) بر مبنای معادله علامت از شبکه کانولوشنی استفاده گردید. برای تعیین جواب معادله علامت، از روش تشخیص الگوی خطا بهره گرفته شد. به این منظور، نخست شبکه کانولوشنی یک بعدی با سه لایه اصلی که هر لایه شامل زیرلایه‌های کانولوشن و ادغام میباشند استفاده شد. سپس خروجی شبکه کانولوشنی بر شبکه برگشتی GRU اعمال گردید. شبکه برگشتی GRU با تعداد سه برابر طول کدواژه با تابع فعالسازی ReLU مورد استفاده واقع گردید. تعیین مقدار ابرپارامترهای شبکه عصبی مورد استفاده ابتدا بصورت مقادیر پیش فرض کتابخانه تنسورفلو نسخه ۲ مقدار دهی و در برخی موارد برای افزایش دقت تغییر داده شدند.مقایسه بین مدل ترکیبی حاصل از شبکه کانولوشنی یک بعدی و شبکه برگشتی با مدل شبکه برگشتی نشان می دهد که برای کد LDPC با طول ۶۴ در کاهش نرخ خطای بیت، مدل ترکیبی حاصل از شبکه کانولوشنی و شبکه GRU بهتر عمل میکند. نرخ خطای بیت در شرایط نویزی مختلف به میزان ۵.۰ تا ۸.۰ دسیبل کمتر از میزان کدبردار بیشینه‌گر احتمال میباشد. همچنین نشان دادیم که شبکه‌های کانولوشنی در کنار شبکه‌های برگشتی پتانسیل این را دارند که بتوانند عملکرد چنین شبکه‌هایی را بهبود ببخشند.

چکیده انگلیسی:

Introduction: The development of digital communication with high reliability has been made possible in the first place by designing codes that allow the receiver to recover the received message efficiently and correctly in noisy channel conditions. Coding theory has progressed tremendously over the past seven decades, and we now see near-optimal codes for relatively long codes. The private codes have reached the Shannon capacity limit using the belief propagation algorithm. Although this shows acceptable performance for relatively long codes, for medium and short codes, the belief propagation algorithm performs poorly. Hence, we are still facing challenges with short codes, which are of paramount importance currently in digital communication thanks to the spread of the Internet of Things. With the emergence of deep learning models that have obtained good results in various fields such as object recognition and speech recognition, the use of neural networks in the field of coding has been revived. Among these, convolutional networks, which play an essential role in the success of deep learning models, have been favored by researchers in the field of coding.Method: To increase the coding accuracy of short-length LDPC (Low-Density Parity Check Codes) based on the sign equation and reduce its computational complexity, the combined architecture of a one-dimensional convolutional network, and recurrent neural network was used. To determine the solution of the sign equation, the error pattern detection method was utilized. For this purpose, first, a one-dimensional convolutional network with three main layers was used, each layer containing sublayers of convolution and integration. Then, the output of the convolutional network was applied to the return network of the GRU. The GRU return network with three times the length of the codeword was used with the ReLU activation function.Findings:We consider Maximizer Posterior Probability or MAP as the comparison metric. The comparison between the combined model of the one-dimensional convolutional network and the return network with the pure return network model shows that for the 64-length LDPC code in reducing the bit error rate, the combined model of the convolutional network and the GRU network performs better. The bit error rate in different noise conditions is 0.5 to 0.8 dB less than the rate of maximum likelihood coder.Discussion and Conclusion:In the last few years, in the encoding method of linear codes based on the syndrome equation, methods based on deep learning are used to solve the equation of the symbol and also to detect the error pattern. We showed that convolutional networks have the potential to improve the performance of such networks.

منابع و مأخذ:

E. Nachmani, E. Marciano, L. Lugosch, W. Gross, D. Burshtein و Y. Be'ery, “Deep learning methods for improved decod- ing of linear codes,”  IEEE Journal of Selected Topics in Signal Processing, 2018.

Gruber, T et al, “On Deep Learning based,” 51st Annual Conference on Information Sciences and Systems (CISS), 2017.

F. Chollette, Deep Learning with Python in Keras, MIT Press, 2017.

I. Goodfellow, Y. Benjio , A. couville, Deep Learning, Cambridge: MIT press, 2017.

E. Nachmani, Y. Be'ery , D. Burshtein, “Learning to decode linear codes using deep learning,” communication, control and computing, Alerton, 2016.

D. J. C. a. S. Lin, Error control coding: Fundamentals and applications, 1982.

R. Gallager, “Low-density parity-check codes,” IRE Transactions on information theory, Vol. 8, No. 1, pp. 21-28, 1962.

C. E. Shannon, “A mathematical theory of communication,” Bell system technical journal, pp. 379-423, 1948.

e. a. A. Bennaten, “Deep learning for decoding of linear codes-a syndrome-based approach,” arXiv preprint arXiv:1802.04741, 2018.