یک تعمیم دو پارامتری آنتروپی رنی و میانگین جدید طول کدواژه مرتبط با آن
محورهای موضوعی : مهندسی برق ( الکترونیک، مخابرات، قدرت، کنترل)علیرضا حسین زاده 1 , مهدی یعقوبی اول ریابی 2 *
1 - گروه آماروریاضی، واحد گناباد،دانشگاه آزاد اسلامی، گناباد، ایران
2 - گروه آماروریاضی، واحد گناباد، دانشگاه آزاد اسلامی، گناباد، ایران.
کلید واژه: آنتروپی شانون, آنتروپی رنی, میانگین طول کدواژه, نامساوی کرافت, کد هافمن.,
چکیده مقاله :
درتمام سطوح جامعه سیستم‌هایی معرفی شده اند که با انتقال، ذخیره‌‌سازی و پردازش اطلاعات سروکار دارند. در حقیقت جامعه‌ای که ما در آن زندگی می‌کنیم جامعه اطلاعاتی نامیده می‌شود. بنابراین منطقی بنظر می‌رسد که بخواهیم بدانیم اطلاع را چگونه می‌توان تعریف و اندازه‌گیری نمود. برای اولین بار کلود شانون (1948) در مقاله معروفش تحت عنوان " نظریه ریاضی ارتباطات" مفاهیم اطلاع و احتمال را با یکدیگر پیوند داد و یک مدل ریاضی مبتنی بر احتمال برای ارزیابی میزان اطلاع نهفته در توزیع احتمال یک متغیر تصادفی ارائه داد.
در نظریه ارتباطات تا قبل از 1948 چنین تصور می‌شد که افزایش نرخ ارسال اطلاعات در یک کانال ارتباطی، احتمال بروز خطا را افزایش می‌دهد. اما شانون ثابت نمود که تا وقتی نرخ ارسال اطلاعات از ظرفیت کانال ارتباطی کمتر باشد این ادعا درست نیست.
به دلیل اهمیت این عرصه مطالعاتی، تاکنون تعمیم‌های متعددی برای آنتروپی شانون توسط پژوهشگران ارائه شده است. هر کدام از این تعمیم‌ها دارای خواصی هستند که آنها را به کاربردهای وسیعی در زمینه‌های مختلف هدایت میکند. آنتروپی رنی به عنوان یک تعمیم تک پارامتری برای آنتروپی شانون توسط آلفرد رنی در سال1961 معرفی شد. این اندازه اطلاع تعمیم یافته خواص مشابهی با آنتروپی شانون دارد.
در مقاله حاضر ابتدا آنتروپی شانون و رنی و برخی ویژگیهای مهم آنها را مرور می‌کنیم. سپس یک تعمیم دو پارامتری برای آنتروپی رنی با میانگین جدید طول کدواژه مربوطه، که توسط بهات و دیگران (2023) مطرح شده، و همچنین ویژگیهای مهم آن را مورد بررسی قرار می‌دهیم. به ویژه برای مقادیری از پارامترها کارایی کد هافمن، نسبت به این آنتروپی تعمیم یافته و میانگین جدید طول کدواژه نظیر آن، را مورد ارزیابی قرار می‌دهیم.
At all levels of society, systems have been introduced that deal with the transmission, storage and processing of information. In fact, the society we live in, is called the information society. Therefore, it seems logical to want to know how information can be defined and measured. For the first time, Claude Shannon (1948) linked the concepts of information and probability in his famous article entitled "The Mathematical Theory of Communication" and introduced a mathematical model based on probability to evaluate the amount of information hidden in the probability distribution of a random variable .
In communication theory, until 1948, it was believed that increasing the rate of information transmission in a communication channel increases the probability of error. But Shannon proved that this claim is not true as long as the rate of information transmission is less than the capacity of the communication channel
Due to the importance of this field of study, numerous generalizations for Shannon's entropy have been proposed by researchers so far. Each of these generalizations has properties that lead them to wide applications in different fields. Renyi’s entropy was introduced as a one-parameter generalization of Shannon entropy by Alfred Renyi in (1961). This generalized information measure has similar properties to Shannon’s entropy
In this paper, we first review Shannon and Renyi entropies and some of their important properties. Then, a two-parameter generalization of Renyi’s entropy with the corresponding new mean code-word length, that was proposed by Bhatt et. al (2023), and its important properties are studied. In particular, for some values of the parameters, we evaluate the efficiency of the Huffman code with respect to this generalized entropy and its new mean code-word length
[1] H. Nyquist, Certain Factor Affecting Telegraph Speed. Bell System Technical Journal, vol. 3, No. 2, 324-346, 1924.
[2] R. V. L. Hartley, Transmission of information. Bell System Technical Journal, 7, 535, 1928.
[3] C.E. Shannon, A mathematical theory of communication. Bell System Technical Journal, 27, 379-423, 1948.
[4] T. Cover, J. Thomas, Elements of Information Theory. ISBN 0-471-06259-6, 1991.
[5] R. W. Hamming, Error detecting and error correcting codes. 29 (2): 147–160, 1950.
[6] DA. Huffman, A method for the construction of minimum redundancy codes, in: Proceedings of the IRE.; 40:1098-1101, 1952.
[7] A. Renyi, On measures of entropy and information. In Proceedings of the Fourth Berkeley Symposium on Mathematical Statistics and Probability, Volume 1: Contributions to the Theory of Statistics, University of California Press 4, 547-562, 1961.
[8] J. Havrda and F. Charvat, Quantification method of classification processes. Concept of structural a-entropy. Kybernetika 3(1), 30-35, 1967.
[9] B. D. Sharma and D. P. Mittal, New non-additive measures of entropy for discrete probability distributions. J. Math. Sci.,10, 28-40, 1975.
[10] A. H. Bhat, N. A. Siddiqui, I. A. Mageed, S. Alkhazaleh, V. R. Das and M. A. K Baig, Generalization of Renyi’s Entropy and its Application in Source Coding. Appl. Math. Inf. Sci. 17, No. 5, 941-948, 2023.
[11] L. L. Campbell, A coding theorem and Renyi’s entropy. Information and control 8(4), 423-429, 1965.
مجله مهندسی برق و سیستم های هوشمند سال اول، شماره 4، زمستان 1403
یک تعمیم دو پارامتری آنتروپی رنی و میانگین جدید طول کدواژه مرتبط با آن
علیرضا حسین‌زاده1، مهدی یعقوبی اول ریابی*2
چکیده | |
آنتروپی رنی به عنوان یک تعمیم تک پارامتری برای آنتروپی شانون توسط آلفرد رنی در سال1961 معرفی شد. این اندازه اطلاع تعمیم یافته خواص مشابهی با آنتروپی شانون دارد. در مقاله حاضر ابتدا آنتروپی شانون و رنی و برخی ویژگیهای مهم آنها را مرور می‌کنیم. سپس یک تعمیم دو پارامتری برای آنتروپی رنی با میانگین جدید طول کدواژه مربوطه، که توسط بهات و دیگران (2023) مطرح شده، و همچنین ویژگیهای مهم آن را مورد بررسی قرار می‌دهیم. به ویژه برای مقادیری از پارامترها کارایی کد هافمن، نسبت به این آنتروپی تعمیم یافته و میانگین جدید طول کدواژه نظیر آن، را مورد ارزیابی قرار می‌دهیم. نتایج بیانگر آن است که کارایی کد هافمن با آنتروپی و میانگین طول کد واژه جدید نیز با انتخاب مناسب پارامترها تقریبا بهینه باقی می‌ماند. . | |
کلمات کلیدی: آنتروپی شانون، آنتروپی رنی، میانگین طول کدواژه، نامساوی کرافت، کد هافمن. | دريافت مقاله: 1403/11/23 پذيرش مقاله: 1403/12/26 |
1-مقدمه1
شروع تحقیقات در زمینه نظریه اطلاع اولین بار توسط نایکوئیست [1] در مقاله‌ای تحت عنوان "عوامل خاصی که سرعت تلگراف را تحت تاثیر قرار می‌دهند" آغاز شد. او در این مقاله چگونگی ارسال پیام‌ها توسط یک کانال تلگراف با ماکزیمم سرعت ممکن ولی بدون دگر‌شکلی را مورد بررسی قرار داد.
هارتلی [2] برای اولین بار کوشید تا اندازه اطلاع را به صورت زیر تعریف کند:
فرض کنید هر نماد یک پیام را بتوان به 
طریق ممکن
انتخاب کرد. اکنون با در نظر گرفتن پیام‌های 
نمادی می‌توان 
پیام متمایز تشخیص داد. اینک مقدار اطلاع این منبع اطلاعاتی به صورت لگاریتم تعداد پیام‌های قابل تشخیص یعنی
تعریف می‌شود.
حال چون با 
برابر است، این نکته با درک ذهنی این مطلب که میزان اطلاع پیامی به طول ، برابر میزان اطلاع پیامی به طول یک است، سازگار می‌باشد. این نکته حضور موجه تابع لگاریتم را در تعریف هارتلی بیان میکند. زیرا می‌توان ثابت نمود که تنها تابع حقیقی که در معادله تابعی:
صدق میکند تابع لگاریتمی است.
توجه داریم که افزایش تعداد نمادها افزایش مقدار اطلاع را تضمین میکند که با درک مستقیم تطابق دارد. در رهیافت هارتلی هیچ فرضی در این مورد که امکان دارد
نماد ممکن با شانس‌های نابرابر در پیام ظاهر شوند یا اینکه ممکن است یک نوع وابستگی بین نمادهای متوالی وجود داشته باشد در نظر گرفته نشده است.
کلود شانون[3] مقاله‌اش را تحت عنوان "نظریه ریاضی ارتباطات" منتشر نمود. دستاورد بزرگ شانون این است که او نظریه‌های نایکوئیست و هارتلی را توسعه داد و نظریه اطلاع امروزی را با مرتبط ساختن مفهوم اطلاع با عدم قطعیت و با بهره‌گیری از مفاهیم نظریه احتمال پایه‌گذاری نمود. شانون در حالت کلی اندازه اطلاع را بر این اساس که توزیع احتمال نمادها غیر یکنواخت باشند توسعه داد. او در مورد معیار هارتلی پیشنهاد نمود با فرض این که همه نمادها با احتمال برابر رخ دهند آنگاه این معیار را نیز می‌توان به عنوان یک اندازه اطلاع تفسیر نمود. با این توصیف می‌توان اندازه اطلاع هاتلی را به عنوان حالتی خاص از اندازه اطلاع شانون در نظر گرفت.
یکی از زمینه‌های کاربردی نظریه اطلاع مطالعه قوانین علمی حاکم بر هر گونه انتقال و تغییر حالت اطلاعات نظیر فشرده‌سازي، كدينگ، ظرفيت كانال و غیره است. در این عرصه نظریه اطلاع به دو سوال اساسی زیر در علوم ارتباطات پاسخ می‌دهد.
اول اینکه حد نهایی فشرده‌سازی داده‌ها چقدر است، که پاسخ آن آنتروپی شانون است.
دوم اینکه حد نهایی نرخ انتقال اطلاعات چه اندازه می‌تواند باشد، که پاسخ آن ظر فیت کانال ارتباطی است.
از این رو در ابتدا چنین به نظر می‌رسید که نظریه اطلاع شاخه‌ای از نظریه ارتباطات است. در حقیقت دامنه کاربردهای نظریه اطلاع به مراتب فراتر از نظریه ارتباطات است و زمینه‌های تحقیقاتی مشترکی با برخی علوم دیگر نیز دارد. در یک دورنمای کلی می‌توان گفت که نظریه اطلاع نقش اساسی در عرصه‌های فیزیک آماری (تبیین قوانین ترمودینامیک)، علوم کامپیوتر (نظریه اطلاع الگوریتمی و پیچیدگی کولموگروف)، آمار (اطلاع فیشر و آزمون فرض)، نظریه ارتباطات (فشرده‌سازی اطلاعات، کدینگ و ظرفیت کانال‌های ارتباطی)، اقتصاد (نرخ رشد سرمایه و نرخ آنتروپی سرمایه در یک بازار سهام) ایفا میکند.
برای ملاحظه جزئیات بیشتر وابستگی میان نظریه اطلاع و سایر علوم، خواننده را به مطالعه کتاب ارزشمند و غنی کاور و توماس [4] توصیه می‌کنیم.
در ادامه آنتروپی شانون و رنی و برخی ویژگیهای مهم آنها را مرور می‌کنیم. سپس با الهام از بهات و دیگران (2023) یک تعمیم دو پارامتری برای آنتروپی رنی با میانگین جدید طول کدواژه مربوطه و همچنین ویژگیهای مهم آن را مورد بررسی قرار می‌دهیم.
2-آنتروپی شانون
منطقی به نظر می‌رسد که بگوییم میزان تعجّب حاصل از وقوع یک پیشامد به احتمال رخداد آن پیشامد بستگی دارد. به عنوان مثال در آزمایش تصادفی پرتاب سه تاس اگر بشنویم مجموع اعداد ظاهر شده زوج است زیاد تعجّب نمی‌کنیم، زیرا احتمال وقوع این پیشامد برابر 
است. در حالی که اگر بشنویم مجموع اعداد ظاهر شده در پرتاب سه تاس 18 است بیشتر متعجّب می‌شویم زیرا احتمال وقوع این پیشامد برابر 
است. اینک سعی می‌کنیم میزان تعجّب را کمّی نماییم. ابتدا روی این اصل توافق می‌کنیم که میزان تعجّب از وقوع یک پیشامد به احتمال رخداد آن بستگی دارد. بنابراین اگر 
احتمال رخداد آن پیشامد باشد آنگاه میزان تعجّب از وقوع آن پیشامد تابعی از مانند 
خواهد بود .
حال سعی می‌کنیم شکل تابعی 
را بر اساس توافق روی مجموعه‌ای از شرایط منطقی تعیین نموده و سپس ثابت کنیم که این اصول برای این که شکل معینی داشته باشد لازم هستند.
فرض می‌کنیم برای مقادیر
تعریف شده و برای پیشامدهایی که احتمال رخداد آنها صفر است، تعریف نشده باشد.
اولین شرط بیان این واقعیت است که میزان تعجّب ما از وقوع یک پیشامد قطعی (پیشامدی با احتمال رخداد 1) برابر صفر است. یعنی :
اصل اول : 
.
دومین شرط بیان میکند که میزان تعجّب از رخداد پیشامدی که شانس وقوع کمتری دارد بیشتر از میزان تعجّب برای رخداد پیشامدی با شانس وقوع بیشتر است. به عبارت دیگر:
اصل دوم : S
تابعی اکیدا نزولی از است. یعنی اگر 
آنگاه 
.
شرط سوم یک ویژگی ریاضی تابع است به گونه‌ای که انتظار می‌رود هر تغییر کوچک در مقدار باعث ایجاد تغییر کوچکی در مقدار خواهد بود. بنابراین:
اصل سوم : تابعی پیوسته از
است.
برای بیان آخرین شرط دو پیشامد مستقل 
وB را به گونه‌ای که 
و 
در نظر می‌گیریم. حال چون پیشامدهای A وB مستقل هستند لذا داریم، 
. بنابراین میزان تعجّب حاصل از وقوع هم زمان A وB برابر
خواهد بود. حال فرض کنید ابتدا مطلع شویم که A اتفاق افتاده و پس از آن پیشامد B نیز رخ داده است. چون میزان تعجّب وقوع پیشامد A است بنابراین
نشان دهنده افزایش تعجّب است وقتی مطلع شویم که B نیز اتفاق افتاده است. بعلاوه چون A و B مستقل از یکدیگر و اطلاع از وقوع یا عدم وقوع پیشامد A تاثیری در احتمال وقوع پیشامد B ندارد بنابراین میزان افزایش تعجّب باید دقیقا برابر با
باشد. یعنی :
اصل چهارم : برای 
داریم:
حال می‌توانیم قضیه زیر را که بیان کننده ساختار تابع است بیان نماییم.
قضیه1: اگر تابع در اصول چهار گانه فوق صدق نماید آنگاه داریم:
که در آن 
یک ثابت دلخواه صحیح و مثبت است و معمولا آن را برابر یک اختیار می‌کنند.
بسته به این که مبنای لگاریتم اعداد 2 یا e و یا 10 باشد واحد 
که آن را آنتروپی پیشامدA می‌نامیم بیت، نت و یا دک خواهد بود. مرسوم است که مبنای لگاریتم را عدد 2 در نظر می‌گیرند که در این حالت واحد اطلاع بر حسب بیت خواهد بود. را اندازه اطلاع از وقوع پیشامد A یا اندازه عدم قطعیت A نیز می‌گویند.
بر این اساس شانون در سال 1948 آنتروپی متغیر تصادفی گسسته 
را به صورت زیر تعریف نمود.
تعریف1: فرض کنید متغیر تصادفی گسسته
مقادیر 
را اختیار نماید. اگر توزیع احتمال به صورت
باشد، آنگاه آنتروپی شانون متغیر تصادفی را با نماد 
یا 
نشان می‌دهند و به صورت زیر تعریف می‌کنند:
، میانگین تعجّب حاصل از وقوع پیشامد 
برای مقادیر مختلف
را ارزیابی میکند. را متوسط اطلاع حاصله برای مقادیر مشاهده شده متغیر تصادفی نیز می‌نامند. در آنتروپی شانون معمولا مبنای لگاریتم را عدد 2 در نظر گرفته و از نوشتن آن صرف نظر می‌کنند. قضیه زیر خواص آنتروپی شانون را بیان میکند.
قضیه2: آنتروپی شانون دارای خواص زیر است:
الف) 
. تساوی برقرار است اگر و فقط اگر یک متغیر تصادفی تباهیده باشد.
ب) 
، که در آن 
تعداد اعضاء مجموعه متناهی 
است. تساوی برقرار است اگر و فقط اگر متغیر تصادفی دارای توزیع یکنواخت 
بر تکیه‌گاه متناهی
باشد.
قسمت دوم قضیه بالا بیان میکند که بیشترین میزان عدم قطعیت زمانی حاصل می‌شود که به تمامی برآمدهای متغیر تصادفی گسسته با تکیه‌گاه متناهی، شانس‌های مساوی نسبت داده شود. بعبارت دیگر توزیع احتمال متغیر تصادفی یک توزیع یکنواخت باشد.
3- فشرده‌سازی و کدگذاری
در عصر حاضر بکارگیری روزافزون داده‌ها و نیاز به ذخیره سازی، انتقال و پردازش آنها ما را به استفاده از روش‌های فشرده‌سازی داده‌ها هدایت میکند.
در علوم كامپيوتر و نظريه اطلاعات، فشرده‌سازی به معنای كدگذاری اطلاعات به نحوي است كه تعداد بيت‌های كمتري نسبت به نسخه‌ي اصلي آن داشته باشد.
کدگذاری در بخش‌های مختلف مخابره یک پیام، کاربرد دارد. در بخش فرستنده کدگذاری به منظور بیان پیام ارسالی با کمترین تعداد بیت، جهت کاهش پهنای باند مورد نیاز برای ارسال پیام، مورد توجه است. در بخش کانال به منظور مقابله با انواع منابع نوفه و مقابله با تغییرات پیام در هنگام ارسال و کاهش احتمال خطا، می‌توان از کدگذاری استفاده نمود. این موارد به ترتیب با نام‌های کدگذاری منبع و کدگذاری کانال شناخته میشوند.
برای اولین بار در سال 1950 ریچارد همینگ [5] نظریه کدگذاری خود را پایه‌گذاری کرد. هم زمان با او، کلود شانون نیز نظریه کدگذاری بدون نوفه و پس از آن مفهوم آنتروپی و نظریه ریاضی ارتباطات را ارائه نمود.
در سال 1952 هافمن [6] با استفاده از درخت دودویی مرتب شده بر حسب تکرار و بر اساس مفهوم آنتروپی تعریف شده توسط شانون، توانست یک روش دیگر کدگذاری را ابداع نماید. این کد تنها کد بهینه مبتنی بر آنتروپی شانون است.
کدهای فانو، شانون، هافمن، مورس، الفبایی،حسابی از جمله روش‌های کدگذاری منبع هستند که مورد استفاده قرار می گیرند.
منبع اطلاع گسسته منبعی است که دنباله‌ای از نمادها را که گاهی اوقات حروف نیز نامیده میشوند، تولید میکند. مجموعه نمادهای ممکن را الفبای منبع می‌نامند. حال فرض کنید 
الفبای منبع باشد و این نمادها به طور تصادفی هر یک با احتمال معینی بر اساس توزیع احتمال 
رخ دهند. این احتمالات با گذشت زمان تغییر نمی‌کنند. به عبارت دیگر دنباله‌ای تصادفی از نمادها از یک توزیع احتمال مانا تولید میشوند. علاوه بر این منبع اطلاع مورد نظر بدون حافظه است. یعنی نمادهای تولید شده به طور احتمالی مستقلند.
برای کدگذاری منبع فوق، فرض کنید الفبای کد با مجموعه 
مشخص شده باشد. به هر عنصر الفبای منبع ترکیب معینی از عناصر 
نسبت می‌دهند و آن را کدواژه می‌نامند.
اگر همه کدواژه‌ها متفاوت باشند آن را کد ناویژه می‌نامند.
اگر هر دنباله کدگذاری شده وقتی رمزگشایی می‌شود یک دنباله ممکن از الفبای منبع را به دست دهد در این صورت کد مربوطه را یکتا گشودنی می‌نامند.
یک کد را فوری (با شرط پیشوندی) گوییم اگر هیچ کدواژه‌ای پیشوند هیچ کدواژه دیگر نباشد. یک کد فوری می‌تواند بدون مراجعه به کدواژه بعدی کدگشایی شود.
قضیه زیر موسوم به "نامساوی کرافت" شرط لازم و کافی را برای وجود یک کد فوری بیان میکند.
قضیه3 (نامساوی کرافت) :شرط لازم و کافی برای وجود یک کد فوری آن است که :
که در آن 
تعداد اعضای الفبای کد و 
طول کدواژه نظیر 
است.
قضیه زیر موسوم به "قضیه کدگذاری منبع"، رابطه بین متوسط طول کدواژه و آنتروپی منبع اطلاع را بیان میکند.
قضیه4 (قضیه کدگذاری منبع) : فرض کنید الفبای منبع 
دارای توزیع احتمال:
باشد و الفبای کد، مجموعه عضوی 
باشد. اگر نامساوی کرافت برقرار باشد آنگاه داریم:
که در آن 
متوسط طول کدواژه‌ها و طول کدواژه نظیر است.
نامساوی فوق به تساوی تبدیل می‌شود اگر و فقط اگر برای هر 
داشته باشیم 
.
قضیه بالا بیان میکند که متوسط طول کدواژه‌ها هرگز نمی‌تواند از آنتروپی منبع اطلاع در مبنای کمتر باشد. حال اگر طول کدواژه‌ها به گونه‌ای انتخاب شوند که نامساوی بالا به تساوی تبدیل شود آنگاه متوسط طول کدواژه‌ها کمترین مقدار خود را اختیار خواهد نمود و این در صورتی است که برای هر داشته باشیم،
و یا به طور معادل 
.
از قضیه کدگذاری منبع می‌توان برای ساختن معیاری برای ارزیابی کارایی یک کد استفاده کرد. بر این اساس، برای یک کد مفروض هر چه نسبت 
موسوم به "کارایی کد"به عدد یک نزدیک‌تر باشد کد کاراتری خواهیم داشت. برای درک بهتر این موضوع بهینگی کد هافمن را در مثال زیر بررسی می‌کنیم.
مثال1 : فرض کنید 8 اسب با شماره‌های 1 تا 8 که شانس برنده شدن آنها متفاوت است در یک مسابقه اسب دوانی شرکت می‌کنند. متغیر تصادفی را شماره اسب برنده در نظر می‌گیریم که دارای توزیع احتمال جدول (1) است.
جدول 1 : توزیع احتمال الفبای منبع
8 | 7 | 6 | 5 | 4 | 3 | 2 | 1 |
| |||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
|
|
|
|
|
|
|
|
|
|
| ||||
1 | 0 | 1 | ||||
2 | 10 | 2 | ||||
3 | 110 | 3 | ||||
4 | 1110 | 4 | ||||
6 | 111100 | 5 | ||||
6 | 111101 | 6 | ||||
6 | 111110 | 7 | ||||
6 | 111111 | 8 |
|
|
|
|
|
| |
0.98627 | 1.8824 | 1.8566 | 0.8 |
| 1 | |
| 2 | |||||
0.99665 | 1.9382 | 1.9317 | 0.9 |
| 3 | |
| 4 | |||||
0.99917 | 1.9683 | 1.9667 | 0.95 |
| 6 | |
| 6 | |||||
0.99997 | 1.9935 | 1.9934 | 0.99 |
| 6 | |
| 6 |
|
|
|
|
|
| |
0.98142 | 2.1845 | 2.1439 | 0.8 |
| 1 | |
| 2 | |||||
0.99613 | 2.07641 | 2.0684 | 0.9 |
| 3 | |
| 4 | |||||
0.99911 | 2.03513 | 2.0333 | 0.95 |
| 6 | |
| 6 | |||||
.099996 | 2.0066 | 2.0065 | 0.99 |
| 6 | |
| 6 |
|
|
|
|
|
|
|
0.9998 | 2.013 | 2.012 | 0.51 | 0.5 |
| 1 |
| 2 | |||||
0.9994 | 2.022 | 2.021 | 3.1 | 3 |
| 3 |
| 4 | |||||
0.9995 | 1.973 | 1.974 | 24 | 25 |
| 6 |
| 6 | |||||
0.9994 | 1.972 | 1.971 | 67 | 70 |
| 6 |
| 6 |
|
|
|
|
|
|
|
0.9783 | 1.856 | 1.816 | 150 | 200 |
| 1 |
| 2 | |||||
0.934 | 2.41 | 2.25 | 15 | 10 |
| 3 |
| 4 | |||||
0.9681 | 1.717 | 1.51 | 20 | 15 |
| 6 |
| 6 | |||||
0.9607 | 1.81 | 1.74 | 10 | 15 |
| 6 |
| 6 |
|
|
|
|
|
|
|
0.7325 | 1.63 | 1.19 | 0.5 | 3 |
| 1 |
| 2 | |||||
0.511 | 5.12 | 2.62 | 3 | 0.5 |
| 3 |
| 4 | |||||
0.501 | 5.9 | 2.96 | 5 | 0.1 |
| 6 |
| 6 | |||||
0.641 | 1.59 | 1.02 | 0.1 | 5 |
| 6 |
| 6 |
ABSTRACT |
Renyi’s entropy was introduced as a one-parameter generalization of Shannon entropy by Alfred Renyi in (1961). This generalized information measure has similar properties to Shannon’s entropy. In this paper, we first review Shannon and Renyi entropies and some of their important properties. Then, a two-parameter generalization of Renyi’s entropy with the corresponding new mean code-word length, that was proposed by Bhatt et. al (2023), and its important properties are studied. In particular, for some values of the parameters, we evaluate the efficiency of the Huffman code with respect to this generalized entropy and its new mean code-word length. The results indicate that the efficiency of the Huffman code with entropy and new mean code-word length remains almost optimal with appropriate selection of parameters.
|
Keywords: Shannon’s entropy, Renyi’s entropy, Mean Code-word length, Kraft’s inequality, Huffman code.
|
مقالات مرتبط
-
-
همزمان سازی کلاس خاصی از سیستمهای آشوبی همترازمبتنی بر روش کنترل کننده مودلغزشی
تاریخ چاپ : 1403/02/29 -
حقوق این وب‌سایت متعلق به سامانه مدیریت نشریات دانشگاه آزاد اسلامی است.
حق نشر © 1404-1400