• صفحه اصلی
  • ارزیابی پیشرفت و پسرفت رسانه‌های چاپی با استفاده از شاخص بهره‌وری مالم‌کوئیست در تحلیل پوششی داده‌ها

اشتراک گذاری

آدرس مقاله


کد مقاله : MEDIASTUDIES-1907-1235 (R1) بازدید : 162 صفحه: 17 - 30

10.30495/mediastudies.2022.46632.1235

نوع مقاله: پژوهشی

ارزیابی پیشرفت و پسرفت رسانه‌های چاپی با استفاده از شاخص بهره‌وری مالم‌کوئیست در تحلیل پوششی داده‌ها

محورهای موضوعی : مدیریت رسانه

هانیه حقیقی نیا 1 , محسن رستمی مال خلیفه 2 , محمد سلطانی فر 3 , اکبر نصرالهی 4

1 - دانشجوی دکتری مدیریت رسانه‌ای، واحد علوم و تحقیقات، دانشگاه آزاد اسلامی، تهران، ایران
2 - دانشیار، گروه ریاضی، واحد علوم و تحقیقات، دانشگاه آزاد اسلامی، تهران، ایران
3 - دانشیار گروه علوم ارتباطات اجتماعی، واحد علوم و تحقیقات، دانشگاه آزاد اسلامی، تهران، ایران
4 - استادیار گروه مدیریت رسانه‌ای، واحد تهران مرکزی، دانشگاه آزاد اسلامی، تهران، ایران

تاریخ دریافت : 1398/05/05 تاریخ پذیرش : 1401/03/21 تاریخ انتشار : 1401/02/01

کلید واژه: تحلیل پوششی داده ها, ارزیابی عملکرد, رسانه های چاپی, شاخص بهره وری مالمکوئیست,

چکیده مقاله :

محدودیت منابع یک واقعیت غیر قابل انکار است که بسیاری از سازمان‌ها (نظیر سازمان‌های رسانه‌ای) با آن در ارتباط هستند؛ از این رو، بهبود بهره‌وری منابع این سازمان‌ها نیز یکی از مهم‌ترین نگرانی‌های مدیران است. در نتیجه، یک مدیر باید عملکرد سازمان خود را پیوسته ارزیابی کند. در این مقاله، قصد داریم میزان پیشرفت و پسرفت روزنامه‌های چاپی ایران را بین سال‌های (1394) و (1395) ارزیابی کنیم. این مطالعه، از لحاظ هدف کاربردی است و از شاخص بهره‌وری مالم‌کوئیست که یک رویکرد بسیار مفید در تحلیل پوششی داده‌ها برای اندازه‌گیری میزان پیشرفت و پسرفت واحدهای تصمیم‌گیرنده‌ی تحت ارزیابی است، استفاده کرده است. جهت تجزیه و تحلیل داده‌ها نیز از نرم‌افزار گمز که یک سیستم مدل‌سازی قوی برای برنامه‌نویسی ریاضی و بهینه‌سازی است، استفاده شده است. پس از مرور ادبیات ارزیابی عملکرد و مصاحبه با خبرگان حوزه‌ی مدیریت رسانه و همچنین، کارشناسان معاونت مطبوعاتی وزارت فرهنگ و ارشاد اسلامی، شاخص‌های مورد نیاز شناسایی و انتخاب شده است. نتایج حاصل از مقایسه‌ی شاخص‌های درون سازمانی در دو سال متوالی (1394) و (1395) نشان می‌دهد از 87 واحد تصمیم‌گیرنده‌ی تحت ارزیابی، 29 واحد پیشرفت و 58 واحد پسرفت داشته‌اند. به منظور بهبود واحدهایی که پسرفت داشته‌اند، استراتژی مناسب پیشنهاد شده است.

چکیده انگلیسی:

Limitation of resources is an undeniable fact, which is dealt with many organizations such as media organizations. Hence, improving the performance of resource utilization of these organizations is one of the most important concerns of the managers. As a result, a manager must evaluate the performance of their organizations frequently. In this paper, we intend to measure the progress and regress of Iranian printed newspapers between two times 2016 and 2017. The current study is applied in terms of purpose and uses the Malmquist Productivity Index (MPI), which is a very useful approach in Data Envelopment Analysis (DEA) to measure the rate of progress and regress of decision-making units (DMUs) under evaluation. The data analysis was done utilizing GAMS, which is a high-level modeling system for mathematical programming and optimization. After reviewing the performance measurement literature and interviewing with media management specialists and also experts from the Ministry of Culture and Islamic Guidance-Deputy of Press and Information Affairs, appropriate indicators were recognized and selected. The results of the comparison of intra-organizational indicators in two consecutive years of 2016 and 2017 represents that 29 units from 87 DMUs have experienced progress and 58 ones regressed. In order to improve the performance of the regressed units, an appropriate strategy has been proposed.

منابع و مأخذ:

آذر، عادل.، دانشور، مریم.، خدادادحسینی، سیدحمید. و عزیزی، شهریار. (1391). "طراحی مدل ارزیابی عملکرد گروه‌های کاری: رویکرد تحلیل پوششی داده‌های چندسطحی"، پژوهش‌های مدیریت منابع سازمانی، دوره 2(2)، صص. 1-22.

ایجادی مقصودی، آبتین.، خلیل‌زاده، محمد. و حافظ‌الکتب، اشکان. (1397). "رتبه‌بندی و ارزشیابی روش‌های سنتی ارزیابی عملکرد سازمانی با محتوای تئوری و با استفاده از یک روش تصمیم‌گیری ادغامی"، مجله‌ی مدیریت توسعه و تحول، دوره 32، صص. 51-65.

بختیاری، حسین. (1397). "طراحی مدل ارزیابی و رتبه‌بندی شبکه‌های استانی صدا و سیما با رویکرد تصمیم‌گیری چندمعیاره"، فصلنامه‌ی پژوهش‌های ارتباطی، دوره 25، شماره 2(94)، صص. 79-101.

جهانشاهلو، غلامرضا.، حسین‌زاده لطفی، فرهاد. و نیکومرام، هاشم. (1389). "تحلیل پوششی داده‌ها و کاربرد آن"، چاپ اول، تهران: انتشارات آثار نفیس.

دانایی‌فرد، حسن.، الوانی، مهدی. و آذر، عادل. (1383). "روش‌شناسی پژوهش کمی در مدیریت: رویکردی جامع"، تهران: انتشارات صفار.

رضائیان، علی. (1388). "مبانی سازمان و مدیریت"، تهران: سازمان مطالعه و تدوین کتب علوم انسانی دانشگاه‌ها (سمت).

سلطانی‌فر، محمد. و یحیایی ایله‌ای، احمد. (1391). "طراحی مدل ارزشیابی عملکرد روابط عمومی مؤسسات اقتصادی – تجاری"، فصلنامه‌ی مطالعات رسانه‌ای، دوره 7، شماره 19، صص. 11-19.

طبرسا، غلامرضا. (1378). "بررسی و تبیین نقش اقتضائات استراتژیک در انتخاب الگوی ارزیابی عملکرد سازمان‌های دولتی"، مجموعه مقالات دومین جشنواره‌ی شهید رجایی، ارزیابی عملکرد دستگاه‌های اجرایی کشور، تهران: سازمان امور اداری و استخدامی کشور.

طبیبی، سیدجمال‌الدین.، ملکی، محمدرضا. و دلگشایی، بهرام. (1395). "تدوین پایان نامه، رساله، طرح پژوهشی و مقاله‌ی علمی"، چاپ هشتم، تهران: انتشارات فردوس.

فرهنگی، علی‌اکبر. و ببران، صدیقه. (1393). "مدیریت رسانه"، چاپ اول، تهران: دفتر مطالعات و برنامه‌ریزی رسانه‌ها.

فرهنگی، علی‌اکبر. و دانایی، ابوالفضل. (1392). "توسعه و اجرای سیستم‌های ارزیابی عملکرد متوازن در سازمان‌های رسانه‌ای"، تهران: انتشارات مکث نظر.

وفایی، فرهاد. (1386). "طراحی یک مدل ریاضی برای اندازه‌گیری کارایی مدل‌های جبرانی MADM به کمک روش تحلیل پوششی داده‌ها (DEA) در سیستم امتیازدهی مدل تعالی EFQM"، رساله‌ی دکتری، تهران: دانشگاه تربیت مدرس، دانشکده مدیریت و اقتصاد.

Chen, K., Yang, G. & Khoveyni, M. (2017). “Measuring performance evolution of academic journals in management science and operations research: A DEA-Malmquist approach”, Journal of Management Science and Engineering, Vol. 2(1), PP. 34-54.

Cooper, W.W., Seiford, L.M. & Tone, K. (2007). “Data envelopment analysis: A comprehensive text with models, applications”, references and DEA-solver software, 2nd ed. New York: Springer.

Farzipoor Saen, R. (2011). “Media selection in the presence of flexible factors and imprecise data”, Journal of The Operational Research Society (JORS), Vol. 62, PP. 1695–1703.

Fortunati, L. & O'sullivan, J. (2019). “Situating the social sustainability of print media in a world of digital alternatives”, Telematics and Informatics (T&I), Vol. 37, PP. 137-145.

Goldin, C. (2014). “Human Capital”, Handbook of Clio metrics, Department of economics Harvard university and national bureau of economic research.

Haas, D.A. &  Murphy, F.H. (2003). “Compensating for non-homogeneity in decision-making units in data envelopment analysis”, European Journal of Operational Research (EJOR), Vol. 144, PP. 530-544.

Heini, O. (2007). “Performance measurements: Designing a generic measure and performance indicator model”, Department of Information Systems of the University of Geneva, P. 136.

Jafari, Y. (2014). “Malmquist productivity index for multi time periods”, International Journal of Data Envelopment Analysis (IJDEA), Vol. 2, PP. 315-322.

Jantunen, A., Tarkiainen, A., Chari, S. & Oghazi, P. (2018). “Dynamic capabilities, operational changes, and performance outcomes in the media industry”, Journal of Business Research (JBR), Vol. 89, PP. 251-257.

Jiao, H., Alon, I., Koo, C.K. & Cui, Y. (2013). “When should organizational change be implemented? The moderating effect of environmental dynamism between dynamic capabilities and new venture performance”, Journal of Engineering and Technology Management (JET-M), Vol. 30(2), PP. 188-205.

Makkonen, H. Pohjol, M. & Olkkonen, R. (2014). “Dynamic capabilities and firm performance in a financial crisis”, Journal of Business Research (JBR), Vol. 67(1), PP. 2707-2719.

Martinez-Nunez, M. & Perez-Aguiar, W.S. (2014). “Efficiency analysis of information technology and online social networks management: An integrated DEA-Model assessment”, Information & Management (I&M), Vol. 51, PP. 712-725.

Moullin, M. (2007). “Linking performance measurement and organisational excellence”, International Journal of Health Care Quality Assurance (IJHCQA), Vol. 20(3), PP. 181-183.

Neely, A., Gregory, M. & Platts, K. (1995). “Performance measurement system design: A literature review and research agenda”, International Journal of Operations & Production Management (IJOPM), Vol. 25(12), PP. 1228-1263.

Song, Y., Schubert, T., Liu, H. & Yang, G. (2019). “Measuring scientific productivity in China using Malmquist productivity index”, Journal of Data and Information Science (JDIS), Vol. 4(1), PP. 32-59.

Teece. D.J. (2018). “Business models & dynamic capabilities”, Long Range Planning, Vol. 51(1), PP. 40-49.

Wang, Y.M. & Lan, Y.X. (2011). “Measuring Malmquist productivity index: A new approach based on double frontiers data envelopment analysis”, Mathematical and Computer Modelling, Vol. 54, PP. 2760-2771.

Wirtz, B.W. (2011). “Media and internet management”, Wiesbaden, Germany: Gabler Verlag, 2011 edition (July 14, 2011). ISBN-13: 978-3-8349-3010-1 (paperback), P. 569.

Beggs, j. (2018). “Learn About the Production Function in Economics”, Available at: https://www.thoughtco.com/ the-production-function-overview-1146826 [cited 2018 Dec 23].

Majaski, Ch. (2019). “Human Capital vs”, Physical Capital: What's the Difference? Available at: https://www.investopedia.com /ask/answers/062616/human-capital-vs-physical-capital-what-difference.asp [cited 2019 Feb 25].

https://definitions.uslegal.com/m/media-organization/

https://www.merriam-webster.com/dictionary/ newspaper

https://www.goodreads.com/quotes/166961-when-you-can-measure-what-you-are-speaking-about-and

https://press.farhang.gov.ir/fa/home

https://www.gams.com/products/introduction/

_||_

EFQM"، رساله‌ی دکتری، تهران: دانشگاه تربیت مدرس، دانشکده مدیریت و اقتصاد.

Chen, K., Yang, G. & Khoveyni, M. (2017). “Measuring performance evolution of academic journals in management science and operations research: A DEA-Malmquist approach”, Journal of Management Science and Engineering, Vol. 2(1), PP. 34-54.

Cooper, W.W., Seiford, L.M. & Tone, K. (2007). “Data envelopment analysis: A comprehensive text with models, applications”, references and DEA-solver software, 2nd ed. New York: Springer.

Farzipoor Saen, R. (2011). “Media selection in the presence of flexible factors and imprecise data”, Journal of The Operational Research Society (JORS), Vol. 62, PP. 1695–1703.

Fortunati, L. & O'sullivan, J. (2019). “Situating the social sustainability of print media in a world of digital alternatives”, Telematics and Informatics (T&I), Vol. 37, PP. 137-145.

Goldin, C. (2014). “Human Capital”, Handbook of Clio metrics, Department of economics Harvard university and national bureau of economic research.

Haas, D.A. &  Murphy, F.H. (2003). “Compensating for non-homogeneity in decision-making units in data envelopment analysis”, European Journal of Operational Research (EJOR), Vol. 144, PP. 530-544.

Heini, O. (2007). “Performance measurements: Designing a generic measure and performance indicator model”, Department of Information Systems of the University of Geneva, P. 136.

Jafari, Y. (2014). “Malmquist productivity index for multi time periods”, International Journal of Data Envelopment Analysis (IJDEA), Vol. 2, PP. 315-322.

Jantunen, A., Tarkiainen, A., Chari, S. & Oghazi, P. (2018). “Dynamic capabilities, operational changes, and performance outcomes in the media industry”, Journal of Business Research (JBR), Vol. 89, PP. 251-257.

Jiao, H., Alon, I., Koo, C.K. & Cui, Y. (2013). “When should organizational change be implemented? The moderating effect of environmental dynamism between dynamic capabilities and new venture performance”, Journal of Engineering and Technology Management (JET-M), Vol. 30(2), PP. 188-205.

Makkonen, H. Pohjol, M. & Olkkonen, R. (2014). “Dynamic capabilities and firm performance in a financial crisis”, Journal of Business Research (JBR), Vol. 67(1), PP. 2707-2719.

Martinez-Nunez, M. & Perez-Aguiar, W.S. (2014). “Efficiency analysis of information technology and online social networks management: An integrated DEA-Model assessment”, Information & Management (I&M), Vol. 51, PP. 712-725.

Moullin, M. (2007). “Linking performance measurement and organisational excellence”, International Journal of Health Care Quality Assurance (IJHCQA), Vol. 20(3), PP. 181-183.

Neely, A., Gregory, M. & Platts, K. (1995). “Performance measurement system design: A literature review and research agenda”, International Journal of Operations & Production Management (IJOPM), Vol. 25(12), PP. 1228-1263.

Song, Y., Schubert, T., Liu, H. & Yang, G. (2019). “Measuring scientific productivity in China using Malmquist productivity index”, Journal of Data and Information Science (JDIS), Vol. 4(1), PP. 32-59.

Teece. D.J. (2018). “Business models & dynamic capabilities”, Long Range Planning, Vol. 51(1), PP. 40-49.

Wang, Y.M. & Lan, Y.X. (2011). “Measuring Malmquist productivity index: A new approach based on double frontiers data envelopment analysis”, Mathematical and Computer Modelling, Vol. 54, PP. 2760-2771.

Wirtz, B.W. (2011). “Media and internet management”, Wiesbaden, Germany: Gabler Verlag, 2011 edition (July 14, 2011). ISBN-13: 978-3-8349-3010-1 (paperback), P. 569.

Beggs, j. (2018). “Learn About the Production Function in Economics”, Available at: https://www.thoughtco.com/ the-production-function-overview-1146826 [cited 2018 Dec 23].

Majaski, Ch. (2019). “Human Capital vs”, Physical Capital: What's the Difference? Available at: https://www.investopedia.com /ask/answers/062616/human-capital-vs-physical-capital-what-difference.asp [cited 2019 Feb 25].

https://definitions.uslegal.com/m/media-organization/

https://www.merriam-webster.com/dictionary/ newspaper

https://www.goodreads.com/quotes/166961-when-you-can-measure-what-you-are-speaking-about-and

https://press.farhang.gov.ir/fa/home

https://www.gams.com/products/introduction/
متن کامل:


ارزیابی پیشرفت و پسرفت رسانه­های چاپی

با استفاده از شاخص بهره­وری مالم­کوئیست در تحلیل پوششی داده­ها

چکیده

محدودیت منابع یک واقعیت غیر قابل انکار است که بسیاری از سازمان­ها (نظیر سازمان­های رسانه­ای) با آن در ارتباط هستند؛ از این رو، بهبود بهره­وری منابع این سازمان­ها نیز یکی از مهم­ترین نگرانی­های مدیران است. در نتیجه، یک مدیر باید عملکرد سازمان خود را پیوسته ارزیابی کند. در این مقاله، قصد داریم میزان پیشرفت و پسرفت روزنامه­های چاپی ایران را بین سال­های (1394) و (1395)  ارزیابی کنیم. این مطالعه، از لحاظ هدف کاربردی است و از شاخص بهره­وری مالم­کوئیست که یک رویکرد بسیار مفید در تحلیل پوششی داده­ها برای اندازه­گیری میزان پیشرفت و پسرفت واحدهای تصمیم­گیرنده­ی تحت ارزیابی است، استفاده کرده است. جهت تجزیه و تحلیل داده­ها نیز از نرم ­افزار «گمز» که یک سیستم مدل­سازی قوی برای برنامه­نویسی ریاضی و بهینه­سازی است، استفاده شده است. پس از مرور ادبیات ارزیابی عملکرد و مصاحبه با خبرگان حوزه­ی مدیریت رسانه و همچنین، کارشناسان معاونت مطبوعاتی وزارت فرهنگ و ارشاد اسلامی، شاخص­های مورد نیاز شناسایی و انتخاب شده است. نتایج حاصل از مقایسه­ی شاخص­های درون سازمانی در دو سال متوالی (1394) و (1395) نشان می­دهد از 87 واحد تصمیم گیرنده­ی تحت ارزیابی، 29 واحد پیشرفت و 58 واحد پسرفت داشته­اند. به منظور بهبود واحدهایی که پسرفت داشته­اند، استراتژی مناسب پیشنهاد شده است.

واژگان کلیدی: ارزیابی عملکرد، رسانه­های چاپی، شاخص بهره­وری مالم­کوئیست، تحلیل پوششی داده­ها.

مقدمه و بیان مساله

سازمان­هایی که در محیط کسب و کار به صورت پویا فعالیت می­کنند، برای انطباق با شرایط در حال تغییر به به طور مداوم به چالش کشیده می­شوند. پیشرفت­های تکنولوژیکی، تغییرات قانونی، تغییر در نیازهای و ترجیحات مشتریان، و حرکت­های رقابتی، چشم­انداز کسب و کار را شکل داده و وضعیت رقابتی سازمان­های مدرن را به چالش می­کشند. در چنین شرایطی، سازمان­ها به دنبال تعادل بین اطمینان از پایداری سودآوری و دستیابی به موقعیت­های رقابتی جدید هستند. برای حل این چالش دوگانه، باید به طور هدفمند منابع و مهارت­های خود را گسترش و یا تغییر دهند. «سازمان­های رسانه­ای1 نیز مانند سایر محیط­های کسب و کار در جهت اهدافی چون رشد، بقا، سودآوری و ... تلاش می­کنند و به منظور تحقق این اهداف، مهارت­های فنی، انسانی و ادراکی لازم را به کار می­گیرند» (فرهنگی و دانایی، 1392: 12). اصطلاح «سازمان رسانه­ای» به معنی «یک شخص یا نهادی است که از طریق روزنامه، مجله، رادیو، تلویزیون، و سایر رسانه­های ارتباط­ جمعی اطلاعات را به عموم مردم می­رساند» (uslegal, Website). هر چند ساختار سازمان­های رسانه­ای، در گذشته ایستا بوده است، در حال حاضر به دلیل پویایی روز افزون محیط که با آهنگ سریعی در حال تغییر است و نیز رقابت شدیدی که در دنیای رسانه­ها حاکم گردیده، اتخاذ یک چارچوب پویا به منظور درک رفتار سازمان­های رسانه­ای معاصر مطلوب به نظر می­رسد. اگر چه مدیران این سازمان­ها سعی می­کنند توازن معقول را بین اهداف و ملاحظات مالی و مسئولیت رسانه­ها در خدمت به مردم فراهم آورند، اما اغلب دیده شده کلیه­ی منابع و دارایی­های یک رسانه برای مالکین و سهام داران آن بیشتر جنبه­ی توسعه­طلبی مادی دارد تا اینکه فرصتی برای توسعه­ی محصولات و گسترش فعالیت­ها و تدابیر مدیریتی در درون سازمان باشد (فرهنگی و ببران، 1393: 38 و144). با این وجود، یکی از ابزارهایی که مدیران به واسطه­ی آن می­توانند فرایندها را بهبود بخشند، اطلاعاتی است که از طریق «ارزیابی عملکرد»2 حاصل می­شود. اگر در ساده‌ترین تعریف، نسبت داده به ستانده را کارایی بدانیم، نظام «ارزیابی عملکرد» در واقع میزان کارایی تصمیمات مدیریت در خصوص استفاده بهینه از منابع و امکانات را مورد سنجش قرار می‌دهد (طبرسا، 1378: 3). ارزیابی عملکرد در سال­های اخیر به یک صنعت تبدیل شده است و از آنجایی که ارزیابی عملکرد، خود بخشی از مدیریت سازمان است، بسیاری از سازمان­ها بودجه­ی بالایی را صرف چنین اقدامی می­کنند. نتایج عملکرد بالاتر زمانی حاصل می­شود که قابلیت­های پویا با تغییرات داخلی در سطح عملیاتی ارتباط برقرار کند. سه جنبه از قابلیت­های پویا (شامل درک، استفاده از فرصت­ها و صورت­بندی مجدد) برای فرآیند سازگاری سازمانی ضروری است. با این حال، دامنه و نقش هر عنصر به طور قابل توجهی متفاوت است. این سه جنبه، ابعاد توانایی یک سازمان را برای دستیابی به تغییر استراتژی و تجدید در محیط­های عملیاتی پویا ایجاد می­کند. «قابلیت صورت­بندی مجدد» توانایی یک شرکت برای ارزیابی پایگاه دارایی خود، تبدیل منابع و فرآیندها به ترکیبات ارزشمند جدید، و ایجاد توانایی­های جدید از طریق یادگیری است (Jantunen et al, 2018: 252). بدین ترتیب، هر سازمانی نیازمند ارزیابی عملکرد و بازبینی در شیوه­های انجام کار است؛ بنابراین، می­توان به کمک اندازه­گیری عملکرد «واحدهای تصمیم­گیرنده»3، فعالیت­های هر یک از این واحدها را ارزیابی کرد و در صورت نیاز تغییرات عملیاتی لازم را ایجاد کرد. اغلب تعاریف «ارزیابی عملکرد» (به عنوان مثال: Neely et al, 2002) عبارتند از: «روند اندازه­گیری کارایی و کارایی اقدامات گذشته». تعریف مشترکی از مولین (2007) و بنیاد مدیریت اروپا (1999)، نیز نشان می­دهد که رابطه­ی بین ارزیابی عملکرد و تعالی سازمانی رابطه­ی معناداری است (Moullin, 2007:181-182). همچنین، «ارزیابی عملکرد» عبارت است از «فرآیند کمی کردن کارایی و اثربخشی عملیات» (Neely, Gregory, and Platts, 1995: 1229) که با مروری بر ادبیات موضوع می­توان دلایل آن را به سه گروه اصلی تقسیم کرد: ۱- اهداف استراتژیک که شامل مدیریت استراتژیک و تجدیدنظر در استراتژی­ها است؛ ۲- اهداف ارتباطی که شامل کنترل موقعیت فعلی، نشان دادن مسیر آینده، ارائه بازخورد و الگوبرداری از سازمان­های دیگر است؛ ۳- اهداف انگیزشی که شامل تدوین سیستم پاداش و همچنین تشویق بهبود و یادگیری است. لرد کلوین (1883) معتقد است: «هرگاه توانستیم آنچه را که درباره­ی آن صحبت می­کنیم، اندازه گرفته و در قالب اعداد و ارقام بیان نماییم، می­توانیم ادعا کنیم درباره­ی موضوع مورد بحث چیزهایی می­دانیم، در غیر این صورت آگاهی و دانش ما ناقص بوده و هرگز به مرحله­ی بلوغ نخواهد رسید» (goodreads, Website)؛ بنابراین، توانايي تعريف، سنجش و ارزيابي عملکرد، يکي از شرايط مورد نیاز براي بهبود فرآیندها در هر سازماني است. پیش از اينکه يک سازمان بتواند عملکرد خود را بهبود بخشد، نیازمند توانمند ساختن خود در زمینه­ی سنجش و ارزيابي عملکرد است. از دهه­ی (1990)، موضوع اندازه­گیری عملکرد از موضوعات با اهمیت و مورد توجه در حوزه­های علمی و صنعتی بوده است. با این حال موضوع جدیدی نیست. قالایینی و نوبل (۱۹۹۶)، دو مرحله­ی اصلی در ادبیات اندازه­گیری عملکرد را در نظر می­گیرند. در مرحله­ی اول که از اواخر دهه­ی (1880) آغاز شد و تا پایان دهه­ی (1980) ادامه یافت، اندازه­گیری عملکرد به صورت یک بعدی و در درجه­ی اول در حوزه­ی امور مالی و تا حد کمتری در تولید و مدیریت انجام شد. در اواخر دهه­ی (1980) بسیاری از نویسندگان شروع به ابراز نارضایتی عمومی از رویکرد اندازه­گیری عملکرد سنتی مبتنی بر حسابداری کردند و مرحله­ی دوم اندازه­گیری عملکرد به دلیل تغییر در بازارهای جهانی آغاز شد. شرکت­ها با افزایش رقابت روبرو بودند و تحت فشار قرار گرفتند تا هزینه­ها را کاهش دهند و ارزشی را که به مشتریان ارائه می­دهند، افزایش دهند. رویکردهای جدید مبتنی بر استراتژی و اهداف بوده و تعادل بین اقدامات مالی و غیر مالی، داخلی و خارجی، و عملکردهای گذشته و آینده را فراهم می­کند. علاوه بر این، آنها تمام عواملی را که برای موفقیت یک سازمان مهم هستند، ادغام می­کنند (Heini, 2007: 33). به طور خلاصه، تحقیقاتی در زمینه­ی ارزیابی عملکرد سازمان­های رسانه­ای با روش تحلیل پوششی داده­ها4–مالم­کوئیست5 یافت نشد. با این وجود می­توان به تحقیق چن، یانگ و خوینی (2017)، اشاره کرد که با رویکرد DEA-MPI به ارزیابی عملکرد پیشرفت مجلات علمی در علوم مدیریت و تحقیق در عملیات پرداخته­اند (Chen, Yang, and Khoveyni, 2017). همچنین، در خصوص ارزیابی «صنعت رسانه» در جهان با روش­های متفاوت می­توان به موارد زیر اشاره کرد: جنتونن و همکاران (2018)، در پژوهش خود با عنوان «قابلیت­های پویا، تغییرات عملیاتی و نتایج عملکرد در صنعت رسانه» بیان می­کنند که نتایج عملکرد بالاتر زمانی حاصل می­شود که قابلیت­های پویا (با تاکید بیشتر بر جنبه­ی درک و در مرحله­ی بعد صورت بندی مجدد) با تغییرات در سطح عملیاتی یعنی تغییرات در مدیریت و شیوه­ها (محیط داخلی) و تغییرات در تکنولوژی و بازارهای هدف (محیط خارجی) ارتباط برقرار کنند (Jantunen et al, 2018: 251). تحقیقات دیگر (به عنوان نمونه: Teece, 2018; Makkonen et al, 2014; Jiao et al, 2013) نیز نشان می­دهند که استفاده از قابلیت­های پویا در تحقق تغییرات سازمانی در سطوح بالایی از پویایی محیطی موثر هستند. همچنین، فورتانتی و سالیوان (2019)، در مقاله­ی خود با عنوان «پایداری اجتماعی رسانه­های چاپی در دنیای گزینه­های دیجیتال» در پاسخ به این سوال که «آیا مدل ارتباطی مبتنی بر چاپ با اضافه شدن رسانه­های دیجیتال و شبکه­های اجتماعی آنلاین، پایدار مانده است؟» اذعان می­کنند که تنها زمانی گروه­های رسانه­ای می­توانند به طور چشمگیری مدل اقتصادی خود را بهبود بخشند که از قابلیت­های مثبتی که اینترنت به ارمغان آورده است، استفاده کنند و چشم­انداز استراتژیک خود را تغییر دهند. تنها در این صورت است که مدل روزنامه­های چاپی می­تواند به طور کامل پایدار باشد (Fortunati and O'sullivan, 2019:142).

در ایران، تحقیقات زیادی در خصوص «ارزیابی عملکرد» در صنایع مختلف نظیر ارزیابی شعب بیمه، بیمارستان­ها، صنعت تولید کانی­های غیرفلزی، شرکت­های داروسازی، بخش زارعت، دانشگاه­های دولتی، و نظیر آن با استفاده از «شاخص بهره­وری مالم­کوئیست» انجام شده است. اما مقالات و پژوهش­های مرتبط با ارزیابی عملکرد سازمان­های­ رسانه­ای به کمک شاخص بهره­وری مالمکوئیست به چشم نمی­خورد. در خصوص استفاده از مدل­های ریاضی در تحقیقات علمی می­توان به چند نمونه از مقالات اشاره کرد. وفایی (1386)، در رساله­ی دکتری با عنوان «طراحی یک مدل ریاضی برای اندازه‌گیری کارایی مدل‌های جبرانی MADM به کمک روش تحلیل پوششی داده‌ها در سیستم امتیازدهی مدل تعالی (EFQM)»، بر اساس مدل­سازی ریاضی (DEA) به رتبه­بندی روش­های ارزیابی کارایی (نظیر:AHP, AHP FUZZy, TOPSIS FUZZY, TOPSIS, SAW ) پرداخته است. آذر و همکاران (1391)، نیز در مقاله­ای با عنوان «طراحی مدل ارزیابی عملکرد گروه­های کاری: رویکرد تحلیل پوششی داده­های چندسطحی» نشان می­دهد که تحلیل ‌پوششی‌داده‌های چندسطحی مدلی مناسب برای ارزیابی کارایی گروه‌های کاری و اعضای آن‌ها به ‌صورت هم­زمان می‌باشد. سلطانی­فر و یحیایی (1391)، در مقاله­ای، مدل ارزشیابی عملکرد روابط عمومی موسسات اقتصادي– تجاري را نشان داده­اند. فرهنگی و دانایی (1392)، نیز عملکرد سازمان­های رسانه­ای (روزنامه­ها) را به کمک مدل کارت امتیازی متوازن ارزیابی کرده­اند و تحلیل پوششی داده­ها را به عنوان یکی از روش­های ارزیابی و انتخاب استراتژی­های موثر در سازمان­های رسانه­ای و همچنین اولویت­بندی اهداف عملیاتی پیشنهاد می­دهند (فرهنگی و دانایی، 1392: 197 و 247). ایجادی، خلیل­زاده و حافظ­الکتب (1397)، در مقاله­ای با عنوان «رتبه­بندی و ارزشیابی روش­های سنتی ارزیابی عملکرد سازمانی با محتوای تئوری و با استفاده از یک روش تصمیم­گیری ادغامی» تکنیک­های تصمیم­گیری (شامل تاپسیس، مالتی مورا، مالتی مورا با وزن­دهی آنتروپی) را ارزیابی می­کنند. بختیاری (1397)، نیز در مقاله­ای با عنوان «طراحی مدل ارزیابی و رتبه­بندی شبکه­های استانی صدا و سیما با رویکرد تصمیم­گیری چندمعیاره (SAW and TOPSIS)» با تکنیک­های متفاوت، عملکرد سازمان­های رسانه­ای را ارزیابی کرده ­است. همچنین، معاونت مطبوعاتی وزارت فرهنگ و ارشاد اسلامی به صورت سالانه روزنامه­هایی را که در قالب فرم­های خوداظهاری، اطلاعات مورد نیاز را در اختیار این معاونت قرار دهند، رتبه­بندی کرده و بر مبنای امتیاز این رتبه­بندی، یارانه در اختیار این روزنامه­ها قرار می­دهد. لازم به ذکر است پژوهش حاضر با رویکردی متفاوت به ارزیابی عملکرد رسانه­های چاپی در ایران می­پردازد.

بازار رسانه­های چاپی6 عمدتا در سه گروه روزنامه­ها، مجلات و کتاب­ها دسته­بندی می­شوند (Wirtz, 2011: 29). روزنامه­ها محبوب­ترین شکل رسانه­های چاپی هستند و در ایران به صورت (سراسری، منطقه­ای، استانی و محلی) دسته­بندی می­شوند. فرهنگ لغت «وبستر» روزنامه را چنین تعریف کرده است: «روزنامه، کاغذی است که معمولا روزانه یا هفتگی چاپ و توزیع می­شود و حاوی اخبار، مقالات، عناوین، شرح، تفسیر و تبلیغات است». همچنین، «روزنامه به سازمانی گفته می­شود که روزنامه­ای را منتشر می­کند» (Merriam-Webster, Website). از آنجا که مدیریت، فرایند به کارگیری مؤثر و کارآمد منابع مادی و انسانی برای دستیابی به اهداف تعیین شده (رضائیان، 1388: 1) تعریف شده است، این مقاله میزان پیشرفت و پسرفت روزنامه­های چاپی ایران را بین سال­های (1394) و (1395) به کمک DEA-MPI ارزیابی و استراتژی لازم جهت بهبود فرآیندها پیشنهاد کرده است. بدین منظور، رویکردهای زیر ارزیابی شده است: 1) شناسایی و انتخاب شاخص­های ورودی و خروجی موثر جهت ارزیابی عملکرد روزنامه­ها (واحدهای تصمیم­گیرنده)، 2) ارزیابی تغییرات کارایی و میزان پیشرفت و پسرفت هر یک از روزنامه­ها در دو سال متوالی (1394) و (1395) با استفاده از شاخص بهره­وری مالم­کوئیست، 3) رتبه­بندی روزنامه­ها بر مبنای بیشترین و کمترین میزان پیشرفت و پسرفت.

روش­شناسی

پژوهش حاضر، مبتنی بر رویکرد تحقیق اکتشافی است. «مطالعات اکتشافی برای درک بهتر ماهیت مسئله­ای انجام می­گیرد که درباره­ی پدیده­های مربوط با آن، پژوهش­های اندکی صورت گرفته باشد» (طبیبی، ملکی و دلگشایی، 1395: 190). همچنین، این پژوهش از نظر هدف در چارچوب تحقيقات كاربردي قرار می­گیرد. «وقتي پژوهش به قصد به دست آوردن درك يا دانش لازم براي تعيين ابزاري است كه به وسيله آن نيازي مشخص و شناخته شده برطرف گردد، پژوهش كاربردي ناميده می­شود» (دانايي­فرد و ديگران، 1383: 26). روش انجام این پژوهش نیز برنامه‌ریزی ریاضی و مبتنی بر تحلیل عملکرد با استفاده از تکنیک تحلیل پوششی داد­ه­ها و به کمک شاخص بهره­وری مالم­کوئیست است. 

1- تحلیل پوششی داده­ها و شاخص بهره­وری مالم­کوئیست

در این مطالعه، از رویکرد DEA-MPI برای ارزیابی عملکرد روزنامه­های چاپی در ایران استفاده شده است.

1-1- تحلیل پوششی داده­ها

در مسائل تصمیم­گیری، کارایی به معنی خوب کارکردن است که حاصل مقایسه­ی شاخص­های درون سازمانی است (جهانشاهلو، لطفی و نیکو­مرام، 1389: 10). تحلیل پوششی داده­ها، تکنیکی ناپارامتریک است که به کمک آن «کارایی نسبی» بر مبنای ورودی­ها و خروجی­های واحد تصمیم­گیرنده با ورودی­ها و خروجی­های سایر واحدهای تصمیم­گیرنده به دست می­آید و در نهایت نقطه­ای روی مرز کارا پیدا می­شود که واحد تصمیم گیرنده با آن مقایسه می­شود. نقطه­ی روی مرز با ورودی کمتر و یا خروجی بیشتر نسبت به ورودی­ها و خروجی­های تحت ارزیابی به دست می­آید. «تحلیل پوششی داده­ها برای اولین بار توسط چارنز، کوپر و رودز (1978)، معرفی شد و به طور گسترده­ای در ارزیابی عملکرد و بهره­وری استفاده شده است. بعدها بنکر و همکارانش (1984) استدلال کردند که فرض قبلی بازده به مقیاس ثابت (CRS)7 در فرم اصلی مدل تحلیل پوششی داده­ها (DEA-CCR)، ضمنی است و مدل (DEA-BCC) را بر اساس فرض بازده به مقیاس متغیر (VRS)8 پیشنهاد کردند» (Chen, Yang and Khoveyni, 2017: 37). برای ارزیابی عملکرد یک واحد تصمیم­گیرنده نیاز به تابع تولید داریم، ولی در اغلب موارد به دلیل پیچیدگی فرآیند تولید، چند مقداره بودن تابع تولید و تغییر در تکنولوژی تولید، تابع تولید در دسترس نمی‌باشد؛ از این رو ناچاریم تقریبی از تابع تولید را در نظر بگیریم. جهت تقریب تابع تولید با در نظر گرفتن نوع تکنولوژی تولید، «مجموعه­ی امکان تولید»9 ساخته می‌شود که به کمک مرز آن می‌توان کارایی نسبی همه واحدهای تصمیم­گیرنده را به دست آورد و با توجه به تعریف کارایی نسبی بایستی حداقل یکی از نقاط، کارایی نسبی برابر یک داشته باشد. یعنی نقطه‌ای بر روی مرز کارایِ مجموعه امکان تولید وجود دارد که با ورودی کمتر و یا خروجی بیشتر نسبت به ورودی­/خروجی­های سایر واحدها است و واحد تحت ارزیابی با آن مقایسه می‌شود (جهانشاهلو، لطفی و نیکو­مرام، 1389: 190). یکی از مزایای اصلی تحلیل پوششی داده­ها این است که به واحدهای تصمیم­گیرنده اجازه می­دهد آزادانه وزن خود را انتخاب کنند، که این امر برای ارزیابی آنها برای دستیابی به حداکثر امتیاز کارایی مطلوب­تر است (Chen, Yang and Khoveyni, 2017: 37). در این پژوهش، از مدل CCR در ماهیت ورودی استفاده شده است. به طور خلاصه، ما بر این باوریم که مدل (DEA-CCR) بر اساس فرض CRS برای ارزیابی عملکرد روزنامه­های چاپی مناسب­تر است. همان­طور که پیشتر اشاره شد، الگوهايCCR  از جمله الگوهاي بازده به مقیاس ثابت است. به این معنی که هر نوع تغییر در ورودی‌ها، همان نسبت تغییر در خروجی‌ها را باعث می‌گردد. این الگو زمانى مناسب است كه افزایش در ورودی‌ها نه باعث صرفه‌جویی شود و نه باعث بالا رفتن هزینه و همه­ی واحدها در مقياس، بهينه عمل كنند. 

2-1- شاخص بهره­وری مالم­کوئیست

شاخص بهره­وری مالم­کوئیست یک رویکرد بسیار مفید در تحلیل پوششی داده­ها برای اندازه­گیری میزان پیشرفت و پسرفت واحدهای تصمیم­گیرنده است که توسط پروفسور استن مالم­کوئیست (1953) نام­گذاری و توسط چاوز و همکاران (1982) معرفی شد (Jafari, 2014: 315) که می­توان از آن برای تجزیه و تحلیل تغییرات بهره­وری در چندین دوره استفاده کرد (Chen, Yang and Khoveyni, 2017: 36). این شاخص توسط چندین نویسنده (به عنوان مثال فار و همکاران، 1994) در چارچوب غیرپارامتریک توسعه یافته است (Song et al, 2019: 41). آنها شاخص بهره­وری مالم­کوئیست را در چارچوب تحلیل پوششی داده­ها به منظور ارزیابی بهره­وری عوامل کل (TFP)10، که برای تجزیه و تحلیل پیشرفت بهره­وری در طول زمان استفاده می­شود، ایجاد کردند (Chen, Yang and Khoveyni, 2017: 36). این شاخص، عملکرد نسبی واحدهای تصمیم­گیرنده را در دوره­های مختلف با استفاده از تکنولوژی یک دوره­ی پایه محاسبه می­کند (Jafari, 2014: 315).       اودیک (2000)، با استفاده از این شاخص، کارایی و بهره­وری آژانس­های بازرسی وسایل نقلیه را بین سال­های (1989-1991) در نروژ ارزیابی کرده است. اسمیلد و همکاران (2004)، نیز با رویکرد پیشنهادی شاخص بهره­وری مالم­کوئیست​​-تحلیل پوششی داده­ها، عملکرد صنعت بانکداری کانادا را ارزیابی کرده­اند. همچنین، بهره­وری کار در مناطق اتحادیه­ی اروپا، توسط فار و همکاران (2006) بررسی شده است. کوپر و همکاران (2007) نیز تحلیل می­کنند که این شاخص ضمن اینکه رشد کل عوامل تولید را نشان می­دهد، می­تواند (1) پیشرفت یا رگرسیون را در کارایی فنی و (2) تغییرات تکنولوژی را در دو دوره­ی زمانی با چند ورودی و خروجی نشان دهد (Song et al, 2019: 41). چن، یانگ و خوینی (2017)، نیز با رویکرد تحلیل پوششی داده­ها–مالم­کوئیست به ارزیابی عملکرد پیشرفت مجلات علمی در حوزه­ی مدیریت و تحقیق در عملیات پرداخته­اند. در واقع، شاخص مالم­کوئیست می­تواند تغییرات TFP را از دوره­ی t به دوره­ی (t + 1) با استفاده از تکنولوژی دوره­ی t اندازه­گیری کند (Chen, Yang and Khoveyni, 2017: 38). در مقاله­ی حاضر، برای محاسبه شاخص بهره­وری مالم­کوئیست بر اساس مدل (DEA-CCR) در ماهیت ورودی­، ابتدا چهار مدل (Wang and Lan, 2011: 2761-2764) حل می­کنیم: مدل (1): واحد مورد ارزیابی ( و) و بقیه واحدهای (مرزPPS ) همه در زمان t هستند.  =ورودی واحد j ام در زمان t و  = خروجی واحد j ام در زمان t است. مدل (2): واحد تحت ارزیابی در زمان (t+1) و بقیه واحدهای (مرزPPS) در زمان t هستند. مدل (3): واحد تحت ارزیابی در زمان t و بقیه واحدهای (مرز PPS) همه در زمان (t+1) هستند.= ورودی واحد j ام در زمان (t+1) و  = خروجی واحد j ام در زمان (t+1) است. مدل (4): واحد تحت ارزیابی و مرز هر دو در زمان (t+1) هستند. سپس، به کمک های بدست آمده از حل چهار مدل بالا، اعداد «تغییرات کارایی»11 و «تغییرات مرز»12 را محاسبه می­کنیم. «تغییرات کارایی»، میزان رشد و افت هر واحد تصمیم­گیرنده را «نسبت به خود» نشان می­دهد. «اعداد بزرگتر یا مساوی یک نشان دهنده­ی رشد و اعداد کوچکتر از یک نشان دهنده­ی افت واحد تصمیم­گیرنده است» (Cooper, Seiford and Tone, 2007:331). همچنین، عدد «شاخص مالم­کوئیست» از حاصل­ضرب عدد «تغییرات کارایی» در عدد «تغییرات مرز» به دست می­آید (Cooper, Seiford and Tone, 2007:330). عدد «شاخص مالم­کوئیست»، میزان پیشرفت و پسرفت هر واحد تصمیم­گیرنده را «نسبت به جامعه­ی تحت ارزیابی» نشان می­دهد. همانند قبل، اعداد بزرگتر یا مساوی یک نشان دهنده­ی پیشرفت و اعداد کوچکتر از یک نشان دهنده­ی پسرفت واحد تصمیم­گیرنده است.

2- انتخاب نمونه­ها (واحدهای تصمیم­گیرنده)

در این پژوهش، رسانه­های چاپی ایران (شامل روزنامه­ها) به عنوان واحدهای تصمیم­گیرنده، در نظر گرفته شده­اند. از آنجایی که مدیران سازمان­ها با مدیریت خود و اعمال سیاست­ها و ادغام ورودی­ها، خروجی­ها را تولید می­کنند، این واحدها را تصمیم­گیرنده می­نامند (جهانشاهلو، لطفی و نیکو­مرام؛ 1389: 13).

یک فرض اساسی تحلیل پوششی داده­ها این است که همه­ی واحدهای تصمیم­گیرنده در زمینه­ی ارزیابی، همگن هستند. هس و مورفی (2003)، شرایط زیر را برای انتخاب واحدهای تصمیم­گیرنده پیشنهاد کرده­اند: واحدهای تصمیم­گیرنده از نظر فرآیند کار متجانس هستند و در فرآیند ارزیابی از شاخص­های ورودی‌ و خروجی‌ مشابه استفاده می‌کنند (Haas and  Murphy, 2003: 531). واحدهای تصمیم­گیرنده در این مقاله، 87 عنوان از روزنامه­های (سراسری، استانی، منطقه­ای و محلی) ایران هستند که متعلق به گروه (رسانه­های چاپی) می­باشند و در محاسبات از شاخص­های ورودی‌ و خروجی‌ مشابه استفاده شده است؛ بنابراین، همگنی در میان واحدهای تصمیم­گیرنده فرض شده است. مبنای انتخاب این واحدها به صورت هدفمند با تمرکز بر روزنامه­هایی است که در رتبه­بندی معاونت مطبوعاتی وزارت فرهنگ و ارشاد در دو سال متوالی (1394) و (1395) حضور داشته­اند. از آنجایی که داده­های مورد نیاز تنها از طریق این معاونت در دسترسی بود، بنابراین تنها روزنامه­هایی ارزیابی شده­اند که داده­های آنها از طریق وب­سایت این معاونت در دسترس عموم بود. لازم به ذکر است شیوه­نامه­ی این رتبه­بندی توسط کارگروه توسعه­ی مطبوعات، اصلاح و تدوین شده و نتایج رتبه­بندی سالانه­ی این معاونت از طریق داده­هایی است که صاحبان روزنامه­ها در قالب فرم­های خوداظهاری در اختیار معاونت مطبوعاتی گذاشته­اند. واحدهای تصمیم­گیرنده­ی انتخاب شده در جدول (1) نشان داده شده است. از آنجا که بنا بر منطق تحلیل پوششی داده­ها، تعداد واحدهای تصمیم­گیرنده بایستی بزرگتر یا مساوی سه برابر مجموع تعداد شاخص­های ورودی­ و خروجی در نظر گرفته شود (Cooper, Seiford and Tone, 2007:52)، در این پژوهش 87 روزنامه (به عنوان واحد تصمیم­گیرنده) انتخاب شده است که طبق فرمول n 3 (m + s)، تعداد نمونه­ها مناسب خواهد بود. n = تعداد واحدهای تصمیم­گیرنده،  m= تعداد شاخص­های ورودی­ و  s= تعداد شاخص­های خروجی.

داده­های مرتبط با شاخص­های اختصاصی روزنامه­ها به کمک کارشناسان معاونت مطبوعاتی وزارت فرهنگ و ارشاد و از طریق وب­سایت این معاونت اخذ شد. همچنین، محاسبات مورد نیاز جهت ارزیابی کارایی واحدهای تصمیم­گیرنده نیز توسط نرم ­افزار «گمز» صورت گرفته است. این نرم افزار در سیستم عمومی مدل­سازی ریاضی و به طور خاص برای مدل­سازی و حل مسائل برنامه­ریزی ریاضی خطی، غیرخطی، مختلط و انواع دیگری از مسائل بهینه­سازی طراحی شده است (gams, Website).

3- انتخاب شاخص­های ورودی و خروجی

ارزيابي «كارايي نسبي» واحدهای تصمیم­گیرنده بر اساس الگوي تحليل پوششي داده­ها نيازمند انتخاب ورودي­ها و خروجي­هاي كليدي اين واحدها و به كارگيري آنها در سنجش كارايي نسبي واحدهای تصمیم­گیرنده است. در عمل تعداد زیادي از شاخص­ها را می­توان به عنوان عوامل در ارزیابی کارایی در نظر گرفت؛ اما انتخاب شاخص­هاي ورودي و خروجی موثر، در ارزیابی کارایی یک واحد تصمیم­گیرنده از اهمیت بالایی برخوردار است. بگز (2018)، تولید را تابعی از سرمایه و کار تعریف کرده است (Beggs, 2018, Website)، که به این رابطه در ادبیات موضوع، «تابع تولید»13 می­گویند. بنابراین رابطه­ی: تولید = f (سرمایه و کار) را برای «تابع تولید» در نظر می­گیریم. همچنین، ماجاسکی (2019)، «سرمایه» را به دو شکل سرمایه­ی فیزیکی و سرمایه­ی انسانی تعریف کرده است. سرمایه­ی فیزیکی عواملی هستند که در روند تولید کمک می­کنند. پول نقد، املاک و مستغلات، تجهیزات و موجودی نمونه­هایی از سرمایه­ی فیزیکی هستند. حسابداران به سرمایه­ی فیزیکی به عنوان دارایی ملموس اشاره می­کنند. سرمایه­ی انسانی نیز نمونه­هایی از دارایی­های نامشهود شامل مالکیت معنوی (مانند مارک­ها، ثبت اختراعات، لیست مشتریان، توافق­نامه­های صدور مجوز و حسن نیت) است (Majaski, 2019, Website). سرمایه­ی انسانی در لغت­نامه آکسفورد به صورت «مهارت­ها»ی نیروی کار که به عنوان یک منبع یا دارایی محسوب می­شود»، تعریف شده است. به این مفهوم که سرمایه­گذاری در افراد به عنوان مثال «آموزش، تعلیم و بهداشت» است و این سرمایه­گذاری باعث افزایش بهره­وری فرد می­شود (Goldin, 2014: 1). مارتینز و پرز (2014)، به شاخص­های ورودی مانند تعداد کارکنان، دارایی­ها و بدهی­ها اشاره می­کنند (Martinez and Perez, 2014: 716). از آنجا که در این پژوهش تمامی منابع سرمایه­ی فیزیکی روزنامه­ها قابل شناسایی نبودند، به کمک گروهی از خبرگان که در حوزه­ی رسانه­های چاپی فعالیت داشتند، شاخص «مجموع یارانه­های دولتی دریافتی» معادل «سرمایه­ی فیزیکی» و شاخص «تراز نویسندگان» و معادل «سرمایه­ی انسانی» انتخاب شد. همچنین  «تعداد کارکنان بیمه شده» و «سابقه­ی فعالیت روزنامه» معادل «کار» در نظر گرفته شدند. لازم به ذکر است از آنجا که اطلاعات شاخص «تراز نویسندگان» تنها در سال (1395) در دسترس بود، این شاخص از محاسبات حذف شد.

فرزی­پور (2011)، در مقاله­ی خود به فاکتور انعطاف­پذیر با عنوان «حجم اطلاعات ارائه شده به مخاطبان» (Farzipoor, 2011: 1695) و مارتینز و پرز (2014) به شاخص­های خروجی مانند فروش و سود  اشاره می­کنند (Martinez and Perez, 2014: 716). در نهایت، به کمک خبرگانی که در این حوزه فعالیت داشتند، شاخص­های «تیراژ»، «نسبت آگهی و محتوا» و «تعداد صفحات» به عنوان «شاخص­های خروجی» انتخاب شدند. همچنین، شاخص «امتیاز رتبه­بندی» سالانه نیز به این شاخص­ها اضافه شد. بنابراین: 1) شاخص­های ورودی: مجموع یارانه­های دولتی، تعداد کارکنان بیمه­شده و سابقه­ی روزنامه و 2) شاخص­های خروجی: تیراژ، نسبت آگهی و محتوا، تعداد صفحات و امتیاز رتبه­بندی، هستند. 

یافته­های پژوهش

همان­طور که پیشتر گفته شد شاخص بهره­وری مالم­کوئیست یک رویکرد بسیار مفید در تحلیل پوششی داده­ها برای اندازه­گیری میزان پیشرفت و پسرفت واحدهای تصمیم­گیرنده است. با توجه به مقدار زیاد داده­ها، نمی­توان توضیح دقیق در اینجا ارائه کرد، بنابراین آمار توصیفی داده­ها در جدول (2) خلاصه شده است. این جدول، داده­های شاخص­های ورودی و خروجی انتخاب شده را در دو سال متوالی (1394) و (1395)، جهت محاسبه­ی «تغییرات کارایی»، «تغییرات مرز» و «شاخص مالم­کوئیست» نشان می­دهد. شاخص «تعداد کارمندان بیمه شده»img0، «سابقه­ی روزنامه» img0و «یارانه­های دولتی دریافتی» img0، به عنوان شاخص­های ورودی و «تیراژ»img0، «تعداد صفحات»img0، «نسبت آگهی و محتوا» img0، و «امتیاز رتبه­بندی» img0، به عنوان شاخص­های خروجی در نظر گرفته شده است. همچنین، img0 وزن­های متناظر با هر یک از عوامل ورودی و خروجی هستند. در جدول (3)، نیز محاسبات مرتبط با «تغییرات کارایی»، «تغییرات مرز» و «شاخص مالم­کوئیست» چند نمونه از روزنامه­ها نشان داده شده است. مطابق با این جدول، اعداد مرتبط با «تغییرات کارایی» واحدهای تصمیم­گیرنده در ستون هفتم نشان داده شده است. در این ستون، اعداد بزرگتر یا مساوی یک نشان می­دهد که واحد تصمیم­گیرنده «نسبت به خودش» رشد داشته است و اعداد کوچکتر از یک، افت واحد را نشان می­دهد. همچنین، در ستون نهم اعداد «شاخص مالم­کوئیست» نشان داده شده است. این ستون نشان دهنده­ی آن است که هر واحد تصمیم­گیرنده «نسبت به جامعه­ی تحت ارزیابی» چه تغییراتی داشته است. همانند قبل، اعداد بزرگتر یا مساوی یک نشان دهنده­ی پیشرفت و اعداد کوچکتر از یک نشان دهنده­ی پسرفت واحد مورد نظر می­باشد. به عنوان نمونه، واحد تصمیم گیرنده­ی 9 (روزنامه­ی ابرار ورزشی)، در ستون «تغییرات کارایی» عدد 8.0732 را نشان می­دهد، بنابراین روزنامه نسبت به خود، رشد داشته است. همچنین، عدد «شاخص مالم­کوئیست» آن 1.5071 است که نشان دهنده­ی پیشرفت آن در جامعه­ی تحت ارزیابی می­باشد. اعداد «تغییرات کارایی» و «شاخص مالم­کوئیست» روزنامه­ی دنیای خودرو نیز نشان می­دهد که این روزنامه با داشتن عدد کوچکتر از یک، به ترتیب افت و پسرفت داشته است. نمودار (1)، اعداد مرتبط با «تغییرات کارایی» و «شاخص مالم­کوئیست» چند نمونه از روزنامه­ها را نشان می­دهد.

نتایج ارزیابی پیشرفت و پسرفت 87 عنوان از روزنامه­های ایران در جامعه­ی تحت ارزیابی با استفاده از شاخص بهره­وری مالم­کوئیست بین سال­های (1394) و (1395) در جدول (4) نشان داده شده است. در مجموع، (33.33) درصد از روزنامه­ها در جامعه­ی تحت ارزیابی پیشرفت داشته­اند و (66.66) درصد از آنها پسرفت داشته­اند. مطابق با نمودار (2) و (3)، واحدهایی که عدد شاخص مالم­کوئیست آنها یک و بزرگتر از یک است، پیشرفت داشته و واحدهایی که عدد شاخص مالم­کوئیست آنها کوچکتر از یک است، پسرفت داشته­اند. همان­طور که در نمودار (2) نشان داده شده است بیشترین پیشرفت مربوط به DMU51، DMU38 و DMU28 به ترتیب با عدد 2.4295 و2.0797 و 1.8995 است و کمترین پیشرفت مربوط به DMU14، DMU05 و DMU61 به ترتیب با عدد 1.0236، 1.0360 و 1.0536 است. همچنین، مطابق با نمودار (3) بیشترین پسرفت مربوط به DMU62، DMU79 و DMU17 به ترتیب با عدد 0.1429، 0.1514 و 0.1663 و کمترین پسرفت مربوط به DMU39، DMU22 و DMU56 به ترتیب با عدد 0.9422، 0.8736 و 0.8565 است. 

بحث و نتیجه­گیری 

مقاله­ی حاضر، میزان پیشرفت و پسرفت کارایی روزنامه­های چاپی ایران را بین سال­های (1394) و (1395) با استفاده از شاخص بهره­وری مالم­کوئیست -که یک رویکرد علمی بسیار مفید در تحلیل پوششی داده­ها است- ارزیابی کرده است. نتایج حاصل از اجرای مدل و ارزیابی تغییرات کارایی روزنامه­های چاپی با شاخص­های درون سازمانی بین سال­های (1394) و (1395) نشان می­دهد از 87 واحد تصمیم­گیرنده­ی مورد ارزیابی، 29 واحد پیشرفت و 58 واحد پسرفت داشته­اند. در واقع، 33.33 درصد از این واحدها پیشرفت و 66.66 درصد از آنها پسرفت داشته­اند. واحدهای تصمیم­­گیرنده­ی 51، 38، 28، 63، 55، 52، 09، 30، 25 و 48 به ترتیب رتبه­ی یک تا ده را با بیشترین میزان پیشرفت و واحدهای 62، 79، 17، 60، 50، 66، 86، 67، 27 و 33 به ترتیب رتبه­ی یک تا ده را با بیشترین میزان پسرفت داشته­اند. همانطور که پیشتر اشاره شد، اودیک (2000)، کارایی و بهره­وری آژانس­های بازرسی وسایل نقلیه را در نروژ، اسمیلد و همکاران (2004)، عملکرد صنعت بانکداری را در کانادا و فار و همکاران (2006)، بهره­وری کار در مناطق اتحادیه­ی اروپا، را ارزیابی کرده­اند. کوپر و همکاران (2007) نیز تحلیل می­کنند که این شاخص ضمن اینکه رشد کل عوامل تولید را نشان می­دهد، می­تواند (1) پیشرفت یا رگرسیون را در کارایی فنی و (2) تغییرات تکنولوژی را در دو دوره­ی زمانی با چند ورودی و خروجی نشان دهد (Song et al, 2019: 41). همچنین، چن، یانگ و خوینی (2017)، به ارزیابی عملکرد پیشرفت مجلات علمی در حوزه­ی مدیریت و تحقیق در عملیات، پرداخته­اند. در این مقاله، به کمک شاخص بهره­وری مالم­کوئیست​​-تحلیل پوششی داده­ها، عملکرد روزنامه­های چاپی ایران ارزیابی شده است و محاسبات مرتبط با «تغییرات کارایی» و «شاخص مالم­کوئیست» در جدول (3) نشان می­دهد که تعدادی از واحدهای تصمیم­گیرنده «نسبت به خود» و «نسبت به جامعه­ی تحت ارزیابی» در دو سال متوالی (1394) و (1395) چه تغییراتی داشته­اند. در نمودار (1) نیز اعداد مرتبط با «تغییرات کارایی» و «شاخص مالم­کوئیست» آنها با هم مقایسه شده است. به عنوان نمونه، روزنامه­ی «ابتکار»، «نسبت به خود» رشد و «نسبت به جامعه­ی تحت ارزیابی» پسرفت داشته است. روزنامه­ی «دنیای اقتصاد» در هر دو حالت، رشد و پیشرفت داشته است اما «نسبت به خود»، رشد بیشتری را نشان می­دهد.

به کارگیری شاخص بهره­وری مالم­کوئیست -به عنوان یکی از ابزارهای نوین در تصمیم­گیری علمی در سطح جهانی- به مدیران سازمان­های رسانه­ای کمک خواهد کرد تا ضمن ارزیابی واقع­بینانه­­ای از عملکرد سازمانی، نقاط ضعف را شناسایی کرده و عملکرد سازمان خود را بهبود بخشند. در این پژوهش، تغییرات بهره­وری عوامل کل (TFP) اکثر واحدها، کمتر از یک بوده و در مجموع، واحدهای تصمیم­گیرنده­ی انتخاب شده بین سال­های (1394) و (1395)، رشد تکنولوژیکی منفی داشته­اند. بنابراین، با الگو قرار دادن واحدهایی که پیشرفت داشته­اند می­توان وضعیت بهره­وری را بهبود بخشید و باعث افزایش تولید از مقدار مشخصی نهاده و یا رسیدن به سطح مشخصی تولید با مصرف نهاده­ی کمتر شد. جهت بهبود عملکرد واحدهای ناکارا، متغیرهای کمکی14 واحدهایی با بیشترین پیشرفت را به عنوان الگو در نظر می­گیریم و مطابق با آن نقاط ضعف هر واحد ناکارا را شناسایی و با کاهش در شاخص­های ورودی­ و افزایش در شاخص­های خروجی­، واحدهای ناکارا را به کارا تبدیل می­کنیم. به این منظور، می­توان متغیرهای کمکی واحدهای ناکارا را در دو مدل مربوط به زمان دوم -جایی که خود واحد در زمان (t+1) است- دید و بر اساس مقادیر آنها هر متغیر کمکی که مثبت است می­بایست به سمت صفر میل داده شود.

با توجه به قابلیت­های شاخص بهره­وری مالم­کوئیست نیز در تحقیقات آینده می­توان میزان پیشرفت و پسرفت واحدهای تصمیم­گیرنده­ (که در این مطالعه ارزیابی شد­ه­اند) را طی چند سال متوالی ارزیابی و عملکرد هر واحد را برای سال­ آینده پیش­بینی15 کرد.

 

 

 

 

 

 

 

 

 

 جدول (1): تعداد روزنامه­های چاپی انتخاب شده به عنوان واحد تصمیم­گیرنده

تقسیم بندی روزنامه­های چاپی

تعداد روزنامه­ها

(واحدهای تصمیم­گیرنده)

درصد

سراسری

67

77.011

منطقه­ای

7

8.045

استانی

11

12.643

محلی

2

0.311

جمع

87

100

 

جدول (2): جدول آمار توصیفی شاخص­های ورودی و خروجی روزنامه­ها در سال­های (1394) و (1395)

 

 

 

 

 

 

 

 

جدول (3): نمرات تغییرات کارایی و شاخص مالم­کوئیست چند نمونه از روزنامه­های ایران بین سال­های (1394) و (1395)

سال (1394)

 

 

 

 

 

 

 

 

Min

0

0

109905

0.025

0.125

0

0.254

Max

1

1

35494848

1

1

2

0.855

Mean

0.133

0.550

4607547

0.111

0.375

2

0.453

Std.dev

0.3890

0.3198

6663532

0.170853

0.23081

0.4991

0.1466

سال (1395)

 

 

 

 

 

 

 

 

Min

0

0.063

496858

0.035

0.187

0

0.188

Max

1

1

40934400

1

1

2

0.884

Mean

0.317

0.650

3362989

0.125

0.375

0

0.402

Std.dev

0.3528

0.3075

6554778

0.2219

0.1985

0.6513

0.1690

عنوان روزنامه

(واحد و مرز) در زمان اول

e11

(واحد در زمان اول)

(مرز در زمان دوم)

e12

(واحد در زمان دوم)

(مرز در زمان اول)

e21

(واحد و مرز)

در زمان دوم

e22

تغییرات کارایی

Catch-up

تغییرات مرز

Frontier shift

شاخص مالم­کوییست

Malmquist Index

ابتکار

0.1384

1.3869

0.171

0.341

2.4633

0.2237

0.5512

ابرار ورزشی

0.0744

0.4958

0.1395

0.6004

8.0732

0.1867

1.5071

اطلاعات

0.1459

0.2988

0.2181

0.3643

2.4966

0.5407

1.35

اعتماد

0.1429

0.4116

0.2428

0.4534

3.172

0.4312

1.3679

ایران

0.219

0.3821

0.2316

0.3786

1.7285

0.5922

1.0236

دنیای اقتصاد

0.1434

0.3911

0.2103

0.4619

3.2205

0.4086

1.3159

دنیای خودرو

0.75

3.2549

0.2831

0.6592

0.8789

0.3145

0.2765

شرق

0.2154

0.5036

0.2288

0.4208

1.9535

0.4823

0.9422

کیهان

0.2565

0.4485

0.4043

0.7589

2.958

0.552

1.6329

همشهری

0.5931

0.9509

0.4304

0.6577

1.1089

0.6389

0.7084

 

 

 

نمودار (1): نمودار پیشرفت و پسرفت چند نمونه از روزنامه­ها بین سال­های (1394) و (1395)

 

 

 

جدول (4): آمار توصیفی میزان پیشرفت و پسرفت روزنامه­ها در جامعه­ی تحت ارزیابی بین سال­های (1394) و (1395)

Std.dev

Mean

Max

Min

%

تعداد

واحدهای تصمیم گیرنده

شاخص

مالم­کوئیست

0.3144

1.3618

2.4295

1.0236

33.33

29

پیشرفت

0.2350

0.5219

0.9422

0.1429

66.66

58

پسرفت

 

 

 

 

100

87

 

 

 

نمودار (2): نمودار پیشرفت روزنامه­ها در جامعه­ی تحت ارزیابی بین سال­های (1394) و (1395)

 

 

 

 

نمودار (2): نمودار پسرفت روزنامه­ها در جامعه­ی تحت ارزیابی بین سال­های (1394) و (1395)

 

21

 

[1]  Media Organizations

[2]  Performance Measurement

[3]  Decision Making Units (DMUs)

[4]  Data Envelopment Analysis (DEA)

[5]  Malmquist Productivity Index (MPI)

[6]  Print Media

[7]  Constant Returns to Scale (CRS)

[8]  Variable Returns to Scale (VRS)

[9]  Prouduction Possibility Set (PPS)

[10]  Total Factor Productivity (TFP)

[11]  Catch-up

[12]  Frontier-shift

[13]  Production Function

[14]  Slacks

[15]  Forecast

فهرست منابع

- منابع فارسی

­آذر، عادل؛ دانشور، مریم؛ خداداد حسینی، سیدحمید و عزیزی، شهریار (1391). طراحی مدل ارزیابی عملکرد گروه­های کاری: رویکرد تحلیل پوششی داده­های چندسطحی. پژوهش­های مدیریت منابع سازمانی، 2 (2)، صص 22-1.

ایجادی مقصودی، آبتین؛ خلیل­زاده، محمد و حافظ­الکتب، اشکان (1397)، رتبه­بندی و ارزشیابی روش­های سنتی ارزیابی عملکرد سازمانی با محتوای تئوری و با استفاده از یک روش تصمیم­گیری ادغامی. مجله­ی مدیریت توسعه و تحول، 32، صص 65-51.

بختیاری، حسین (1397). طراحی مدل ارزیابی و رتبه­بندی شبکه­های استانی صدا و سیما با رویکرد تصمیم­گیری چندمعیاره، فصلنامه­ی پژوهش­های ارتباطی، سال بیست و پنجم، شماره 2، پیاپی (94)، صص 101-79.

جهانشاهلو، غلامرضا؛ حسین­زاده لطفی، فرهاد و نیکومرام، هاشم (1389). تحلیل پوششی داده­ها و کاربرد آن. چاپ اول، تهران: انتشارات آثار نفیس.

دانايي­فرد، حسن؛ الوانی، مهدی و آذر، عادل (1383). روش­شناسي پژوهش كمي در مديريت: رويكردي جامع. تهران: انتشارات صفار.

رضائیان، علی (1388). مبانی سازمان و مدیریت. تهران: سازمان مطالعه و تدوین کتب علوم انسانی دانشگاه­ها (سمت).

سلطانی­فر، محمد و یحیایی ایله­ای، احمد (1391). طراحی مدل ارزشیابی عملکرد روابط عمومی موسسات اقتصادي–تجاري. فصلنامه­ی مطالعات رسانه­ای، سال هفتم، شماره 19، صص 19-11.

طبرسا، غلامرضا (1378). بررسی و تبیین نقش اقتضائات استراتژیک در انتخاب الگوی ارزیابی عملکرد سازمان­های دولتی. مجموعه مقالات دومین جشنواره­ی شهید رجایی، ارزیابی عملکرد دستگاه‌های اجرایی کشور، تهران: سازمان امور اداری و استخدامی کشور.

طبیبی، سید جمال­الدین؛ ملکی، محمدرضا و دلگشایی، بهرام (1395). تدوین پایان نامه، رساله، طرح پژوهشی و مقاله­ی علمی. چاپ هشتم، تهران: انتشارات فردوس.

فرهنگی، علی­اکبر و ببران، صدیقه (1393). مدیریت رسانه. چاپ اول، تهران: دفتر مطالعات و برنامه­ریزی رسانه­ها.

فرهنگی، علی­اکبر و دانایی، ابوالفضل (1392). توسعه و اجرای سیستم­های ارزیابی عملکرد متوازن در سازمان­های رسانه­ای. تهران: انتشارات مکث­­نظر.

وفایی، فرهاد (1386). طراحی یک مدل ریاضی برای اندازه‌گیری کارایی مدل‌های جبرانی MADM به کمک روش تحلیل پوششی داده‌ها (DEA) در سیستم امتیازدهی مدل تعالی EFQM. رساله­ی دکتری، تهران: دانشگاه تربیت مدرس، دانشکده مدیریت و اقتصاد.

- منابع انگلیسی

Chen, K. Yang, G. and Khoveyni, M. (2017). “Measuring performance evolution of academic journals in management science and operations research: A DEA-Malmquist approach”. Journal of Management Science and Engineering, 2 (1), pp. 34-54.

Cooper, W.W. Seiford, L.M. and Tone, K. (2007). Data envelopment analysis: A comprehensive text with models, applications, references and DEA-solver software, 2nd ed. New York: Springer.

Farzipoor Saen, R. (2011). “Media selection in the presence of flexible factors and imprecise data”. Journal of The Operational Research Society (JORS), 62, pp. 1695–1703.

Fortunati, L. and O'sullivan, J. (2019). “Situating the social sustainability of print media in a world of digital alternatives”. Telematics and Informatics (T&I), 37, pp. 137-145.

Goldin, C. (2014). “Human Capital”, Handbook of Clio metrics, Department of economics Harvard university and national bureau of economic research.

Haas, D.A. and  Murphy, F.H. (2003). “Compensating for non-homogeneity in decision-making units in data envelopment analysis”.  European Journal of Operational Research (EJOR), 144,  pp. 530–544.

Heini, O. (2007). “Performance measurements: Designing a generic measure and performance indicator model”. Department of Information Systems of the University of Geneva, 136 Pages.

Jafari, Y. (2014). “Malmquist productivity index for multi time periods”. International Journal of Data Envelopment Analysis (IJDEA), 2, pp. 315-322.

Jantunen, A. Tarkiainen, A. Chari, S. and Oghazi, P. (2018). “Dynamic capabilities, operational changes, and performance outcomes in the media industry”. Journal of Business Research (JBR), 89, pp. 251-257.

Jiao, H. Alon, I. Koo, C. K. and Cui, Y. (2013). “When should organizational change be implemented? The moderating effect of environmental dynamism between dynamic capabilities and new venture performance”. Journal of Engineering and Technology Management (JET-M), 30 (2), pp. 188-205.

Makkonen, H. Pohjol, M. and Olkkonen, R. (2014). “Dynamic capabilities and firm performance in a financial crisis”. Journal of Business Research (JBR), 67 (1), pp. 2707- 2719.

Martinez-Nunez, M. and Perez-Aguiar, W. S. (2014). “Efficiency analysis of information technology and online social networks management: An integrated DEA-Model assessment”. Information & Management (I&M), 51, pp. 712-725.

Moullin, M. (2007). “Linking performance measurement and organisational excellence”. International Journal of Health Care Quality Assurance (IJHCQA), 20 (3), pp.181-183.

Neely, A. Gregory, M. and Platts, K. (1995). “Performance measurement system design: A literature review and research agenda”.  International Journal of Operations & Production Management (IJOPM), 25 (12), pp. 1228- 1263.

Song, Y. Schubert, T. Liu, H. and Yang, G. (2019). “Measuring scientific productivity in China using Malmquist productivity index”. Journal of Data and Information Science (JDIS), 4 (1), pp 32–59.

Teece. D.J. (2018). “Business models and dynamic capabilities”. Long Range Planning, 51 (1), pp. 40-49.

Wang, Y. M. and Lan, Y. X. (2011). “Measuring Malmquist productivity index: A new approach based on double frontiers data envelopment analysis”. Mathematical and Computer Modelling, 54, pp. 2760-2771.

Wirtz, B. W. (2011), “Media and internet management”, Wiesbaden, Germany: Gabler Verlag, 2011 edition (July 14, 2011). ISBN-13: 978-3-8349-3010-1 (paperback), 569 pages.

- سایت­های اینترنتی

Beggs, j. (2018). Learn About the Production Function in Economics. Available at: https://www.thoughtco.com/the-production-function-overview-1146826 [cited 2018 Dec 23].

Majaski, Ch. (2019). Human Capital vs. Physical Capital: What's the Difference? Available at: https://www.investopedia.com/ask/answers/062616/human-capital-vs-physical-capital-what-difference.asp [cited 2019 Feb 25].

https://definitions.uslegal.com/m/media-organization/

https://www.merriam-webster.com/dictionary/newspaper

https://www.goodreads.com/quotes/166961-when-you-can-measure-what-you-are-speaking-about-and

https://press.farhang.gov.ir/fa/home

https://www.gams.com/products/introduction/

 


مقالات مرتبط

حقوق این وب‌سایت متعلق به سامانه مدیریت نشریات دانشگاه آزاد اسلامی است.
حق نشر © 1403-1400

صفحه اصلی| عضویت/ ورود| درباره سند| تماس با ما|
[English] [العربية] [en] [ar]