Professors'Lived Experience of Payam Noor University from the online evaluation challenges during the Corona epidemic

Subject Areas : Research in Curriculum Planning

parvin zolghadri ¹ , Marjan Kian ²

1 - 1. Assistant Professor, Department of Educational Science of Payame Noor University, Tehran, Iran.
2 - 2. Associate Professor, Department of Curriculum Studies, Kharazmi University, Tehran, Iran.

Received: 2022-12-25 Accepted : 2024-07-01 Published : 2024-09-18

Keywords: Online Evaluation, Challenges, Lived Experience.,

Abstract :

The aim of this study was to investigate Professors'Lived Experience of Payam Noor University from the online evaluation challenges in during the Corona epidemic. This is a qualitative and phenomenology research.The studied community includes all faculty members of Payam Noor University in Zanjan province, 23 people in the academic year of 1400-1401. Using the Convenience Sampling method, 15 people were selected as research sample. Data collection tool was semi-structured interview and content analysis method was used for data analysis. The validity of the data was verified through methods of asking a colleague and checking members. Based on the Findings, the main evaluation challenges in the form of 5 main themes (problems caused by software and hardware facilities, lack of technology-based knowledge, increase in fraud, socio-cultural problems and physical and psychological problems), its opportunities included 5 themes(economic, health, technical, educational and time) were identified. Also main soluation for overcoming to these challenges in the form of 4 main themes (use of in-person-electronic evaluation, the use of multiple evaluations, quiz-based evaluation, changes in the appearance and content of the tests) were categorized. In proportion to these harms and improving the quality of evaluation, it was suggested that professors should use integrated evaluation methods and electronic tests in the form of quizzes in short intervals during the semester to evaluate the students' learning.

References:


Abbasi Kasani, H., Shams Mourkani, G., Seraji, F., Rezaeizadeh, M., & Abedi, H. (20200). E-learning challenges in Iran: A research synthesis. International Review of Research in Open and Distributed Learning, 21(4), 96-116.
AL-Emran, M., & Salloum, S. A.(2020). Students Attitudes Towards the Use of Mobil Technologies in E-valuation. Int. J. Intract. Mob. Technol., 11(5) 195-202.
Adibmanesh, M. (2021). Living experience of primary and secondary school teachers from teaching challenges and providing solutions to empower teachers to teach in cyberspace (Jouranal of Research in Curriculum Planning), vol 18 No 43, 60-75.
Al-Qahtani, M.H. (2020). Teachers and students perceptions of virtual classes and Effectiveness of virtual classes in Enhancing Communication Skills. Classes in Enhancing Communication Skills. Arab World English Journal (AWEJ) Special Issue: The Dynamics of EFL in Saudi Arabia. doi: 10.2139/ssrn.3512530.
Bararim N., khorasanim A., Rezaeizadeh, M., & Alami, F. (2019). Educational standads for feedback design in e-learning environments. based on the Bloom-Anderson classification. Educational Scinces (Journal of Educational Scinces and Psyclogy., 26(1), 155-174.
Boyle,P.Pettigrove, M.& Atkinson, C. (2009).Australian national universitystudentevaluation of teaching ANUSET: a guide for academic staff. 3rded. Canberra: Australian National
Bacon, A. K., & Ham, L. S. (2020). Attention to social threat as a vulnerability to the development of comorbid social anxiety disorder and alcohol use disorders: an avoidance-coping cognitive model. Addictive behaviors, 35(11), 925-939.
Glaser, B.& Strauss, A. (1998). The discovery of grounded theory , Aldine Publishing Company. Chicago.
Ganji Arjenaki, B. (2017). Surveying The Quality of Electronic Tests in The Students Satisfaction, Education Strategies in Medical, 10(3):180-188.
Habibi, A., Mukminin, A., Yaqin, L. N., Parhanuddin, L., Razak, R. A., Nazry, N. N. M., . . . Fathurrijal, F. (2021). Mapping instructional barriers during covid-19 outbreak: Islamic education context. Religions, 12(1), 50.
Jafari, M. Chenari, Kh, Nourizadeh, SH. (2021). Types of e-Learning and Expert-Based Evaluation. Intelligent Multimedia Processing and Communication Systems (IMPCS).1(1).
Jefferson, R. N., & Arnold, L. W. (2009). Effects of virtual education on academic culture: Perceived advantages and disadvantages. Online Submission, 6(3), 61-66.
Kian, M.(2019). Identifying Mobail Phone Educational Capabilities for Graduate Students. Journal of Higher Education Curriculum Studies Vol9. No18,135-158.
Lee, A. N., Nie, Y., & Bai, B. (202o). Perceived principalꞌs learning support and its relationships with psychological needs satisfaction, organisational commitment and change-oriented work behaviour: A Self-Determination Theory’s perspective. Teaching and Teacher Education, 93, 103-110.
Mirani Sargazi, N,. Heydar Abravan, M, J,. Asgari, M,. and Kosh Khahesh, R. (2022). Corona and the Challenges of Virtual Education in Iran, 2nd Conference on Psychology, Educational Science, Social Sciences and Counseling, Tehran.
Mihai, S,. & Grabka, D. (2019). U. S. Patent No. 10, 339.616. Washington, DC: U.S. Patent and Trademark Office.
Naseri. (2018). Examining the lived experience of humanities department professors of evaluation methodsStudents and its psychological consequences. . Master thesis of Ferdowsi University Mashhad.
Rezaei, A. M. (2020). Evaluating what students have learned during the Corona: Challenges and solutions. Quarterly of Educational Psychology, 16(56), 179-214.
Rezaei, SH,. Malkeian, F, GHasemi, A, Mohammadi, S,.(2023). Professors'Lived Experience of Online evaluation in the e-learning system of Islamic Azad University during the covid-19 epidemic, challenges and solutions, Information and Communication Technology in Educational Sciences
Roshani ali bene see H. Shahalizadeh M . Heydari S, Fattahi M. (2017). Implementation Pathology of the E-learning Curriculum in Iran (Cacse Study Shahid Beheshti University of Tehran). 7 (2): 44-61.
Seraji, F. (2014). Evaluation in virtual enviroment . Iranian Encyciopedia of Curriculum 1-5 [In Persian]
Safford. K., & Stinton, J. (2016). Barriers to belended digital distance vocational Learning for non-traditional students. British Journal of Educational Technology, 47(1). 135-150.
Sarlak M. (2018). Virtualization of Universities in Iran. J of Information Technology;23: 45-51.
Urdan, A. (2002). Corporate e-learning: Exploring a new Frontier, Comput Educ, 4(1), 23-41.
Vonderwellm S. (2003). An examination of asynchronous communication experienses and perspectives of students in an online course: A case study. Internet and Higher Educatin, 6, 77-90.
Sabon, Y. o. , Istyiono, E., & Salamah, U. (2022). Technology Literacy in the Development of Mathematics Learning in Indonesia During the Covid- 19 Pandemic. In 5th International Conference on Current Issues in Education (ICCIE) (pp. 137-142). Atlantis Press.
Zamani, B. E., Parhizi, R., & Kaviani, H. (2015). Identify challenges of evaluating students' academic performance e-courses. Technology of Education Journal (TEJ), 9(2), 105-112.
Zaikin, O,: Kushtina, E. & Rozewski, P. (2005). Algorithm of the Conceptual Seheme Formatiom for Knowledge Domain in Distance Learning, European. Journal of Operational Research, 2(4), 327-340.

Full-Text:



 

 

 

 

 

تجارب زیسته اساتید دانشگاه پیام نور از چالش‌های ارزشیابی آنلاین در دوران همه گیری کرونا

پروین ذوالقدری1¹، مرجان کیان2 

1 استادیار گروه علوم تربیتی، دانشگاه پیام نور، تهران، ایران.

2 دانشیار گروه مطالعات برنامه درسی، دانشگاه خوارزمی، تهران، ایران.

چکیده

پژوهش حاضر با هدف بررسی تجربه زیسته اساتید دانشگاه پیام نور از چالش­های ارزشیابی آنلاین در دوران همه گیری کرونا انجام شد. این پژوهش کیفی و از نوع پدیدارشناسی است. جامعه مورد مطالعه شامل همه اعضای هیأت علمی دانشگاه پیام نور استان زنجان به تعداد 23 نفر در سال تحصیلی 1401-1400 است. با استفاده از روش نمونه گیری در دسترس 15 نفر به عنوان نمونه پژوهش انتخاب شدند. ابزار گردآوری، مصاحبه نیمه ساختاریافته بود که از طریق روش­های پرسش از همکار و چک اعضا، داده­ها تأیید و برای تحلیل داده­ها از روش تحلیل مضمون استفاده شد. بر اساس یافته‌های بدست آمده، مهم­ترین چالش­های ارزشیابی در قالب 5 مضمون اصلی (مشکلات ناشی از امکانات نرم افزاری و سخت افزاری، فقدان دانش مبتنی بر فناوری، افزایش تقلب، مشکلات فرهنگی-اجتماعی و مشکلات جسمی و روانی)، فرصت­های آن شامل 5 مضمون (اقتصادی، بهداشتی، فنی، آموزشی و زمانی) شناسایی شد. همچنین عمده­ترین راهکارها برای غلبه بر چالش­های ارزشیابی در قالب 4 مضمون اصلی (استفاده از ارزشیابی حضوری- الکترونیکی، استفاده از ارزشیابی چندگانه، ارزشیابی مبتنی بر کوییز، تغییر در شکل ظاهری و محتوای آزمون­ها) دسته بندی شد. متناسب با آسیب­ها و بالا بردن کیفیت ارزشیابی پیشنهاد شد اساتید از روشهای ارزشیابی تلفیقی و آزمون­های الکترونیکی به صورت کوییز در فواصل زمانی کوتاه در طول ترم برای ارزشیابی آموخته­های دانشجویان استفاده کنند.

کلید واژه‌ها: ارزشیابی آنلاین، چالش­ها، تجربه زیسته

 Professors'Lived Experience of Payam Noor University from the online evaluation challenges during the Corona epidemic

Parvin Zolghadri1, Marjan Kian2

1Assistant Professor, Department of Educational Science of Payame Noor University, Tehran, Iran.

2Associate Professor, Department of Curriculum Studies, Kharazmi University, Tehran, Iran.

Abstract

The aim of this study was to investigate Professors'Lived Experience of Payam Noor University from the online evaluation challenges in during the Corona epidemic. This is a qualitative and phenomenology research.The studied community includes all faculty members of Payam Noor University in Zanjan province, 23 people in the academic year of 1400-1401. Using the Convenience Sampling method, 15 people were selected as research sample. Data collection tool was semi-structured interview and content analysis method was used for data analysis. The validity of the data was verified through methods of asking a colleague and checking members. Based on the Findings, the main evaluation challenges in the form of 5 main themes (problems caused by software and hardware facilities, lack of technology-based knowledge, increase in fraud, socio-cultural problems and physical and psychological problems), its opportunities included 5 themes(economic, health, technical, educational and time) were identified. Also main soluation for overcoming to these challenges in the form of 4 main themes (use of in-person-electronic evaluation, the use of multiple evaluations, quiz-based evaluation, changes in the appearance and content of the tests) were categorized. In proportion to these harms and improving the quality of evaluation, it was suggested that professors should use integrated evaluation methods and electronic tests in the form of quizzes in short intervals during the semester to evaluate the students' learning.

Keywords: Online Evaluation, Challenges, Lived Experience.

---

[1] *. نویسندة مسئول: [e-mail]

وصول: 04/10/1401                        پذیرش: 11/04/1403

DOI: 10.30486/JSRE.2024.2001061.2276

مقدمه

نفوذ فناوری اطلاعات و ارتباطات در حوزه آموزش، زمینه ظهور روش‌های جدید آموزشی را فراهم آورده است که یکی از آن‌ها آموزش الکترونیکی است. آموزش الکترونیکی به عنوان زیر مجموعه ای از آموزش از راه دور، زمینه را بیش از پیش برای کاربرد گسترده آموزش‌های یادگیرنده محور و سایر تغییرات در رویه‌های آموزشی فراهم کرده است(Mihai & Graba, 2019). آموزش الکترونیکی آموزش مبتنی بر فناوری است. اصطلاح آموزش الکترونیکی، شامل فهرست بزرگی از کاربردها و عملکردها از جمله آموزش مبتنی بر وب، آموزش مبتنی بر کامپیوتر، آموزش مبتنی بر اینترنت، نظام‌های الکترونیکی پشتیبانی از عملکرد، یادگیری برخط و یادگیری از راه دور است(Seraji, et al, 2014). بر پایه مطالعات انجام شده از مهم ترین مزایای آموزش الکترونیکی می‌توان به سهولت دسترسی به حجم بالایی از اطلاعات و دانش‌های موجود در جهان، کاهش برخی از هزینه‌های آموزشی، دسترسی سریع و به موقع اطلاعات در زمان اندک، تسهیل آموزش و یادگیری مادام العمر، انعطاف پذیری در هر زمان و مکان، ارائه اطلاعات به صورت چند رسانه ای، تعامل همزمان میان آموزش دهنده و یادگیرنده، آموزش طیف وسیعی از مخاطبان و میسر نمودن کار و تحصیل توأمان برای افراد، دانست (;Jefferson & Arnold, 2009; Bacon & Ham, 2020; Adibmanesh, 2021 ). از سویی، پژوهش‌ها نشان می‌دهد آموزش الکترونیکی دارای نقاط ضعف مهمی است. از جمله اینکه، موفقیت آموزش در این روش بستگی به توانایی یادگیرندگان در استفاده از رایانه دارد. همه فراگیران به رایانه و اینترنت مناسب دسترسی ندارند. علاوه بر آن سامانه‌های آموزش الکترونیکی دچار ایرادهای فنی هستند. به عنوان مثال امکان تایپ فارسی برای پاسخ گویی به سوال استادان در بسیاری از سامانه‌ها میسر نیست و همچنین درس‌های عملی با سامانه‌های الکترونیکی به خوبی قابل آموزش و ارزیابی نیست (Rezaei, 2020). بنابراین، هر چند این نوع آموزش در دست یابی به اهداف عدم محدودیت مکان و زمان موفق بوده، اما در رسیدن به اهداف مطلوب و با کیفیت یادگیری به دلیل مشکلات عدم تعاملات انسانی، عاطفی و ارتباطات چهره به چهره در کلاس درس، تأخیر در بازخورد، سرخوردگی و کم حوصله شدن دانشجو، اضطراب یارانه ای، تعویق در یادگیری غیرهمزمان و کمبود انگیزش برای خواندن محتوای الکترونیکی آنلاین، موفق نبوده است( Naseri, 2018, Vonderwell, 2003; Safford & Stintone, 2016 ؛Kian, 2014).

  علیرغم وجود مزایا و معایب آموزش‌های الکترونیکی، برخی از دانشگاه‌ها در سطح جهان به صورت مستقل برای ارائه آموزش از آن بهره گرفته اند. آموزش الکترونیکی در ایران در سال 1380 در دانشگاه تهران با ارائه نه درس برای دانشجویان روزانه دانشگاه راه اندازی شد. به دنبال آن تعدادی از دانشگاه‌ها اعلام کردند که راه اندازی آموزش الکترونیکی را جزء برنامه‌های خود قرار داده اند و تعدادی از دروس خود را به صورت الکترونیکی برای دانشجویان حضوری خود ارائه کرده اند(Sarlak, 2008). یکی از بزرگترین و وسیع ترین دانشگاه در حوزه آموزش الکترونیکی ، مراکز و واحدهای دانشگاه پیام نور هستند. این دانشگاه از سال 1391 اقدام به برگزاری آزمون‌های الکترونیکی کرده است. با شیوع اپیدمی کووید 19، نظام آموزشی کشور و در سطح جهان به صورت جدی به سمت یادگیری الکترونیکی اقدام نموده اند و بسیاری از دانشگاه‌های کشور از روش آموزش الکترونیکی استفاده کردند. با الکترونیکی شدن امتحانات پایانی، دانشگاه پیام نور برای یکپارچه سازی و سهولت برگزاری امتحانات، اکثر امتحانات خود را که به صورت سراسری و متمرکز انجام می‌شد، به واحدهای دانشگاهی و اساتید تفویض نمود و اساتید در این بستر اقدام به برگزاری آزمون‌های تستی نمودند. از سوی دیگر این دانشگاه از سامانه ال ام اس نیز برای برگزاری دروس خود بهره برد و بسیاری از درس‌ها خصوصاً آزمون‌های دروس عمومی خود را بر پایه این بستر انجام داد. به علاوه، با تفویض اختیاری که به اساتید و استان‌ها برای برگزاری آزمون‌ها شده بود برخی اساتید شیوه آزمون پایان ترم خود را براساس شبکه‌های اجتماعی چون واتساپ و تلگرام قرار دادند و یا فعالیت جایگزین برای امتحانات مقرر نموده اند که گاهاً منجر به ایجاد گروه‌های همفکری برای تقلب از سوی دانشجویان می‌شد.

بنابراین نکته­ای که حائز اهمیت است بحث ارزشیابی از آموخته‌های دانشجویان در آموزش الکترونیکی است که کمتر مورد آزمایش جدی و تحلیل علمی قرار گرفته است و به اندازه ای که به مسائل فناورانه، ارائه محتوا و سایر جنبه‌های سیستم یادگیری الکترونیکی تأکید شده است، بر روی ارزشیابی تأکید و تمرکز نشده است.

با توجه به اینکه قسمت ارزشیابی و سنجش یادگیری فراگیران یکی از بخش‌های مهم و قابل توجه سیستم‌های یادگیری الکترونیکی است، شایان توجه و بازنگری جدی و آنی می‌باشد. ارزشیابی علاوه بر مشخص نمودن نتایج فعالیت‌های انجام گرفته در گذشته، راه و مسیر یادگیری را در ادامه فعالیت‌های آموزشی روشن می‌سازد(Sabon, et al., 2022). بنابراین اگر با دقت هدف اصلی ارزشیابی را تجزیه و تحلیل کرد می‌توان دریافت که نقش آن فقط برای رتبه بندی دانشجویان نیست، بلکه این هدف ثانویه ارزشیابی است(Lee, 2022). اما هدف اصلی ارزشیابی، افزایش یادگیری و توسعه است(Al- Emran, & Salloum, 2020). عمل ارزشیابی در آموزش از راه دور نه تنها برای صدور مدرک دانشجویان است، بلکه بر بهبود یادگیری شان نیز تأثیر می‌گذارد و یادگیرندگان را برای توسعه یک نگرش مثبت به سیستم سازمانی کمک می‌کند(Barari, et al., 2019). در آموزش الکترونیکی، ارزشیابی به دنبال تعیین این مسئله هست که تا چه حد برنامه‌های آموزش الکترونیکی از صافی‌های مورد نظر یعنی استانداردها عبور داده شده است. (Roshani, 2017). (Urdan. 2002) رعایت استانداردها را ملاک برنامه‌های آموزش مبتنی بر وب مطلوب معرفی کرده است. به نظر(Zaiken, et al., 2005) این آموزش‌ها در صورت رعایت استانداردها، می‌توانند در محیط‌های فناورانه متمرکز بر یادگیری به صورت بهینه عمل کنند. در استرالیا کیفیت آموزش از طریق چارچوب صلاحیتها (AQF11) و نهاد استانداردها و کیفیت آموزش نواحی ((TEQSA حمایت و مدیریت می‎شود. بنابراین، با توجه به این که محوری ترین ارزش نهادهای دانشگاهی در درجه نخست، بهبود کیفیت یاددهی و یادگیری است، از این رو برنامه‌های ارزشیابی ضرورتاً بخش با اهمیتی از فعالیت‌های آنان را تشکیل می‌دهد(Boyle  Pettigrove, & Atkinson, 2009)

با درک اهمیت ارزشیابی بر اساس آن چه از پژوهش‌های مختلف گردآوری شده می‌توان گفت برای اطمینان از کیفیت بالای یک سیستم یادگیری الکترونیکی کافی است بخش ارزشیابی این سیستم مورد تحلیل و بررسی قرار گیرد. زیرا که فرایند ارزشیابی برونداد نهایی یک سیستم آموزشی را مشخص می‌کند و حکم به موفق بودن و یا نبودن فرایندهای یک دوره یادگیری می‌دهند. در ادامه به پژوهش‌های انجام شده در این حوزه پرداخته می‌شود:

(Rezaei, 2020) در پژوهشی تحت عنوان «ارزشیابی از آموخته‌های دانشجویان در دوران کرونا: چالش‌ها و راهکارها» نشان داد، مهمترین شیوه‌های ارزشیابی از آموخته‌های دانشجویان عبارتند از: امتحان حضوری (در صورت مجوز مبادی ذیربط)، امتحان کتبی مجازی، امتحان شفاهی مجازی، پرسش و پاسخ شفاهی، ارزشیابی چندگانه (تلفیقی) ارائه‌های مجازی، کارپوشه الکترونیکی است.

(Naseri, 2018) در پژوهشی با عنوان «تجربه زیسته اساتید گروه علوم انسانی از شیوه‌های ارزشیابی دانشجویان و پیامدهای روانشناختی آن»، متوجه شد استادان در طول ترم تحصیلی دانشجویان را به روشهای مختلفی ارزشیابی می‌کنند و معتقدند که ارزشیابی زمانی مؤثر است که همراه با بازخورد باشد و رویکرد ارزشیابی استادان رویکرد هدف‌گرا است.

 (Mirani Sargazi, Heydar Abravan, & and Kosh Khahesh, 2020)، در پژوهشی دیگر با عنوان «کرونا و چالش‌های آموزش مجازی در ایران»، نتیجه گرفتند که آموزش مجازی در ایران به دلیل آنکه تا قبل از بحران کرونا به ‌صورت جدی دنبال نشده بود و زیرساختهای آن نیز فراهم نبود، در طراحی و اجرا با چالش‌های اساسی روبه‌رو شده است که موفقیت آن را کمرنگ می‌کند و (Habibi et al., 2021)، سه مانع؛ مالی، آموزشی و فناوری را از موانع تأثیرگذار بر فعالیتهای آموزشی در دوران کرونا به ‌شمار آورده‌اند.

(Jafari, et al, 2021) در پژوهشی به معرفی و دسته بندی «انواع شیوه‌های آموزش الکترونیکی و ارزیابی مبتنی بر نظر متخصصان» پرداختند. در این پژوهش با دریافت نظر متخصصان اجزا و روابط آموزش الکترونیکی معرفی شدند. اعتقاد اندیشمندان بر این است که نتایج برنامه ریزی اصولی برای آموزش در هر محیط نیازمند سه رکن نیازسنجی، آموزش و ارزشیابی است.

Zamani et al., 2015)) در پژوهشی با عنوان «شناسایی چالش‌های ارزشیابی عملکرد تحصیلی دانشجویان در دوره‌های الکترونیکی» چالش‌های ارزشیابی را بر حسب چهار شاخص؛ اخلاقی (سرقت ادبی و تقلب)، روانی(اضطراب تکنولوژیکی قطع برق حین ارزیابی، خراب شدن سیستم)، پداگوژیک(آشنا نبودن با ساختار فناوری) و فنی(زیر ساخت‌های مخابراتی) ارزیابی کرده اند.

 (Roshani, 2017) تحقیقی با عنوان «چالش‌های کیفیت ارزشیابی برنامه درسی دوره آموزش مجازی (مورد مطالعه دانشگاه شهید بهشتی) انجام دادند. نتایج پژوهش نشان داد کیفیت ارزشیابی برنامه درسی آموزش الکترونیکی در ابعاد مدیریتی-اجرایی و تعریفی-حرفه ای با چالش مواجه است.

(Ganji Arjenaki, 2017) به بررسی کیفیت آزمون‌های الکترونیکی در میزان رضایت دانشجویان دانشگاه پیام نور پرداخته است. نتایج پژوهش وی نشان داد هر چه میزان کیفیت آزمون‌های الکترونیکی بیشتر باشد میزان رضایت دانشجوها از این آزمون‌ها بیشتر می‌شود.

(Abbasi kasani et al., 2020) پژوهشی با عنوان «بررسی عنصر ارزشیابی در یادگیری الکتررونیکی» انجام دادند. یافته‌های پژوهش نشان داد که در یادگیری الکترونیکی، از روش‌های مختلفی همچون آزمون‌های آنلاین، وبینار، پورتفولیو، انجمن‌های گفتگو، ارزشیابی تلفنی، پروژه، خود ارزشیابی، سنجش همتایان، مقاله و... برای ارزشیابی در یادگیری الکترونیکی استفاده می‌شود.

در مجموع براساس پیشینیه پژوهش‌های انجام شده، می‌توان گفت با وجودی که این پژوهش‌ها بسیاری از نقاط مهم ارزشیابی در محیط الکترونیکی را مورد کنکاش قرار دادند و سعی در روشنگری مسیر در این زمینه برای استفاده کنندگان داشته اند، اما پژوهش‌های انجام گرفته بیشتر به بررسی شیوه‌های ارزشیابی و ابزارهای مورد استفاده در یک سیستم یادگیری الکترونیکی پرداختند و میزان استقبال از این ابزارها و روش‌های استفاده از آن‌ها را توصیف و تحلیل نموده اند. همچنین، براساس بررسی‌های بعمل آمده، عمده پژوهش‌های صورت گرفته با محوریت چالش‌های آموزش الکترونیکی بودند تا به طور خاص چالش‌های ارزشیابی، این در حالی است که در محیط‌های یادگیری الکترونیکی می‌توان با محور قرار دادن ارزشیابی، فعالیت‌های یادگیرندگان را جهت دهی و اصلاح نمود. همچنین، پژوهش‌هایی که به ارائه راهکار برای برطرف نمودن نقائص و چالش‌های مختص به حوزه ارزشیابی الکترونیکی باشد، در پژوهش-‌های داخلی بسیار نایاب و اندک بودند. از سویی دیگر، با توجه به اینکه سنجش اثربخشی دوره‌های برگزار شده یکی از ضروری ترین اموری است که در هر سازمانی باید انجام بگیرد، این نیاز در دانشگاه پیام نور، به عنوان سازمانی که خود داعیه آموزش از راه دور است، دوچندان می‌شود. لذا شناخت تهدیدها و فرصت‌هایی موجود در محیطی که قرار است در آن آموزش و آزمون‌های الکترونیکی صورت بگبرد، ضامن موفقیت آن خواهد بود. پژوهش حاضر گامی است در مسیر شناخت تجارب اساتید از چالش‌های ارزشیابی الکترونیکی در مواجه با هر بحران طبیعی که توسط نگارندگان انجام شد. در این مقاله تلاش شده است چالش‌های ارزشیابی، فرصت‌ها و راهکارها نیز ارائه شود تا متولیان امر و بخصوص استادان با توجه به مزایا و معایب روشهای مختلف امکان استفاده بهینه‌تری از شیوه‌های ارزشیابی در اختیار داشته باشند. تا در نهایت با ارتقاء کیفیت و اصالت این دسته از ارزشیابی‌ها به ارتقاء و بهبود یادگیری یادگیرندگان در دانشگاه پیام نور کمک نماید. بنابراین، در اين پژوهش سعي شد به پرسش‌هاي زير پاسخ داده شود: سوال اول: تجربه زیسته اساتید دانشگاه از چالش‌های ارزشیابی آنلاین در دوران همه گیری کرونا چه بوده است؟ سوال دوم: فرصت‌ها و پیامدهای ارزشیابی آنلاین چه بوده است؟ سوال سوم: چه راهکارهایی برای بهبود کیفیت ارزشیابی آنلاین پیشنهاد می‌کنید؟

 

روش شناسی پژوهش

رویکرد پژوهش حاضر کیفی و روش پژوهش از نوع پدیدارشناسی است. بر این اساس، برداشت‌ها، ادراکات و فهم اعضای هیات علمی از چالش‌های ارزشیابی آنلاین بررسی گردید. جامعه مورد مطالعه شامل همه اعضای هیأت علمی دانشگاه پیام نور استان زنجان به تعداد 23 نفر در سال تحصیلی 1401-1400 است. با استفاده از روش نمونه گیری در دسترس 15 نفر به عنوان نمونه پژوهش انتخاب شدند. داده‌های این پژوهش، مبتنی بر تجربه زیسته اساتید (اعضای هیأت علمی) است که در ترم بهمن ماه سال تحصیلی 1400 به مدت سه ترم در آموزش‌های الکترونیکی دانشگاه شرکت کرده بودند. داده‌ها به وسیله مصاحبه‌های نیم ساختاریافته و براساس الگوی مصاحبه‌های کیفی و با رعایت موازین آن، در مدت زمان تقریبی بین 30 تا 55 دقیقه به شیوه حضوری جمع آوری شد. ابتدا با ارائه توضیحاتی درباره ماهیت مصاحبه و موضوع آن به فرد مصاحبه شونده و آشنایی اولیه، اولین سوال مبنی بر اینکه تجربه زیسته شما از چالش‌های ارزشیابی آنلاین در دوران همه گیری کرونا چه بوده است؟ سوال دوم، فرصت‌ها و پیامدهای ارزشیابی آنلاین چه بوده و سوال سوم، چه راهکارهایی برای بهبود کیفیت ارزشیابی آنلاین پیشنهاد می‌کنید؟ مطرح شد. با توجه به ماهیت نیمه ساختار یافته مصاحبه، سؤالات دیگری نیز به عنوان سؤالات پیگیر، به منظور روشن شدن مفهوم پاسخ‌های ارایه شده مطرح گردید. برای تحلیل داده‌ها از روش «تحلیل مضمون» استفاده شد. با اقتباس از روش(Attride-Stirling, 2008) داده‌های حاصل از مصاحبه حول سه محور مضامین پایه، مضامین سازمان دهنده و مضامین فراگیر طبقه بندی شدند. ابتدا متن هر مصاحبه کلمه به کلمه و خط به خط خوانده و کدهایی در حاشیه متن یادداشت شد سپس با ترکیب نکات مشابه و تلخیص آن‌ها مضامین پایه شناسایی شد در مرحله بعد با ترکیب و تلخیص مضامین پایه و ادغام کدهای مشابه در دسته‌های جدید مضامین سازمان‌دهنده مشخص گردید. در مرحله سوم با قرار دادن مضامین سازمان دهنده در یک طبقه کلی و انتزاعی تر مضامین فراگیر شکل گرفت. به منظور تعیین صحت و اصالت و اطمینان از اینکه تفسیر داده‌ها، نشان دهنده پدیده مورد مطالعه است، از شیوه‌های «پرسش از همکار» و «کنترل اعضا» استفاده شد؛ به این ترتیب که نتایج تحلیل و طبقه بندی‌ها در اختیار سه نفر از اساتید دانشگاه که با روش تحقیق کیفی و تجزیه و تحلیل داده‌ها آشنایی داشتند، قرار گرفت. برخی از آنها نظراتی درباره ادغام برخی از طبقات مشابه اظهار داشتند که پس از بررسی و اعمال نظرات شان در تحلیل، صحت کدبندی مورد تأئیدشان قرار گرفت. برای کنترل اعضا نیز نتایج تحلیل و کدبندی‌های حاصل از مصاحبه شونده‌ها در اختیار چهار نفر از پاسخ گویان برای اطلاع از واکنش آنان قرار گرفت که براساس مصاحبه و تجارب خود آنها را تأئید نمودند. 

مشخصات دموگرافیک مصاحبه شوندگان در پژوهش در جدول شماره 1 آورده شده است:

 

 

 

 

جدول1-مشخصات جمعیت شناختی اساتید مصاحبه شونده

شماره مصاحبه شونده	سن	جنس	مدرک تحصیلی	سابقه تدریس	رتبه دانشگاهی	رشته تحصیلی
1	44	مرد	دکتری	21	استادیار	مهندسی کشاورزی
2	41	زن	دکتری	15	استادیار	علوم تربیتی
4	40	زن	ارشد	9	مربی	علوم اجتماعی
5	41	زن	دکتری	14	استادیار	الهیات
6	43	مرد	دکتری	17	استادیار	ریاضی
7	44	مرد	دکتری	18	استادیار	علوم سیاسی
8	46	مرد	ارشد	18	مربی	روانشناسی
9	45	مرد	ارشد	14	مربی	حسابداری
10	39	مرد	دکتری	18	استادیار	آمار
11	38	مرد	دکتری	15	استادیار	اقتصاد
12	39	زن	دکتری	17	استادیار	زیست شناسی
13	41	زن	دکتری	18	استادیار	فلسفه
14	43	زن	دکتری	20	استادیار	برنامه ریزی شهری
15	42	زن	دکتری	18	استادیار	مهندسی کشاورزی

 

نتایج جدول شماره 1 نشان می‌دهد، (53 درصد) مشارکت کنندگان مرد و (47) درصد زن بوده اند، بیشتر مشارکت کنندگان دارای مرتبه علمی استادیار بودند (80 درصد)، همچنین بیشتر مشارکت کنندگان دارای سابقه کار بالای 15 سال بودند (67 درصد)، 80 درصد افراد پاسخگو دارای مدرک تحصیلی دکتری بوده اند. از نظر گروه سنی نیز 50 درصد افراد پاسخگو بین 40 تا 45 سال سن داشتند.

 

یافته‌های پژوهش

 سوال اول پژوهش: تجربه زیسته اساتید از چالش‌های ارزشیابی آنلاین در دوران همه گیری کرونا چه بوده است؟ برای پاسخ به این پرسش، داده‌های کیفی جمع آوری شده از فرایند اجرای مصاحبه‌های نیمه ساختاریافته با افراد نمونه پژوهش طی فرایند کدگذاری و تعیین مضامین در سه مرحله انجام گردید؛ در مرحله نخست، متون مصاحبه‌ها چندین بار بازخوانی شد و نکات مهم و مفاهیم کلیدی آن یادداشت و به صورت مضامین پایه شناسایی گردید. در گام بعد، مضامینی که بیشترین شباهت را داشتند و می‌توانستند از لحاظ معنایی با هم یک معنای واحد را بسازند در یک طبقه قرار گرفته و بدین طریق مضامین سازمان دهنده استخراج شد و در نهایت، مضامین سازمان دهنده در گروه‌های منسجمی طبقه بندی و مضامین فراگیر را تشکیل دادند. به طور کلی با تحلیل نظرات مشارکت کنندگان، 16 مضمون پایه، 13 مضمون سازمان دهنده و 5 مضمون فراگیر استخراج شد نتایج اطلاعات مزبور در جدول شماره (2) ارائه شده است

 

 

 

 

 

 

جدول 2- چالش‌ها و مشکلات ارزشیابی الکترونیکی

شواهد	مضامین پایه	مضامین سازمان دهنده	مضامین فراگیر
دانشجویانی که در روستا سکونت داشتند اظهار می‌کردند که به اینترنت پرسرعت دسترسی نداشتند(کد2). چالش‌های سیستم الکترونیکی برمی گردد به استقرار سیستم مناسب. یعنی سیستم شما هر چقدر پیشرفته تر باشد، باید پهنای باند بیشتری هم داشته باشید که بتوانید از امکانات صوتی و هم تصویری استفاده کنید(کد 6). در ارزشیابی الکترونیکی، ارزیابی برخی از دروس عملی و آزمایشگاهی به صورت واقعی صورت نمی‌گیرد. بنابراین، بایستی برای این دروس دانشجو به صورت حضوری ارزیابی شود(کد1). امتحان برخی از دروسی را که به صورت کتبی برگزار می‌کردم تصحیح برگه‌ها در سیستم دشوار و زمان بر بود(کد 2).	- عدم دسترسی به اینترنت پرسرعت در بیشتر مناطق روستایی؛ نبود پهنای باند کافی   -مناسب نبودن برای ارزشیابی دروس عملی‌ و آزمایشگاهی   -دشوار بودن تصحیح پاسخنامه‌های کتبی با گوشی‌های هوشمند	نقص در زیر ساخت شبکه‌ای   فقدان نرم افزارهایی برای ارزیابی شاخه‌های مختلف درسی به خصوص برای واحدهای عملی و آزمایشگاهی   عدم ارزشیابی به صورت عینی و کاربردی	مشکلات ناشی از  امکانات نرم افزاری و  سخت افزاری
بسیاری از دانشجویان با محیط و امکانات سامانه (lms) آشنایی نداشتند(کد2). برای اولین بار که از سایت گوگل فرم برای طراحی آزمون استفاده می‌کردم تجربه کافی با محیط و کاربرد و کارایی آن نداشتم(کد 12).	-عدم‌ آشنایی ‌دانشجویان با سامانه lms -عدم آشنایی و تجربه کافی اساتید در برگزاری آزمون‌های آنلاین در سامانه‌ها یا بسترهای مجازی دیگر	عدم مهارت دانشجویان در استفاده از امکانات نرم افزاری   عدم آمادگی اساتید از ارزشیابی الکترونیکی	فقدان دانش  مبتنی  بر فناوری
چون ارزشیابی به صورت حضوری نبود و تسلط به دانشجویان نداشتم تمرین‌هایی که برای فعالیت در نظر می‌گرفتم، اغلب یا از روی هم می‌نوشتند و یا برخی از آن‌ها از ارسال تکالیف به بهانه‌های مختلف خودداری می‌کردند(7) یکی از دانشجویان که در درسها ضعیف بود در امتحانات آنلاین اغلب نمرات بالایی می‌گرفت و این امکان را می‌دادم که از روی کتاب نوشته باشد یا فرد دیگری به جای دانشجو به سؤال‌ها پاسخ دهد(کد5)	- کاهش کنترل و نظارت مستقیم اساتید  بر عملکرد دانشجویان   - عدم ارسال تکالیف توسط برخی دانشجویان و جدی نگرفتن سیستم ارزشیابی الکترونیکی - به اشتراک گذاری مطالب توسط دانشجویان	سلب شدن نظارت   - کمک گرفتن از کتاب   عدم همراهی دانشجویان برای ارزشیابی معتبر	افزایش تقلب (سرقت علمی) به دلیل عدم نظارت
در اغلب کلاسها دانشجویان فقط آنلاین بودند و سؤال و پرسشی از سوی دانشجویان انجام نمی‌شد و نمی‌توانستم از نقاط ضعف شان بازخوردی دریافت کنم(کد12). .برای دروسی که من تدریس می‌کنم نیاز جدی به ارتباط چهره به چهره وجود دارد و این امکان در یک محیط الکترونیکی برای ارتقای دانشجویان به هیچ وجه مناسب نیست و تنها باعث پاس کردن دروسی می‌شود که فرد به درستی آن را یاد نگرفته است(کد9). بیشتر دانشجوها برای این شرکت می‌کردند که نمره بگیرند و معدلشون نیاد پایین آخر سرهم چیزی یاد می‌گرفتند یا نمی‌گرفتند، فرقی به حالشان نمی‌کرد و فقط می‌گفتند زودتر تمام کنیم، مدرک بگیریم، (کد1)	- عدم اطلاع اساتید از میزان و سطح یادگیری دانشجویان و اطلاع از نقص و ضعف دانشجو و کمک به رفع آن -عدم ارتباط چهره به چهره و شکل گیری روابط اجتماعی   -عدم فرهنگ سازی	عدم بازخورد       کاهش تعاملات     گرایش به ‌مدرک گرایی ناشی از ارزشیابی‌های غیراصولی	مشکلات اجتماعی- فرهنگی
بزرگترین ضربه ای که از کرونا دیدم کاهش بینایی ام بود که بیشتر به دلیل استفاده طولانی مدت از لب تاب و گوشی بود(کد 5). به دلیل الکترونیکی شدن آموزش‌ها و نشستن‌های طولانی مدت پشت سیستم و کم تحرکی دچار اضافه وزن شدم(کد3) برخی از دانشجویان از انگیزه و روحیه کافی برای فعالیتهای یادگیری برخوردارنبودند.(کد6). به دلیل قطع شدن اینترنت در وسط برخی امتحانات دانشجویان دچار استرس و اضطراب می‌شدند(کد14)	- ضعف بینایی - اضافه وزن         -بی انگیزه شدن برخی از دانشجویان - دغدغه به موقع تمام کردن و ارسال تکالیف - استرس و اضطراب	به وجود آمدن مشکلات جسمی       کاهش بهداشت روانی	مشکلات   جسمی – روانی

 

همان گونه که در جدول شماره (2) مشاهده می‌شود، عمده ترین چالش‌های ارزشیابی آنلاین از نظر اعضای هیئت علمی شامل: مشکلات ناشی از امکانات نرم افزاری و سخت‌افزاری، فقدان دانش مبتنی بر فناوری، افزایش تقلب، مشکلات فرهنگی-اجتماعی و مشکلات جسمی و روانی است که به عنوان مضامین فرگیر در نظر گرفته شد و 13 مضمون سازمان دهنده (نقص در زیر ساخت شبکه‌ای، فقدان نرم افزارهایی برای ارزیابی شاخه‌های مختلف درسی به خصوص برای واحدهای عملی و آموزشگاهی، عدم ارزشیابی به صورت عینی و کاربردی، عدم مهارت دانشجویان از امکانات نرم افزاری، عدم آمادگی اساتید از ارزشیابی الکترونیکی، سلب شدن نظارت، کمک گرفتن از کتاب، عدم همراهی دانشجویان برای ارزشیابی معتبر، عدم بازخورد، کاهش تعاملات، گرایش به ‌مدرک گرایی ناشی از ارزشیابی‌های غیراصولی، به وجود آمدن مشکلات جسمی، کاهش بهداشت روانی) و 16 مضمون پایه می‌باشد.

سوال دوم پژوهش: تجربه زیسته اساتید از فرصت‌ها و پیامدهای ارزشیابی آنلاین چه بوده است؟

 در رابطه با این سوال همانند سوال اول، به منظور استخراج مضامین پایه، کدها و مفاهیمی که بیشترین قرابت و نزدیکی با یکدیگر داشتند کنار هم قرار داده شدند و 13 مضمون پایه بدست آمد سپس، مضامین پایه در قالب 9 مضمون سازمان دهنده جای گرفتند و مضامین سازمان دهنده نیز در قالب 5 مضمون فراگیر دسته بندی شدند. نتایج تحلیل در جدول شماره 3 آورده شده است.

 

جدول 2- فرصت‌ها و پیامدهای ارزشیابی الکترونیکی

شواهد	مضامین پایه	مضامین سازمان دهنده	مضامین فراگیر
در حال حاضر که هزینه‌ها روز به روز در حال افزایش است، استفاده از آموزش الکترونیکی بهتر و به صرفه تراست. با آنلاین شدن کلاسها هزینه رفت آمد با وسایل نقلیه هم برای اساتید و هم برای دانشجویان کمتر شده است. همچنین برای دانشجویان شهرستانی دیگر هزینه خوابگاه وجود ندارد(کد3). با استفاده از پی دی اف دیگر نیاز به خرید کتاب و صرف هزینه اضافی نیست(کد12).	کاهش ایاب و  ذهاب اساتید و دانشجویان   صرفه جویی   در خرید کتاب منابع درسی	صرفه جویی در هزینه‌های آموزشی   صرفه جویی در هزینه‌های کمک آموزشی	اقتصادی
با وجود یک مورد مشکوک به بیماری کرونا امکان مبتلا شدن بقیه افراد وجود دارد. بنابراین در این شرایط آموزش و ارزشیابی الکترونیکی بهترین شیوه برای جلوگیری از شیوع این بیماری است.(کد11). با آنلاین شدن کلاسها احتمال تصادفادت و یا صدمات جسمی ناشی از آن در مسافرت‌های شهری و بین شهری برای دانشجویان کاهش می‌یابد(کد3).	پیشگیری از انتقال ویروس  کرونا پیشگیری از خطرات احتمالی ایاب و ذهاب	پیشگیری از حوادث        و بیماری‌ها	بهداشتی
برای ارزشیابی به غیر از سامانه ال ام اس از سایر سایت‌ها مثل گوگل فرم استفاده می‌کردم که تصحیح و نمره دهی آن بسیار راحت است(7). در کلاس آنلاین گاهی تعداد دانشجویان به بالای 150 نفر می‌رسید. لذا، مشکل جا و کمبود ظرفیت که در کلاس‌های حضوری وجود دارد رو دیگر نداشت(کد5)	- تصحیح خودکار و بدون خطای امتحان‌های عینی (چند گزینه ای و صحیح و غلط) - قابلیت انجام ارزشیابی براساس تکنولوژی‌های نوین - ظرفیت پذیرش بیشتر	سهولت ارزشیابی       قابلیت ارزیابی چند بعدی	فنی
در ابتدا آشنایی کافی درباره نحوه استفاده از سایت دانشگاه و چگونگی ارزشیابی الکترونیکی را نداشتم به مرور زمان آگاهی لازم را پیدا کردم و کار کردن با سیستم برایم راحت‌تر شد(کد2). به صورت آنلاین با اساتید دانشگاههای دیگر در ارتباط بودم و از تجارب اساتید دیگر دانشگاهها برای ارزشیابی بهتر استفاده کردم(کد9). در کلاس بعد تدریس برای مشارکت دانشجویان تمرین می‌دادم و هر کس سرکلاس حل می‌کرد نمره در نظر می‌گرفتم یا بخشی از نمره را برای ارائه کنفرانس در نظر می‌گرفتم (کد8).	- افزایش مهارت اساتید در آموزش و ارزشیابی الکترونیکی   - توسعه ارتباطات علمی   - ارزیابی آنلاین بر اساس مشارکت دانشجویان	مهارت  در استفاده از فن‌آوری اطلاعات       یادگیری مشارکتی	آموزشی
بیشتر امتحانات رو به صورت تستی از طریق گوگل فرم برگزار می‌کردم و آنلاین جواب پاسخنامه‌ها را در زمان کوتاه دریافت می‌کردم و دیگر نیاز به تصحیح و یا مشکلاتی که در ارزشیابی آزمون‌های تشریحی وجود دارد رو نداشتم(کد4) دانشجویانی که شاغل بودند و یا در کلاس حضور نداشتند، نحوه ارسال تکالیف را به صورت ضبط شده در قالب ویس در گروه واتساپ اطلاع می‌دادم (کد2). مطالب درسی رو راحت و در هر زمان می‌توان در سامانه بارگذاری کرد و دانشجویان می‌توانند از آن راحت استفاده کنند(کد15)	- صرف زمان کمتر برای تصحیح اوراق امتحانی تستی و عدم اتلاف وقت   - در دسترس بودن برای افراد شاغل و پر مشغله   - دسترسی به منابع آموزشی در هر زمان و مکان	مدیریت زمان         در دسترس بودن  منابع آموزشی	زمانی

 

با توجه به یافته‌های جدول شماره (3)، پیامدهای ارزشیابی در قالب 5 مضمون فراگیر(اقتصادی، بهداشتی، فنی، آموزشی، زمانی)، 9 مضمون سازمان‌دهنده (صرفه جویی در هزینه‌های آموزشی، صرفه جویی در هزینه‌های کمک آموزشی، پیشگیری ار حوادث و بیماریها، سهولت ارزشیابی، قابلیت ارزیابی چند بعدی، مهارت در استفاده از فن‌آوری اطلاعات، یادگیری مشارکتی، مدیریت زمان، در دسترس بودن منابع آموزشی) و 13 مضمون پایه دسته بندی شد.

سوال سوم پژوهش: چه راهکارهایی برای بهبود کیفیت ارزشیابی آنلاین پیشنهاد می‌کنید؟ 

در این پرسش نیز پس از تحلیل مصاحبه‌ها، با ترکیب نکات مشابه و تلخیص آن‌ها 13 مضمون پایه با مفاهیم مشخص و روشن شناسایی شد. در مرحله بعد، همین فرایند بر روی مضمون‌های پایه اجرا گردید به گونه ای که مضامین پایه در قالب 11 مضمون سازمان دهنده ترکیب و تلخیص شدند و از تلخیص مضامین سازمان دهنده، 4 مضمون فراگیر بدست آمد. جدول شماره 3 شامل نتایج حاصل از بررسی راهکارهای ارتقای ارزشیابی الکترونیکی برحسب مضامین فراگیر، مضامین سازمان دهنده، مضامین پایه و نمونه مصاحبه است.

 

جدول4- راهکارهای ارتقای ارزشیابی مؤثر

شواهد	مضامین پایه	مضامین سازمان دهنده	مضامین فراگیر
برای دانشجویانی که محل تحصیل با محل زندگی شان یکی است، بهتر است ارزشیابی به صورت حضوری بعمل آید(کد1). برای دروس تئوری از طریق چت آنلاین می‌شود از دانشجویان خواست که به سوال پاسخ دهند یا مطالب گفته شده را به زبان خود توضیح دهند یا تکالیف را در قالب پی دی اف ارسال کنند(کد1). تمرینها و فعالیت‌های عملی دروس آزمایشگاه یا واحدهای درسی عملی بهتر است به صورت حضوری ارزیابی شود (کد4).	- استفاده از ارزشیابی حضوری برای دانشجویان بومی - حل تمرین دروس تئوری به صورت آنلاین - استفاده از کنفرانس در قالب ویس - ارزیابی دروس عملی و آزمایشگاهی به صورت حضوری	ارزشیابی حضوری           ارائه‌های کلاسی در محیط یادگیری الکترونیکی	استفاده از ارزشیابی ترکیبی          (حضوری-الکترونیکی)
در امتحانات شفاهی آنلاین می‌توان از دانشجویان خواست که به صورت تلفنی به سوالات پاسخ دهند (کد7). اساتید می‌توانند از طریق ارزشیابی مستمر، به طور مداوم به دانشجویان بازخورد ارائه دهند تا دانشجویان بتوانند به راحتی تشخیص دهند که کدام رفتارها و مهارت‌هایشان باید تقویت و اصلاح شود(کد1). از دانشجویان می‌توان خواست که خودشان برگه سوالات خود و یا دوستان شان را تصحیح کنند (کد5).  در ارزیابی واحدهای عملی از روش‌های گوناگون استفاده شود از جمله ارائه پروژه، مقاله، خلاصه نویسی، طرح سوال و... و به مراتب اصلاحات و بازخوردهای لازم داده شود (کد3).	- استفاده از ارزشیابی تلفنی (تلفن ثابت و گوشی همراه) - استفاده از ارزشیابی مستمر - مشارکت دادن دانشجویان در ارزشیابی از هم - استفاده از کارپوشه‌های الکترونیکی (مجموعه تکالیف ترم شامل کار عملی، حل تمرین، مقاله و غیره-	ارزشیابی‌ عملکرد دانشجویان از زوایای مختلف     خودارزشیابی     ارزشیابی‌های تکوینی متعدد و ارائه بازخورد شخصی	استفاده از ارزشیابی چندگانه (تلفیقی)
در زمان‌هایی که آزمون به صورت الکترونیکی برگزار می‌شود که در آن امکان رصد دانشجو وجود ندارد، جهت جلوگیری از تقلب می‌توان زمان آزمون را یک مقدار کم کرد (کد 6). به نظرم یکی از روشهایی که اساتید می‌توانند برای سنجش میزان آموخته‌های دانشجویان استفاده کنند این است که بدون اطلاع قبلی دانشجویان، آزمون‌های کوتاه در طول ترم برگزار کنند و پس از برگزاری آزمون بلافاصله، استاد پاسخ‌ها را به صورت کتبی به دانشجویان ارائه دهد(12).	- قرار دادن محدودیت زمانی جهت جلوگیری از تقلب - ارائه سوالات کوتاه و جواب دادن به هرسوال با زمان‌های نامشخص	تغییر در ساختار  زمانی آزمون‌ها       برگزاری آزمون در فواصل زمانی مختلف	ارزشیابی مبتنی بر کوییزها
دانشجو اگر به مفهوم سوال و موضوع پی نبرده باشد نمی‌تواند به سوال پاسخ درستی بدهد بنابراین، نباید در این گونه مواقع از سوالات حفظی استفاده شود و بهتر است سوالات به صورت مفهومی باشد که دانشجو به راحتی نتواند مستقیم جوابش را در کتاب پیدا کنند. مثلاً برای درس روش تحقیق دادن سوال حفظی مناسب نیست به جای آن می‌توان فعالیت‌های عملی به صورت پروژه یا در قالب پروپوزال ارائه دهند و مراحل کارشان را بنویسند و گزارش بدهند(کد7)  برای هر دانشجو چهار الی پنج سوال را می‌توان مشخص کرد بعد از آنها خواست یا در قالب یک ویس و یا درقالب فیلم زنده،  پاسخ دهند چون وقتی از دانشجویان سوال پرسیده می‌شود مثل آزمون واقعی خواهد بود و راه تقلبی وجود نخواهد داشت (کد 15). به تعداد دانشجویان سوال‌ها و گزینه‌های متفاوت طرح شود این کار هم در ارزشیابی‌های حضوری مؤثر است و هم الکترونیکی(کد9).	- طرح سوالات کاربردی و عملکردی     -ارزشیابی از طریق پرسش و پاسخ صوتی یا در قالب ارائه فیلم همراه با مشارکت همه دانشجویان   - ارائه تصادفی تعدادی سوال از بانک سوال به هر دانشجو	تغییر در شیوه  طراحی سوالات تأکید بر ارتباطات صوتی و تصویری زنده ارائه سوال‌های متفاوت به دانشجویان مختلف به منظور کاهش احتمال تقلب چیدمان تصادفی گزینه‌های هر سوال برای هر دانشجو جهت جلوگیری از تقلب	تغییر در شکل  ظاهری آزمون‌های ارزشیابی

 

همان طوری که در جدول (4) مشاهده می‌شود، راهکارهای پیشنهاد شده از سوی اساتید شامل: 4 مضمون فراگیر (استفاده از ارزشیابی ترکیبی، استفاده از ارزشیابی چندگانه (تلفیقی)، ارزشیابی مبتنی بر کوییز، تغییر در شکل ظاهری آزمون‌های ارزشیابی)، 11 مضمون سازمان‌دهنده (ارزشیابی حضوری، ارائه‌های کلاسی در بستر سامانه‌های الکترونیکی، ارزشیابی عملکرد دانشجویان از زوایای مختلف، خودارزشیابی، ارزشیابی‌های تکوینی متعدد و ارائه بازخورد شخصی، تغییر در ساختار زمانی آزمون‌ها، برگزاری آزمون در فواصل زمانی مختلف، تغییر در شیوه طراحی سوالات، تأکید بر ارتباطات صوتی و تصویری زنده، ارائه سوال‌های متفاوت به دانشجویان مختلف به منظور کاهش احتمال تقلب و چیدمان تصادفی گزینه‌های هر سوال برای هر دانشجو) و 13 مضمون پایه می‌باشد.

 

بحث و نتیجه‌گیری

در این پژوهش به منظور شناسایی چالش‌های ارزشیابی الکترونیکی نظرات اساتید دانشگاه پیام نور سنجیده شد. بر اساس نتایج حاصل از تحلیل سؤال اول پژوهش مبنی بر اینکه چالش‌های ارزشیابی آنلاین در دوران کرونا چه بوده است؟ از نظر مشارکت کنندگان، مهم ترین چالش‌ها شامل (مشکلات ناشی از امکانات سخت‌افزاری و نرم‌افزاری، فقدان دانش مبتنی بر فناوری، افزایش تقلب (سرقت علمی)، کاهش تعاملات، مشکلات فرهنگی-اجتماعی و مشکلات جسمی و روانی است. چالش اول حاکی از محدودیت‌های زیر ساختی استفاده از اینترنت در کشور است؛ مانند قطعی و سرعت پایین اینترنت، اشکالات فنی نرم افزار ادوب کانکت و بالا بودن هزینه و حجم اینترنت پرمصرفی آموزش الکترونیکی است. نتایج این یافته با یافته‌های ((Safford & Stintone, 2016، (Naseri, 2004)، (Habibi et al, 2021)، (Zamani et al, 2015)، (Kian, 2019) همسوست. نتایج این پژوهش‌ها نشان می‌دهد عمده ترین چالش‌های تدریس و انجام ارزشیابی معتبر، مشکلات مربوط به زیر ساخت‌های ICT و مسائل مربوط به منابع و پشتیبانی هستند. از آنجا که وجود امکانات برای اجرای برنامه آموزش الکترونیکی از ضروریات است، بنابراین برای اجرایی شدن موفق این برنامه مسئولان باید توجه ویژه‌ای به این امر داشته باشند. 

چالش دوم ناشی از عدم تجربه کافی اساتید در برگزاری آزمون‌های آنلاین و همچنین پایین بودن سواد رایانه ای و اطلاعاتی دانشجویان در استفاده از فناوری اطلاعات است. نتایج پژوهش (Habibi et al, 2021)، ((Zamani, 2017 نیز نشان داد که عمده‌ترین چالش‌ها، نداشتن مهارت‌های فنی لازم برای ارزیابی عملکرد از طریق محیط یادگیری الکترونیکی، عدم برگزاری دوره‌های توجیهی و مهارتی برای استادان و دانشجویان و عدم شفافیت ارزیابی‌هاست. در فرایند آموزش‌های الکترونیکی، آگاهی و دانش یک متغیر اصلی است و اساتید باید زیر بنای دانشی خود را بالا ببرند. هرچند ممکن است شناخت اولیه نسبت به یادگیری الکترونیکی داشته باشند؛ اما نباید به این سطح بسنده کرد زیرا با توجه به تازگی و نو بودن آموزش الکترونیکی باید اساتید آموزش‌های لازم را بدست آورند. یکی دیگر از چالش‌های مهم ارزشیابی الکترونیکی سرقت ادبی و تقلب است. دانشجویان با کمک گرفتن از کتاب و به اشتراک گذاشتن مطالب با یکدیگر مانع از انجام ارزشیابی معتبر توسط اساتید می‌شوند. البته موضوع عدم صداقت علمی در کلاس‌های آنلاین همواره وجود داشته و امروزه نیز در حال گسترش است. به نوعی که مرکز بین المللی صداقت علمی (2002) دریافت که حدود 70 درصد از فراگیران آنلاین از تقلب استفاده نموده و به نوعی عملکرد آنها بیانگر عدم صداقت علمی است. این یافته‌ها را می‌توان با یافته‌های (Zamani, 2017؛ Rezaei, 2020) همسو دانست. این پژوهشگران در تحقیق خود نشان دادند که بزرگترین عیب آزمون‌های الکترونیکی عدم کنترل شخص پاسخگو است. علاوه بر آن امکان تقلب و ارسال پاسخها از طریق شبکه‌های اجتماعی برای یک یا چند نفر از دوستان و حتی کل کلاس از جمله چالش‌های ارزشیابی الکترونیکی است. البته قابلیت‌ها و امکاناتی در محیط الکترونیکی وجود دارد گه می‌توان از آن برای غنا بخشیدن به جنبه‌های تربیتی شیوه‌های ارزشیابی بهره گرفت. با استفاده از این قابلیت‌ها و ظرفیت‌ها می‌توان بازنمایی چندگانه (Multiple representation)، خودآزمایی(Self-assessment)، همیارآزمایی(Peer-assessment) و ارزشیابی خورهیابانه(Self-directed assessment) را اجرا کرد تا کارکرد واقعی ارزشیابی که همانا کمک به یادگیری است، در ارزشیابی‌های الکترونیکی محقق شود(Seraji, 2008). در نگاه سنتی ارزشیابی به مثابه ابزاری برای تعیین میزان آموخته‌های دانشجو و تعیین نمره بوده است. لیکن این نوع نگاه به ارزشیابی نه تنها بخش زیادی از ظرفیت‌های تربیتی محیط یادگیری الکترونیکی را بلااستفاده باقی می‌-گذارد، بلکه موجب ایجاد چالش‌های اساسی مانند سرقت ادبی می‌شود. به طور کلی آنچه در تبیین این یافته قابل ذکر است، این است که آموزش الکترونیکی اگر چه نسبتا چندین سال است که در نظام آموزش عالی در جریان است اما ارزشیابی الکترونیکی هنوز جایگاه خود را در نظام آموزش عالی پیدا نکرده است و این ارزیابی بیش از آنکه نیازمند زیر ساخت‌های فناوری اطلاعات باشد، نیازمند فرهنگ سازی ارزیابی در کشور است.

یکی از چالش‌های دیگر در ارزشیابی الکترونیکی، در بعد اجتماعی و فرهنگی است. نگرش نامناسب جامعه در تشویق مدرک گرایی در فرهنگ غالب دانشگاهی و در بعد اجتماعی؛ عدم تعامل مستقیم استاد و دانشجو، عدم تعامل بین دانشجویان است که منجر به عدم شکل گیری مهارت‌های اجتماعی می‌شود. مصاحبه شوندگان معتقد بودند که بحث و تبادل نظر یکی از راه‌های اصلی ترویج تعامل بین همسالان در یادگیری الکترونیکی است. یافته‌های این بخش از پژوهش با یافته‌های (Vonderwell, 2003 & Rezaei, 2020) همسویی دارد که نشان دادند یکی از مشکلات ارزشیابی الکترونیکی، تعامل ضعیف دانشجویان با استادان است. ولی با نتایج یافته‌های (Al- Gahtani, 2020) در تضاد است که با رویکردی مثبت نشان داده است که اساتید بر این باورند که ارزشیابی الکترونیکی سبب بهبود مهارت‌های ارتباطی می‌شود،. دلیل ناهمسویی یافته‌های پژوهش حاضر با پژوهش ذکر شده این است که به نظر پاسخ گویان (اساتید) مسائلی مانند غلبه فضا و گفتمان کرونایی بر شرایط آموزشی کلاس‌های الکترونیکی، سبب منفعل شدن دانشجویان شده و همچنین، وجود ضعف‌های ساختاری و نبود ارتباط واقعی و عدم احراز هویت دانشچویان در ارزیابی، برای اساتید تجربه خوشایندی نداشته است. چالش پنجم به مشکلات جسمی (اضافه وزن، ضعف بینایی و..) و مشکلات روحی و روانی اشاره می‌کند. در این راستا، نتایج پژوهش ((Naseri, 2018, Vonderwell, 2003 نشان داد که اضطراب رایانه ای، آسیب‌های ناشی از کار در فضای مجازی و مشکلات جسمی و روانی یکی از چالش‌های آموزش الکترونیکی است که مانع جدی در امر یادگیری است.

یافته‌های پژوهش در رابطه با فرصت‌ها یا مزایای ارزشیابی الکترونیکی نشان داد که ارزشیابی از دانشجویان در یک سیستم الکترونیکی دارای مزایای متعددی است که عمده‌ترین آنها از لحاظ (اقتصادی، بهداشتی، فنی، آموزشی، زمانی) است. نتایج پژوهش‌های (Jefferson & Arnold, 2009; Bacon & Ham, 2020) نیز نشان می‌دهد با الکترونیکی شدن تحصیل دانشجویان، مهارت و خلاقیت اساتید در این حوزه بیشتر شده است.

مشارکت‌کنندگان برای غلبه بر چالش عمده شناسایی شده در این پژوهش راهکارهای متعددی را پیشنهاد دادند. چهار مورد از عمده‌ترین راهکارها عبارت است از: الف) ارزشیابی ترکیبی، ب) استفاده از ارزشیابی چندگانه (تلفیقی)، ج) ارزشیابی مبتنی بر کوییزها) د.تغییر در شکل ظاهری آزمون‌. تأمل در تجارب مشارکت‌کنندگان پیرامون راهکارهای ذکر شده بیانگر آن است که استفاده از راهکار اول‌، اگر به‌خوبی مدیریت شوند مزایای عدیده‌ای دارد؛ از جمله با ایجاد فرصت، دانشجویان علاقه‌مند و توانا می‌توانند شایستگی‌های خود را بروز دهند و در نهایت اگر این نوع ارزشیابی با ارزشیابی حضوری تلفیق گردد، افزایش بهره‌وری شاید مهم‌ترین پیامد ارزشیابی الکترونیکی باشد. راهکار دوم به عنوان یکی از راهکارهای موفق برای ارزشیابی معتبر مورد استفاده قرار داشته است. به اعتقاد پاسخگویان یکی از راه حل‌های بهبود ارزشیابی الکترونیکی در سیستم مدیریت یادگیری دانشگاه پیام نور استفاده از ابزارهای مختلف ارزشیابی الکترونیکی است. در این صورت می‌توان گفت که سطوح مختلف یادگیری دانشجویان سنجیده شده است چون بسنده کردن به یک روش ارزشیابی چه در حالت مرسوم و چه در شرایط شیوع بیماری و برگزاری امتحانات به صورت الکترونیکی اعتبار ارزشیابی را کاهش می‌دهد. لذا لازم است از روش‌های چندگانه تلفیقی برای ارزشیابی آموخته‌های فراگیران استفاده کرد. در این خصوص ماحصل پیشنهاد پاسخگویان به شرح ذیل ارائه شد: استفاده از کار پوشه‌های الکترونیکی، پرسش و پاسخ شفاهی، پروژه، خودارزشیابی، امتحان کتبی از طریق گوگل فرم و... نتایج این بخش از پژوهش با نتایج تحقیق(Rezaei,2020 & Kasani et al, 2021) همسوست که هر کدام در پژوهش‌های خود به طور جداگانه نشان دادند، برای اطمینان از تحقق اهداف آموزشی باید از شیوه‌های گوناگونی ارزشیابی استفاده نمود بدیهی است این روش می‌تواند معایب روش‌های قبلی را پوشش داده و نقاط قوت آنها را تقویت نماید. راهکار سوم؛ راهکار بسیار موفقی بوده است و نتایج پژوهشی (Ganji Arjenaki, 2017) نیز بیانگر آن است که استفاده از آزمونک‌ها(کوییز)، به صورت الکترونیکی در وقت اساتید صرفه جویی کرده و نیز دانشجویان به کمک این شیوه‌های نوین می‌توانند میزان یادگیری خود را بسنجند و نقاط ضعف را شناسایی و بر تقویت آن‌ها همت کنند. راهکار چهارم هرچند از سوی تعداد معدودی از مشارکت‌کننده‎ها به‌طور موفقیت‌آمیزی مورد استفاده قرار گرفته است؛ اما با توجه به مشکلات سخت‌افزاری یا نرم‌افزاری امکان استفاده از این راهکار توسط عده زیادی از مشارکت‌کننده‌ها وجود نداشته و این امر بیانگر تفاوت جدی کیفیت ارزشیابی دانشجویان در مناطق محروم و آموزشهای آنلاین است. 

  به هر حال نتایج پژوهش حاضر، رشته ای از مشکلات اساتید در هنگام ارزشیابی الکترونیکی را آشکار نمود که نتایج همه تحقیقات مذکور با این موضوع چه به روش کمی و چه با روش کیفی، هم راستا بوده و همگی بر مشکلات متنوعی در مسیر بهبود ارزشیابی الکترونیکی، تأکید داشته اند که نیازمند باز مدیریت و ترمیم هوشمندانه توسط نهادهای اثرگذار است. البته باید این نکته را هم در نظر داشت که محیط یادگیری الکترونیکی صرفا مکملی برای آموزش فیزیکی است نه جایگزین آن. بدین خاطر باید سقف مطالبات از این محیط نیز در چارچوب همین ویژگی ماهیتی تعیین گردد.

در مجموع می‌توان گفت که ارزشیابی برنامه درسی مستلزم مدیریت و برنامه ریزی در جهت انجام اقدامات موثر است و با توجه به این که دانشگاه پیام نور یکی از دانشگاه‌های فعال کشور در زمینه آموزش الکترونیکی است، لذا، با توجه به بستر مناسب در این دانشگاه پیشنهاد می‌شود جهت رسیدن به نتایج مطلوب ارزشیابی در طول ترم، ارزشیابی مستمر در قالب کوئیزها، تکلیف‌ها و تمرین‌های کلاسی، پروژه‌های درسی توسط اساتید صورت گیرد. دوره‌های ارزشیابی الکترونیکی برای دانشجویان و اساتید به لحاظ روش‌ها راه اندازی گردد؛ و یک سیستم اینترنتی قوی و رایگان و قابل دسترس در مناطق مختلف جغرافیایی ایجاد و پهنای باند جهت افزایش سرعت دسترسی افزایش یابد. همچنین، با توجه به دشواری‌های انجام ارزشیابی الکترونیکی، پیشنهاد می‌شود تمهیداتی جهت برگزاری دوره‌های آموزشی دراین راستا و با هدف بازآموزی و نوآموزی اساتید، برگزار شود.

در این پژوهش هر چند مصاحبه کیفی با نمونه محدودی از مشارکت‌کنندگان نمی‌تواند نتایج قابل تعمیمی را به لحاظ آماری داشته باشد؛ اما می‌تواند لایه‌های پنهان و عموماً مغفول مانده در این حوزه را بیشتر آشکار نماید. بنابراین، به پژوهشگران آینده نیز پیشنهاد می‌شود که با انجام پژوهشی گسترده‌تر (کمی) یافته‌های به دست آمده از این پژوهش را در گروه‌های وسیع‌تری مورد آزمون قرار دهند. همچنین طی پژوهشی مشابه به‌ بررسی چالش‌های ارزشیابی از آموزشهای آنلاین و راهکارهای مواجه با آنها توسط اساتید باسابقه بالا پرداخته و نتایج حاصل را با یافته‌های پژوهش کنونی مورد مقایسه قرار دهند.

 

منابع

Abbasi Kasani, H., Shams Mourkani, G., Seraji, F., Rezaeizadeh, M., & Abedi, H. (20200). E-learning challenges in Iran: A research synthesis. International Review of Research in Open and Distributed Learning, 21(4), 96-116.

AL-Emran, M., & Salloum, S. A.(2020). Students Attitudes Towards the Use of Mobil Technologies in E-valuation. Int. J. Intract. Mob. Technol., 11(5) 195-202.

Adibmanesh, M. (2021). Living experience of primary and secondary school teachers from teaching challenges and providing solutions to empower teachers to teach in cyberspace (Jouranal of Research in Curriculum Planning), vol 18 No 43, 60-75.

Al-Qahtani, M.H. (2020). Teachers and students perceptions of virtual classes and Effectiveness of virtual classes in Enhancing Communication Skills. Classes in Enhancing Communication Skills. Arab World English Journal (AWEJ) Special Issue: The Dynamics of EFL in Saudi Arabia. doi: 10.2139/ssrn.3512530.

Bararim N., khorasanim A., Rezaeizadeh, M., & Alami, F. (2019). Educational standads for feedback design in e-learning environments. based on the Bloom-Anderson classification. Educational Scinces (Journal of Educational Scinces and Psyclogy., 26(1), 155-174.

Boyle,P.Pettigrove, M.& Atkinson, C. (2009).Australian national universitystudentevaluation of teaching ANUSET: a guide for academic staff. 3rded. Canberra: Australian National

Bacon, A. K., & Ham, L. S. (2020). Attention to social threat as a vulnerability to the development of comorbid social anxiety disorder and alcohol use disorders: an avoidance-coping cognitive model. Addictive behaviors, 35(11), 925-939.

Glaser, B.& Strauss, A. (1998). The discovery of grounded theory , Aldine Publishing Company. Chicago.

Ganji Arjenaki, B. (2017). Surveying The Quality of Electronic Tests in The Students Satisfaction, Education Strategies in Medical, 10(3):180-188.

Habibi, A., Mukminin, A., Yaqin, L. N., Parhanuddin, L., Razak, R. A., Nazry, N. N. M., . . . Fathurrijal, F. (2021). Mapping instructional barriers during covid-19 outbreak: Islamic education context. Religions, 12(1), 50.

Jafari, M. Chenari, Kh, Nourizadeh, SH. (2021). Types of e-Learning and Expert-Based Evaluation. Intelligent Multimedia Processing and Communication Systems (IMPCS).1(1).

Jefferson, R. N., & Arnold, L. W. (2009). Effects of virtual education on academic culture: Perceived advantages and disadvantages. Online Submission, 6(3), 61-66.

Kian, M.(2019). Identifying Mobail Phone Educational Capabilities for Graduate Students. Journal of Higher Education Curriculum Studies Vol9. No18,135-158.

Lee, A. N., Nie, Y., & Bai, B. (202o). Perceived principalꞌs learning support and its relationships with psychological needs satisfaction, organisational commitment and change-oriented work behaviour: A Self-Determination Theory’s perspective. Teaching and Teacher Education, 93, 103-110.

Mirani Sargazi, N,. Heydar Abravan, M, J,. Asgari, M,. and Kosh Khahesh, R. (2022). Corona and the Challenges of Virtual Education in Iran, 2nd Conference on Psychology, Educational Science, Social Sciences and Counseling, Tehran.

Mihai, S,. & Grabka, D. (2019). U. S. Patent No. 10, 339.616. Washington, DC: U.S. Patent and Trademark Office.

Naseri. (2018). Examining the lived experience of humanities department professors of evaluation methodsStudents and its psychological consequences. . Master thesis of Ferdowsi University Mashhad.

Rezaei, A. M. (2020). Evaluating what students have learned during the Corona: Challenges and solutions. Quarterly of Educational Psychology, 16(56), 179-214.

Rezaei, SH,. Malkeian, F, GHasemi, A, Mohammadi, S,.(2023). Professors'Lived Experience of Online evaluation in the e-learning system of Islamic Azad University during the covid-19 epidemic, challenges and solutions, Information and Communication Technology in Educational Sciences

Roshani ali bene see H. Shahalizadeh M . Heydari S, Fattahi M. (2017). Implementation Pathology of the E-learning Curriculum in Iran (Cacse Study Shahid Beheshti University of Tehran). 7 (2): 44-61.

Seraji, F. (2014). Evaluation in virtual enviroment . Iranian Encyciopedia of Curriculum 1-5 [In Persian]

Safford. K., & Stinton, J. (2016). Barriers to belended digital distance vocational Learning for non-traditional students. British Journal of Educational Technology, 47(1). 135-150.

Sarlak M. (2018). Virtualization of Universities in Iran. J of Information Technology;23: 45-51.

Urdan, A. (2002). Corporate e-learning: Exploring a new Frontier, Comput Educ, 4(1), 23-41.

Vonderwellm S. (2003). An examination of asynchronous communication experienses and perspectives of students in an online course: A case study. Internet and Higher Educatin, 6, 77-90.

Sabon, Y. o. , Istyiono, E., & Salamah, U. (2022). Technology Literacy in the Development of Mathematics Learning in Indonesia During the Covid- 19 Pandemic. In 5th International Conference on Current Issues in Education (ICCIE) (pp. 137-142). Atlantis Press.

Zamani, B. E., Parhizi, R., & Kaviani, H. (2015). Identify challenges of evaluating students' academic performance e-courses. Technology of Education Journal (TEJ), 9(2), 105-112.

Zaikin, O,: Kushtina, E. & Rozewski, P. (2005). Algorithm of the Conceptual Seheme Formatiom for Knowledge Domain in Distance Learning, European. Journal of Operational Research, 2(4), 327-340.

 

 

 

---

Related articles