Examining Indicators of Validity in Online Formative Assessment: Insights from Iranian EFL Teachers

Subject Areas : آموزش زبان انگلیسی

Alireza Maleki ¹ , Hosain Khodabakhshzadeh ² , Mitra Zeraatpisheh ³ , Purya Baghaei ⁴

1 - دانشگاه آزاد اسلامی واحد تربت حیدریه. ایران
2 - دانشگاه آزاد اسلامی واحد تربت حیدریه
3 - دانشگاه آزاد اسلامی مشهد. ایران
4 - دانشگاه آزاد اسلامی واحد مشهد. ایران

Received: 2024-01-22 Accepted : 2024-10-06 Published : 2024-05-28

Keywords: Validity, Online formative assessment, Indicators, Place of living, Observation,

Abstract :

ارزشیابی‌های تکوینی آنلاین معتبر برای اندازه ‌گیری دقیق پیشرفت دانش‌آموزان و تصمیم‌گیری آموزشی موثر در یادگیری دیجیتال بسیار حائز اهمیت است. این مطالعه بر پایه رویکرد کمی دو هدف اصلی را دنبال کرد. ابتدا، هدف این مطالعه بررسی میزان استفاده معلمان زبان انگلیسی ایرانی شاغل در دانشگاه ها و موسسات زبان از نشانگرهای روایی ارزشیابی تکوینی آنلاین بود. بیست و یک کلاس آنلاین در سه جلسه با استفاده از یک مشاهده شدند. هدف دوم این مطالعه تعیین تأثیر محل اقامت معلمان زبان انگلیسی به عنوان زبان خارجه بر روایی ارزشیابی تکوینی آنلاین بود. به این منظور،از ۳۱۶ معلم زبان انگلیسی ایرانی از محیط‌های متنوع زبان انگلیسی، از جمله مدارس دولتی، مدارس خصوصی، موسسات زبان و دانشگاه‌ها، درخواست شد تا مقیاس اعتبار ارزشیابی تکوینی آنلاین توسعه یافته توسط ملکی و همکاران (۲۰۲۳) را تکمیل کنند. نمونه شامل معلمان زن و مرد با گروه‌های سنی و مدارک تحصیلی متفاوت بود. یافته‌های این مطالعه نشان داد که معلمان زبان انگلیسی ایرانی در دانشگاه ها و موسسات زبان نشانگرهای متمرکز بر دانش‌آموز در روایی ارزشیابی تکوینی آنلاین را نادیده می‌گیرند. علاوه بر این، آشکار شد که محل اقامت معلمان زبان انگلیسی می‌تواند بر روایی ارزشیابی تکوینی آنلاین تأثیرگذار باشد. این مطالعه تلویحات متعددی برای معلمان زبان انگلیسی و سیاست گذاران دارد. این یافته‌های بر ماهیت مبتنی بر زمینه در روایی ارزشیابی تکوینی آنلاین تأکید می‌کند. همچنین، به معلمان زبان انگلیسی ایرانی کمک می‌کند تا حوزه‌های خاصی که نیاز به توجه و بهبود بیشتر برای افزایش روایی ارزشیابی‌های تکوینی آنلاین آن‌ها دارند را شناسایی کنند.

References:

Arefian, M. H. (2022). Perceptions of self-assessment literacy and self-directed reflection during online learning for Iranian EFL student teachers. Reflective Practice, 23(6), 623–634. https://doi.org/10.1080/14623943.2022.2096584
Baleni, Z. G. (2015). Online formative assessment in higher education: Its pros and cons. Electronic Journal of e-Learning, 13(4), 228-236. ‏
Dörnyei, Z. (2007). Research methods in applied linguistics: Quantitative, qualitative, and mixed methodologies. Oxford University Press.
Elmahdi, I., Al-Hattami, A., & Fawzi, H. (2018). Using Technology for Formative Assessment to Improve Students' Learning. Turkish Online Journal of Educational Technology-TOJET, 17(2), 182-188.
Esfandiari, R., & Arefian, M. H. (2023). Developing collective eyes for Iranian EFL teachers’ computer-assisted language assessment literacy through internet-based collaborative reflection. Education and Information Technologies, 1-22.‏ https://doi.org/10.1007/s10639-023-12201-w.
Ghanbari, N., & Nowroozi, S. (2021). The practice of online assessment in an EFL context amidst COVID-19 pandemic: views from teachers. Language Testing in Asia, 11(1), 1-18. https://doi.org/10.1186/s40468-021-00143-4.‏
Gikandi, J. W., Morrow, D., & Davis, N. E. (2011). Online formative assessment in higher education: A review of the literature. Computers & Education, 57(4), 2333-2351. https://doi.org/10.1016/j.compedu.2011.06.004. ‏
Kilis, S., & Yildirim, Z. (2019). Posting patterns of students’ social presence, cognitive presence, and teaching presence in online learning. Online Learning, 23(2), 179-195. https://doi.org/10.24059/olj.v23i2.1460.
Larson-Hall, J. (2015). A guide to doing statistics in second language research using SPSS. Routledge.
Liu, Y., & Zhang, H. (2022). Exploring the Influencing Factors and Validity of Formative Assessment in Online Learning. Journal of Education and e-Learning Research, 9(4), 278-287.‏ https://doi.org/10.20448/jeelr.v9i4.4288.
Maleki, A., Khodabakhshzadeh, H., Zeraatpishe, M., & Baghaei, P. (2023). Online formative assessment validity: Theoretical perspectives, EFL teachers' beliefs, and practical implications. [Unpublished doctoral dissertation]. Islamic Azad University of Torbate Heydarieh. Iran.
Martin, F., Ritzhaupt, A., Kumar, S., & Budhrani, K. (2019). Award-winning faculty online teaching practices: Course design, assessment and evaluation, and facilitation. The Internet and Higher Education, 42, 34–43. https://doi.org/10.1016/j.iheduc.2019.04.001.
McLaughlin, T., & Yan, Z. (2017). Diverse delivery methods and strong psychological benefits: A review of online formative assessment. Journal of Computer Assisted Learning, 33(6), 562-574. https://doi.org/10.1111/jcal.12200‏.
Messick, S. (1989). Validity. In R. Linn (Ed.), Educational measurement (pp. 13–103). Macmillan.
Nayernia, A., Mohebbi, H. (2023). Teachers’ Online Language Assessment Literacy. In: Tajeddin, Z., Griffiths, C. (eds) Language Education Programs. Language Policy, vol 34. Springer, Cham. https://doi.org/10.1007/978-3-031-38754-8_8
Ogange, B. O., Agak, J. O., Okelo, K. O., & Kiprotich, P. (2018). Student perceptions of the effectiveness of formative assessment in an online learning environment. Open Praxis, 10(1), 29-39. https://search.informit.org/doi/10.3316/informit.423669258504414.
Pallant, J. (2016). SPSS survival manual: A step by step guide to data analysis using SPSS for windows. Open University Press.
Ryan, T., Henderson, M., Ryan, K., & Kennedy, G. (2021). Designing learner-centred text-based feedback: a rapid review and qualitative synthesis. Assessment & Evaluation in Higher Education, 46(6), 894-912.‏ https://doi.org/10.1080/02602938.2020.1828819.
Shaw, S., & Crisp, V. (2011). Tracing the evolution of validity in educational measurement: Past issues and contemporary challenges Research Matters: A Cambridge Assessment publication, 11, 14-17.
Sudakova, N. E., Savina, T. N., Masalimova, A. R., Mikhaylovsky, M. N., Karandeeva, L. G., & Zhdanov, S. P. (2022). Online Formative Assessment in Higher Education: Bibliometric Analysis. Education Sciences, 12(3), 209. https://doi.org/10.3390/educsci12030209.
Waheeda, A., Shaheeda, F., Muna, F. & Shina, A. (2023). Online assessments in Maldivian higher education institutions: Challenges faced by students. Issues in Educational Research, 33(3), 1233-1249. http://www.iier.org.au/iier33/waheeda.pdf
Weleschuk, A., Dyjur, P., & Kelly, P. (2019). Online Assessment in Higher Education. Taylor Institute for Teaching and Learning Guide Series. Calgary, AB: Taylor Institute for Teaching and Learning at the University of Calgary. Retrieved from https://taylorinstitute.ucalgary.ca/resources/guides