شناسایی عوامل موثر بر موفقیت ارزیابی تکوینی دیجیتال در آموزش و یادگیری الکترونیکی مبتنی بر روش فراتركيب
الموضوعات : Instructional Excellence of management
میترا امیدوار
1
,
سید محمدباقر جعفری
2
,
غلامرضا شریفی راد
3
,
حسین کریمیان
4
1 - دانشجوی دکتری مدیریت آموزشی، دانشکدۀ علوم انسانی، دانشگاه آزاد قم، قم، ایران
2 - دانشیار، گروه مدیریت صنعتی و فناوری، دانشکدۀ مدیریت و حسابداری، دانشکدگان فارابی دانشگاه تهران، قم، ایران
3 - استاد، گروه مدیریت آموزشی، دانشکدۀ علوم انسانی، دانشگاه آزاد قم، قم، ایران
4 - دانشیار، گروه مدیریت آموزشی، دانشکدۀ علوم انسانی، دانشگاه آزاد قم، قم، ایران
الکلمات المفتاحية: ارزیابی تکوینی دیجیتال, فراترکیب, تحلیل محتوا, سنجش یادگیری, یادگیری الکترونیکی.,
ملخص المقالة :
مقدمه: نظام تعلیم و تربیت همانند سایر نظام‌ها دارای اصول و ویژگی‌های خاص خود است. یکی از ویژگی‌های اساسی و لاینفک آن سنجش و ارزیابی فرآیند آموزش و یادگیری دانش آموزان است. آموزش مبتنی بر وب، رویکردی از انواع یادگیری است. يکی از مهم‌ترين چالش‌های سيستم‌های يادگيری‌الکترونيکی، ارزیابی سطح یادگیری فراگیران است. فقدان سازوكارهای صحيح سنجش و ارزيابی تحصیلی (علیزاده،2016)، در آموزش و یادگیری الکترونیکی (رحیمی،2017)، مدیران را به اجرای راه‌کارها و برنامه‌های زودگذر با هزينۀ اضافی مواجه كرده است. این امر در نتیجه عدم شناسایی صحیح مولفه‌های ارزیابی در آموزش و یادگیری الکترونیکی است. از این‌رو، هدف پژوهش حاضر، شناسایی عوامل مؤثر بر موفقیت ارزیابی تکوینی دیجیتال در یادگیری الکترونیکی بوده است.
مواد و روش‌ها: برای حل مسـئلۀ پـژوهش و به منظور تبيين يك مدل جامع، با مرور سيستماتيك ادبيات از روش کیفی فراتركيب اسـتفاده شـد. فراتركيب فرايند جست وجو، ارزيابی، تركيب و تفسير مطالعات كمی يا كيفی در يك حوزۀ خـاص است (کاتالانو،2013). گام‌های دنبال‌شده در اين پـژوهش، براسـاس روش هفـت‌مرحلـه‌ای سندلوسکی و بارسو (2006) بود. جامعه و نمونه، مقالات منتشر‌شده در بازۀ زمانی سال‌های 2000 تا 2022 و روش نمونه‌گیری، پایش چندمرحله‌ای و ابزار گردآوری، پایگاه داده‌ی سایت‌ها و نشریات معتبر بود و به جهت تجزیه و تحلیل از روش تم استفاده شد. این تحلیل شامل یک رفت و برگشت مستمر بین مجموعه داده‌ها و خلاصه‌های کدگذاری شده و تحلیل داده‌ها بود. به منظور تعيين ضريب اهميت و اولويت هر يك از مفاهيم كشف شده و کدگذاری شده از روش كمی آنتروپـی شانون (شانون،1948) استفاده شد. بنابراین، با تحلیل مقالات انتخاب‌شده و بررسی میزان پشتیبانی هر شاخص توسط منابع مختلف، وزن شاخص‌ها محاسبه شد. سپس مجموع وزن شاخص‌ها در هر بُعد به‌عنوان وزن کل آن بُعد در نظر گرفته شد و در نهایت، ضریب اهمیت نهایی هر شاخص محاسبه گردید.
برای بررسی روایی روش فراترکیب از شاخص CASP استفاده شد و برای بررسی پایایی پنج مقاله که محققان کدگذاری کرده بودند به صورت تصادفی انتخاب و در اختیار یکی از خبرگان برای ارزیابی قرار داده شد سپس نتایج حاصل از کدگذاری دو محقق در جدول جمع‌آوری و با شاخص کاپا سنجش شد.از آنجا که، تحقيق حاضر با هدف شناسایی عوامل موثر بر موفقیت ارزیابی تکوینی دیجیتال در یادگیری الکترونیکی انجام شده است لذا براساس هدف، کاربردی است. از سوی ديگر، از آنجا كه داده‌هـا كـاملاً طبيعـی و بـدون دسـتكاری گـردآوری شده‌اند، در زمرۀ تحقيقات توصيفی (غيرآزمايشي) به‌شمار می‌آید.
نتایج و یافته‌ها: در بخش کیفی و با رویکرد فراترکیب بر اساس تحلیل محتوای 76 مقاله منتخب نهایی، در مجموع دو مقولۀ اصلی، پنج بُعد و 80 شاخص به عنوان عوامل مؤثر بر موفقیت ارزیابی تکوینی در راستای استراتژی‌های دیجیتال شناسایی و کدگذاری شدند. یافته‌های این مرحله نشان دادند که در مطالعات پیشین، پژوهشی با رویکردی به این میزان جامع، نظام‌مند و تلفیقی انجام نگرفته است. اغلب پژوهش‌های پیشین تنها به جنبه‌های محدود یا خاصی از ارزیابی تکوینی پرداخته‌اند، در حالی‌که در این مطالعه، ابعاد مختلف آن به شکل پویا و ساختاریافته بررسی شدند. از یافته‌های به‌دست‌آمده مشخص گردید که عوامل موثر بر موفقیت ارزیابی تکوینی دیجیتال به طورکلی شامل دو مقولۀ اصلی انسانی و فنی است. در مقولۀ انسانی ابعاد معلم، دانش‌آموز و در مقولۀ فنی، ابعاد محتوای آموزشی، زیرساخت تجهیزات دیجیتال و محیط قرار گرفتند.در بخش کمّی و تعیین اولویت‌ها، با استفاده از روش آنتروپی شانون، میزان پراکندگی داده‌ها و تأکید منابع مختلف بر هر شاخص اندازه‌گیری شد و بر اساس آن، شاخص‌ها اولویت‌بندی شدند. شاخص‌ها بر اساس درجۀ اهمیت و میزان تأثیرگذاری آن‌ها در موفقیت ارزیابی تکوینی دیجیتال مرتب شدند به‌طوری که شاخص‌های با بالاترین اولویت در صدر جدول قرار گرفتند.تعداد شاخص‌های موثر بر موفقیت ارزیابی تکوینی دیجیتال در بعد معلم 20 مورد و در بعد دانش‌آموز تعداد 21 شاخص یافت شد. در مقولۀ فنی، بعد محتوای آموزشی 9 شاخص موثر و در بعد زیرساخت ابزار دیجیتال 11 شاخص و نهایتاً در بعد محیط 19 شاخص موثر به دست آمد. بر اساس اسناد و منابع موجود، ازمجموع 80 شاخص ذکر شده، بیشترین فراوانی به "ارائۀ بازخورد مناسب از طرف معلم به دانش‌آموز" اختصاص یافت. این مقدار برابر با 26 تکرار بود که با محاسبات آنتروپی شانون رتبۀ اول را در عوامل موثر بر موفقیت ارزیابی تکوینی دیجیتال از آن خود کرد.از سوی دیگر با مقایسه مجموع فراوانی هریک از ابعاد با یکدیگر شامل "معلم، دانش آموز، محتوای آموزشی، زیرساخت ابزار دیجیتال و محیط" نتیجۀ دیگری حاصل گشت. این نتیجه حاکی از آن بود که بیشترین تمرکز بر روی عنصر "دانش‌آموز" بود. البته توازن مناسبی بین عناصر "معلم با فراوانی 80، دانش‌آموز با فراوانی 84، زیرساخت ابزار دیجیتال با فراوانی 82 و محیط با فراوانی 80" برقرار بود. در این میان عنصر "محتوای آموزشی" با فراوانی 38 تقریبا به میزان نصف سایر عناصر تاثیر خود را نشان داد.
بحث و نتیجه‌گیری: در میان عوامل مؤثر بر موفقیت ارزیابی تکوینی در چارچوب بهره‌گیری از ابزارهای دیجیتال، بیشترین تأکید بر ارائۀ بازخورد مؤثر (ویلسون،2016)؛ (رینولز،2020)؛ (ریز،2011)؛ (مایر،2016)؛ (هتی،2007)؛ (کاوی،2013)؛ (ویلیام،2016)، به‌ویژه در رابطه با فعالیت‌ها، تلاش‌های یادگیرندگان و بازخورد آنی و برخط بوده است. این یافته‌ها نشان دادند که طراحی و استقرار ساختارها و فرآیندهایی که از محیط‌های یادگیری مجازی پشتیبانی می‌کنند، در صورتی که با اولویت‌های شناسایی‌شده در این پژوهش همراستا باشند، می‌توانند نقش مهمی در تحقق اهداف یادگیری ایفا کنند.از دیگر نتایج قابل توجه حاصل از تحلیل کمی در این پژوهش، کم‌توجهی به عوامل فردی مؤثر بر یادگیری در مطالعات پیشین است؛ مانند شاخص اعتماد به نفس پایین و استرس بالا در پژوهش (تقوی‌نیا،2017)؛ کاهش فشار روانی دانش‌آموز (کلیمووا،2019)؛ عدالت آموزشی (تقی‌زاده،1397) و عدم مقایسه بین دانش‌آموزان (مک‌میلان،2010). با توجه به رتبه‌بندی شاخص‌های مؤثر بر ارزیابی تکوینی دیجیتال که در این تحقیق ارائه شد، پیشنهاد می‌شود در طراحی مدل‌های یادگیری الکترونیکی، توجه بیشتری به مؤلفه‌های فردی یادگیرندگان معطوف گردد. این رویکرد می‌تواند زمینه‌ساز ارتقاء کیفیت و اثربخشی ارزیابی‌های تکوینی در بستر آموزش الکترونیکی شده و بستر مناسبی را برای انجام پژوهش‌های آینده فراهم آورد
Abasi, H., & et al. (2023). Solutions to improve formative assessment in e-learning environments. New Approaches in Educational Administration. doi:10.30495/JEDU.2023.28524.5723
Aldon, G. e. (2015). Which support technology can give to mathematics formative assessment? The FaSMEd project in Italy and France. .Quaderni di Ricerca in Didattica (Mathematics), 25, 631-641.
Alizadeh, S. e. (2016). Analyzing the quality of classroom assessment of teachers; A mixed research study. Quarterly journal of research in school and virtual learning, 17(5), 63-84. [in perseian].
Baker, R. e. (2011). Detecting learning moment by moment. International Journal of Artificial Intelligence in Education, 21(1-2), 5-25.
Beesley, A. e. (2018). Enhancing formative assessment practice and encouraging middle school mathematics engagement and persistence. School Science & Mathematics, 118(1), 4-16.
Bennet, R. (2011). Formative assessment acritical review assessment in Education. principles,policy and practice, 18(1), 5-25.
Bicer, A. e. (2017). Integrated STEM assessment model. EURASIA Journal of Mathematics Science and Technology Education, 13(7), 3959-3968.
Black, P. W. (2004). Teachers developing assessment for learning: impact on student achievement. Assessment in Education, 11(1), 49-65.
Black, P. W. (2018). Classroom assessment and pedagogy. Assessment in Education: principles, policy, & practice, 25(6), 551-575.
Burkhardt, H. S. (2019). Formative assessment in mathematics. In H. B. Andrade (Ed.), Handbook of formative assessment in the disciplines (pp. 35-67). New York: Routledge.
Burns, M. e. (2010). The effects of technology-enhanced formative evaluation on student performance on state accountability math tests. Psychology in the Schools, 47(6), 582-591.
Catalano, A. (2013). Patterns of graduate students’information seeking behavior:a meta-synthesis of the literature. Journal of Documentation, 69(2), 243-274.
Cherner, T. S. (2017). Reconceptualizing TPACK to meet the needs of twenty-first-century education. The New Educator, 13(4), 329-349.
Clark, R. K. (2006). Why minimal guidance during instruction does not work: An analysis of the failure of constructivist, discovery, problem-based, experiential, and inquiry-based teaching. Educational Psychologist, 41(2).
Cowie, B. e. (2013). Expanding notions of assessment for learning inside science and technology primary classrooms. Rotterdam, The Netherlands: Sense.
Crompton, H. e. (2019). Mobile learning and student cognition: A systematic review of PK-12 research using Bloom’s Taxonomy. British Journal of Educational Technology, 50(2), 684–701.
Decristan, J. e. (2015). Embedded formative assessment and classroom process quality: How do they interact in promoting science understanding? American Educational Research Journal, 52(6), 1133-1159.
Dolin J., B. P. (2018). Exploring relations between formative and summative assessment. Transforming assessment through an interplay between practice, research and policy. In E. R. Dolin J. (Ed.), Contributions from science education research (pp. 53-80). Cham , Switzerland: Springer.
Dolin, J. E. (Ed.). (2018). Transforming assessment through an interplay between practice, research and policy. Contributions from science education research. Switzerland: Springer.
Dukuzumuremyi, S. S. (2018). Interactions between pupils and their teachers in collaborative and technologyenhanced learning settings in the inclusive classroom. Teaching and Teacher Education, 76, 165-174.
Dunn, K. M. (2009). A critical review of research on formative assessment: The limited scientific evidence of the impact of formative assessment in education. Practical Assessment, Research, & Evaluation, 14(7), 1-11.
Duschl, R. (2019). Learning progressions: framing and designing coherent sequences for STEM Education. Disciplinary and Interdisciplinary Science Education Research, 1(4). Retrieved February 4, 2020.
European Commission. (2016). FaSMEd summary report. Retrieved February 4, 2020, from https://cordis.europa.eu/docs/results/612/612337/final1-finalfasmed- summary-report-final.
Faber, J. e. (2017). The effects of a digital formative assessment tool on mathematics achievement and student motivation: Results of a randomized experiment. Computers & Education, 106, 83-96.
Feldman, A., & Capobianco, B. M. (2008). Teacher learning of technology enhanced formative assessment. Journal of Science Education Technology, 17, 82-99.
Finlayson, O. M. (2017). Building teacher confidence in inquiry and assessment: Experiences from a Pan- European Collaboration. In A companion to research in teacher education (M. Peters, B. Cowie, I. Menter ed., pp. 825-838). Singapore: Springer.
Gail Morreim, J. (2016). How Digital Formative Assessment Increases student Achievment and Motivation. Saint Paul.Minnesota: Hamline University.
Geer, R. e. (2017). Emerging pedagogies for the use of iPads in schools. British Journal of Educational Technology, 48(2), 490-498.
Griffin, P. (2015). Assessment and teaching of 21st century skills: Methods and approaches. (E. Care, Ed.) Dordrecht: Springer.
Griffin, P. M. (2012). Assessment and teaching of 21st century skills. (E. Care, Ed.) Dordrecht: Springer.
Harris, J. e. (2017). TPCK/TPACK research and development: Past, present, and future directions. Australasian Journal of Educational Technology, 33(3), i-viii.
Haßler, B. e. (2016). Tablet use in schools: A critical review of the evidence for learning outcomes. Journal of Computer Assisted Learning, 32(2), 139-156.
Hattie, J. T. (2007). The power of feedback. Review of Educational Research, 77(1), 81-112.
Hayward, L. (2015). Assessment is learning: the preposition vanishes. Assessment in Education: principles, policy & practice, 22(1), 27-43.
Hickey, D. e. (n.d.). Assessment as learning: enhancing discourse understanding, and achievement in innovative science curricula . Journal of Research in Science Teaching, 49(10), 1240-1270.
Hmelo-Silver, C. (2004). Problem-based learning: What and how do students learn? Educational Psychology Review, 16(3), 235-266.
Hondrich, A. e. (2018). Formative assessment and intrinsic motivation: The mediating role of perceived competence. eitschrift für Erziehungswissenschaft, 21, 717-734.
Hooker, T. (2017). Transforming teachers’ formative assessment practices through ePortfolios. eaching and Teacher Education, 67, 440-453.
Jennings, L. (2010). Inquiry-based learning. CA, Encyclopedia of Educational Reform and Dissent: SAGE.
Jönsson, A. (2020). Definitions of formative assessment need to make a distinction between a psychometric understanding of assessment and “evaluate judgements.”. Frontiers In Education, 5(2), 1-4.
Khanifar, H. e. (2015). Designing an entrepreneurial process model in Iran's food industry. Entrepreneurship Development, 9th, , 219-237. [in perseian].
Khodadahosseini, S. (2013). Designing an entrepreneurial branding process model in small and medium businesses in the food industry. Brand Management Quarterly, 1, 13-45 [in perseian].
Kimbell, R. (2012). Evolving project e-scape for national assessment. International Journal of Technology and Design Education, 22(2), 135-155.
Kimbell, R. a. (2007). E-scape portfolio assessment: Phase 2 report. Goldsmiths. University of London.
Kingston, N. N. (2011). Formative assessment: A meta-analysis and call for research. Educational Measurement: Issues and Practice, 30(4), 28-37.
Kippers, W. e. (2018). Teachers’ views on the use of assessment for learning and data-based decision making in classroom practice. Teaching and Teacher Education, 75, 199-213.
Kirschner, P. D. (2017). The myths of the digital natives and the multitasker. Teaching and Teacher Education, 67, 135-142.
Knowles, T. K. (2016). A conceptual framework for integrated STEM education. International Journal of STEM Education, 3(11), 1-11.
Koehler, M. J. (2009). What is technological pedagogical content knowledge? Contemporary Issues in Technology and Teacher Education, 9(1), 60-70.
Laal, M. (2013). Collaborative learning; elements. Social and Behavioral Sciences, 83, 814-818.
Lai, C. (2019). Trends of mobile learning: A review of the top 100 highly cited papers. British Journal of Educational Technology.
Larson, K. T. (2008). Continuous Feedback Pedagogical Patterns. In PLoP’08 Proceedings of the 15th Conference on Pattern Languages of Programs. New York: ACM.
Lashkarblouki, e. a. (2011). Designing a sustainable strategy process model using a hybrid approach. Strategic Management Thought, 6, 121-151. [in perseian].
Lee, H. F. (2012). Factors that affect science and mathematics teachers’ initial implementation of technology-enhanced formative assessment using a classroom response system. Journal of Science Education Technology, 21, 523-539.
Looney, J. (2019). Digital formative assessment: A review of the literature.
Lysaght, Z. O. (2017). Scaling up, writ small: using an assessment for learning audit instrument to stimulate site-based professional development, one school at a time. Assessment in Education: Principles, Policy & Practice, 24(2), 271-289.
Maier, W. W. (2016). Effects of a computer-assisted formative assessment intervention based on multiple-tier diagnostic items and different feedback types. Computers & Education, 95, 85-98.
Marjan Faber, J. (2020). Effect of digital formative assessment tools on teaching quality and student achievement. PhD Thesis, University of Twente.
Martin, M. e. (2017). TIMSS 2019 Assessment Design. In I. M. Martin (Ed.), TIMSS 2019 Assessment Frameworks (pp. 79-91).
McMillan, J; Cauley, K. (2010). Formative assessment techniques to support student motivation and achievement. Educational strategies, 83(1), 1-6.
Mishra, P. K. (2006). Technological pedagogical content knowledge: A framework for integrating technology in teacher knowledge. Teachers College Record, 108(6), 1017-1054.
Molenaar, I. e. (2019). What can moment-by-moment learning curves tell about students’ selfregulated learning? Learning and Instruction. Retrieved February 4, 2020.
Ng, W. (2012). Empowering scientific literacy through digital literacy and multiliteracies. In Hauppauge. NY: Nova Science Publishers.
Nicol, D., & Macfarlane, D. (2006). Formative assessment and self-regulated learning; A model and seven principles of good feedback practice. Studies in Higher Education, 31(2), 199–218.
Nikou, S. c. (2018). Mobile-based assessment: A literature review of publications in major refered journals from 2009 to 2018. Computers & Education, 125, 101-119.
Nikou, S. E. (2019). Factors that influence behavioral intention to use mobile-based assessment: A STEM teacher’s perspective. British Journal of Educational Technology, 50(2), 587-600.
O’Leary, M. e. (2018). The state of the art in digital technology based assessment. European Journal of Education, 53(2), 160-175.
Qaltash, A. e. (2014). Pathology of the descriptive evaluation model in order to provide a suitable model in the elementary school. Quarterly Journal of Research in Educational and Virtual Learning, 10(3), 7-16. [in perseian].
Rahimi, S. (2017). Review of computer-based assessment for learning in elementary and secondary education. Journal of Computer Assisted Learning, 33, 1-19.
Reis, S. (2011). The Effects Differentiated Instruction and Enrichment Pedagogy on Reading Achievement in Five Elementary Schools. American Educational Research Journal, 48(2), 462-501.
Reynolds, Katherine;et al. (2020). Digital Formative Assessment of Transversal Skills STEM. Dublin City University: ISBN: 978-1-911669-05-0.
Sandelowski, M., & Barroso, J. (2006). Handbook for Synthesizing Qualitative Research: Springer Publishing Company.
Shannon, C. (1948). A Mathematical Theory of Communication. The Bell System 27(4): 623-656.
Shavelson, R. e. (2008). On the impact of curriculum-embedded formative assessment on learning: A collaboration between curriculum and assessment developer. Applied Measurement in Education, 21(14), 295-314.
Shute, V. L. (2016). Advances in the science of assessment. Educational Assessment, 21(1), 34-59.
Spector, J.M., et.al. (2016). Technology enhanced formative assessment for 21st century learning. Educational Technology and Society, 19(3), 58-71.
Stobart, G. (2006). The validity of formative assessment (Assessment and Learning ed.). (J. Garder, Ed.) CA: SAGE Publications Ltd.
Szendey, olivia;et al. (2020). Virtual Learning Environments and Digital tools impementing Formative Assessment and Transversal Slills in STEM. Dublin City University: ISBN: 978-1-911669-14-2.
Taghi zadeh, A., & ed al. (2018). Identifying Capabilities of Formative Assessment in Virtual Learning Environments. Quarterly Journal of Research in School and Virtual Learning, 1(6), 43-62. (In Persian).
Van De Ven, A. (1992). Suggestions for Studying Strategy Process: A Research Note. Strategic Management Journal, 13(S1), 169-188.
Vogelzang, J. A. (2017). Classroom action research on formative assessment in a context-based chemistry course. ducational Action Research, 25(1), 155-166.
Wiliam, D. (2016). The secret of effective feedback. Educational Leadership, 73(7), 10-15.
Wiliam, D. (2019). Why formative assessment is always both domain-general and domain-specific and what matters is the balance between the two. In R. B. H. Andrade, Handbook of formative assessment in the disciplines (pp. 243-264).
Wiliam, D; Thompson.M;. (2007). Integrating assessment with learning: What will it take to make it work? New York: In C.A. Dwyer(Ed.), The future of assessment: Shaping teaching and learning.
Zenisky, A. S. (2006). Innovative item formats in computer-based testing: In pursuit of improved construct representation. In S. Downing, & T. Haladyna (Ed.), Handbook of test development (pp. 329-348). New York, NY: Routledge.
