تشخیص خطاهای رویه‌ای دانش‌آموزان در جمع و تفریق اعداد اعشاری با استفاده از شبکه‌های بیزی
محورهای موضوعی : روانشناسی تربیتیهاشم هوشیار 1 , علی دلاور 2 , نورعلی فرخی 3 , جلیل یونسی 4
1 - دانشجوی دکتری سنجش و اندازه گیری، دانشگاه علامه طباطبائی
2 - استاد گروه سنجش و اندازه گیری، دانشگاه علامه طباطبائی
3 - دانشیار گروه سنجش و اندازه گیری، دانشگاه علامه طباطبائی
4 - استادیار گروه سنجش و اندازه گیری، دانشگاه علامه طباطبائی
کلید واژه: شبکه‌های بیزی, خطاهای رویه‌ای, جمع اعداد اعشاری, تفریق اعداد اعشاری,
چکیده مقاله :
اعداد اعشاری یکی از موضوعات مهم و پرکاربرد در آموزش ریاضی است. با این وجود، دانش‌آموزان در کار با اعداد اعشاری با سختی‌هایی مواجه هستند. یک روش جهت بررسی علت سختی کار با اعداد اعشاری برای دانش‌آموزان، تحلیل خطاهای آنها است؛ اما تشخیص خطاها در مهارت‌های رویه‌ای به خاطر ذات بی‌ثباتشان کار دشواری است. این مطالعه، مسئله تشخیص خطاهای رویه‌ای دانش‌آموزان را در زمینه جمع و تفریق اعداد اعشاری، توسط پیشنهاد و ارزیابی یک رویکرد مبتنی بر احتمال با استفاده از شبکه‌های بیزی مورد بررسی قرار می‌دهد. این رویکرد، یک شبکه علّی بین خطاهای رویه‌ای در جمع و تفریق اعداد اعشاری با سؤالات آزمون در نظر می‌گیرد. این پژوهش از نظر هدف، کاربردی و از نظر نحوه گردآوری اطلاعات، کمی می‌باشد. جامعه آماری، کلیه دانش‌آموزان پایه ششم شهر بیرجند در سال تحصیلی 97-96 بودند که از بین آنها تعداد 407نفر با استفاده از روش نمونه‌گیری خوشه‌ای چندمرحله‌ای به عنوان نمونه انتخاب شدند. عملکرد شبکه با استفاده از دو نوع از موقعیت‌های آزمون، یکی استفاده از داده‌های دوتایی (نمره‌گذاری صحیح - غلط) و دیگری استفاده تشخیصی از پاسخ‌های غلط توسط یک آزمون چندگزینه‌ای مورد ارزیابی قرار گرفت. نتایج نشان داد شبکه بیزی با استفاده از داده‌های دوتایی عملکرد ضعیفی در تشخیص خطاها داشت اما استفاده تشخیصی از پاسخ‌های غلط دانش‌آموزان، عملکرد شبکه را به طور قابل ملاحظه‌ای بهبود بخشید که ضریب توافق کاپا برای آن در جمع و تفریق اعداد اعشاری به بالای 90 درصد رسید. این نتایج پیشنهاد می‌کند تشخیص قابل اعتماد خطاهای رویه‌ای در جمع و تفریق اعداد اعشاری می‌تواند با استفاده از چارچوب شبکه‌های بیزی با استفاده از پاسخ‌های غلط دانش‌آموزان به دست آید.
Decimal numbers are one of the most important and useful topics in mathematical education. However, students have trouble with decimal numbers. One way to investigate the reason of difficulty in working decimals for the students is through error analysis. Diagnosis of errors in procedural skills is difficult because of their unstable nature. This study investigates the diagnosis of procedural errors in students’ decimals addition and subtraction performance, by proposing and evaluating a probability-based approach using Bayesian networks. This approach assumes a causal network relating hypothesized decimals addition and subtraction errors to the observed test items. This study is practical and quantitative. The population of this study included all the sixth-grade students of Birjand city in academic year 2017 – 2018. A sample consisted of 407 students was selected through multi-stage sampling method. Network performance was evaluated by two types of testing situations: using binary data (scored as correct or incorrect) and diagnostic use of wrong answers by a multi-choice test. Results showed Bayesian network with binary data had poor performance in errors diagnosis but diagnostic use of students’ wrong answers improved network performance. The Kappa agreement rate for the Bayesian network with wrong answers reached above 90%. Our results suggest that reliable diagnosis of errors can be achieved by using a Bayesian network framework with students’ wrong answers.
بخشعلی‌زاده، ش. (1392). شناسایی بدفهمی‌های رایج دانش‌آموزان پایه چهارم در حوزه محتوایی ریاضی، سازمان پژوهش و برنامه ریزی، پژوهشگاه مطالعات آموزش و پرورش.
Almond, R. G., & Mislevy, R. J. (1999). Graphical models and computerized adaptive testing. Applied Psychological Measurement, 23, 223-237.
Almond, R. G., Mislevy, R. J., Steinberg, S. L., Yan, D., & Williamson, D. M. (2015). Bayesian Networks in Educational Assessment. New York, NY: Springer.
Bakhshalizadeh, Sh., & Broojerdian, N. (2014). Identifying common misconceptions in fourth-grade students in the field of mathematical content. Organization for Research and Planning. Institute for Education Studies. [In Persian]
Brown, J. S., & Burton, R. B. (1978). Diagnostic models for procedural bugs in basic mathematical skills. Cognitive Science, 2, 155-192.
Brown, J. S., & VanLehn, K. (1980). Repair theory: A generative theory of bugs in procedural skills. Cognitive Science, 4, 379-426.
Conati, C., Gertner, A., & VanLehn, K. (2002). Using Bayesian networks to manage uncertainty in student modeling. User Modeling and User-Adapted Interactions, 12, 371-417.
Cox, L. S. (1975). Systematic errors in the four vertical algorithms in normal and handicapped populations. Journal for Research in Mathematics Education, 6, 202-220.
De La Torre, J. (2009). A cognitive diagnosis model for cognitively based multiple-choice options. AppliedPsychological Measurement, 33, 163-183.
Isotani, S., McLaren, B., & Altman, M. (2010). Towards Intelligent Tutoring with Erroneous Examples: A Taxonomy of Decimal Misconceptions. Proc. of the Int. Conference on Intelligent Tutoring Systems. LNCS 6095, 346-348.
Käser, T., Klingler, S., Schwing, A. G., & Gross, M. (2017). Dynamic Bayesian Networks for Student Modeling. IEEE Transactions on Learning Technologies, 10(4), 450-462.
Lauritzen, S. L., & Spiegelhalter, D. J. (1988). Local computations with probabilities on graphical structures and their application to expert systems. Journal of the Royal Statistical Society, Series B, 50,157-224.
Lee, J., & Corter, J. E. (2011). Diagnosis of subtraction bugs using Bayesian Networks. Applied Psychological Measurement, 35(1), 27-47.
Li, X. (2006). Cognitive analysis of students’ errors and misconceptions in variables, equations and functions. Ph.D. Desertation, Texas A&M University.
Mislevy, R. J. (1995). Probability-based inference in cognitive diagnosis. In P. Nichols, S. Chipman, &R. Brennan (Eds.), Cognitively diagnostic assessment (pp. 43-71). Mahwah, NJ: Erlbaum.
Nudelman, Z., Moodley, D., & Berman, S. (2019). Using Bayesian Networks and Machine Learning to Predict Computer Science Success. Paper presented at the ICT Education, Cham.
Pearl, J. (1988). Probabilistic reasoning in intelligent systems. San Mateo, CA: Morgan Kaufmann.
Steinle, V., Stacey, K., & Chambers, D. (2002). Teaching and Learning about Decimals [CD-ROM]: Department of Science and Mathematics Education, The University of Melbourne. Online sample
Templin, J. L., Henson, R. A., Templin, A. E., & Roussos, L. (2008). Robustness of hierarchical modeling of skill association in cognitive diagnosis models. Applied Psychological Measurement, 32, 559-574.
VanLehn, K. (1981). Bugs are not enough: Empirical studies of bugs, impasses and repairs in proceduralskills (Technical Report). Palo Alto, CA: Xerox Palo Alto Research Center.
VanLehn, K. (1990). Minds bugs: The origins of procedural misconceptions. Cambridge, MA: MIT Press.
VanLehn, K., & Martin, J. (1998). Evaluation of an assessment system based on Bayesian student modeling. International Journal of Artificial Intelligence in Education, 8, 179-221.
Watson, S. M. R., Lopes, J., Oliveira, C., & Judge, S. (2018). Error patterns in Portuguese students’ addition and subtraction calculation tasks: implications for teaching. Journal for Multicultural Education, 12(1), 67-82.
_||_Almond, R. G., & Mislevy, R. J. (1999). Graphical models and computerized adaptive testing. Applied Psychological Measurement, 23, 223-237.
Almond, R. G., Mislevy, R. J., Steinberg, S. L., Yan, D., & Williamson, D. M. (2015). Bayesian Networks in Educational Assessment. New York, NY: Springer.
Bakhshalizadeh, Sh., & Broojerdian, N. (2014). Identifying common misconceptions in fourth-grade students in the field of mathematical content. Organization for Research and Planning. Institute for Education Studies. [In Persian]
Brown, J. S., & Burton, R. B. (1978). Diagnostic models for procedural bugs in basic mathematical skills. Cognitive Science, 2, 155-192.
Brown, J. S., & VanLehn, K. (1980). Repair theory: A generative theory of bugs in procedural skills. Cognitive Science, 4, 379-426.
Conati, C., Gertner, A., & VanLehn, K. (2002). Using Bayesian networks to manage uncertainty in student modeling. User Modeling and User-Adapted Interactions, 12, 371-417.
Cox, L. S. (1975). Systematic errors in the four vertical algorithms in normal and handicapped populations. Journal for Research in Mathematics Education, 6, 202-220.
De La Torre, J. (2009). A cognitive diagnosis model for cognitively based multiple-choice options. AppliedPsychological Measurement, 33, 163-183.
Isotani, S., McLaren, B., & Altman, M. (2010). Towards Intelligent Tutoring with Erroneous Examples: A Taxonomy of Decimal Misconceptions. Proc. of the Int. Conference on Intelligent Tutoring Systems. LNCS 6095, 346-348.
Käser, T., Klingler, S., Schwing, A. G., & Gross, M. (2017). Dynamic Bayesian Networks for Student Modeling. IEEE Transactions on Learning Technologies, 10(4), 450-462.
Lauritzen, S. L., & Spiegelhalter, D. J. (1988). Local computations with probabilities on graphical structures and their application to expert systems. Journal of the Royal Statistical Society, Series B, 50,157-224.
Lee, J., & Corter, J. E. (2011). Diagnosis of subtraction bugs using Bayesian Networks. Applied Psychological Measurement, 35(1), 27-47.
Li, X. (2006). Cognitive analysis of students’ errors and misconceptions in variables, equations and functions. Ph.D. Desertation, Texas A&M University.
Mislevy, R. J. (1995). Probability-based inference in cognitive diagnosis. In P. Nichols, S. Chipman, &R. Brennan (Eds.), Cognitively diagnostic assessment (pp. 43-71). Mahwah, NJ: Erlbaum.
Nudelman, Z., Moodley, D., & Berman, S. (2019). Using Bayesian Networks and Machine Learning to Predict Computer Science Success. Paper presented at the ICT Education, Cham.
Pearl, J. (1988). Probabilistic reasoning in intelligent systems. San Mateo, CA: Morgan Kaufmann.
Steinle, V., Stacey, K., & Chambers, D. (2002). Teaching and Learning about Decimals [CD-ROM]: Department of Science and Mathematics Education, The University of Melbourne. Online sample
Templin, J. L., Henson, R. A., Templin, A. E., & Roussos, L. (2008). Robustness of hierarchical modeling of skill association in cognitive diagnosis models. Applied Psychological Measurement, 32, 559-574.
VanLehn, K. (1981). Bugs are not enough: Empirical studies of bugs, impasses and repairs in proceduralskills (Technical Report). Palo Alto, CA: Xerox Palo Alto Research Center.
VanLehn, K. (1990). Minds bugs: The origins of procedural misconceptions. Cambridge, MA: MIT Press.
VanLehn, K., & Martin, J. (1998). Evaluation of an assessment system based on Bayesian student modeling. International Journal of Artificial Intelligence in Education, 8, 179-221.
Watson, S. M. R., Lopes, J., Oliveira, C., & Judge, S. (2018). Error patterns in Portuguese students’ addition and subtraction calculation tasks: implications for teaching. Journal for Multicultural Education, 12(1), 67-82.