Comparability of Computer-based and Paper-based Versions of Writing Section of PET in Iranian EFL Context
محورهای موضوعی : English Language Teaching (ELT)محمد محمدی 1 , مسعود برزگران 2
1 - Urmia University
2 - Urmia University
کلید واژه: Comparability Study, Computer-based Language Test (CBLT), Paper-based Language Test (PBLT),
چکیده مقاله :
Computer technology has provided language testing experts with opportunity to develop computerized versions of traditional paper-based language tests. New generations of TOEFL and Cambridge IELTS, BULATS, KET, PET are good examples of computer-based language tests. Since this new method of testing introduces new factors into the realm of language assessment ( e.g. modes of test delivery, familiarity with computer, etc.),the question may be whether the two modes of computer- and paper-based tests comparably measure the same construct, and hence, the scores obtained from the two modes can be used interchangeably. Accordingly, the present study aimed to investigate the comparability of the paper- and computer-based versions of a writing test. The data for this study were collected from administering the writing section of a Cambridge Preliminary English Test (PET) to eighty Iranian intermediate EFL learners through the two modes of computer- and paper-based testing. Besides, a computer familiarity questionnaire was used to divide participants into two groups with high and low computer familiarity. The results of the independent samples t-test revealed that there was no statistically significant difference between the learners' computer- and paper-based writing scores. The results of the paired samples t-test showed no statistically significant difference between high- and low-computer-familiar groups on computer-based writing. The researchers concluded that the two modes comparably measured the same construct.
تکنولوژی کامپیوتر به طراحان آزمون این امکان را داده است که بتوانند نسخه کامپیوتری آزمونهای سنتی ورقه ای را بوجود آورند. نسخه های جدید تستهای TOEFL and Cambridge IELTS, BULATS, KET, PET نمونه های خوبی از آزمونهای کامپیوتری هستند. از آنجا که این شیوه نوین آزمون می تواند فاکتورهای تعیین کننده جدیدی از قبیل روش (رسانه) ارائه آزمون، آشنایی با کامپیوتر و غیره را وارد مقوله سنجش زبان کند، این سوال ممکن است پیش بیاید که آیا دو روش آزمون کامپیوتری و ورقه ای بطور قابل مقایسه ای یک توانایی را می سنجند، و آیا می توان نمرات بدست آمده از این دو روش را بعنوان معادل یکدیگر بکار برد؟ در همین راستا تحقیق حاضر قابلیت قیاس نسخه های کامپیوتری و ورقه ای یک آزمون نگارش را بررسی می کند تا مشخص کند که آیا روش (رسانه) ارائه آزمون و نیز میزان آشنایی با کامپیوتر می تواند تغییری نا مرتبط با توانایی مد نظر ( توانایی نگارش) را در نمرات ایجاد کند. داده های این تحقیق از برگزاری بخش نگارش آزمون PET در دو روش کامپیوتری و ورقه ای با 80 نفر زبان آموز ایرانی سطح متوسط بدست آمد. بعلاوه، با استفاده از یک پرسشنامه معتبر آشنایی با کامپیوتر، زبان آموزان به دو گروه "بیش آشنا" و " کم آشنا" با کامپیوتر تقسیم شدند. نتایج آزمون t گروههای مستقل نشان داد که از لحاظ آماری تفاوت معناداری بین نمرات زبان آموزان در آزمون نگارش کامپیوتری و ورقه ای وجود ندارد. نتایج آزمون t گروههای وابسته نیز حاکی از این بود که در در آزمون نگارش کامپیوتری از لحاظ آماری تفاوت معناداری بین نمرات زبان آموزان "بیش آشنا" و " کم آشنا" با کامپیوتر وجود ندارد. بر اساس نتایج تجزیه و تحلیل داده ها و نیز بررسی میزان همبستگی نمرات در دو روش کامپیوتری و ورقه ای اینگونه نتیجه گیری شد که این دو روش (رسانه) ارائه آزمون بطور قابل مقایسه ای یک توانایی را می سنجند.
Chapelle, C. A., and Douglas, D. (2006).Assessing language through computer technology. Cambridge: Cambridge University Press.
Choi, I., Kim, K. and Boo, J. (2003) Comparability of a paper-based language test and a computer-based language test. Language Testing, 20 (3), 295-320.
Fulcher, G. (1999).Computerizing an English language placement test.ELT Journal, 53, 289–99.
Goldberg, A., Russell, M., & Cook, A. (2003). The effect of computers on student writing: A metaanalysis of studies from 1992 to 2002. Journal of Technology, Learning, and Assessment, 2(1).
Harrington, S., Shermis, M. D., and Rollins, A. L. (2000).The influence of word processing onEnglish placement test results.Computers and Composition, 17, 197–210.
Kim, J. P. (1999). Meta-analysis of equivalence of computerized and P&P tests on ability measures.Paper presented at the Annual Meeting of the Mid-Western Educational Research Association. Chicago, IL.
Lee, H. K. (2004). A comparative study of ESL writers’ performance in a paper-based and a computer-delivered writing test. Assessing Writing, 9 (1), 4–26.
Lee, Y. -J., (2002). A comparison of composing processes and written products in timed- essay tests across paper-and-pencil and computer modes. Assessing Writing, 8, 135– 257.
Lottridge, S., Nicewander, A., Schulz, M., and Mitzel, H. (2008). Comparability of Paper- based and Computer-based Tests: A Review of the Methodology.
Puhan, P., Boughton, K., & Kim, S. (2007). Examining differences in examinee performance in paper and pencil and computerized testing.Journal of Technology, Learning, and Assessment, 6(3).Retrieved April 24, 2010, from http://www.jtla.org.
Taylor, C., Kirsch, I., Eignor, D., & Jamieson, J. (1998).Examining the relationship between computer familiarity andperformance on computer-based language tasks. Language Learning, 49(2), 219–274.
Wang, S., Jiao, H., Young, M. J., Brooks, T.E., & Olson, J. (2008). Comparability of computer-based and paper-and-pencil testing in K-12 assessment: A meta-analysis of testing mode effects. Educational and Psychological Measurement, 68, 5-24.
Wang, H., Shin, C. D. (2009). Computer-based & paper-pencil test comparability studies. Test, measurement, and research services.Pearson Education.9.
