Impact meta-evaluation: Introducing a checklist

Subject Areas : Evaluation

fateme sabbaghi ¹ , Keyvan Salehi ²

1 - PhD Student, University of Tehran
2 - Associate Professor, Faculty of Psychology and Education, University of Tehran, Tehran, Iran

Received: 2025-04-05 Accepted : 2025-07-21 Published : 2025-04-20

Keywords: Impact evaluation, meta-evaluation, checklist, Quality of evaluation studies, Effectiveness and efficiency of plans, Quality of evaluation programs,

Abstract :

Impact evaluation is one of the most necessary steps in implementing plans and programs, and the most strategic way of judging the quality of the activities, especially in the information age. Based on the importance of this evaluation method, compiling and introducing a detailed checklist for evaluating the quality of impact evaluations (meta-impact evaluation) is an extreme necessity. In the first stage, studying, coding, and detailed analysis of 16 documents based on Altheide's strategy led to the identification of 35 items. Then, in the second stage, 18 initially eligible studies were evaluated using the compiled checklist. At this stage, the findings indicate that the studies did not reach the mastery level in 94.28% of the indicators, equivalent to 33 indicators out of 35 indicators (precisely, 100% of the evaluated studies did not reach the mastery level in 65.71% of the indicators, more than 50% of the evaluated studies did not reach the mastery level in 28.57% of the indicators, and 50% of the evaluated studies did not reach the mastery level in 5.71% of the indicators). Therefore, the analysis of the results indicates the extreme weakness of impact evaluation studies in observing the underlying principles of this type of evaluation, including presenting a theory of change, preparing an evaluation plan, developing an evaluation checklist, forming a trained assessment team, and other key steps, raises serious doubts about the quality of these studies. Also, the lack of attention to the principles of impact evaluation as the most important part of program implementation, interventions, and changes causes neglect of the natural, long-term, and sustainable effects of programs and attention to superficial, immediate, and short-term results. Therefore, the attention of managers, evaluators, and researchers in the field of impact evaluation to the basic principles of impact evaluation and essential items presented in the checklist of the current research and evaluation based on them is necessary.

References:

آقاکاردان، احمد، و کاظمی‌آرانی، علی. (1396). سنجش میزان تأثیر بازی‌گونه‌سازی آزمون‌های الکترونیکی در یادگیری دانش‌آموزان، پژوهش در یادگیری آموزشگاهی و مجازی، 5، 55-64. URL: https://ensani.ir/fa/article/372654/
بابایی، سهراب، شکیبازاده، الهام، شجاعی‌زاده، داوود، یاسری، مهدی، و محمدزاده، علیرضا. (1399). ارزشيابى تأثير مداخله آموزشى مبتنى بر الگوى اعتقاد بهداشتى بر رفتارهاى ارتقاءدهنده سبك زندگى سالم در افراد مستعد بيمارى قلبى-عروقى، آموزش بهداشت و ارتقاء سلامت ایران، 8(3)، 224-239. DOI: 10.29252/ijhehp.8.3.224
بارانی‌پسیان، وحید، نامی، محمدحسن، و توکلی‌نغمه، مصطفی. (1396). بررسی و سنجش تأثیر عوامل اجتماعی-اقتصادی بر سلامت شهری (شهر مقدس قم). نگرش‌های نو در جغرافیای انسانی (جغرافیای انسانی)، 9(3 )، 41-55. URL: https://sid.ir/paper/505225/fa
بحرانی، عطیه، فروتنی، زهرا، و بوجلالی، زینب. (1401). سنجش تأثیر سواد رسانه‌ای در استفاده از فضای مجازی بر اخلاق اجتماعی کاربران (مورد مطالعه: دانشجویان کارشناسی ارشد دانشگاه آزاد اسلامی واحد تهران جنوب)، فصلنامه فرهنگ در دانشگاه اسلامی، 11(4)، 653-676. URL: https://ciu.nahad.ir/article_983.html
حبیب‌پورگتابی، کرم، و صفری‌شالی، رضا. (1401). راهنمای جامع کاربرد SPSS در تحقیقات پیمایشی (تحلیل داده‌های کمی)، لویه متفکران. URL: https://www.gisoom.com/book/11169336/
حقوقی، سمیرا، و صالحی، کیوان . (1398). ظرفیت‌های روش پژوهش روایتی در حوزه‌ مطالعات آموزش عالی، نامه آموزش عالی، 12(47)، 33-51. URL: https://journal.sanjesh.org/article_37138.html?lang=en
دکامینی، فاطمه، و احسانی‌فر، محمد. (1400). سنجش تأثیر بلوغ مدیریت دانش بر کیفیت خدمات در بانک پارسیان، نشریه بازیابی دانش و نظام‌های معنایی، 8(28)، 111-71. DOI: 10.22054/jks.2021.60865.1438
رجبی‌فرجاد، حاجیه، و پورهاشمی خشکناب، سیدحسین. (1395). سنجش تأثیر فناوری اطلاعات بر بهره‌وری کارکنان. مدیریت منابع در نیروی انتظامی، 4(1)، 169-193. URL: https://sid.ir/paper/519300/fa
رسولی، سیده‌عصمت، و ذوالفقاری، فریبا. (1396). تأثیر فرا ارزشیابی در برنامه‌ریزی درسی، همایش بین‌المللی روان‌شناسی و مطالعات اجتماعی، تهران. URL: https://civilica.com/doc/747531
رضایی، محمدرضا؛ مرادی‌رمقانی، رضا. (1401). سنجش تأثیر عملکرد مؤلفه‌های امنیت مقصدهای گردشگری بر رضایت‌مندی گردشگران خارجی در راستای توسعه پایدار صنعت گردشگری کلان‌شهر شیراز. جغرافیا و پایداری محیط، 12(4)، .22-1. URL: https://sid.ir/paper/1007548/fa
زارع، ابراهیم، شجری، شاهرخ، رحمانی، صفت‌اله، محدث‌حسینی، سیداحمد، سالم، جلال، و انویه‌تکیه، لورنس. (1403). ارزشیابی تأثیر طرح سربازان سازندگی در بخش کشاورزی. آموزش و ترویج نوین کشاورزی. 2(1)، 63-78. URL: https://ameej.areeo.ac.ir/article_132376.html
سبزواری، سکینه. (1384). فرا ارزشیابی و معیارهای آن. گام‌های توسعه در آموزش پزشکی، 2(2)، 116-124. URL: https://sid.ir/paper/116973/fa
سیف، علی‌اکبر. (1396). اندازه‌گیری، سنجش و ارزشیابی آموزشی، دوران. URL: https://www.adinehbook.com/gp/product/6006208113
سیف، علی‌اکبر. (1394). روان‌شناسی پرورشی نوین (روان‌شناسی یادگیری و آموزش)، دوران. URL: https://www.adinehbook.com/gp/product/6006208213
شهرام‌نیا، امیرمسعود، ابراهیمی‌پور، حوا، محموداوغلی، رضا، و ملکان، مجید. (1396). سنجش تأثیر شبکه‌های اجتماعی بر مشارکت سیاسی: مطالعه موردی دانشجویان دانشگاه مازندران. جامعه شناسی کاربردی (مجله پژوهشی علوم انسانی دانشگاه اصفهان)، 28(1 (پیاپی 65) )، 19-32. DOI: 10.22108/jas.2017.21248
شهیدی، سپیده، بشیریه، تهمورث، صابری، سیدمهدی، و عباسی، اصغر. (1399). سنجش تأثیر اعتیاد و وضعیت سرپرستی بر کودک آزاری جنسی با تمرکز بر نمونه‌های به دست آمده از مراکز اورژانس اجتماعی تهران. پژوهش‌های حقوق جزا و جرم‌شناسی، 8(16)، 267-287. DOI: 10.22034/jclc.2021.125314
صادقی‌مزیدی، حسین، و ابراهیمیان، صدیقه. (1400). سنجش تأثیر آموزش برخط (آنلاین) بر میزان یادگیری درس زبان انگلیسی مدارس شرق استان فارس، پیشرفت‌های نوین در روانشناسی، 4(45)، 83-91. URL: https://ensani.ir/fa/article/498664/
صیفوری، ویدا. (1399). سنجش تأثیر معماری اطلاعات کتابخانه‎های دیجیتال بر یادگیری الکترونیکی (نمونه پژوهشی: سامانه منبع‎‎یاب وزارت بهداشت، درمان و آموزش پزشکی). مدیریت اطلاعات, 6(1), 135-154. DOI: 10.22034/aimj.2020.124930
عباسی شوازی، محمدجلال، و خواجه صالحی، زهره. (1392). سنجش تأثیر استقلال, مشارکت اجتماعی, و تحصیلات زنان بر تمایل به فرزندآوری (مطالعه موردی شهر سیرجان). زن در توسعه و سیاست (پژوهش زنان)، 11(1)، 45-64.DOI: 10.22059/jwdp.2013.35477
علی‌میرزایی، مولود، پیرحیاتی، سارا، و صالحی، کیوان. (1394). ارزشیابی تأثیر در نظام آموزش عالی: چیستی، چرایی و چگونگی، چهارمین کنفرانس بین‎المللی روان‌شناسی و علوم اجتماعی، تهران. URL: https://civilica.com/doc/492280
قنبری، عاطفه، مودب، فاطمه، جوادی، نازیلا، حسین زاده، طوبی، موسوی، ساقی، و براری، فاطمه. (1398). ارزشیابی تأثیر برگزاری کارگاه ایمنی بیمار بر آگاهی و عملکرد دانشجویان پرستاری: چالش‌ها و راهکارها. توسعه‌ی آموزش جندی شاپور، 10(2 )، 97-103. DOI: 10.22118/edc.2019.90844
محمدی‌زیدی، عیسی، پاک‌پورحاجی‌آقا، امیر، و محمدی‌زیدی، بنفشه. (1391). ارزشیابی تأثیر برنامه آموزشی بر اساس تئوری رفتار برنامه‌ریزی‌شده بر عملکرد ایمن کارگران. مجله دانشگاه علوم پزشکی مازندران (نامه دانشگاه)، 22(97)، 166-177. URL: http://jmums.mazums.ac.ir/article-1-1775-fa.html
نجارنهاوندی، مریم، و آبخوش، معصومه. (1394). سنجش تأثیر آموزش شهروندی بر توانمندسازی زنان (مطالعه موردی: منطقه 6 شهرداری تهران). زن در توسعه و سیاست (پژوهش زنان)، 13(1)، 131-149. DOI: 10.22059/jwdp.2015.55210
نوابخش، مهرداد، و ثابتی، مریم. (1394). طراحی و ارائه الگو جهت سنجش تأثیر سرمایه فرهنگی بر ابعاد توسعه پایدار شهری با تاکید بر انرژی‌های پاک. مطالعات توسعه اجتماعی ایران، 8(1)، 37-50. DOI: https://sid.ir/paper/231844/en
هنری، فاطمه، میری، محمدرضا، معاشری، بی‌بی نرگس. (1395). ارزشیابی تأثیر آموزش بر اساس تئوری رفتار برنامه‌‌ریزی‌شده بر انجام مراقبت‌‌های دوران بارداری زنان باردار معتاد. مجله علمی دانشگاه علوم پزشکی بیرجند،۲۳ (۱) :۶۷-۷۷. URL: http://journal.bums.ac.ir/article-1-1997-fa.html
Abbasi Shavazi, M. J., & Khajeh salehi, Z. (2013). An Assessment on the Impact of Women’s Autonomy, Education and Social Participation on Childbearing Intention in Sirjan City. Woman in Development & Politics, 11(1), 45-64. [In Persian] DOI: 10.22059/jwdp.2013.35477
A. Kardan, A., & Kazemi-Arani. A. (2017). Estimating the Impact of Electronic Exams Gamification on Students’ Learning. Quarterly Journal of Research in School and Virtual Learning, 5, 55-64. [In Persian] URL: https://ensani.ir/fa/article/372654/
Ali Mirzaei, M., & Pirhayati, S., & Salehi, K. (2015). Impact Evaluation in the Higher Education System: What, Why and How, Fourth International Conference on Psychology and Social Sciences, Tehran, [In Persian] URL: https://civilica.com/doc/492280
Babaei, S., Shakibazadeh, E., Shojaeizadeh, D., Yaseri, M., & Mohamadzadeh, A. (2020). Effectiveness the Theory-Based Intervention Based on Health Belief Model on Health Promotion Lifestyle in Individuals Susceptible to Cardiovascular Diseases. Iran J Health Educ Health Promot, 8 (3), 224-239. [In Persian] DOI: 10.29252/ijhehp.8.3.224
Bahrani, A., Forutani, Z., & Boujalali, Z. (1400). Measuring the impact of media literacy in the use of cyberspace on users' social ethics (Case study: Master's students of Islamic Azad University, South Tehran Branch). Culture in Islamic University, 11 (41), 653-676. [In Persian] URL: https://ciu.nahad.ir/article_983.html
Bamberger, M. (2012). Introduction to mixed methods in impact evaluation. Impact Evaluation Notes, 3(3), 1-38.‏ URL: https://www.interaction.org/wp-content/uploads/2019/03/Mixed-Methods-in-Impact-Evaluation-English.pdf
Barani Pesian, V., Nami, M. H., & Tavakoli Naghmeh, M. (2017). Study and measurement of the impact of socio-economic factors on urban health (Holy city of Qom). New Perspectives in Human Geography (Human Geography), 9(3), 41-55. [In Persian] URL: https://sid.ir/paper/505225/fa
Baylis, K., Honey‐Rosés, J., Börner, J., Corbera, E., Ezzine‐de‐Blas, D., Ferraro, P. J., ... & Wunder, S. (2016). Mainstreaming impact evaluation in nature conservation. Conservation Letters, 9(1), 58-64.‏ DOI: 10.1111/conl.12180
Copestake, J. 2014. Credible impact evaluation in complex contexts: Confirmatory and exploratory approaches. Evaluation, 20(4), 412-427.‏ DOI: 10.1177/1356389014550559
Crato, N., & Paruolo, P. (2019). Data-driven policy impact evaluation: How access to microdata is transforming policy design (p. 346). Springer Nature.‏ URL: https://link.springer.com/book/10.1007/978-3-319-78461-8
Dekamini, F. & Ehsanifar, M. (2021). Evaluating the Effect of Knowledge Management Maturity on Service Quality in Parsian Bank. Knowledge Retrieval and Semantic Systems, 8(28), 71-111. [In Persian] DOI: 10.22054/jks.2021.60865.1438
Frölich, M., & Sperlich, S. (2019). Impact evaluation: Treatment Effects and Causal Analysis. Cambridge University Press.‏ DOI: 10.1017/9781107337008
Garbarino, S., & Holland, J. (2009). Quantitative and qualitative methods in impact evaluation and measuring results.‏ URL: http://epapers.bham.ac.uk/646/1/eirs4.pdf
Gertler, P. J., Martinez, S., Premand, P., Rawlings, L. B., & Vermeersch, C. M. (2016). Impact evaluation in practice. World Bank Publications.‏ URL: https://documents1.worldbank.org/curated/en/823791468325239704/pdf/Impact-evaluation-in-practice.pdf
Ghanbari, A., Mudaveb, F., Javadi, N., Hosseinzadeh, T., Mousavi, S., & Barari, F. (2019). Evaluating the impact of holding a patient safety workshop on nursing students' awareness and performance: Challenges and solutions. Jundishapour Education Development, 10(2), 97-103. [In Persian] DOI: 10.22118/edc.2019.90844
Greene, J. C. (2007). Mixed methods in social inquiry. John Wiley & Sons.‏ URL: https://www.wiley.com/en-us/Mixed+Methods+in+Social+Inquiry-p-9780787983826
Gugerty, M. K., Karlan, D., & Welsh, D. (2016). Organizational Challenges of Impact Evaluation. GOLDILOCKS DEEP DIVE. IPA Communications Team. URL: https://poverty-action.org/sites/default/files/publications/Goldilocks-Deep-Dive-Organizational-Challenges-of-Impact-Evaluation_0.pdf
Habibpourgtabi, K., & Safarishali, R. (2022). A comprehensive guide to using SPSS in survey research (quantitative data analysis). Loya. [In Persian] URL: https://www.gisoom.com/book/11169336/
Hoghoughi, S. & Salehi, K. (2019). Capacities of the narrative research method in the Field of Higher Education Studies. Higher Education Letter, 12(47), 33-51. [In Persian] URL: https://journal.sanjesh.org/article_37138.html?lang=en
Honari, F., Miri, M., & Moasheri, B. N. (2016). Evaluating the effect of educational intervention based on Theory of Planned Behavior on prenatal care of addicted pregnant women. Journals of Birjand University of Medical Sciences, 23 (1), 67-77. [In Persian] URL: http://journal.bums.ac.ir/article-1-1997-fa.html
Khandker, S. R., Koolwal, G. B., & Samad, H. A. (2009). Handbook on impact evaluation: quantitative methods and practices. World Bank Publications.‏ URL: https://documents1.worldbank.org/curated/en/650951468335456749/pdf/520990PUB0EPI1101Official0Use0Only1.pdf
Michel. J., & Schneider. K. (2025). Demystifying impact evaluation: an impact evaluation framework. Frontiers in epidemiology, 5, 1460997. DOI: 10.3389/fepid.2025.1460997.
Mohammadi Zaidi, I., Pakpourhaji Agha, A., & Mohammadi Zaidi, B. (2012). Evaluating the impact of a training program based on the theory of planned behavior on the safe performance of workers. Journal of Mazandaran University of Medical Sciences (University Letter), 22(97), 166-177. [In Persian] URL: http://jmums.mazums.ac.ir/article-1-1775-fa.html
Najjar Nahavandi, M. & Abkhosh, M. (2015). An assessment of the effect of citizenship education on empowering women (Case study: Tehran 6th district). Woman in Development & Politics, 13(1), 131-149. [In Persian] DOI: 10.22059/jwdp.2015.55210
Navabakhsh, M., & Sabeti, M. (2016). Design and providing a model to assess the effects of cultural capital on aspects of sustainable urban development with an emphasis on clean energy. Journal of Iranian Social Development Studies (JISDS), 8(1 (29)), 37-50. [In Persian] DOI: https://sid.ir/paper/231844/en
Peersman, G., Guijt, I., & Pasanen, T. (2015). Evaluability assessment for impact evaluation: Guidance, checklists and decision support, A Methods Lab Publication.‏ URL: https://media.odi.org/documents/9802.pdf
Peersman, G. (2014). Overview: Data collection and analysis methods in impact evaluation. UNICEF Office of Research-Innocenti.‏ URL: https://www.betterevaluation.org/sites/default/files/Data_collection_and_Analysis_ENG.pdf
Perrin, B. (2012). Linking monitoring and evaluation to impact evaluation. Impact Evaluation Notes, 2, 1-22.‏ URL: https://www.interaction.org/wp-content/uploads/2019/03/Linking-Monitoring-and-Evaluation-to-Impact-Evaluation.pdf
Pozarny, P., & Barrington, C. (2016). Qualitative Methods in Impact Evaluations of Cash Transfer Programmes in the Transfer Project in Sub-Saharan Africa. (Davis, Benjamin; Handa, Sudhanshu; Hypher, Nicola; Winder Rossi, Natalia; Winters, Paul; & Yablonski, Jennifer (Eds.). pp. 71-93. Oxford, England: FAO. URL: http://dx.doi.org/10.1093/acprof:oso/9780198769446.003.0004
Rajabi Farjad, H., & Pourhashmi Khoshknab, S. H. (2016). Measuring the impact of information technology on employee productivity. Resource Management in the Police Force, 4(1), 169-193. [In Persian] URL: https://sid.ir/paper/519300/fa
Rasouli, S. E., & Zolfaghari, F. (2017). The Effect of Meta-Assessment in Curriculum Planning, International Conference on Psychology and Social Studies, Tehran. [In Persian] URL: https://civilica.com/doc/747531
Ravallion, Martin. (2008). “Evaluating Anti-Poverty Programs.” In Handbook of Development Economics, vol. 4, ed. T. Paul Schultz and John Strauss, 3787–846. Amsterdam: North-Holland. URL: https://documents1.worldbank.org/curated/en/104761468315569641/pdf/wps3625.pdf
Reed, M. S., Ferré, M., Martin-Ortega, J., Blanche, R., Lawford-Rolfe, R., Dallimer, M., & Holden, J. (2021). Evaluating impact from research: A methodological framework. Research Policy, 50(4), 1-14. URL: www.elsevier.com/locate/respol
Rezaei, M. R., & Moradi Ramghani, R. (2022). Measuring the impact of the performance of security components of tourism destinations on the satisfaction of foreign tourists in line with the sustainable development of the tourism industry in Shiraz metropolis. Geography and Environmental Sustainability (Geographical Research Journal), 12(45), 1-22. [In Persian] URL: https://sid.ir/paper/1007548/fa
Rogers, P. J. (2014). Overview of impact evaluation. UNICEF Office of Research-Innocenti.‏ URL: https://alnap.cdn.ngo/media/documents/brief-1-overview-eng.pdf
Rogers, P. J. (2012). Introduction to impact evaluation. Impact Evaluation Notes‏, 1, 1-18. URL: https://www.interaction.org/wp-content/uploads/2019/03/1-Introduction-to-Impact-Evaluation.pdf
Sabzevari, S. (2005). Meta-evaluation and its criteria. STRIDES IN DEVELOPMENT OF MEDICAL EDUCATION, 2(2), 116-124. [In Persian] URL: https://sid.ir/paper/116973/fa
Sadeghi Mazedi, H., & Ebrahimian, S. (2021). Measuring the impact of online education on the level of English language learning in schools in eastern Fars Province, New Advances in Psychology, Educational Sciences and Education, 4(45), 83-91. [In Persian] URL: https://ensani.ir/fa/article/498664/
Saif, A.A., (2017). Educational measurement, assessment and evaluation book. Douran. [In Persian] URL: https://www.adinehbook.com/gp/product/6006208113
Saif, A.A., (2015). The book of modern educational psychology: psychology of learning and education. Douran. [In Persian] URL: https://www.adinehbook.com/gp/product/6006208213
Salehi, K., & Golafshani, N. (2010). Commentary: Using mixed methods in research studies: An opportunity with its challenges. International journal of multiple research approaches, 4(3), 186-191.‏ DOI: 10.5172/mra.2010.4.3.186
Samuel, G. N., & Derrick, G. E. (2015). Societal impact evaluation: Exploring evaluator perceptions of the characterization of impact under the REF2014. Research evaluation, 24(3), 229-241.‏ DOI: 10.1093/reseval/rvv007
Seifouri, V. (2020). Assessing the Impact of Digital Library Information Architecture on E-learning (Case Study: System of Resource Finder the Ministry of Health and Medical Education). Iranian Journal of Information Management, 6(1), 135-154. [In Persian] DOI: 10.22034/aimj.2020.124930
Shahidi, S., Bashirieh, T., Saberi, S. M., & Abbasi, A. (2019). Measuring the impact of addiction and guardianship status on child sexual abuse with a focus on samples obtained from Tehran social emergency centers. Criminal Law and Criminology Research, 8 (16), 267-287. [In Persian] DOI: 10.22034/jclc.2021.125314
Shahramnia, A. M., Ebrahimipour, H., Mahmoudovgholi, R., & Malekan, M. (2017). Measuring the impact of social networks on political participation: A case study of students at the University of Mazandaran. Applied Sociology, 28 (1), 19-32. [In Persian] DOI: 10.22108/jas.2017.21248
White, H. (2010). A contribution to current debates in impact evaluation. Evaluation, 16(2), 153-164. DOI: 10.1177/1356389010361562
Zare, E., Shajari, Sh., Rahmani, S., Mohaddes Hosseini, S. A., Salem, J., & Anouyeh Tekey, L. (1403). Evaluating the impact of the construction soldiers project in the agricultural sector. Modern Agricultural Education and Extension, 2(1), 63-78. [In Persian] URL: https://ameej.areeo.ac.ir/article_132376.html