Development of Feedback Competency Scale for Foreign Language Teachers
Keywords:
Feedback, Foreign Language Teachers, Competency ScaleAbstract
This research aims to 1) develop and validate the psychometric properties of a scale for evaluating the feedback competency of foreign language teachers, 2) create descriptors and establish cutoff scores for the feedback competency assessment based on the Wright Map 3) assess the feedback competency of foreign language teachers, and 4) evaluate the perceptions of these teachers regarding the feedback competency assessment. This study examines the psychometric properties using both Classical Test Theory and Item Response Theory with an initial sample of 480 participants. Descriptors and cutoff scores were formulated according to the Wright Map principles, tested on 1,612 participants. The results were analyzed for background variable differences using three-way ANOVA and descriptive statistics. Additionally, the teachers' opinions on the assessment tool were gathered and evaluated. The findings indicate that the feedback competency assessment exhibits acceptable psychometric properties and successfully identifies two high-quality cutoff scores with comprehensive descriptors. The large-scale testing revealed that the overall feedback competency of the sample was classified as "competent." Comparisons based on background variables indicated no statistically significant differences. Furthermore, the teachers' perceptions of the feedback competency assessment overall were at a high level.
References
โชติมา หนูพริก. (2559). การประเมินเพื่อการเรียนรู้: การตั้งคำถามและการให้ข้อมูลย้อนกลับเพื่อส่งเสริมการเรียนรู้. วารสารศึกษาศาสตร์ มหาวิทยาลัยศิลปากร, 13(2), 18–30. https://so02.tci-thaijo.org/index.php/suedujournal/article/view/91804
ดาวเรือง ลุมทอง. (2553). ผลของรูปแบบข้อมูลย้อนกลับที่มีต่อพัฒนาการของผลงานด้านทัศน์ศิลป์: การประยุกต์ใช้ข้อมูลย้อนกลับทั่วไปและข้อมูลชี้แนะเพื่อการปรับปรุง [วิทยานิพนธ์ปริญญามหาบัณฑิต, จุฬาลงกรณ์มหาวิทยาลัย]. CUIR.
https://cuir.car.chula.ac.th/handle/123456789/32226
บุญชม ศรีสะอาด. (2560). การวิจัยเบื้องต้น. สุวีริยาสาส์น.
คุรุสภา. (2565). ประกาศคุรุสภา เรื่อง การรับรองปริญญาและประกาศนียบัตรวิชาชีพ ตามมาตรฐานวิชาชีพ พ.ศ. 2565. ราชกิจจานุเบกษา. เล่ม 139 ตอนพิเศษ 147 ง. หน้า 49.
มธุรส เตียวปิยกุล และดวงกมล บางชวด. (2561). การศึกษาสภาพและปัญหาของกระบวนการนิเทศการสอนในโรงเรียนมัธยมศึกษา สังกัดสํานักงานเขตพื้นที่การศึกษามัธยมศึกษา เขต 2. วารสารอิเล็กทรอนิกส์ทางการศึกษาจุฬาลงกรณ์มหาวิทยาลัย, 13(4), 232–243. https://so01.tci-thaijo.org/index.php/OJED/article/view/204216
สมชาย รัตนทองคำ. (2556). ทฤษฎีการเรียนรู้ของนักศึกษาที่มักถูกนำมาใช้พัฒนาด้านการเรียนการสอน. [เอกสารที่ไม่มีการตีพิมพ์]. คณะเทคนิคการแพทย์, ขอนแก่น, ประเทศไทย
สุรัชดา ภูรับพา. (2564). การพัฒนารูปแบบการนิเทศแบบบูรณาการเพื่อส่งเสริมสมรรถนะการจัดการเรียนรู้เชิงรุกของครูโรงเรียนบ้านพุทธรักษา สำนักงานเขตพื้นที่การศึกษาประถมศึกษาสกลนคร เขต 3. วารสารมหาจุฬานาครทรรศน์, 8(6), 222–237. https://so03.tci-thaijo.org/index.php/JMND/article/view/259815
สุภาพร สีสังข์ และพิมพ์ยุพา ประพันธ์. (2559). กลวิธีการให้ข้อมูลย้อนกลับของครูที่มีต่อการแก้ไขงานเขียนของผู้เรียน: กรณีศึกษาวิชาการเขียนของวิชาเอกภาษาอังกฤษ. วารสารช่อพะยอม, 27(1), 73–89.
https://so01.tci-thaijo.org/index.php/ejChophayom/article/view/72694
สำนักงานคณะกรรมการการศึกษาขั้นพื้นฐาน. (2566, 23 มิถุนายน). ซักซ้อมความเข้าใจเกี่ยวกับตัวชี้วัดระหว่างทางและตัวชี้วัดปลายทางตามหลักสูตรแกนกลางการศึกษาขั้นพื้นฐาน.
ศิริชัย กาญจนวาสี. (2556). ทฤษฎีการทดสอบแบบดั้งเดิม (พิมพ์ครั้งที่ 3). สำนักพิมพ์จุฬาลงกรณ์มหาวิทยาลัย.
Boone, W. J., & Noltemeyer, A. (2017). Rasch analysis: A primer for school psychology researchers and practitioners. Cogent Education, 4(1), 1416898. https://doi.org/10.1080/2331186X.2017.1416898
Boud, D., & Dawson, P. (2021). What feedback literate teachers do: An empirically-derived competency framework. Assessment & Evaluation in Higher Education, 48(2), 158–171. https://doi.org/10.1080/02602938.2021.1910928
Briggs, D. C., & Furtak, E. M. (2019). Learning progressions and embedded assessment. In S. M. Brookhart & J. H. McMillan (Eds.), Classroom assessment and educational measurement (pp. 146–169). Routledge.
Carpenter, S. (2017). Ten steps in scale development and reporting: A guide for researchers. Communication Methods and Measures, 12(1), 25–44. https://doi.org/10.1080/19312458.2017.1396583
Carvalho, C., Santos, J., Conboy, J., & Martins, D. (2014). Teachers’ feedback: Exploring differences in students’ perceptions. Procedia-Social and Behavioral Sciences, 159, 169–173.
DeMars, C. (2010). Item response theory. Oxford University Press.
Dihoff, R. E., Brosvic, G. M., Epstein, M. L., & Cook, M. J. (2004). Provision of feedback during preparation for academic testing: Learning is enhanced by immediate but not delayed feedback. The Psychological Record, 54(2), 207–231. https://doi.org/10.1007/BF03395424
Duncan, N. (2007). ‘Feed‐forward’: Improving students' use of tutors' comments. Assessment & Evaluation in Higher Education, 32(3), 271–283.
Engelhard, G., & Wind, S. A. (2021). A history of Rasch measurement theory. In B. P. Heldsinger, & A. A. Heavey (Eds.), The history of educational measurement (pp. 343-360). Routledge.
Gamlem, S. M., & Smith, K. (2013). Student perceptions of classroom feedback. Assessment in Education: Principles, Policy & Practice, 20(2), 150–169.
Hair, J. F., Hult, G. T. M., Ringle, C. M., Sarstedt, M., Danks, N. P., & Ray, S. (2021). An introduction to structural equation modeling. In Partial least squares structural equation modeling (PLS-SEM) using R. Classroom Companion: Business. Springer, Cham. https://doi.org/10.1007/978-3-030-80519-7_1
Hattie, J., & Gan, M. (2011). Instruction based on feedback. In Handbook of research on learning and instruction (pp. 263–285). Routledge.
Jacob, E. R., Duffield, C., & Jacob, A. M. (2019). Validation of data using Rasch analysis in a tool measuring changes in critical thinking in nursing students. Nurse Education Today, 76, 196–199.
Kim, S., Jang, Y., Choi, S., Kim, W., Jung, H., Kim, S., & Kim, H. (2021). Analyzing teacher competency with TPACK for K-12 AI education. KI-Künstliche Intelligenz, 35(2), 139–151. https://doi.org/10.1007/s13218-020-00702-4
Kline, T. J. (2005). Psychological testing: A practical approach to design and evaluation. Sage.
Linacre, J. M. (2011). Two perspectives on the application of Rasch models. European Journal of Physical and Rehabilitation Medicine, 46(2), 309–310. https://www.minervamedica.it/en/journals/europa-medicophysica/article.php?cod=R33Y2010N02A0309
Merry, S., Price, M., Carless, D., & Taras, M. (2008). Reconceptualising feedback in higher education. Routledge.
Metcalfe, J., Kornell, N., & Finn, B. (2009). Delayed versus immediate feedback in children’s and adults’ vocabulary learning. Memory & Cognition, 37(8), 1077–1087. https://doi.org/10.3758/MC.37.8.1077
Narciss, S., Hammer, E., Damnik, G., Kisielski, K., & Körndle, H. (2021). Promoting prospective teacher competencies for designing, implementing, evaluating, and adapting interactive formative feedback strategies. Psychology Learning & Teaching, 20(2), 261–278. https://doi.org/10.1177/1475725720971887
Neumann, I., Neumann, K., & Nehm, R. (2011). Evaluating instrument quality in science education: Rasch-based analyses of a nature of science test. International Journal of Science Education, 33(10), 1373–1405.
https://doi.org/10.1080/09500693.2010.511297
OECD. (2022). Review of inclusive education in Europe. Reviews of National Policies for Education. OECD Publishing. https://doi.org/10.1787/a9c95902-en
Rose, J., & Johnson, C. W. (2020). Contextualizing reliability and validity in qualitative
research: Toward more rigorous and trustworthy qualitative social science in leisure research. Journal of Leisure Research, 51(4), 432–451.
https://doi.org/10.1080/00222216.2020.1722042
Rosseel, Y., et al. (2018). lavaan: Latent variable analysis [Software].
https://cran.r-project.org/package=lavaan
Sadler, D. R. (2010). Beyond feedback: Developing student capability in complex appraisal. Assessment and Evaluation in Higher Education, 35(5), 535–550.
Seol, H. (2023). snowIRT: Item response theory for jamovi (Version 4.8.8) [Software]. https://github.com/hyunsooseol/snowIRT
Soper, D. S. (2024). A-priori sample size calculator for structural equation models [Software]. https://www.danielsoper.com/statcalc
The Jamovi project. (2022). Jamovi (Version 2.3) [Software]. https://www.jamovi.org
Vignoli, M., Dosi, C., & Balboni, B. (2023). Design thinking mindset: Scale development and validation. Studies in Higher Education, 48(6), 926–940. https://doi.org/10.1080/03075079.2023.2172566
Vittayaphorn, N., Lohaburananont, G., Bhumtakwong, J., Udompongsanont, K., Uchida, M., Asavarojkul, N., ... & Pyae, A. (2023). Design and development of a user-centered mobile application for intermodal public transit in Bangkok: A design thinking approach. Infocommunications Journal, 15(SP), 41–52.
Wright, B. D. (1977). Solving measurement problems with the Rasch model. Journal of Educational Measurement, 14(2), 97–116. https://doi.org/10.1111/j.1745-3984.1977.tb00031.x
Wright, B. D., & Masters, G. N. (1982). Rating scale analysis. MESA Press.
Translated Thai Reference
Kanjanawasee, S. (2013). Classical test theory (3rd ed.). Chulalongkorn University Press.
Lumthong, D. (2010). The effects of feedback styles on visual art development: An application of feedback and feedforward approaches. [Master’s thesis, Chulalongkorn University]. CUIR.
https://cuir.car.chula.ac.th/handle/123456789/32226
Nuprik, C. (2015). Assessment for learning : Questioning and feedback to enhance learning. Journal of Education Silapakorn University. 13(2), 18–30.
https://so02.tci-thaijo.org/index.php/suedujournal/article/view/91804
Office of the Basic Education Commission. (2023, June 23). Clarifying the understanding of formative indicators and Summative indicators according to the Basic Education Core Curriculum.
Phurappha, S. (2021). The development of an integrated supervision model to promote active learning management competency of teachers at Ban Phuttha Raksa School, under Sakon Nakhon Primary Educational Service Area Office 3. Journal of MCU Nakhondhat, 8(6), 222–237.
https://so03.tci-thaijo.org/index.php/JMND/article/view/259815
Ratanathongkhum, S. (2013). Theories of student learning that are commonly used to enhance teaching and learning. [Unpublish Document]. Faculty of Associated Medical Sciences Khon Kaen University, Khonkaen, Thailand.
Seesang, S. & Praphun, P. (2016). Strategies in giving feedback by writing teachers and their effects on learners’ revisions : A case study of writing classes for english majors. Chophayom Journal, 27(1), 73–89.
https://so01.tci-thaijo.org/index.php/ejChophayom/article/view/72694
Srisakard, B. (2017). Introduction to Research. Suweeriya Sarn.
Teachers Council of Thailand. (2022, June 24). Announcement of the Teachers' Council of Thailand on the accreditation of degrees and professional certificates according to professional standards B.E. 2565. Royal Gazette, 139(Special Edition 147 Ng), 49.
Teawpiyakool, M., & Bangchuat, D. (2018). The study of conditions and problems of the supervision process in secondary schools under the Office of Secondary Education Service Area 2. An Online Journal of Education, 13(4), 232-243. https://so01.tci-thaijo.org/index.php/OJED/article/view/204216
Downloads
Published
How to Cite
Issue
Section
License
Copyright (c) 2024 Thirayu Inplaeng
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.
