การพัฒนาวิธีการคัดเลือกข้อสอบข้อถัดไปโดยใช้เกณฑ์ของเฮอร์วิคซ์และการควบคุมการใช้ข้อสอบ สำหรับการทดสอบแบบปรับเหมาะด้วยคอมพิวเตอร์ (Development of the Next Item Selection Procedure Using Hurwicz Criterion and Item Exposure Control for Computerized Adaptive)

Abstract

         การวิจัยนี้มีวัตถุประสงค์เพื่อพัฒนาวิธีการคัดเลือกข้อสอบข้อถัดไปโดยใช้เกณฑ์ของเฮอร์วิคซ์และการควบคุมการใช้ข้อสอบ สำหรับการทดสอบแบบปรับเหมาะด้วยคอมพิวเตอร์ และศึกษาประสิทธิภาพของวิธีการที่พัฒนาขึ้น โดยเปรียบเทียบประสิทธิภาพของวิธีการคัดเลือกข้อสอบข้อถัดไป 4 วิธี ได้แก่ 1) วิธีการคัดเลือกข้อสอบข้อถัดไปโดยใช้ค่าสารสนเทศสูงสุดที่ใกล้เคียงกับค่าความสามารถของผู้สอบ (MIC) 2) วิธีการคัดเลือกข้อสอบข้อถัดไปโดยใช้ทฤษฎีการตัดสินใจในสภาวการณ์ความเสี่ยง (RDM) 3) วิธีการคัดเลือกข้อสอบข้อถัดไปโดยใช้เกณฑ์ของเฮอร์วิคซ์ (HC) และ 4) วิธีการคัดเลือกข้อสอบข้อถัดไปโดยใช้เกณฑ์ของเฮอร์วิคซ์และการควบคุมการใช้ข้อสอบ (HC-Ex) โดยเปรียบเทียบประสิทธิภาพด้าน 1) การประมาณค่าความสามารถของผู้สอบ ซึ่งพิจารณาจากค่ารากที่สองของความคลาดเคลื่อนกำลังสองเฉลี่ย (RMSE) และค่าความลำเอียงเฉลี่ย 2) ความยาวของแบบทดสอบ และ 3) จำนวนข้อสอบที่มีอัตราการใช้ข้อสอบมากกว่า 0.2 ดำเนินการศึกษาในสถานการณ์จำลองแบบมอนติคาร์โล โดยจำลองค่าความสามารถที่แท้จริงของผู้สอบ 10,000 ค่า และคลังข้อสอบ 500 ข้อ วิเคราะห์ข้อมูลด้วยการวิเคราะห์ Brown-Forsythe และ Kruskal-Wallis

             This research aimed at developing the next item selection procedure using Hurwicz Criterion and the item exposure control for computerized adaptive testing which the developed procedure was used to compare the efficiency of 4 next item selection procedures: 1) Maximum Information Criterion (MIC),  2) Risk Decision Making (RDM), 3) Hurwicz Criterion (HC), and 4) Hurwicz Criterion and the item exposure control (HC-Ex) and by comparing the efficacy of 1) the examinee ability estimate considering the Root Mean Square Error (RMSE) and the average bias, 2) the test length, and 3) the number of item with the Item Exposure Rate of more than 0.2 conducted in Monte Carlo Simulation Study by simulating the 10,000 true ability of the examinees and the 500-item bank, and the data was analyzed with Brown-Forsythe and Kruskal-Wallis.

               The results showed that 1) the next item selection procedure using Hurwicz Criterion and the item exposure control using System Random Sampling could be used to select the items and control the item exposure. 2) In terms of comparing the efficiency of the examinee ability estimate, considering RMSE, RDM was found to be the most efficient. However, considering the average bias, RDM, HC and HC-Ex represented equally high efficiency. Moreover, comparing the efficiency of the test length, HC was found to be as efficient as that of RDM. For the comparison of the efficiency of the number of item with the Item Exposure Rate of more than 0.2, MIC was the most efficient.

               ผลการวิจัย ปรากฏว่า 1) วิธีการคัดเลือกข้อสอบข้อถัดไปโดยใช้เกณฑ์ของเฮอร์วิคซ์ และการควบคุมการใช้ข้อสอบโดยใช้วิธีการสุ่มตัวอย่างแบบมีระบบ สามารถใช้คัดเลือกข้อสอบและควบคุมการใช้ข้อสอบได้ 2) การเปรียบเทียบประสิทธิภาพด้านการประมาณค่าความสามารถของผู้สอบ เมื่อพิจารณาจากค่า RMSE ปรากฏว่า วิธีการ RDM มีประสิทธิภาพสูงสุด แต่เมื่อพิจารณาจากค่าความลำเอียงเฉลี่ย ปรากฏว่า วิธีการ RDM, HC และ HC-Ex มีประสิทธิภาพสูงสุดเทียบเท่ากัน การเปรียบเทียบประสิทธิภาพด้านความยาวของแบบทดสอบ ปรากฏว่า วิธีการ HC มีประสิทธิสูงสุดเทียบเท่ากับวิธีการ RDM และการเปรียบเทียบประสิทธิภาพด้านจำนวนข้อสอบที่มีอัตราการใช้ข้อสอบมากกว่า 0.2 ปรากฏว่า วิธีการ MIC มีประสิทธิภาพสูงสุด