Calibrating PIRLS Test in Sultanate of Oman Using Item Response Theory

The study aimed to calibrate Oman data of the PIRLS test using the graded response model and to examine the psychometric properties of it, as well as identify the fit and unfit of its items. PIRLS2011 test booklets were used, which consisted of 146 test items (74 dichotomous and 72 polytomous). Items were divided into 13 booklets; each with two blocks (one literary and one informational). PIRLS test booklets were administered to 13 groups of fourth grade students in Sultanate of Oman with a total sample of 10394 students. Assumptions of IRT (unidimensionality and local independence) were examined and supported. Also, item fit was examined and supported using Samejima’s graded response model. The data was analyzed by Multilog7.03 program to estimate both item and ability parameters. Results indicated that the assumptions of IRT were proved. Also, IRT analysis revealed that 8 items showed unfit which represents only 5% of the test items. So, this result confirms that the test has good psychometric properties under the IRT.

هدفت الدراسة إلى معايرة بيانات PIRLS المستمدة من سلطنة عمان باستخدام نموذج الاستجابة المصنّف المتدرج، وفحص الخصائص السيكومترية للاختبار، إضافة إلى تحديد مدى ملاءمة وبُعد العناصر. استُخدمت دفاتر PIRLS2011 التي تتكوَّن من 146 بنداً اختبارياً (74 بنداً ثنائيَّ الاختيار و72 بنداً متعدد المستويات). قُسِّمت البنود إلى 13 دفتر عمل؛ كل دفتر يحتوي على كتلتين (إحدهما أدبية والأخرى معلوماتية). أُجريت دفاتر PIRLS على 13 مجموعة من تلاميذ الصف الرابع في سلطنة عمان وبإجمالي عينة قدرها 10394 طالباً. فُحصت وصدقت افتراضات نموذج الاستجابة المصنّف (IRT) من حيث التوحّد أحادي البعد والاستقلال المحلي. كما فُحص صلاحية البنود باستخدام نموذج الاستجابة المصنف لساميجا، وجرى تحليل البيانات باستخدام برنامج Multilog7.03 لتقدير معطيات البنود والقدرات. أشارت النتائج إلى أن افتراضات IRT قد وُثِّقت. كما كشفت نتائج تحليل IRT أن 8 بنود كانت غير مناسبة، وهو ما يمثل 5% من بنود الاختبار. وبالتالي تؤكد هذه النتيجة أن الاختبار يمتلك خصائص سيكومترية جيدة في إطار IRT.