Differential Item Functioning of Verbal Ability Test in Gulf Multiple Mental Ability Scale for GCC Students According to Gender and Country

Venue: Journal of Educational and Psychological Studies Year: 2021 DOI: 10.53543/jeps.vol15iss1pp120-137 Download PDF
Authors: Hilal A. Almaskari; Rashid S. Almehrizi; Abdulhameed S. Hassan
Keywords: Differential item function GMMAS mantel-haenszel transformed item difficulty verbal ability test

Abstract (English)

The study aimed to investigate the differential item functioning (DIF) for verbal ability test items in the Gulf Multiple Mental Ability Scale for female students in general and Omani Female students in particular in using Mantel-Haenszel (MH) and the Transformed Item Difficulty (TID) methods. The test consisted of 30 multiple-choice items with four distactors. The study sample consisted of the archive data for 4280 students of the third and fourth grades in GCC countries. The results revealed that Sixty Pecent of the items showed DIF related to gender using MH. Similarly, Sixty Pecent of the items showed DIF related to country using MH. DIF values were small indicating weak DIF in most items. Results also indicated that DIF using TID was found for Thirty percent of the items related to gender, and 33.33% related to country. Furthermore, Kappa coefficient 0.524 was moderate between MH method and TID for gender and the agreement ratio was 70%. Kappa coefficient 0.158 was weak between MH method and TID for country and the agreement ratio was 46.67%. Based on the study results the reseachers recommend invistigating the reasons behind the detected differential functioning of some items in the verbal ability test at the second level of the GMMAS scale to avoid and address it.
r

الملخص (Arabic)

تهدف الدراسة إلى فحص الأداء التفاضلي للوحدات في عناصر اختبار القدرة اللفظية مقياس الخليج للقدرات العقلية المتعددة لدى الطالبات بشكل عام وفي الطالبات العمانيات بشكل خاص باستخدام طريقتي Mantel-Haenszel (MH) وتحويل صعوبة العنصر (TID). تكوّنت الاختبارات من 30 بنداً اختيارياً مع أربع مشتتات. وتكوّن عيّنة الدراسة من بيانات أرشيفية لـ 4280 طالبة من الصفين الثالث والرابع في دول مجلس التعاون الخليجي. أظهرت النتائج أن نسبة 60% من البنود أظهرت DIF متعلقة بالجنس باستخدام MH. وبالمثل، أظهرت 60% من البنود DIF متعلقة بالدولة باستخدام MH. قيم DIF كانت صغيرة ما يشير إلى DIF ضعيف في معظم البنود. كما أشارت النتائج إلى أن DIF باستخدام TID وُجدت لـ 30% من البنود المتعلقة بالجنس و33.33% المتعلقة بالدولة. وعلاوة على ذلك، كانت قيمة معامل كابا 0.524 معتدلة بين طريقتي MH وTID للجنس ونسبة الاتفاق 70%. وكانت قيمة معامل كابا 0.158 ضعيفة بين MH وTID للدولة ونسبة الاتفاق 46.67%. استناداً إلى نتائج الدراسة أوصى الباحثون بالتحقق من أسباب الأداء التفاضلي الذي تم اكتشافه لبعض البنود في اختبار القدرة اللفظية في المستوى الثاني من مقياس GMMAS لتجنبها ومعالجتها.