Effectiveness of Person Fit Indices in Item Response Models with Different Degrees of Item Local Dependence
Keywords:
item local dependence
Item response theory
person fit index
Abstract (English)
This study aimed to examine the effectiveness of person fit indices (Wright’s weighted index, Drasgow index and Almehrizi’s weighted index) in item response models with different degrees of item local dependence (0.0, 0.3, 0.6, and 0.9) using simulated item parameters. Item responses for 40 samples each with 10000 subjects (a total of 400000 subjects) were simulated on a test of 60 items. Item discrimination parameters ranged between 0.19 and 1.79 and item difficulty parameters ranged between -2 and +2. 20% of test items were manipulated to show local dependence for each level of local dependence degrees. Student ability was generated to follow a standard normal distribution. Assumptions of item response theory were examined in all data sets using exploratory factor analysis and residual analysis using NOHARM platform for unidimensionality and Q3 index for local independence. Results showed that there was an increase in the percentages of non-conforming persons when increasing the degree of items local dependence for the three person fit indices (Wright’s weighted index, Drasgow index and Almehrizi’s weighted index). Results showed also that the percentages of non-conforming persons were larger with Wright’s weighted index than with Drasgow index and Almehrizi’s weighted index. The distributional properties of the three indices showed relatively consistent in distributional properties. Drasgow index and Almehrizi’s weighted index were very similar distributional properties. Also, there was a larger agreement index between Wright’s weighted index and Drasgow index.
الملخص (Arabic)
هدفت هذه الدراسة إلى فحص فعالية مؤشرات ملاءمة القياس الشخصي (المؤشر الموزون لـ Wright، ومؤشر Drasgow، والمؤشر الموزون لـ Almehrizi) في نماذج استجابة العناصر بدرجات متفاوتة من الاعتماد المحلي للعناصر (0.0، 0.3، 0.6، و0.9) باستخدام معاملات عناصر محاكاة. تم توليد استجابات لعينة من 40 عينة، وكل منها يتضمن 10000 شخص (إجمالي 400000 شخص) على اختبار مكوَّن من 60 بنداً. تراوحت معاملات تمييز العناصر بين 0.19 و1.79 وتراوحت معاملات صعوبة العناصر بين -2 و+2. تم تعديل 20% من بنود الاختبار لإظهار الاعتماد المحلي عند كل مستوى من درجات الاعتماد المحلي. تم توليد قدرة الطلاب/الطالبات لتتبع توزيع طبيعي قياسي. فُحصت افتراضات نظرية استجابة العناصر في جميع مجموعات البيانات باستخدام تحليل العوامل الاستكشافي وتحليل البواقي باستخدام منصة NOHARM من أجل أحادية البعد ودرجة Q3 للاستقلال المحلي. أشارت النتائج إلى وجود زيادة في نسب الأشخاص غير المطابقين مع زيادة درجة الاعتماد المحلي للعناصر للمقادير الثلاثة لمؤشرات ملاءمة الشخص ( Wright، Drasgow، Almehrizi). كما أظهرت النتائج أن نسب الأشخاص غير المطابقين كانت أعلى باستخدام المؤشر الموزون لـ Wright مقارنة بمؤشر Drasgow والمؤشر الموزون لـ Almehrizi. أشارت الخصائص التوزيعية للمقادير الثلاثة إلى اتساق نسبياً في خصائص التوزيع. كما أن مؤشر Drasgow والمؤشر الموزون لـ Almehrizi كان لهما خصائص توزيعية متشابهة للغاية. كذلك، كان هناك زيادة في مقدار الاتفاق بين Wright الموزون ومؤشر Drasgow.
