Estimating the Reliability of Students’ Scores in University Courses on Tests during the Semester and the Extent of Influence of these Scores Based on Determining their Relative Weights
Keywords:
Feldt-Gilmer Formula
Raju Formula
relative weights
variances-covariance matrix
Abstract (English)
The aim of this study was to estimate the reliability coefficients of the tests prepared by faculty members in the preparatory year courses for both males and females at the University of Tabuk, using the Raju formula based on the predetermined fixed weights in the university regulations, regardless of their differentiating capability or the students' actual differences. Reliability coefficients were estimated again using the standard deviations of scores on these tests that were compared with the coefficients estimated by the Feldt-Gilmer formula that uses the variance covariance matrix of these tests. To address the questions of the study, the scores for all the students in 663 sections and 15 courses were analyzed, and the reliability coefficients were estimated. In light of the study’s hypothesis, another sample of 30 sections was selected randomly from the original sample to estimate reliability coefficients through the Feldt-Gilmer formula. The results indicated that the estimated mean of coefficients 0.68 in the average were lower than expected. Based on the university strategy which focuses on quality and excellence, higher reliability is required; mediocrity in this situation is not accepted. This means that 0.68 was compared to 0.67 and 0.69 estimated by the adjusted Raju formula using standard deviations as weights, and by the Feldt Gilmer respectively. The correlation between the reliability estimations using the last two formulas was very high (r = 0.98). The results revealed enough evidence statistically and practically for recommending the use of the modified Raju formula in practical situations to estimate the tests' reliability.
الملخص (Arabic)
تهدف هذه الدراسة إلى تقدير معاملات الثقة للاختبارات التي أعدها أعضاء هيئة التدريس في مقررات السنة التحضيرية لكل من الذكور والإناث في جامعة تبوك، باستخدام صيغة راوجو القائمة على الأوزان الثابتة المحددة في لوائح الجامعة، بغض النظر عن قدرتها التمييزية أو الفروق الفعلية بين الطلاب. ثم تم تقدير معاملات الثقة مرة أخرى باستخدام الانحرافات المعيارية للدرجات في هذه الاختبارات والتي قورنت مع المعاملات المقدرة باستخدام صيغة فيلد-جيلمر التي تستخدم مصفوفة التباين-الالتواء لهذه الاختبارات. وللتعامل مع أسئلة الدراسة، تم تحليل درجات جميع الطلاب في 663 قسمًا و15 مقررًا، وتم تقدير معاملات الثقة. وبالنظر إلى فرضية الدراسة، تم اختيار عينة أخرى من 30 قسمًا عشوائيًا من العينة الأصلية لتقدير معاملات الثقة من خلال صيغة فيلد-جيلمر. أشارت النتائج إلى أن المتوسط المقدّر للثباتات 0.68 في المتوسط كان أقل من المتوقع. وبناءً على الاستراتيجية الجامعية التي تركز على الجودة والتميز، مطلوب ثبات أعلى؛ ولا يُقبل التواضع في هذا السياق. وهذا يعني أن قيمة 0.68 قُورنت مع 0.67 و0.69 المقدّرة بواسطة صيغة راوجو المعدلة باستخدام الانحرافات المعيارية كأوزان، وبالصيغتين فولدت-جيلمر على التوالي. وكانت العلاقة بين التقديرات الثابتة باستخدام هاتين الصيغتين الأخيرتين عالية جدًا (r = 0.98). وأظهرت النتائج أدلة كافية من الناحيتين الإحصائية والعملية للتوصية باستخدام صيغة راوجو المعدلة في المواقف العملية لتقدير ثبات الاختبارات.
