Psychometric Properties of an Instrument Developed to Assess Students’ Evaluation of Teaching in Higher Education

Venue: Journal of Educational and Psychological Studies Year: 2020 DOI: 10.53543/jeps.vol14iss4pp656-667 Download PDF
Authors: Mutasem M. Akour; Bashar K. Hammad
Keywords: Reliability Studentsu2019 ratings teaching effectiveness Validity

Abstract (English)

Student evaluation of teaching is a global predominant practice in higher education institutions. Therefore, a major university in Jordan developed a questionnaire for students’ use in evaluating their instructors’ teaching effectiveness. Since student evaluation of teaching is an important process, the present study tried to examine the psychometric properties of the instrument. Item-total correlations showed acceptable internal consistency. In addition, a two-factor structure of the scale (teaching effectiveness and course attributes) was supported by exploratory factor analysis and confirmatory factor analysis from two independent samples. Convergent validity was supported by a moderate correlation coefficient between course averages of students’ ratings on the first factor and course averages of students’ final grades in each course. Finally, students’ responses on the factor that captures teaching effectiveness were found to have very high internal consistency (Cronbach’s alpha of 0.96). However, this instrument lacks evidences of content validity and convergent validity. Therefore, it is important to be cautious in evaluating faculty members and making promotion decisions that is based solely on the scores obtained using this instrument.
r

الملخص (Arabic)

تقييم الطلاب لأداء التدريس هو ممارسة عالمية رائجة في مؤسسات التعليم العالي. لذا قامت إحدى الجامعات الكبرى في الأردن بتطوير استبانة لاستخدام الطلاب في تقييم فاعلية تدريس أعضاء هيئة التدريس لديها. ونظرًا إلى أهمية عملية تقييم الطلاب للتدريس، حاولت هذه الدراسة فحص الخصائص السيكومترية للأداة. أظهرت معاملات الارتباط بين العنصر والمجموعة داخليًا اتساقًا مقبولًا. بالإضافة إلى ذلك، دعمت بنية ذات عاملين للمقياس (فاعلية التدريس وسمات المقرر) من خلال تحليل العوامل الاستكشافية وتحليل العوامل التأكيدية من عينتين مستقلتين. كما دعم صلاحية التقارب من خلال وجود معامل ارتباط معتدل بين متوسطات تقييم الطلاب للمقررات في العامل الأول ومتوسط درجات الطلاب النهائية في كل مقرر. وأخيرًا، وُجد أن استجابات الطلاب في العامل الذي يعكس فاعلية التدريس لديها اتساق داخلي عالي جدًا (ألفا كرونباخ 0.96). ومع ذلك، تفتقر الأداة إلى أدلة صلاحية المحتوى والصلاحية التقاربية. لذلك، من المهم أن تكون حذرًا في تقييم أعضاء هيئة التدريس واتخاذ قرارات الترقية التي تستند فقط إلى النتائج المحصل عليها باستخدام هذه الأداة.