الملخص
تمت ترجمة أجزاء من هذه الصفحة آلياً وقد تحتوي على أخطاء.
Cross-modal knowledge distillation transfers knowledge from a teacher modality to a student modality. Existing feature-level alignment methods typically assume that teacher and student features reside in structurally alignable representation spaces. However, this assumption does not hold when cross-modal features are structurally heterogeneous and lack clear unit-level correspondence, such as 2D spatial visual grids and 1D temporal audio sequences, thereby limiting the applicability of feature-level alignment. To address this challenge, we propose a cross-modal distillation framework that enables effective knowledge transfer across structurally heterogeneous feature spaces via a vector-quantized codebook. Specifically, teacher features are abstracted into a set of vector-form codes regardless of their original feature structure, and the selected codes serve as concept-level anchors for student learning. Code selection is guided by both task relevance and student compatibility, allowing the student to receive transferable teacher knowledge without requiring direct unit-level feature alignment. Experimental results across diverse cross-modal distillation scenarios demonstrate the effectiveness of the proposed framework on classification and semantic segmentation tasks.
الكلمات المفتاحية
الموضوع
بيانات النشر
- المجلة
- غير متاح
- وصول مفتوح
- وصول مفتوح أخضر
اقتبس هذه المقالة
APA 7
Jo, D. U., Lim, J., Yoo, Y., & Um, D. (2026). التقطير المعرفي المتعدد الوسائط المسترشد بدفتر الرموز للميزات غير المتجانسة بنيويًا. https://omanscience.com/ar/articles/codebook-guided-cross-modal-knowledge-distillation-for-structurally-heterogeneous-features
MLA 9
Jo, Dae Ung, et al. "التقطير المعرفي المتعدد الوسائط المسترشد بدفتر الرموز للميزات غير المتجانسة بنيويًا." https://omanscience.com/ar/articles/codebook-guided-cross-modal-knowledge-distillation-for-structurally-heterogeneous-features.
شيكاغو (المؤلف–التاريخ)
Jo, Dae Ung, Jongin Lim, YoungJoon Yoo, and Daeho Um. 2026. "التقطير المعرفي المتعدد الوسائط المسترشد بدفتر الرموز للميزات غير المتجانسة بنيويًا." https://omanscience.com/ar/articles/codebook-guided-cross-modal-knowledge-distillation-for-structurally-heterogeneous-features.
هارفارد
Jo, D. U., Lim, J., Yoo, Y. and Um, D. (2026) 'التقطير المعرفي المتعدد الوسائط المسترشد بدفتر الرموز للميزات غير المتجانسة بنيويًا', Available at: https://omanscience.com/ar/articles/codebook-guided-cross-modal-knowledge-distillation-for-structurally-heterogeneous-features.
فانكوفر
Jo DU, Lim J, Yoo Y, Um D. التقطير المعرفي المتعدد الوسائط المسترشد بدفتر الرموز للميزات غير المتجانسة بنيويًا. https://omanscience.com/ar/articles/codebook-guided-cross-modal-knowledge-distillation-for-structurally-heterogeneous-features
IEEE
D. U. Jo, J. Lim, Y. Yoo, and D. Um, "التقطير المعرفي المتعدد الوسائط المسترشد بدفتر الرموز للميزات غير المتجانسة بنيويًا," https://omanscience.com/ar/articles/codebook-guided-cross-modal-knowledge-distillation-for-structurally-heterogeneous-features.