جدول المحتويات
1. المقدمة
أحدثت محولات الرؤية (ViTs) ثورة في مهام الرؤية الحاسوبية لكنها تعاني من تعقيد حسابي تربيعي بسبب آليات الانتباه الذاتي. تركز طرق تقليص الرموز الحالية بشكل أساسي على أهمية الرموز، حيث تحافظ على الرموز "المنتبهة" بينما تتخلص من الرموز "غير المنتبهة". ومع ذلك، فإن هذا النهج يتجاهل تنوع الرموز العالمي، وهو أمر بالغ الأهمية للتعبيرية النموذجية. تقدم هذه الورقة طريقة جديدة لفصل ودمج الرموز تحسن بشكل مشترك لكل من أهمية الرموز وتنوعها.
مقاييس الأداء الرئيسية
DeiT-S: خفض بنسبة 35% في العمليات الحسابية مع انخفاض في الدقة بنسبة 0.2% فقط
DeiT-T: خفض بنسبة 40% في العمليات الحسابية مع تحسن في الدقة بنسبة 0.1%
2. المنهجية
2.1 فصل الرموز
بناءً على درجات انتباه رمز الفئة، نقوم بفصل الرموز إلى مجموعات منتبهة وغير منتبهة. يتم حساب درجة الانتباه للرمز $i$ كـ $A_i = \text{softmax}\left(\frac{Q_{cls}K_i^T}{\sqrt{d}}\right)$، حيث $Q_{cls}$ هو استعلام رمز الفئة و $K_i$ هو المفتاح للرمز $i$.
2.2 دمج الرموز
نحافظ على أكثر الرموز المحلية التمييزية من المجموعة المنتبهة بينما ندمج الرموز غير المنتبهة المتشابهة باستخدام خوارزميات التجميع. تعمل عملية الدمج على تقليل فقدان المعلومات إلى الحد الأدنى مع تعظيم تنوع الرموز.
2.3 الصياغة الرياضية
تجمع دالة الهدف العامة بين الحفاظ على الأهمية وتعظيم التنوع: $L = \alpha L_{imp} + \beta L_{div}$، حيث تضمن $L_{imp}$ الحفاظ على الرموز المهمة وتعزز $L_{div}$ التنوع من خلال الانتظام بالتجميع.
3. التجارب والنتائج
3.1 الإعداد التجريبي
نقيم طريقتنا على ImageNet-1K باستخدام بنيتي DeiT-S وDeiT-T. تشمل طرق المقارنة DyViT وEViT للتقليم القائم على الأهمية والتجميع البسيط للنهج القائمة على التنوع.
3.2 مقارنة الأداء
تحقق طريقتنا أداءً متطورًا عبر معدلات الاحتفاظ المختلفة. على DeiT-S، نخفض العمليات الحسابية بنسبة 35% مع انخفاض في الدقة بنسبة 0.2% فقط، متفوقة على الطرق القائمة على الأهمية البحتة التي تعاني من تدهور كبير في الدقة عند معدلات الاحتفاظ المنخفضة.
3.3 دراسات الاستبعاد
أكدت التجارب أن كلًا من مكوني الأهمية والتنوع أساسيان. يؤدي إزالة أي مكون إلى تدهور الأداء، مع كون التنوع حاسمًا بشكل خاص عند معدلات الاحتفاظ المنخفضة.
4. إطار التحليل
الفكرة الأساسية
الاكتشاف الأساسي هنا هو إدراك أن تنوع الرموز ليس مجرد أمر جيد أن يكون موجودًا - بل هو غير قابل للتفاوض للحفاظ على التعبيرية النموذجية أثناء التقليم. بينما كان الجميع يطاردون درجات الانتباه، يكشف هذا البحث عن العيب الحرج في النهج القائمة على الأهمية البحتة: فهي تخلق غرف صدى من الرموز عالية الانتباه المتشابهة.
التسلسل المنطقي
تتبع المنهجية عملية منظمة من ثلاث خطوات: الفصل بناءً على الانتباه، والحفاظ على الميزات المحلية الحرجة، ثم الدمج الاستراتيجي للحفاظ على السياق العالمي. هذا ليس تحسينًا تدريجيًا - إنه إعادة تفكير معماري تعالج التوتر الأساسي بين الكفاءة وسعة التمثيل.
نقاط القوة والضعف
نقاط القوة: هدف التحسين المزدوج سليم رياضياً، والنتائج التجريبية مقنعة عبر البنى المختلفة، والنهج يربط بشكل أنيق بين الفهم النظري والتنفيذ العملي. حقيقة أن DeiT-T يحسن الدقة فعليًا مع تقليل الحسابات أمر ملحوظ.
نقاط الضعف: النفقات العامة للتجميع ليست تافهة، والطريقة تفترض درجات أهمية ثابتة قد لا تثبت في سيناريوهات الاستدلال الديناميكي. مقارنة بطرق اختيار الرموز الديناميكية مثل DynamicViT، هناك مقايضات محتملة في زمن الاستجابة تحتاج إلى معالجة.
رؤى قابلة للتطبيق
للممارسين: نفذ هذا النهج فورًا لأي نشر لـ ViT حيث يكون الميزانية الحسابية مهمة. للباحثين: يجب أن يصبح مبدأ الحفاظ على التنوع معيارًا في جميع أبحاث المحولات الكفؤة - قد تكون هذه هي القطعة المفقودة لجعل محولات الرؤية قابلة للتطوير حقًا.
5. التطبيقات المستقبلية
لهذا النهج آثار كبيرة على تطبيقات الرؤية في الوقت الفعلي، والحوسبة الطرفية، وأنظمة الرؤية واسعة النطاق. يمكن أن تمتد المبادئ إلى ما هو أبعد من التصنيف إلى اكتشاف الكائنات، والتجزئة، ومهام فهم الفيديو حيث تكون الكفاءة الحسابية حرجة.
6. المراجع
- Vaswani et al. "Attention Is All You Need" (2017)
- Dosovitskiy et al. "An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale" (2020)
- Liu et al. "Swin Transformer: Hierarchical Vision Transformer using Shifted Windows" (2021)
- Wang et al. "Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions" (2021)