Au-delà des tokens attentifs : Transformers de Vision efficaces par importance et diversité des tokens

Table des matières

• 1. Introduction
• 2. Méthodologie
  • 2.1 Découplage des tokens
  • 2.2 Fusion des tokens
  • 2.3 Formulation mathématique
• 3. Expériences et résultats
  • 3.1 Configuration expérimentale
  • 3.2 Comparaison des performances
  • 3.3 Études d'ablation
• 4. Cadre d'analyse
• 5. Applications futures
• 6. Références

1. Introduction

Les Vision Transformers (ViTs) ont révolutionné les tâches de vision par ordinateur mais souffrent d'une complexité computationnelle quadratique due aux mécanismes d'auto-attention. Les méthodes d'élagage de tokens existantes se concentrent principalement sur l'importance des tokens, préservant les tokens « attentifs » tout en éliminant les tokens « inattentifs ». Cependant, cette approche néglige la diversité globale des tokens, qui est cruciale pour l'expressivité du modèle. Cet article présente une nouvelle méthode de découplage et de fusion des tokens qui optimise conjointement l'importance et la diversité des tokens.

2. Méthodologie

2.1 Découplage des tokens

Sur la base des scores d'attention du token de classe, nous séparons les tokens en groupes attentifs et inattentifs. Le score d'attention pour le token $i$ est calculé comme $A_i = \text{softmax}\left(\frac{Q_{cls}K_i^T}{\sqrt{d}}\right)$, où $Q_{cls}$ est la requête du token de classe et $K_i$ est la clé pour le token $i$.

2.2 Fusion des tokens

Nous préservons les tokens locaux les plus discriminants du groupe attentif tout en fusionnant les tokens inattentifs similaires à l'aide d'algorithmes de clustering. Le processus de fusion minimise la perte d'information tout en maximisant la diversité des tokens.

2.3 Formulation mathématique

La fonction objectif globale combine la préservation de l'importance et la maximisation de la diversité : $L = \alpha L_{imp} + \beta L_{div}$, où $L_{imp}$ garantit que les tokens importants sont préservés et $L_{div}$ favorise la diversité par régularisation de clustering.

3. Expériences et résultats

3.1 Configuration expérimentale

Nous évaluons notre méthode sur ImageNet-1K en utilisant les architectures DeiT-S et DeiT-T. Les méthodes de comparaison incluent DyViT et EViT pour l'élagage basé sur l'importance et le clustering naïf pour les approches basées sur la diversité.

3.2 Comparaison des performances

Notre méthode atteint des performances de pointe à travers différents taux de conservation. Sur DeiT-S, nous réduisons les FLOPs de 35 % avec seulement 0,2 % de baisse de précision, surpassant les méthodes purement basées sur l'importance qui subissent une dégradation significative de la précision à faible taux de conservation.

3.3 Études d'ablation

Les expériences confirment que les composantes d'importance et de diversité sont toutes deux essentielles. Supprimer l'une ou l'autre composante entraîne une dégradation des performances, la diversité étant particulièrement cruciale à faible taux de conservation.

4. Cadre d'analyse

Perspective fondamentale

La percée fondamentale ici est de reconnaître que la diversité des tokens n'est pas seulement souhaitable—elle est non négociable pour maintenir l'expressivité du modèle pendant l'élagage. Alors que tout le monde poursuivait les scores d'attention, cette recherche expose le défaut critique des approches purement basées sur l'importance : elles créent des chambres d'écho de tokens similaires à haute attention.

Flux logique

La méthodologie suit un processus élégant en trois étapes : découpler basé sur l'attention, préserver les caractéristiques locales critiques, puis fusionner stratégiquement pour maintenir le contexte global. Ce n'est pas une amélioration incrémentale—c'est une reconsidération architecturale qui aborde la tension fondamentale entre efficacité et capacité de représentation.

Forces et faiblesses

Forces : L'objectif d'optimisation dual est mathématiquement solide, les résultats empiriques sont convaincants à travers les architectures, et l'approche relie élégamment la compréhension théorique avec la mise en œuvre pratique. Le fait que DeiT-T améliore réellement la précision tout en réduisant le calcul est remarquable.

Faiblesses : La surcharge de clustering n'est pas négligeable, et la méthode suppose des scores d'importance statiques qui pourraient ne pas tenir dans des scénarios d'inférence dynamique. Comparé aux méthodes de sélection dynamique de tokens comme DynamicViT, il y a des compromis de latence potentiels qui doivent être abordés.

Perspectives actionnables

Pour les praticiens : Implémentez cette approche immédiatement pour tout déploiement de ViT où le budget computationnel compte. Pour les chercheurs : Le principe de préservation de la diversité devrait devenir standard dans toute la recherche sur les transformers efficaces—cela pourrait être la pièce manquante pour rendre les ViTs véritablement évolutifs.

5. Applications futures

Cette approche a des implications significatives pour les applications de vision en temps réel, l'informatique en périphérie et les systèmes de vision à grande échelle. Les principes peuvent s'étendre au-delà de la classification vers la détection d'objets, la segmentation et les tâches de compréhension vidéo où l'efficacité computationnelle est critique.

6. Références

1. Vaswani et al. « Attention Is All You Need » (2017)
2. Dosovitskiy et al. « An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale » (2020)
3. Liu et al. « Swin Transformer: Hierarchical Vision Transformer using Shifted Windows » (2021)
4. Wang et al. « Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions » (2021)