Rethinking Attention Mechanisms in Vision Transformers with Graph Structures
In this paper, we propose a new type of vision transformer (ViT) based on graph head attention (GHA). Because the multi-head attention (MHA) of a pure ViT requires multiple parameters and tends to lose the locality of an image, we replaced MHA with GHA by applying a graph to the attention head of th...
সংরক্ষণ করুন:
| প্রধান লেখক: | , |
|---|---|
| বিন্যাস: | Artigo |
| ভাষা: | Inglês |
| প্রকাশিত: |
MDPI AG
2024-02-01
|
| মালা: | Sensors |
| বিষয়গুলি: | |
| অনলাইন ব্যবহার করুন: | https://www.mdpi.com/1424-8220/24/4/1111 |
| ট্যাগগুলো: |
কোনো ট্যাগ নেই, প্রথমজন হিসাবে ট্যাগ করুন!
|