英伟达提出AdaViT：出于DeiT而又快于DeiT

©作者 |小欣
01 简介
自从Vision Transformer(ViT)被提出以来，Transformer已经成为一种流行的神经网络架构，并广泛的应用到计算机视觉领域之中，如图像分类、目标检测、图像生成和语义分割等任务。
但是，Transformer目前最主流的模式仍然是ViT通过将图像分割成一系列有序的Patches来形成Token，并通过在Token之间建模来解决CV底层问题。
目前使用ViT处理图像的计算成本仍然很高，主要是原因是因为Token之间交互计算带来了二次方的计算复杂度。因此，在大量的计算和内存资源中，在服务端或边缘计算端部署ViT是一个具有挑战性的任务。
AdaViT主要研究如何根据输入图像的复杂度自动调整ViT的计算量。目前几乎所有主流的ViT在推理过程中都有一个独立于输入的固定开销。然而，预测任务的难度随着输入图像的复杂性而变化。
例如，从具有同质背景的图像中对汽车和人进行分类是相对简单的；而在复杂的背景下区分不同品种的狗则更具挑战性。即使是在一张图像中，包含物体详细特征的Patch比那些来自背景的Pat

英伟达提出AdaViT：出于DeiT而又快于DeiT最先出现在Python成神之路。