ICode9

DeiT：注意力也能蒸馏 《Training data-efficient image transformers & distillation through attention》 ViT 在大数据集 ImageNet-21k（14million）或者 JFT-300M（300million） 上进行训练，Batch Size 128 下 NVIDIA A100 32G GPU 的计算资源加持下预训练 ViT-Base/32 需要3天时间。 Faceb