标签：RepVGG style 架构 Again 模型 VGG ResNet 精度
原始题目：RepVGG: Making VGG-style ConvNets Great Again
中文翻译：RepVGG: 让 VGG-风格的卷积网络们 再次伟大
发表时间：2021年1月11日
平台：CVPR-2021
来源：旷世科技
文章链接：https://arxiv.org/pdf/2101.03697.pdf
开源代码：https://github.com/megvii-model/RepVGG
这名字 Trump 直呼内行。
摘要
我们提出了一种简单但功能强大的卷积神经网络结构，在推理时间它具有一个类似VGG的结构，除了3 × 3 卷积和ReLU的堆叠，不包含任何东西。在训练时间，模型有多分支拓扑（multi-branch topology）。
通过结构重参数化技术实现了训练时间和推理时间架构的解耦，从而将模型命名为RepVGG。在ImageNet上，RepVGG达到80%以上的top-1精度，据我们所知，这是一个普通（plain）模型第一次达到这种精度。在NVIDIA 1080Ti GPU上，RepVGG模型的运行速度比ResNet-50快83%，比ResNet-101快101%，精度更高，与最先进的模型(如EfficientNet和RegNet)相比，显示了良好的 accuracy-speed 权衡。
5.结论
我们提出了一种简单的 3 × 3 conv和ReLU 堆叠的RepVGG架构，特别适用于GPU和专门的推理芯片。使用我们的结构重参数化（re-parameterization）方法，它在ImageNet上达到了80%以上的top-1精度，与最先进的模型相比，显示了良好的 speed-accuracy权衡。
一个经典的卷积神经网络(ConvNet)，VGG[31]在图像识别方面取得了巨大的成功，其简单的架构由一堆conv、ReLU和 pooling 组成。随着Inception [33, 34, 32, 19]， ResNet[12]和DenseNet[17]的出现，很多研究的兴趣转移到精心设计的架构上，使得模型越来越复杂。最近的一些架构是基于自动[44,29,23]或手动[28]架构搜索，或者搜索复合(compound)缩放策略[35]。
虽然许多复杂的ConvNets提供了比简单的网络更高的精度，缺点是显著的。
-
复杂的多分支设计(如ResNet中的残差相加（ residual-addition）和Inception中的分支拼接（branch-concatenation)使得模型难以实现和定制，降低了推理速度和内存利用率。
-
一些组件(例如，Xception[3]和MobileNets[16,30]中的 depthwise conv 和ShuffleNets[24, 41]中的 channel shuffle)增加了内存访问成本，并且缺乏各种设备的支持。
由于影响推断速度的因素太多，浮点运算的数量（floating-point operations (FLOPs)）不能准确地反映实际速度。虽然一些新型的模型比老式的像VGG和ResNet-18/34/50[12]有更低的FLOPs，但它们可能不会跑得更快(表4)。因此，VGG和ResNets的原始版本仍然大量用于学术界和工业界的实际应用。
表4:在ImageNet上用简单的数据增强训练120个epochs的结果。在1080Ti上测试速度，batch size 大小为128，全精度(fp32)，并以 examples/second 测量。我们计算理论 上的 FLOPs和 Wino MULs，如第2.4节所述。基线是我们用相同的训练设置实现的。
在本文中，我们提出了RepVGG，这是一种 VGG 风格的架构，它优于许多复杂的模型(图1)。RepVGG具有以下优点：
图1:在ImageNet上 Top-1 accuracy与 实际速度的对比。
左:轻量级和中量级的RepVGG和120个 epochs 训练的基线。右:200个epochs训练的重量级模型。在相同的1080Ti上测试速度，batch size 大小为128，全精度(fp32)，single crop，并以 examples/second 测量。EfficientNet-B3[35]的输入分辨率为300，其他的为224。
标签：RepVGG,style,架构,Again,模型,VGG,ResNet,精度 来源： https://www.cnblogs.com/odesey/p/16563090.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。