标签：算法 NAS 神经网络 AutoML DARTS 搜索 MiLeNAS 精度
文章题目：MiLeNAS: Efficient Neural Architecture Search via Mixed-Level Reformulation
链接：link https://arxiv.org/abs/2003.12238
会议期刊：CVPR 2020
论文阅读笔记，帮助记忆的同时，方便和大家讨论。因能力有限，可能有些地方理解的不到位，如有谬误，请及时指正。
论文内容
随着AI的普及，对于深度学习降低门槛的需求越来越强烈。近年来AutoML技术爆发式增长，无论是产业界还是学术界都有丰富多样的产品。其中神经网络架构搜索技术（Neural Architecture Search 简称NAS）主要分为三类技术途径：基于进化算法的技术、基于强化学习算法的技术和基于梯度更新的技术。本文是在基于梯度的代表性算法DARTS的基础上做了改进，相较于之前的DARTS，速度和精度都有提升。
之前的主网络和子网络包含在大Garph中的双层结构，每次搜索完都需要等子网络训练收敛才行。
而类似于SinglePath的单层结构，尽管有Dropout之类的正则化方式，仍然无法避免过拟合，导致训练和验证精度之间出现鸿沟。
因此在综合了以上两种方式后，选取一个折中方案，在拉格朗日乘子和归一化后，最终一阶的混合层优化Loss变为以下公式：
为证明以上公式的正确性，文章中对比了一二阶MiLeNAS和DARTS，最终结论是一阶MiLeNAS＞二阶DARTS＞一阶DARTS＞二阶MiLeNAS。在搜寻最优网络结构的同时，加入了带权重的验证精度，该算法的框架如下图：
MiLeNAS对比其他NAS算法，常规操作——在Cifar10上搜索、训练、测试一条龙；网络结构固定后迁移到ImageNet，从头开始训练并测试，实验结果如下，可见精度和速度都有提升：
亮点和收获
1.虽然这种方法并不是现有最优的，但是其他方法的优势可能是搜索空间或者搜索策略带来的，这种混合层级优化的NAS是一种通用的优化方法。
2.我们通常的观点是模型越大，性能越好。在规避过拟合的前提下，往往希望模型越大越好。文章中跟踪了Model-size，发现其实这种现象并不是单调的，会有拐点。
这种实时跟踪模型大小，不仅可以满足那些对Model-size有要求的任务，权衡精度和大小，同时可以作为模型压缩的另一种思路。（DARTS之所以没有这么稳定的规律，个人认为是梯度计算误差导致的扰动，如果采样够多，应该能统计出相似规律）。
3.根据Model-size来Early-Stop。
4. 用可微的Gumbel-Softmax替代原有的Softmax来加速训练。
标签：算法,NAS,神经网络,AutoML,DARTS,搜索,MiLeNAS,精度 来源： https://blog.csdn.net/luzheai6913/article/details/105646223
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。