标签：Search 梯度 矩阵 Differentiable Architecture 集上

《DARTS: Differentiable Architecture Search》
简介：
可微的方式
我们的方法是基于结构表示的连续松弛，允许使用梯度下降有效地搜索结构。

贡献：
1:介绍了一种适用于卷积结构和递归结构的可微网络结构搜索的新算法。
2:通过对图像分类和语言建模任务的广泛实验，我们发现基于梯度的体系结构搜索在cifar-10上取得了很好的竞争结果。
3:我们实现了显著的架构搜索效率(4个GPU：cifar-10在1天内有2.83%的错误；PTB在6小时内出现56.1的困惑)，我们将其归因于基于梯度的优化a的使用。
4:我们表明，在CIAR-10和PTB上通过DART学习的体系结构可分别传递到ImageNet和WikimText-2。可迁移

2 Differentiable Architecture Search
2.1 Search Space

operation o(i,j)that transforms x(i)

2.2 Continuous Relaxation and Optimization
连续松弛与优化

replacing each mixed operation o¯(i,j) with the most likely operation
最大可能操作代替 混合操作从而得到一个离散的网络结构参数

2.3训练步骤

w和α通过分别在权重和架构空间中的梯度下降步骤之间交替来优化

在训练集上固定alpha矩阵的值，然后梯度下降W矩阵的值，再在验证集上固定W矩阵的值，然后梯度下降alpha的值，循环往复直到这两个值都比较理想

Where:


其中ξ是这个虚拟梯度步骤的学习速率。
他在优化的过程中，不单单是在验证集上简单的梯度下降alpha的值，而是求了一下二阶导，它希望知道能如何下降不仅在当前验证集效果好，而且在训练集的效果也好，这样就可以使原来的网络更好，速度也更快


矩阵向量积难计算,计算有限差分逼近,复杂度下降

genotype结构定义




实验：

标签：Search,梯度,矩阵,Differentiable,Architecture,集上
来源： https://blog.csdn.net/qq_32256033/article/details/88891800

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。