标签：RNN WN BN 归一化 Batch 四种 深度 组归 Normalization

深度学习中数据的维度⼀般是【N, H, W, C】格式，其中 N 是batch size，H、W是特征图的⾼和宽，C是特征图的通道数。如下图所⽰，
是 BN、LN、IN 与 GN 作⽤⽅式的对⽐图。

下⾯分别来解释这四种不同的归⼀化⽅式：

• 批归⼀化BN：对批次⽅向（N）做归⼀化
• 层归⼀化LN：在通道⽅向（C）上做归⼀化，主要对RNN作⽤明显
• 实例归⼀化IN：在⼀个图像像素内做归⼀化，主要⽤于风格化迁移
• 组归⼀化GN：在通道⽅向上分组，然后再每个组内做归⼀化

组归⼀化的优点：组归⼀化将通道分成组，并在每组内计算归⼀化的均值和⽅差。组归⼀化的计算与批量⼤⼩⽆关，所以其准确度在各种批量⼤⼩都很稳定。

10、BN 和 WN ⽐较

WN（Weight Normalization）是权重归⼀化，它与BN都属于参数重写的⽅法，只是采⽤的⽅式不同。WN 是对⽹络权值 W进⾏归⼀化， BN 是对⽹络某⼀层输⼊数据进⾏归⼀化。

WN 相⽐ BN 的优势在于：

• 通过重写深度学习⽹络的权重W的⽅式来加速深度学习⽹络参数收敛，没有引⼊ minbatch 的依赖，适⽤于 RNN、LSTM⽹络；⽽BN 不能直接⽤于RNN，原因在于：(1) RNN 处理的 Sequence 是变长的；2) RNN 是基于时间状态 计算，如果直接使⽤ Batch Normalization 处理，需要保存每个时间状态下mini btach 的均值和⽅差，效率低且占内存）。
• Batch Normalization 基于⼀个 mini batch 的数据计算均值和⽅差，⽽不是基于整个 Training set 来做，相当于进⾏梯度计算式引⼊噪声。因此，Batch Normalization 不适⽤于对噪声敏感的强化学习、⽣成模型。相反，Weight Normalization 对通过标量g和向量v对权重W进⾏重写，重写向量v是固定的，因此，基于 Weight Normalization 的 Normalization 可以看做⽐ Batch Normalization 引⼊更少的噪声。
• 不需要额外的存储空间来保存 mini batch 的均值和⽅差，同时实现 Weight Normalization 时，对深度学习⽹络进⾏正向信号传播和反向梯度计算带来的额外计算开销也很⼩。因此，要⽐采⽤ Batch Normalization 进⾏ normalization 操作时，速度快。

11、归⼀化和标准化的联系与区别

• 联系：都能取消由于量纲不同引起的误差；都是⼀种线性变换；都是对向量按照⽐例压缩再进⾏平移。
• 区别：归⼀化是将样本的特征值转换到同⼀量纲下，把数据映射到 [0, 1] 或 [-1, 1] 区间内，区间放缩法是归⼀化的⼀种。标准化是将样本转换成标准正太分布，使其和整体样本分布相关，每个样本点都能对标准化产⽣影响。

标签：RNN,WN,BN,归一化,Batch,四种,深度,组归,Normalization
来源： https://www.cnblogs.com/end/p/16394450.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。