标签：Clustering clustering AE Autoencoder Embedded 残差 Residual end

出于为了解决AE中的梯度消失，是否可以使用残差网络或者dense net解决的心态，我搜到了这篇文章Deep Embedded Clustering with Asymmetric Residual Autoencoder。

本文的亮点：

1. 使用了一个非对称的、残差的autoencoder来训练样本；

2. 将clustering融合入模型，解决end-to-end问题；

3. 非对称训练得到的AE更加适合clustering；

4. 因为将模型融合，导致AE的训练存在一些constraint（满足clustering），优化更加容易。

   A clustering layer has been incorporated into ADREC to form an end to end solution and optimize the network with the help of the clustering result feedback.

模型分为两个部分，embedding部分和clustering部分。如图1，左边是一个4-res-Blocks的残差网络，右边是一个Dense+3-TransposeConv，文中用的clustering是k-means。

损失由2个部分组成。

L r L_r Lr​是MSEi重构误差， L c L_c Lc​是一个KL散度（相对熵）。

其中 q i j q_{ij} qij​是i个数据分到j类的概率， μ j \mu_j μj​是j类的聚类中心，假设了一个student分布。如下图，v=1，于是有式（3）

式（4）比较扯，没搞懂，暂且认为是非线性即可。

最后因为只有clustering，会导致AE的嵌入空间失真，所以将他们组合起来。

According to [11], the embedded space will be distorted if the encoder is finetuned only using the clustering loss.

结果还行，在常见的数据集中。

标签：Clustering,clustering,AE,Autoencoder,Embedded,残差,Residual,end
来源： https://blog.csdn.net/qq_44944580/article/details/120678044

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。