标签：Hybrid SVD DNN 矩阵 近似 Deep 奇异 向量

三种不同的DNN架构

1. 输入矩阵通过单个DNN网络计算，直接输出所有的奇异值和奇异向量。
2. 整体包含K个DNN,每一个DNN都被训练来预测最大的奇异值和相关联的左右奇异向量。 低复杂度
3. 输入矩阵到单个DNN,循环迭代的输出一个奇异值和奇异向量。低复杂度+进一步简化SVD操作

K是含义

1. 奇异值分解

   \[A = UΣV^T , (1)\\ A =》 m*n阶,U =>m*m，Σ=>m*n,V=>n*n \\ U^TU=I V^TV=I的m阶与n阶酉矩阵\\ {(Σ)_{ii}} = \delta_i,其他位置的元素均为0，\delta_i为非负且满足σ1⩾σ2⩾...⩾0 \\ 其中U的列向量u_i称为A的左奇异向量, V的列向量v_i称为A的右奇异向量, σi称为奇异值. \\ 矩阵的秩就等于非零奇异值的个数，但是奇异值σ跟特征值类似，在矩阵Σ中也是从大到小排列，\\ 而且σ的减少特别的快，在很多情况下，前10\%奇异值的和就占了全部的奇异值之和的99\%以上了。\\ 也就是说，我们也可以用前r大的奇异值来近似描述矩阵,这能减少存储消耗。在很小的损失下，提取矩阵特征。 \]

2. 使用低秩矩阵近似矩阵A

   \[在A = UΣV^T矩阵分解中,假设给定一个秩为r的矩阵A, 欲求其最优k秩近似矩阵A‘，k<= r(k可以远小于r)\\ min_{A'∈R^{m×n}}∥A−A'∥_F , (2) \]
   \[对A做奇异值分解后，将奇异矩阵Σ中的 (r - k ) 个最小的奇异值=0 .\\ 获的矩阵Σ_k,只保留K个最大的奇异值，则\\ A_k=U_kΣ_kV^T_k ,(3) \\ 其中U_k和V_k分别是算式（1）前k列组成的矩阵，A_k就是A的最优k秩近似矩阵A' \]

3. 参考博客连接

   https://www.cnblogs.com/lhtan/p/7998662.html
   https://www.cnblogs.com/fionacai/p/5767973.html
   

标签：Hybrid,SVD,DNN,矩阵,近似,Deep,奇异,向量
来源： https://www.cnblogs.com/eaapple/p/14358301.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。