标签：title Vh 矩阵 标题 shape 奇异 聚类 print
文章目录
问题阐述
我们有一堆文章及文章标题，我们想对这些文章做个聚类，相同知识点的文章聚在一起，我们可以采用奇异值分解的方法来实现。
基本思想
- 构建关键词的集合
- 构建以行为关键词出现次数、列为关键词的二维数组
- 对二维数组进行奇异值分解
- 数据降维
奇异值分解：将二维数组看作一个m * n的矩阵，将二维数组进行奇异值分解，得到U, s, vh三个数组，u为m * r的矩阵，s为r * r的矩阵，Vh为r * n的矩阵，其中s除对角线外其他值都为0。
代码实现
import numpy as np
import matplotlib.pyplot as plt
title_1 = ['dad', 'dad', 'stock']
title_2 = ['books', 'books', 'value', 'estate']
title_3 = ['books', 'decomposition']
title_4 = ['stock']
title_5 = ['dad']
title_6 = ['vlaue', 'singular', 'decomposition']
title_7 = ['dad', 'singular']
title_8 = ['singular', 'estate', 'decomposition']
words = ['book', 'dad', 'stock', 'value', 'singular', 'estate', 'decomposition']
X = np.array([[0, 2, 1, 0, 0, 0, 0], [2, 0, 0, 1, 0, 1, 0], [1, 0, 0, 0, 0, 0, 1], [0, 0, 1, 0, 0, 0, 0],
[0, 1, 0, 0, 0, 0, 0], [0, 0, 0, 1, 1, 0, 1], [0, 1, 0, 0, 1, 0, 0], [0, 0, 0, 0, 1, 1, 1]])
U, s, Vh = np.linalg.svd(X) # 左奇异矩阵，奇异矩阵，右奇异矩阵
print('U=', U)
print('U.shape', U.shape)
print('s=', s)
print('s.shape=', s.shape)
print('Vh=', Vh)
print('Vh.shape=', Vh.shape)
plt.axis([-0.8, 0.2, -0.8, 0.8]) # 规定坐标轴范围
# 原每个关键词由1*8的向量表示，现降维成1*2的向量表示
for i in range((len(words))):
plt.text(U[i, 0], U[i, 1], words[i])
plt.show()
降到二维可视化后，我们可以将关键词聚类，如singular, value和decomposition三个词距离比较近可以被划分为一组， 而stock和estate经常同时出现。
在得到了词的向量表示后，我们就可以根据选取一种向量距离（例如：欧式距离、曼哈顿距离等)计算的方式来计算词间的相似度，从而可以再根据一些策略（例如：词对相似度的和、均值等)得到文章标题之间的相似度，之后我们就可以通过文章标题的相似度来近似表示文章内容的相似度从而完成对文章的聚类。
标签：title,Vh,矩阵,标题,shape,奇异,聚类,print 来源： https://blog.51cto.com/u_15251606/2870667
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。