标签：right 研读 个点 近邻 距离 算法 数据 left

四，专著研读（K-近邻算法）

• K-近邻算法
  有监督学习距离类模型，
  
• k-近邻算法步骤
  
  • 计算已知类别数据集中的点与当前点之间的距离
  • 按照距离递增的次序进行排序
  • 选取与当前点距离最小的K个点
  • 确定前k个点出现频率
  • 返回前k个点出现频率最高的类别作为当前点的预测类别
    
• 欧氏距离
  
  \(dist\left ( x,y \right )=\sqrt{\left ( x_{1}-y_{1} \right )^{2}+\left ( x_{2}-y_{2} \right )^{2}+...+\left ( x_{n}-y_{n} \right )^{2}}=\sqrt{\sum_{i=1}^{n}\left ( x_{i}-y_{i} \right )^{2}}\)
  
  
  
  
  
• K的选择对分类器的效果有决定性的作用，
• 数据归一化处理
  0-1标准化，Z-score标准化，Sigmoid压缩法等，其中最简单的是0-1标准化。
  
  \(x_{normalization}=\frac{x-Min}{Max-Min}\)
  
  
  
  
  
• K-近邻
  
  • 数据输入：特征空间中至少包含k个训练样本（k>=1），特征空间中各个特征的量纲需要统一，若不统一则需要进行归一化处理，自定义超参数k（k>=1）
  • 模型输出：在KNN分类中，输出是标签中的某个类别，在KNN回归中，输出是对象的属性值，该值是距离输入的数据最近的k个训练样本标签的平均值。
    
    
    
• 优点
  
  • 容易理解，精度高，既可以用来做分类也可以用来做回归
  • 可用于数值型数据，和离散型数据
  • 无数据输入假定
  • 适合对稀有数据进行分类
• 缺点
  
  • 计算复杂性高，空间复杂性高
  • 计算量大
  • 样本不平衡问题
  • 可理解性较差

标签：right,研读,个点,近邻,距离,算法,数据,left
来源： https://www.cnblogs.com/zaw-315/p/11251929.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。