目录
1.理解支持向量机（SVM）
1）SVM特点
- 支持向量机和神经网络都是“黑箱模型”的代表：潜在的模型基于复杂的数学系统，而且结果难以解释。
- SVM的目标是创建一个平面边界（“超平面”），使得任何一边的数据划分都是均匀的。结合了kNN和线性回归。
- 几乎适用于所有的学习任务，包括分类和数值预测。
2）用超平面分类
- 线性可分：可以由一条直线或一个平面进行划分
- 最大间隔超平面（MMH）：很多线都能对数据点进行分类，但要寻找能使类形成最大间隔的那条线（因为在边界附近点位置的微小变化可能导致某些点落在线之外），支持向量就是每个类中最接近最大间隔超平面的点。所以单独使用支持向量，就能定义最大间隔超平面。
- 线性可分条件下，最大间隔超平面要尽可能远离两组数据点的外边界（“凸包”），最大间隔超平面就是两个凸包之间的最短距离直线的垂直平分线，可通过“二次优化”算法实现。
- 非线性可分：数据不是线性可分的条件下，使用一个“松弛变量”来创建一个软间隔，允许一些点落在线不正确的一边。
- 非线性可分中的成本参数C：即所有违反约束的点，试图使总成本最小，而非寻找最大间隔。修改C将调整对于落在超平面错误一边的案例的惩罚。C越大，实现100%分离的优化就越困难。较小的C将把重点放在更宽的整体边缘。
3）对非线性空间使用核函数
- 另一种处理非线性问题的方法，就是使用“核技巧”的处理将问题映射到一个更高维的空间，这样非线性关系可能会变为完全线性。
- 从本质上讲，核技巧涉及一个添加能够表述度量特征之间数学关系新特征的过程。
- 非线性核SVM的特点：
- 核函数：线性核函数（特征的点积），多项式核函数（加一个非线性数据变换），S形核函数（类似神经网络的S形激活函数），高斯RBF核函数（类似RBF神经网络）。多数情况下，核函数的选择是任意的，因为性能可能只有轻微的变化。
2. 支持向量机应用示例
使用SVM进行光学字符识别（OCR图像处理）：通过将印刷或手写文本转换为电子形式，保存在数据库种来处理纸质文件。
难点：
- 图像的规则模式很难严格定义
- 图像数据往往是噪声数据
1）收集数据
数据集包含26个大写英文字母的2000个案例，使用20种不同的随机重塑和扭曲的黑斯和白色字体印刷。
假设当图像字符被扫描到计算机，转换为像素，有16个统计属性（如水平垂直尺寸，黑色像素比例等）。
数据下载：
链接: https://pan.baidu.com/s/1q8zHWkMZcapwnX90PA4hOg 提取码: eaqt
2）探索和准备数据
SVM需要所有特征都是数值型的，而且每一个特征需要缩小到一个相当小的区间内。所以不要有因子，而且要做标准化。这里略过没做。
## Example: Optical Character Recognition ----
## Step 2: Exploring and preparing the data ----
# read in data and examine structure
letters <- read.csv("letterdata.csv")
str(letters)
# divide into training and test data
letters_train <- letters[1:16000, ] #80%
letters_test <- letters[16001:20000, ] #20%
3）训练数据
SVM的R包有e1071，klaR和kernlab等，这里用kernlab（与caret连用，允许SVM使用各种自动化方法进行训练和评估）。
kernlab::ksvm(target~predictors,
data=mydata,
kernel="rbfdot", #隐非线性映射，rbfdot/polydot/tanhdot/vanilladot
c=1) #违法约束条件的惩罚，较大的c值导致较窄的边界
训练：
## Step 3: Training a model on the data ----
# begin by training a simple linear SVM
library(kernlab)
letter_classifier <- ksvm(letter ~ ., data = letters_train,
kernel = "vanilladot") #默认使用高斯RBF核函数，这里用线性函数
# look at basic information about the model
letter_classifier
4）评估模型
letter_predictions <- predict(letter_classifier, letters_test)
head(letter_predictions)
table(letter_predictions, letters_test$letter)
# look only at agreement vs. non-agreement
# construct a vector of TRUE/FALSE indicating correct/incorrect predictions
agreement <- letter_predictions == letters_test$letter
table(agreement)
prop.table(table(agreement))
识别的准确度大概为84%。
5）提高性能
可以使用一个更复杂的核函数，将数据映射到更高维的空间，获得一个较好的模型拟合度。如试试高斯RF核函数，或者修改成本约束参数C值来修正决策边界的宽度。
## Step 5: Improving model performance ----
set.seed(12345)
letter_classifier_rbf <- ksvm(letter ~ ., data = letters_train, kernel = "rbfdot") #高斯RBF核函数
letter_predictions_rbf <- predict(letter_classifier_rbf, letters_test)
agreement_rbf <- letter_predictions_rbf == letters_test$letter
table(agreement_rbf)
prop.table(table(agreement_rbf))
训练时间更长，将准确度提高到了93%。
标签：SVM,机器,函数,非线性,超平面,数据,向量,语言 来源： https://www.cnblogs.com/jessepeng/p/13636231.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。