七，专著研读（Logistic回归）

2019-07-28 09:00:07 阅读：240 来源： 互联网

标签：frac 研读回归专著 log Logistic omega 函数

七，专著研读（Logistic回归）

分类：k-近邻算法，决策树，朴素贝叶斯，Logistic回归，支持向量机，AdaBoost算法。
运用
- k-近邻算法，使用距离计算来实现分类
- 决策树，构建直观的树来分类
- 朴素贝叶斯，使用概率论构建分类器
- Logistic回归，主要是通过寻找最优参数来正确分类原始数据
逻辑回归（Logistic Regression）：虽然名字中有“回归”两个字，但是它擅长处理分类问题。LR分类器适用于各项广义上的分类任务，例如：评论信息的正负情感分析，用户点击率，用户违约信息预测，垃圾邮件检测疾病预测，用户等级分类（二分类）。
逻辑回归和线性回归本质都是得到一条直线，不同的是线性回归的直线是尽可能去拟合输入变量x的分布，使得训练集中所有样本点到直线的距离最短；而逻辑回归的直线尽可能去拟合决策边界，使得训练集中的样本点尽可能的分开。两者目的不同。
二分类情况下：单位阶跃函数（海威赛德阶跃函数）。sigmoid函数较为容易处理。
- sigmoid函数公式
  
  $ f(x)=\frac{1}{1+e^{-x}}$
逻辑回归：通过将线性模型和sigmoid函数结合，可以得到逻辑回归公式：

y=\frac{1}{1+e^{-(\omega x+b)}}

y就是（0,1）的取值。
进行变换（左右乘log），可得

log\frac{y}{1-y}=\omega x+b

这是一个对数几率的公式。
二项Logistic回归

$P(y=0|x)=\frac{1}{1+e^{\omega x}}$

$ P(y=1|x)=\frac{e^{\omega x}}{1+e^{\omega x}}$
多项Logistic回归

$P(y=k|x)=\frac{e^{\omega x}}{1+\sum_{k-1}^{K-1}e^{\omega _{k} x}}$

$ P(y=K|x)=\frac{1}{1+\sum_{k-1}^{K-1}e^{\omega _{k} x}}$
LR与线性回归的区别
- 逻辑回归和线性回归是两类模型，逻辑回归是分类模型，线性回归是回归模型。
LR损失函数：使用损失函数预测模型的好坏，衡量真实值和预测值之间差距的函数，损失函数越小，模型就越好，最小损失0。

$ -log(x),y=1$

$-log(1-x),y=0$
把上边两个损失函数综合起来：

$-[ylog(x)+(1-ylog(1-x)]$

y是标签，分别取0,1。对于m个样本，总的损失函数为：

$J(\Theta )=-\frac{1}{m}\sum_{i=1}^{m}[y_{i}log(p(x_{i})+(1-y_{i})log(1-p(x_{i}))]$

这个式子中，m是样本数，y是标签，取值0或1，i表示第i个样本，p(x)表示预测的输出。
当损失过于小的时候，模型能拟合绝大部分的数据，这时候容易出现过拟合。防止过拟合引入正则化。
梯度下降：在最小化损失函数时，可以通过梯度下降法迭代求解，得到最小化的损失函数和模型参数值。
梯度下降的种类
- 批量梯度下降算法BGD
- 随机梯度下降算法SGD

标签：frac,研读,回归,专著,log,Logistic,omega,函数
来源： https://www.cnblogs.com/zaw-315/p/11257719.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

七，专著研读（Logistic回归）