标签：logistics 逻辑 Square 函数 Sigmoid 回归 线性 regression

逻辑回归（Logistic Regression）与线性回归（Linear Regression）都是一种广义线性模型（generalized linear model）。逻辑回归假设因变量 y 服从伯努利分布，而线性回归假设因变量 y 服从高斯分布。 因此逻辑回归与线性回归有很多相同之处，去除Sigmoid映射函数的话，逻辑回归算法就是一个线性回归。

逻辑回归虽然带有“回归”二字，但其本质却是一个经典的二分类算法。对于线性回归，其输出值可以是任意值，比如我要预测2025年的房价，训练出模型并应用之后得到的是一个具体的数值；而分类的话得到的答案是1 or 0，1表示属于该类，0表示不属于该类。

逻辑回归中用到了一个非常重要的函数：Sigmoid函数，Sigmoid函数也叫Logistic函数，其取值范围是(0,1)。
Sigmoid函数由下列函数定义：

图像：

求导：

Loss Function推导过程：

逻辑回归的损失函数我们采用的是一种交叉熵，而不是线性回归里面的Square Error，解释如下：

从推导可以看出，对逻辑回归假若使用Square Error，无论f(w,b,x)=1还是0，都是靠近最优解的，这显然是不合理的。借用李宏毅老师课件上的一张图可以更加具体地说明这个问题：

距离target越远，我们应该更快地更新参数，即距离越远微分值应该越大，梯度下降时移动的距离就越远。but对于Square Error，即使距离很远，微分值也会非常小，移动到target的速度就非常慢了。

Discriminative VS Generative

逻辑回归的方法称为Discriminative（判别） 方法；上一篇中用高斯来描述后验概率，称为 Generative（生成） 方法。它们的函数集都是一样的：

区别是：判别方法中的w和b是用梯度下降的方法找到的，而生成方法中的w和b，从上一篇文章可以看出来，是使用极大似然估计，先估计出u1,u2以及共用的协方差矩阵∑，最后代入式子中算出来的。

标签：logistics,逻辑,Square,函数,Sigmoid,回归,线性,regression
来源： https://blog.csdn.net/Cyril_KI/article/details/106984794

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。