逻辑回归（logistic regression）是统计学习中的经典分类方法，它可以处理二元分类以及多元分类。虽然名字里有”回归“两字，那么这两者又有什么关系呢？
1.从线性回归到逻辑回归
逻辑回归的原理是用逻辑函数将线性回归的结果\((-\infty,+\infty)\)映射到\((0,1)\)，故先介绍线性回归函数和逻辑函数。
1.1线性回归函数
线性回归的模型是求出输出特征向量\(Y\)和输入样本矩阵\(X\)之间的线性关系系数\(\theta\)，满足\(Y=X\theta\)，即
\[Y = \theta_0 + \theta_1 x_1+···+\theta_nx_n = \theta^TX \]此时\(Y\)是连续的，属于回归模型。
1.2二元逻辑回归模型
我们对线性回归的结果做一个函数\(g\)上的转换，可以变化为逻辑回归，这个\(g\)函数我们一般取为\(sigmoid\)函数，即
\[g(z) = \frac{1}{1+e^{-z}} \]
从图中可以看出，当\(z\)趋于正无穷时，\(g(z)\)趋于\(1\)，而当\(z\)趋于负无穷时，\(g(z)\)趋于0，这就非常适合于分类概率模型。另外它还有一个导数性质：
\[g'(z) = g(z) (1-g(z)) \]如果我们令\(z=x\theta\)，这样就得到了二元逻辑回归模型的一般形式：
\[h(x )=\frac{1}{1+e^{-x\theta}} \]其中\(x\)为样本输入，\(h(x)\)为模型输出，可以看作是某一分类的概率大小。\(\theta\)为分类模型的要求的模型参数。对于二元样本来说，如果\(h(x) >0.5\)，即\(x\theta>0\)，则\(y=1\)。如果\(h(x) <0.5\)，即\(x\theta<0\)，则\(y=0\)。\(y=0.5\)是临界情况。
\(h(x)\)的值越小，分类为\(0\)的概率越高，反之，值越大的话分类为\(1\)的概率就越高。如果靠近临界点，则分类准确率会下降。
模型的损失函数目标是极小化损失函数来得到对应的模型参数\(\theta\)。
2.二元逻辑回归的损失函数
我们用最大似然法来推导出我们的损失函数。
按照二元逻辑回归的定义，假设我们的样本输出是0或者1两类。有：
\[\begin{aligned} P(y&=1|x) = h(x)\\ P(y&=0|x) = 1-h(x) \end{aligned} \]上面两个式子可以简写成一个式子，即：
\[P(y|x) = h(x)^y(1-h(x))^{1-y} \]\(y\)取0或1
得到了\(y\)的概率分布函数表达式，我们就可以用极大似然函数法来求解模型参数\(\theta\)。
似然函数为：
\[L(\theta) = \prod_{i=1}^m h(x^{(i)},\theta)^{y^{(i)}}(1-h(x,\theta))^{1-y^{(i)}} \]其中，\(m\)为样本个数。
对似然函数对数化并取反可得到损失函数：
\[J(\theta) = -lnL(\theta) = -\sum_{i=1}^m[y^{(i)}~log(h(x^{(i)},\theta))+(1-y^{(i)})~log(1-h(x^{(i)},\theta))] \]3.二元逻辑回归的损失函数的优化策略
对于二元逻辑回归的损失函数最小化，常见的有梯度下降法，坐标轴下降法，拟牛顿法，这里我只给出有关梯度下降法的代数推
导，具体参考4. 二元逻辑回归的损失函数的优化方法
4.二元逻辑回归的正则化
逻辑回归也会面临过拟合，我们可以使用正则化来避免过拟合。
在经验风险最小化的基础上，尽可能采用简单的模型，可以有效提高泛化预测精度。如果模型过于复杂，变量值稍微有点变动，就会引起预测精度问题。正则化之所以有效，就是因为其降低了特征的权重，使得模型更为简单。
正则化一般会采用\(L1\)范式或者\(L2\)范式。
逻辑回归的\(L1\)正则化的损失函数表达式如下，相比普通的逻辑回归损失函数，增加了\(L1\)的范数做作为惩罚，超参数\(α\)作为惩罚系数，调节惩罚项的大小。
二元逻辑回归的\(L1\)正则化损失函数表达式如下：
\[J(\theta) = -Y^T \circ log(h(\theta,X)) - (1-Y)^T \circ log (1-h(\theta,X)) +\alpha ||\theta||_1 \]\(\circ\)代表矩阵哈达玛积，逻辑回归的\(L1\)正则化损失函数的优化方法常用的有坐标轴下降法和最小角回归法。
二元逻辑回归的L2正则化损失函数表达式如下：
\[J(\theta) = -Y^T \circ log (h(\theta,X)) - (1-Y)^T \circ log(1-h(\theta,X)) + \frac{1}{2} \alpha|| \theta||_2^2 \]逻辑回归的L2正则化损失函数的优化方法和普通的逻辑回归类似。
标签：逻辑,二元,回归,学习,正则,theta,函数 来源： https://www.cnblogs.com/Ldemon/p/16523904.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。