标签：逻辑 dj 函数 frac 神经网络 dw 深度 原理 hat

逻辑回归基础

逻辑回归目的

逻辑回归的目的就是训练一个函数，将数据的数据输入，输出一个结果，这个结果对于不同的问题不同，对于二分类问题主要是输出一个概率值，表示是这个分类的概率。假设数据数据X为输入，Y为分类结果，计算下面这个函数：

\[\hat{y}=w·X+b \]

\[ \begin{aligned} &输入数据X 是个(m，n)的矩阵 &m是参数个数， &n是样本个数\end{aligned}\]

\[w 是个(1，m)的矩阵，b是一个实数,\hat{y}是(1,n)的矩阵 \]

对这个 函数中的值w，和b进行跳转让这个函数输出的值尽量与Y接近，减小函数误差，尽力保证输出的准确率。

计算误差

对于逻辑回归，首先需要对求得的函数值y进行一个映射，将值映射到（0,1）上，这里使用的激活函数为：

\[h(x)=\frac{1}{1+e^{-\hat{y}}}=\frac{1}{1+e^{-(w · X+b)}} \]

对于单个样本我们可以计算对应的误差，对于逻辑回归具体的损失函数为：

\[Cost(y,h(x))= \begin{cases} -log(h(x)),\quad y= 1\\ -log(1-h(x)), y=0 \end{cases} \tag{1} \]

之后对于m个样本进行，计算代价函数：

\[J(w,b)=-\frac{1}{m}\sum_{i=1}^{m}[y^{(i)}log(h_{w,b}(X^{(i)}))+(1-y^{(i)})log(1-h_{w,b}(X^{(i)}))] \]

所以我们只需要对函数J进行求导，获取函数J的局部最小值。

梯度下降

对于梯度下降，这里我们需要求w和b的偏导数，通过让w和b向函数值减小方向移动减小代价函数的值。

\[\frac{dj}{dw}=\frac{dj}{d(h(x))} ·\frac{d(h(x))}{dw} \]

\[\frac{dj}{d(h(x))}=-\frac{1}{m}\sum_{i=1}^{m}[\frac{y^{(i)}}{(h_{w,b}(x^{(i)})}-\frac{(1-y^{(i)})}{1-h_{w,b}(x^{(i)})}] \]

\[\frac{d(h(x))}{dw}=(\frac{e^{-\hat{y}}}{(1+e^-\hat{y})^2})·x=(1-h(X))·x \]

最后得到的结果是：

\[\frac{dj}{dw}=\frac{1}{m}(h(x^{i}-y^i)·x \]

同理可以求出b的偏导数：

\[\frac{dj}{db}=\frac{1}{m}(h(x^{i}-y^i) \]

数据更新

在每一次循环中，我们通过梯度函数，更新w和b，公式如下

\[w：=w-\alpha\frac{dj}{dw} \]

\[b：=b-\alpha\frac{dj}{db} \]

\[\alpha 表示学习率，通常为一个0.01这样的较小值，具体需要依据数据设置 \]

总结

介绍了如何实现逻辑回归，对于神经网络，可以看成多次的逻辑回归训练，每一个隐藏层都进行一个逻辑回归，求出对应结果，但不同的是神经网络使用的激活函数并不是简单的线性函数，通过都是非线性的激活函数，线性激活函数训练出来的神经网络起始和逻辑回归的结果是一样的，所以需要使用非线性的激活函数，下篇将对神经网络的向前传播和反向传播进行一个原理的介绍。

标签：逻辑,dj,函数,frac,神经网络,dw,深度,原理,hat
来源： https://www.cnblogs.com/blackworld-sp/p/16560932.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。