标签：yi 吴恩达 xi frac 笔记 right 线性 theta left

单变量线性回归

符号说明

$m$m代表训练集中实例数据
$x$x代表输入特征/输入变量
$y$y代表目标变量/输出变量
$(x,y)$(x,y)代表训练集中的实例
$(x_i,y_i)$(xi​,yi​) 代表第$i$i个观测实例
$h$h代表学习算法解决方案或函数

代价函数

代价函数为
$J(\theta_0,\theta_1)=\frac{1}{2m}\sum_{i=1}^{m}(h_\theta(x_i)-y_i)^2$J(θ0​,θ1​)=2m1​i=1∑m​(hθ​(xi​)−yi​)2
直观理解如下：要确定出$\theta_0$θ0​,$\theta_1$θ1​及使得
$min J(\theta_0,\theta_1)$minJ(θ0​,θ1​)

梯度下降法

$\theta_{j}:=\theta_{j}-\alpha \frac{\partial}{\partial \theta_{j}} J(\theta)$θj​:=θj​−α∂θj​∂​J(θ)
对$\theta$θ赋值，使得代价函数按照梯度下降最快方向进行，一直迭代下去，其中$\alpha$α为学习率
如果$\alpha$α很小，需要迭代很多步才能到全局最小，如果很大会跳过局部最优导致无法收敛

梯度下降的线性回归

$\frac{\partial}{\partial\theta_j}J(\theta_0,\theta_1)=\frac{\partial}{\partial\theta_j}\frac{1}{2m}\sum_{i=1}^{m}(h_\theta(x_i)-y_i)^2$∂θj​∂​J(θ0​,θ1​)=∂θj​∂​2m1​i=1∑m​(hθ​(xi​)−yi​)2
当$j=0$j=0时:$\frac{\partial}{\partial \theta_{0}} J\left(\theta_{0}, \theta_{1}\right)=\frac{1}{m} \sum_{i=1}^{m}\left(h_{\theta}\left(x_{i}\right)-y_{i}\right)$∂θ0​∂​J(θ0​,θ1​)=m1​i=1∑m​(hθ​(xi​)−yi​)
当$j=1$j=1时：$\frac{\partial}{\partial \theta_{1}} J\left(\theta_{0}, \theta_{1}\right)=\frac{1}{m} \sum_{i=1}^{m}(\left(h_{\theta}\left(x_{i}\right)-y_{i}\right)x_i)$∂θ1​∂​J(θ0​,θ1​)=m1​i=1∑m​((hθ​(xi​)−yi​)xi​)
因此有如下算法：
$\begin{aligned} &\theta_{0}:=\theta_{0}-a \frac{1}{m} \sum_{i=1}^{m}\left(h_{\theta}\left(x_{i}\right)-y_{i}\right)\\ &\theta_{1}:=\theta_{1}-a \frac{1}{m} \sum_{i=1}^{m}\left(\left(h_{\theta}\left(x_{i}\right)-y_{i}\right) \cdot x_{i}\right) \end{aligned}$​θ0​:=θ0​−am1​i=1∑m​(hθ​(xi​)−yi​)θ1​:=θ1​−am1​i=1∑m​((hθ​(xi​)−yi​)⋅xi​)​
对两个参数$\theta_0$θ0​与$\theta_1$θ1​进行更新，多维空间根据上述公式进行扩展即可。

总结

为什么要用梯度下降法，在进行数据量大的情况下，梯度下降法要比正规方程的方程更加适用

标签：yi,吴恩达,xi,frac,笔记,right,线性,theta,left
来源： https://blog.csdn.net/qq_44589327/article/details/105929895

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。