标签：Function 机器 李宏毅 回归 梯度 损失 参数 拟合 CP

task2 回归

找到一个Function，通过这个Function预测出一个数值，如根据股票走势预测明天的股票情况，根据宝可梦的属性预测它的CP值

2.1 线性模型：

input x: featrue

w: weight

b: bias

2.2 损失函数(Loss Function)

损失函数的作用是衡量参数的好坏

线性模型中损失函数用真实的output和Function预测的output的平方差之和表示

2.3 梯度下降(Gradient Descent)

如何找到使得损失最小的参数，最简单的办法就是遍历所有的参数。梯度下降算法可以减少计算量，快速求出损失最小时的参数

梯度下降算法就是不断求Loss Function关于这个参数的偏导，然后更新w的过程

求导可以理解为求这个曲线当前点的斜率，如果大于0，这是个增函数，我们需要往左边移动；如果小于0，代表函数是递减的，我们需要往右边移动

n是学习率，表示梯度下降的速度

以Function
为例

要注意局部最优点，局部最优不是全局最优，我们需要的是全局最优的点

如果引入参数b，则我们也要求Loss Function关于b的偏导，并更新b

2.4 过拟合与欠拟合

预测宝可梦的CP

复杂的Function在训练集上表现良好，但是在测试集中损失较大，造成过拟合(Overfitting), 太简单的Function在训练集上表现很差，造成欠拟合

过拟合：

预测不同种类宝可梦的CP

每个种类对应一个Function

可以将不同种类的Function进行合并

预测结果还行

样本引入更多的参数 也可能导致过拟合

2.5 正则(Regularization)

更多特征，但是权重w可能会使某些特征权值过高，仍旧导致overfitting，所以加入正则化

引入

标签：Function,机器,李宏毅,回归,梯度,损失,参数,拟合,CP
来源： https://www.cnblogs.com/g0udan/p/16476108.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。