标签：yi xi 回归 sum 线性 aligned 1m wxi

回顾

在介绍线性回归之前，我们来回顾一种函数：
$f(x) = ax + b$f(x)=ax+b
其图像为：

线性回归

如果我们使用的数据是$D = \{(x_i,y_i)\}$D={(xi​,yi​)}, 那么线性回归就是使得我们的学习器学得
$f(x_i) = wx_i + b$f(xi​)=wxi​+b使得$f(x_i)\simeq y_i$f(xi​)≃yi​, 学习器最后预测的结果所连接成的直线，就像上面这幅图像一样。

在初中的时候看到$f(x) = ax + b$f(x)=ax+b，通常的题型就是让我们最后解出$a=? b = ?$a=?b=?。线性回归也需要确定线性模型中的$w$w和$b$b。
我们这里通过“最小二乘法”求解$w$w和$b$b 。

最小二乘法

先来介绍均方误差
$E(f;D) = \frac{1}{m}\sum_{i=1}^m (f(x_i)-y_i)^2$E(f;D)=m1​i=1∑m​(f(xi​)−yi​)2
均方误差是回归任务中最常用的性能度量，而且均方误差有很好的几何意义，对应了常用的“欧氏距离”$dist(x,y) = \sqrt{\sum_{i= 1}^m(x_i - y_i)^2}$dist(x,y)=∑i=1m​(xi​−yi​)2​。

最小二乘法是基于均方误差最小化来进行模型的求解。找到一条直线，使得所有样本到直线上的距离之和最小。即：
$\begin{aligned}(w^*,b^*) &= argmin\sum_{i=1}^m(f(x_i) - y_i)^2 \\ &= argmin\sum_{i=1}^m(y_i - wx_i -b)^2 \end{aligned}$(w∗,b∗)​=argmini=1∑m​(f(xi​)−yi​)2=argmini=1∑m​(yi​−wxi​−b)2​

设$E(w,b)=(y_i - wx_i -b)^2$E(w,b)=(yi​−wxi​−b)2，我们利用高等数学中的多元函数微分，对$E(w,b)$E(w,b)中的$w,b$w,b分别求偏导，得到
$\begin{aligned} \frac{\partial E(w,b)}{\partial w} &= 2(w \sum_{i=1}^m x_i^2 - \sum_{i=1}^m (y_i - b)x_i) \\ \frac{\partial E(w,b)}{\partial b} &= 2(mb-\sum_{i=1}^m(y_i - wx_i)) \end{aligned}$∂w∂E(w,b)​∂b∂E(w,b)​​=2(wi=1∑m​xi2​−i=1∑m​(yi​−b)xi​)=2(mb−i=1∑m​(yi​−wxi​))​
我们要求的是$E(w,b)=(y_i - wx_i -b)^2$E(w,b)=(yi​−wxi​−b)2的最小值，所以根据多元函数无条件极值，使上面两个偏导数为0可以得到：
$\begin{aligned} & 2(mb-\sum_{i=1}^m(y_i - wx_i)) = 0 \\ &\rArr b = \frac{1}{m} \sum_{i=1}^{m}(y_i - wx_i) \end{aligned} \\$​2(mb−i=1∑m​(yi​−wxi​))=0⇒b=m1​i=1∑m​(yi​−wxi​)​
再将 $\begin{aligned} b = \frac{1}{m} \sum_{i=1}^{m}(y_i - wx_i)\end{aligned}$b=m1​i=1∑m​(yi​−wxi​)​ 带入 $\begin{aligned} 2(w \sum_{i=1}^m x_i^2 - \sum_{i=1}^m (y_i - b)x_i) = 0 \end{aligned}$2(wi=1∑m​xi2​−i=1∑m​(yi​−b)xi​)=0​ 中可得：
$\begin{aligned} w = \frac {\sum_{i=1}^m y_i (x_i - \overline{x})} {\sum_{i=1}^m x_i^2 - (\sum_{i=1}^m x_i)^2} \end{aligned} \\$w=∑i=1m​xi2​−(∑i=1m​xi​)2∑i=1m​yi​(xi​−x)​​
其中$\begin{aligned} \overline{x} = \frac{1}{m}\sum_{i=1}^m x_i \end{aligned}$x=m1​i=1∑m​xi​​ 为$x$x的均值。

参考文献
周华志 《机器学习》 清华大学出版社

标签：yi,xi,回归,sum,线性,aligned,1m,wxi
来源： https://blog.csdn.net/weixin_43852752/article/details/104662102

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。