标签：主子 导数 凸函数 矩阵 Datawhale 顺序 线性 打卡 Task02

主要参考了大佬的视频，第三章的公式推导对我这种零基础渣渣来说真是要命

线性回归算法原理

极大似然估计

类似于以偏概全，在极大似然估计中我们选择相信获得的样本数据已经能够很好的概括现实情况中的真实数据分布。将求出的样本数据的概率分布作为我们现实情况中的概率分布使用。

x=1 y=2

x=2 y=4

x=3 y=6

x=4 y=?

如果问你❓处应该填几，相信你一定会猜一个8。

例子：通过 发际线高度 预测 计算机水平

线性回归求的不是点到直线的垂直距离（正交回归求的是点到直线的距离），而是实际值 y 与预测值y' 之间的差值，也就是预测误差。线性回归最后要找的点就是均方误差最小的那条直线

咱们当然可以仅仅通过发际线高度来预测计算机水平，但一般情况下的模型通常有多个变量

毫无疑问不管有多少个特征，我们最后都需要求出来f(x) 中的 w 与 b

求解w和b

最小二乘法

最小二乘法做的事情就是将均方误差最小化即

上述（3.4）值最小，具体的w,b求解公式相信大家高中数学课上都见过，现在我们来看看课本上的式子是如何推导出来的。

凸集

凸集：若两个点属于此集合，则这两点连线上的任意一点均属于此集合。换句话说如果连线上有任意一点不属于该集合，则这个集合不能被叫做凸集。

多元函数求解

多元函数的一阶导数（梯度）

为啥是列向量大佬在视频里面好像也没有怎么提，只是说是习惯问题。求梯度就是求偏导，将各个变量的偏导求出来之后拼成一个列向量就好了。

多元函数的二阶导数

二阶偏导数就是老老实实的在原来一阶导数的基础上对各变量进行求偏导即可。

根据这个定理，我们首先求（w,b）的海塞矩阵（二阶导），求得的矩阵如下图。

然后只要证明出该矩阵是半正定的即可。

顺序主子式通俗的来说就是取原始的前m行m列(n=1.2..n)，就是行列顺序增大直到跟原大小一样，这些矩阵就叫顺序主子式

所以这里一共有两个顺序主子式，分别是 [1 * 1] 和 [2 * 2]

第一个是x的平方求和肯定大于0，然后第二个主子式交叉相乘再相减得到的结果如上图。现在就是要看第二个顺序主子式是否大于0。

所有顺序主子式非负，所以该矩阵为半正定矩阵。根据前面的定理可得 E(w,b)是关于 w,b的凸函数。

证明了它是凸函数就好办了，因为凸函数有个性质：

对 w 和 b 分别求导

然后令上述两式分别为零，求得的最终结果就是咱们高中课本里面的式子了

多元线性回归

多元问题下我们可以统一一下函数形式，将 b 用 W(d+1)*1 的形式来代替，这样整个表达式就能变为

处理非线性问题

当得到的数据散点图是一条近似曲线的时候，没有办法直接套用传统线性回归模型。但其实我们可以通过换元的办法将变量重新"拉"成一条直线。

请看高中数学题

标签：主子,导数,凸函数,矩阵,Datawhale,顺序,线性,打卡,Task02
来源： https://www.cnblogs.com/AD-milk/p/16394932.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。