首页 > 其他分享> 文章详细

矩阵求导

2022-04-17 22:02:10 阅读：197 来源： 互联网

标签：转置布局矩阵标量求导向量

https://zhuanlan.zhihu.com/p/137702347

这篇文章讲得不错

好像下面这篇文章也写得不错，之后有空再看

https://zhuanlan.zhihu.com/p/24709748

虽然说学过微积分理论上就能推导出矩阵求导的法则，但是矩阵求导的确是很麻烦，先不提张量相关，简单的来组合一下就很多可能：

向量对标量求导（Vector-by-scalar）

向量 $\mathbf {y} ={\begin{bmatrix}y_{1}&y_{2}&\cdots &y_{m}\end{bmatrix}}^{\mathsf {T}}$ ，对标量 $x$ 求导，一般写为：

${\displaystyle {\frac {\partial \mathbf {y} }{\partial x}}={\begin{bmatrix}{\frac {\partial y_{1}}{\partial x}}\\{\frac {\partial y_{2}}{\partial x}}\\\vdots \\{\frac {\partial y_{m}}{\partial x}}\\\end{bmatrix}}}\\$

常见例子是位移对时间求导，速度对时间求导。

标量对向量求导（Scalar-by-vector）

标量 y 对向量 $\mathbf {x} ={\begin{bmatrix}x_{1}&x_{2}&\cdots &x_{n}\end{bmatrix}}^{\mathsf {T}}$ 求导写作：

${\displaystyle {\frac {\partial y}{\partial \mathbf {x} }}={\begin{bmatrix}{\frac {\partial y}{\partial x_{1}}}&{\frac {\partial y}{\partial x_{2}}}&\cdots &{\frac {\partial y}{\partial x_{n}}}\end{bmatrix}}}\\$

这里可能会让人疑惑，为什么上面是列向量而这里则是行向量。

这是矩阵求导可能会比较麻烦的第二个地方，可能有不同的布局方式：

分子布局（Numerator Layout）：分子不变，分母转置
分母布局（Denominator Layout）：分母不变，分子转置

当然还有混合布局。

用分子布局因为 wikipedia 里就是这样做的，而且有些只能有分子布局表示。

这里可能会分子布局可能会有点让人不习惯，因为比如梯度，我们很经常会把它看成列向量：

${\displaystyle \nabla f(p)={\begin{bmatrix}{\frac {\partial f}{\partial x_{1}}}(p)\\\vdots \\{\frac {\partial f}{\partial x_{n}}}(p)\end{bmatrix}}}\\$

但实质上有些地方也把梯度看成/写成行向量，重要的是比如你在使用的时候根据自己所默认的认为是行向量还是列向量的不同在做不同的操作的时候稍加注意就ok了，比如下面这个式子列向量无所谓，因为是点乘，但是如果看成矩阵之间的乘法当然我们就需要转置作为列向量的梯度了：

${\displaystyle f(x)\approx f(x_{0})+(\nabla f)_{x_{0}}\cdot (x-x_{0})}\\$

向量对向量求导（Vector-by-vector）

向量 $\mathbf {y} ={\begin{bmatrix}y_{1}&y_{2}&\cdots &y_{m}\end{bmatrix}}^{\mathsf {T}}$ 对向量 $\mathbf {x} ={\begin{bmatrix}x_{1}&x_{2}&\cdots &x_{n}\end{bmatrix}}^{\mathsf {T}}$ 求导，同样分子布局：

${\displaystyle {\frac {\partial \mathbf {y} }{\partial \mathbf {x} }}={\begin{bmatrix}{\frac {\partial y_{1}}{\partial x_{1}}}&{\frac {\partial y_{1}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{1}}{\partial x_{n}}}\\{\frac {\partial y_{2}}{\partial x_{1}}}&{\frac {\partial y_{2}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{2}}{\partial x_{n}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {\partial y_{m}}{\partial x_{1}}}&{\frac {\partial y_{m}}{\partial x_{2}}}&\cdots &{\frac {\partial y_{m}}{\partial x_{n}}}\\\end{bmatrix}}}\\$

正好是雅克比矩阵:

${\displaystyle \mathbf {J} ={\begin{bmatrix}{\dfrac {\partial \mathbf {f} }{\partial x_{1}}}&\cdots &{\dfrac {\partial \mathbf {f} }{\partial x_{n}}}\end{bmatrix}}={\begin{bmatrix}{\dfrac {\partial f_{1}}{\partial x_{1}}}&\cdots &{\dfrac {\partial f_{1}}{\partial x_{n}}}\\\vdots &\ddots &\vdots \\{\dfrac {\partial f_{m}}{\partial x_{1}}}&\cdots &{\dfrac {\partial f_{m}}{\partial x_{n}}}\end{bmatrix}}}\\$

这是使用分子布局的好处，否则就是雅克比的转置了。

这样的好处是写下这个式子也很自然：

${\displaystyle \mathbf {f} (\mathbf {x} )-\mathbf {f} (\mathbf {p} )=\mathbf {J} _{\mathbf {f} }(\mathbf {p} )(\mathbf {x} -\mathbf {p} )+o(\|\mathbf {x} -\mathbf {p} \|)\quad ({\text{as }}\mathbf {x} \to \mathbf {p} ),}\\$

矩阵对标量求导（Matrix-by-scalar）

$\frac{\partial \mathbf{Y}}{\partial x} = \begin{bmatrix} \frac{\partial y_{11}}{\partial x} & \frac{\partial y_{12}}{\partial x} & \cdots & \frac{\partial y_{1n}}{\partial x}\\ \frac{\partial y_{21}}{\partial x} & \frac{\partial y_{22}}{\partial x} & \cdots & \frac{\partial y_{2n}}{\partial x}\\ \vdots & \vdots & \ddots & \vdots\\ \frac{\partial y_{m1}}{\partial x} & \frac{\partial y_{m2}}{\partial x} & \cdots & \frac{\partial y_{mn}}{\partial x}\\ \end{bmatrix}\\$

标量对矩阵求导（Scalar-by-matrix）

$\frac{\partial y}{\partial \mathbf{X}} = \begin{bmatrix} \frac{\partial y}{\partial x_{11}} & \frac{\partial y}{\partial x_{12}} & \cdots & \frac{\partial y}{\partial x_{1q}}\\ \frac{\partial y}{\partial x_{21}} & \frac{\partial y}{\partial x_{22}} & \cdots & \frac{\partial y}{\partial x_{2q}}\\ \vdots & \vdots & \ddots & \vdots\\ \frac{\partial y}{\partial x_{p1}} & \frac{\partial y}{\partial x_{p2}} & \cdots & \frac{\partial y}{\partial x_{pq}}\\ \end{bmatrix}\\$

例子

之所以说矩阵求导本质上还是对单个变量求导，来看一个例子，比如：

$\frac{\partial (\mathbf{Ax})}{\partial \mathbf{x}}\\$

先来计算 $\mathbf{Ax}$ :

$\mathbf{Ax} = \begin{bmatrix} A_{11} & \cdots & A_{1n} \\ \vdots & & \vdots \\ A_{m1} & \cdots & A_{mn} \end{bmatrix} \begin{bmatrix} x_1 \\ \vdots \\ x_n \end{bmatrix} = \begin{bmatrix} A_{11} x_1 + \cdots + A_{1n}x_n , \cdots , A_{m1}x_1 + \cdots + A_{mn}x_n \end{bmatrix}\\$

$\mathbf{A} \in \mathbf{R}^{m \times n}, \mathbf{x} \in \mathbf{R}^{n \times 1}, \mathbf{Ax} \in \mathbf{R}^{m \times 1}$ , 利用上面的向量对向量求导，使用雅克比矩阵：

$\begin{aligned} \frac{\partial (\mathbf{Ax})}{\partial \mathbf{x}} &= \begin{bmatrix} \frac{\partial }{\partial x_1}( A_{11} x_1 + \cdots + A_{1n}x_n ) & \cdots & \frac{\partial }{\partial x_n}( A_{11} x_1 + \cdots + A_{1n}x_n ) \\ \vdots & & \vdots \\ \frac{\partial }{\partial x_1}( A_{m1}x_1 + \cdots + A_{mn}x_n) & \cdots & \frac{\partial }{\partial x_n}( A_{m1}x_1 + \cdots + A_{mn}x_n) \end{bmatrix} \\ &= \begin{bmatrix} A_{11} & \cdots & A_{1n} \\ \vdots & & \vdots \\ A_{m1} & \cdots & A_{mn} \end{bmatrix}\\ &= A \end{aligned}\\$

同时也可以尝试使用分母布局，求出来对应为 $A^T$

计算

wikipedia 上的表格可以用来速查。除此之外还有一个网站可以用来计算矩阵求导：

Matrix Calculuswww.matrixcalculus.org

试一下：

$\frac{\partial }{\partial \mathbf{x}}\parallel \mathbf{Ax} - \mathbf{b} \parallel^2 \\$

还可以导出为 Python code 或者 Latex ， cool，再试一个：

$\frac{\partial} {\partial \mathbf{x}}\big( \mathbf{x}^T\mathbf{Ax} - 2\mathbf{b}^T\mathbf{x} + c\big) \\$

增加条件， $\mathbf{A}$ 为对称矩阵：

looks good, cool!

标签：转置,布局,矩阵,标量,求导,向量
来源： https://www.cnblogs.com/charlesblc/p/16157544.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9