标签：Real bar Positive 矩阵 Symmetric bmatrix bm lambda mathrm
实对称矩阵与正定性
reference的内容为唯一教程, 接下来的内容仅为本人的课后感悟, 对他人或无法起到任何指导作用.
Reference
- Course website: Symmetric Matrices and Positive Definiteness | Linear Algebra | Mathematics | MIT OpenCourseWare
- Course video: 【完整版-麻省理工-线性代数】全34讲 配套教材_哔哩哔哩_bilibili
- Course summary: Lecture 25: Symmetric matrices and positive definiteness (mit.edu)
- Extra reading: 线性代数与解析几何（第二版）6.2.1 节定理 6.2.3，魏战线 李继成 编
这一个 Unit 的内容比较杂, 前面还是对特征值和特征向量的继续讨论, 只不过对象放到了一类特殊矩阵: 对称矩阵. 有关"对称"的定义, 在实对称矩阵中很直观, 接着我们会发现实对称矩阵的很多性质, 也会引入二次型和正定的定义. 对复矩阵来说, 要考虑的是"共轭对称", 我们会简单说明其在 FFT 中的应用.
接下来的内容就比较散了. SVD, 线性变换与基变换, 伪逆. 其中线性变换与基变换已经早早提到过, 但是在这一讲将会结合 3Blue1Brown 以更宏观的视角关注!
那就先从实对称矩阵开始!
Real Symmetric Matrices
对称矩阵的定义是 \(A=A^{\mathrm{T}}\), 实对称矩阵需要保证元素均为实数.
Properties
实对称矩阵有两个特性:
- 特征值为实数. (旋转矩阵特征值为纯虚数)
- 特征向量相互正交. (可以选出相互正交/ orthonormal 的向量)
在通常(可对角化)情况下, 一个矩阵可以化为: \(A=S\varLambda S^{-1}\)；
在实对称的情况下, 则有 \(A=Q\varLambda Q^{-1}\), 而对于标准正交矩阵, 有 \(Q=Q^{\mathrm{T}}\), 所以对称矩阵可以写为
\[A=Q\varLambda Q^{\mathrm{T}} \]又可以写为
\[\varLambda=Q^{\mathrm{T}} A Q \]这个分解本身就代表着对称, \(\left(Q\varLambda Q^{\mathrm{T}}\right)^{\mathrm{T}}=Q\varLambda Q^{\mathrm{T}}\).
Why?
一. 实对称矩阵的特征值为实数.
对于矩阵 \(A \bm{x}=\lambda \bm{x}\), 两边取共轭有\(\bar A \bar{\bm{x}}=\bar\lambda \bar {\bm{x}}\).
因为实矩阵, 因此有 \(A\bar {\bm{x}}=\bar\lambda \bar {\bm{x}}\), 从这一点也能看出实对称矩阵如果有复特征值则一定共轭成对出现, 对应特征向量也是共轭成对的.
两边取转置, 对称矩阵, 有 \({\bar{\bm{x}}^{\mathrm{T}}A^{\mathrm{T}}=\bar{\bm{x}}^{\mathrm{T}}\bar\lambda}=\bar{\bm{x}}^{\mathrm{T}}A\), 对 \(\bar{\bm{x}}^{\mathrm{T}}A\) 和 \(\bar{\bm{x}}^{\mathrm{T}}\bar\lambda\) 右乘 \(\bm{x}\), 得 $\bar{\bm{x}}^{\mathrm{T}}A \bm{x} = \bar{\bm{x}}^{\mathrm{T}} \lambda \bm{x} = \bar{\bm{x}}^{\mathrm{T}} \bar{\lambda} \bm{x} $.
因此有 \(\bar{\lambda} \bar{\bm{x}}^{\mathrm{T}}\bm{x} = {\lambda} \bar{\bm{x}}^{\mathrm{T}}\bm{x}\).
而特征向量不可能是零向量, 因此 \(\bar{\bm{x}}^{\mathrm{T}}\bm{x}=\begin{bmatrix}\bar {{x}}_1&\bar {{x}}_2&\cdots&\bar {{x}}_n\end{bmatrix}\begin{bmatrix}x_1\\x_2\\\vdots\\x_n\end{bmatrix}=\bar {{x}}_1x_1+\bar {{x}}_2x_2+\cdots+\bar {{x}}_nx_n=\displaystyle\sum_{i=1}^{n} \left\vert x_i \right\vert ^{2} > 0\). 所以两边消去得到 \(\lambda = \bar{\lambda}\), 特征值一定为实数.
二. 实对称矩阵一定可以找出组成标准正交基的特征向量
这个证明相当的麻烦, 我又看了一遍教材才看明白... 用数学归纳法, 当 \(n = 1\) 的时候, 显然成立, 因为只有一个独立的特征向量 \(\begin{bmatrix} 1 \\\end{bmatrix}\).
设 \(n = k - 1, k > 2\) 成立. 则当 \(n = k\) 时, 设 \(\lambda_1\) 为 \(k\) 阶实对称矩阵 \(A_k\) 的特征值, \(\bm{x}_1\) 为特征向量.
这时我们一定可以将 \(\bm{x}_1\) 扩展为 \(\mathbb{R}^{n}\) 的标准正交基 \(\begin{bmatrix} \alpha_1 & \cdots & \alpha_n \\\end{bmatrix}\). 怎么做呢? 将 \(\bm{x}_1\) 单位化得到 \(\alpha_1\), 再取零空间 \(N(\alpha_1^{\mathrm{T}})\) 的标准正交基 (用 Gram-Schmidt 方法) 得到 $\begin{bmatrix} \alpha_2 & \cdots & \alpha_n \\end{bmatrix} $ (显然秩为 1, 解空间维度为 n-1).
设 \(P = \begin{bmatrix} \alpha_1 & \cdots & \alpha_n \\\end{bmatrix}\). 则 \(A_k P = \begin{bmatrix} \lambda_1 \alpha_1 & A \alpha_2 & \cdots & A \alpha_n \\\end{bmatrix}\). 通过数感玄学可得:
\[\begin{align*} A_k P &= \begin{bmatrix} \lambda_1 \alpha_1 & A \alpha_2 & \cdots & A \alpha_n \\\end{bmatrix}\\ &= \begin{bmatrix} \alpha_1 & \cdots & \alpha_n \\\end{bmatrix} \begin{bmatrix} \lambda_1 & x_{12} & \cdots & x_{1n} \\ 0 & \vdots & & \vdots \\ \vdots & \vdots & & \vdots \\ 0 & x_{n2} & \cdots & x_{nn} \\\end{bmatrix}\\ &= P \begin{bmatrix} \lambda_1 & \bm{\beta}^{\mathrm{T}} \\ \boldsymbol{0} & A_{k-1} \\\end{bmatrix} \end{align*} \]这里 \(A_k\) 是实对称矩阵, \(A_k = P \begin{bmatrix} \lambda_1 & \bm{\beta}^{\mathrm{T}} \\ \boldsymbol{0} & A_{k-1} \\\end{bmatrix} P^{\mathrm{T}}\) (\(P\) 是正交矩阵!). 对称矩阵取转置相同, 因此对 \(A_k\) 取转置得
\[\begin{bmatrix} \lambda_1 & \bm{\beta}^{\mathrm{T}} \\ \boldsymbol{0} & A_{k-1} \\\end{bmatrix} = \begin{bmatrix} \lambda_1 & \boldsymbol{0}^{\mathrm{T}} \\ \bm{\beta} & A_{k-1}^{\mathrm{T}} \\\end{bmatrix} \]所以有 \(\bm{\beta} = \boldsymbol{0}\), \(A_{k-1}\) 也是实对称. (元素一定是实数啊). 根据归纳法, 存在正交矩阵 \(Q_{k-1}\) 使得 \(A_{k-1} = Q_{k-1} \varLambda_{k-1} Q_{k-1}^{\mathrm{T}}\).
通过数感玄学, 令 \(Q_k = P \begin{bmatrix} 1 & \boldsymbol{0}^{\mathrm{T}} \\ \boldsymbol{0} & Q_{k-1} \\\end{bmatrix}\), 发现这个矩阵也是正交的. 因为它的逆就是转置. 这时我们再用数感试试 \(Q_k^{\mathrm{T}} A_k Q_k\), 看看等于什么:
\[\begin{align*} Q_k^{\mathrm{T}} A_k Q_k &= \begin{bmatrix} 1 & \boldsymbol{0} \\ \boldsymbol{0}^{\mathrm{T}} & Q_{k-1}^{\mathrm{T}} \\\end{bmatrix} \begin{bmatrix} \lambda_1 & \bm{0}^{\mathrm{T}} \\ \boldsymbol{0} & A_{k-1} \\\end{bmatrix} \begin{bmatrix} 1 & \boldsymbol{0}^{\mathrm{T}} \\ \boldsymbol{0} & Q_{k-1} \\\end{bmatrix}\\ &= \begin{bmatrix} \lambda_1 & \boldsymbol{0} \\ \boldsymbol{0}^{\mathrm{T}} & Q_{k-1}^{\mathrm{T}} A_{k-1} Q_{k-1} \\\end{bmatrix}\\ &= \begin{bmatrix} \lambda_1 & \boldsymbol{0} \\ \boldsymbol{0}^{\mathrm{T}} & \varLambda_{k-1} \\\end{bmatrix}\\ &= \varLambda_k \end{align*} \]易证 \(\lambda_2, \cdots , \lambda_n\) 均为 \(A_k\) 的特征值, 因此 \(Q_k\) 就是我们要找的标准正交基, 证毕.
Information about Real Symmetric Matrices
我们现在知道了实对称矩阵特征值和特征向量的信息, 有什么用呢? 接下来从这两个角度来解释一下.
Projection onto Eigenvectors
如果 \(A = A^{\mathrm{T}}\), 则有:
\[\begin{align*} A &= Q\varLambda Q^{\mathrm{T}}\\ &= \Bigg[\bm{q}_1\ \bm{q}_2\ \cdots\ \bm{q}_n\Bigg]\begin{bmatrix}\lambda_1& &\cdots& \\&\lambda_2&\cdots&\\\vdots&\vdots&\ddots&\vdots\\& &\cdots&\lambda_n\end{bmatrix}\begin{bmatrix}\quad \bm{q}_1^{\mathrm{T}}\quad\\\quad \bm{q}_2^{\mathrm{T}}\quad\\\quad \vdots \quad\\\quad \bm{q}_n^{\mathrm{T}}\quad\end{bmatrix}\\ &= \lambda_1 \bm{q}_1 \bm{q}_1^{\mathrm{T}}+\lambda_2 \bm{q}_2\bm{q}_2^{\mathrm{T}}+\cdots+\lambda_n \bm{q}_n \bm{q}_n^{\mathrm{T}} \end{align*} \]注意这个展开式中的 \(\bm{q}\bm{q}^{\mathrm{T}}\), \(\bm{q}\) 是单位列向量所以 \(\bm{q}^{\mathrm{T}}\bm{q}=1\), 结合投影矩阵的知识有\(\displaystyle \frac{\bm{q}\bm{q}^{\mathrm{T}}}{\bm{q}^{\mathrm{T}}\bm{q}}=\bm{q}\bm{q}^{\mathrm{T}}\) 是 \(\bm{q}\) 方向上的投影矩阵, 很容易验证其性质. 逆等于转置, 平方不变. 因此:
每一个对称矩阵都可以分解为一系列相互正交的投影矩阵.
Information about Eigenvalues
我们已经知道实数特征值的符号和大小和系统稳定性有关. 对于微分方程 (笔记中跳过了, 详见现代控制理论...), 特征值的正负号会影响微分方程的收敛情况 (原课程第二十三讲, 需要实部为负的特征值保证收敛). 用消元法取得矩阵的主元, 观察主元的符号, 发现:
主元符号的正负数量与特征值的正负数量相同.
再判断大小 (离散系统). 发现 \(A-bI\) 的特征值会比原来 \(A\) 的特征值 \(\lambda\) 小 \(b\). 因此求 \(A-bI\) 有多少个正的主元, 就有多少满足 \(\lambda - b > 0\), 就能求出多少个 \(A\) 的特征值大于 \(b\).
Positive Definite Matrices
如果对称矩阵是"好矩阵", 则正定矩阵 (Positive Definite Matrices) 是其一个更好的子类. 正定矩阵指特征值均为正数的矩阵 (根据上面的性质有矩阵的主元均为正).
举个例子, \(\begin{bmatrix}5&2\\2&3\end{bmatrix}\), 由行列式消元知其主元为 \(5, \displaystyle \frac{11}{5}\), 于是特征值必然大于零. 果然求特征值有 \(\begin{vmatrix}5-\lambda&2\\2&3-\lambda\end{vmatrix}=\lambda^2-8\lambda+11=0, \lambda=4\pm\sqrt 5\). 正定.
正定矩阵的最重要的判断性质是, 各阶顺序主子式大于零. 对上面的例子有\(\begin{vmatrix}5\end{vmatrix}=5, \begin{vmatrix}5&2\\2&3\end{vmatrix}=11\).
我们看到正定矩阵将早期学习的的消元主元, 中期学习的的行列式, 后期学习的特征值结合在了一起.
标签：Real,bar,Positive,矩阵,Symmetric,bmatrix,bm,lambda,mathrm 来源： https://www.cnblogs.com/wind2375like/p/16145275.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。