标签：统计分析 right Part01 boldsymbol varSigma Continued ldots 向量 left
Written with StackEdit.
教材与参考书
多元统计分析
线性代数, 概率论, 数理统计
线性代数知识复习
MIT Gilbert Strang 教授的"经典"! and "网红"!线性代数课程: MIT 18.06: Linear Algebra.
课程主页: The course webpage is here.
样本数据矩阵/样本资料矩阵
在研究实际问题时, 选取 \(p\ (p \geq 1)\) 个变量, 指标或特征进行记录, 将这 \(p\) 个随机变量放在一起得
\[\boldsymbol{X} := (X_{1},\ldots, X_{p})^{\prime} \]为一个 \(p\) 维随机向量, 若同时对 \(p\) 个变量同时作一次观测, 得到一组观测值, 我们记第 \(i\) 次观测所得样品为
\[X_{(i)}^{\prime} := (x_{i1},\ldots,x_{ip}), \quad i = 1,\ldots, n \]作 \(n\) 次观测得到 \(n\) 个样品 (\(n\) 组观测值) 即构成一个样本:
\[\boldsymbol{X}= \begin{bmatrix} x_{11} & \cdots & x_{1p} \\ \vdots &\ddots & \vdots \\ x_{n1} & \cdots & x_{np} \end{bmatrix} :=(X_{1},\ldots, X_{p}) \overset{\text{or}}{:=} \begin{bmatrix} X_{(1)}^{\prime} \\ \vdots \\ X_{(n)}^{\prime} \end{bmatrix}\]我们称该 \(n \times p\) 矩阵为样本资料(矩)阵/样本数据(矩)阵.
说明:
-
我们用 \(x_{ij}\) 表示第 \(i\ (i = 1, \ldots, n)\) 次观测中第 \(j\ (j = 1, \ldots, p)\) 个变量的观测值, 样本资料阵 \(\boldsymbol{X}\) 是一个随机阵.
-
样本资料阵 \(\boldsymbol{X}\) 的第 \(i\) 行
表示对第 \(i\) 个样品的观测值, 在具体观测之前, 它是一个 \(p\) 维的随机向量.
- 样本资料阵 \(\boldsymbol{X}\) 的第 \(j\) 列
表示对第 \(j\) 个变量的 \(n\) 次观测, 在具体观测之前, 它是一个 \(n\) 维的随机向量.
- 无特殊说明, 一般所述向量均指列向量.
分布函数, 概率密度函数与多元变量的独立性
联合分布
设 \(\boldsymbol{X} = (X_{1},\ldots, X_{p})\) 为 \(p\) 维随机向量, 其联合分布函数为
\[F(\boldsymbol{x}) = F(x_{1}, \ldots,x_{p}) = P\left\{X_{1}\leq x_{1},\ldots,X_{p} \leq x_p{}\right\} \]其中, \(\boldsymbol{x} = (x_{1}, \ldots,x_{p}) \in \mathbb{R^{p}}\), 简记为 \(X \sim F\).
若存在非负函数 \(f(\boldsymbol{x}) = f(x_{1}, \ldots,x_{p})\), 使得随机向量 \(\boldsymbol{X}\) 的联合分布函数对一切 \((x_{1}, \ldots,x_{p}) \in \mathbb{R^{p}}\) 均可表示为
\[F(\boldsymbol{x}) = F(x_{1}, \ldots,x_{p}) = \int_{-\infty}^{x_{1}} \cdots \int_{-\infty}^{x_{p}} f(t_{1}, \ldots,t_{p}) \mathrm{d}t_{1}\cdots\mathrm{d}t_{p} \]则称 \(\boldsymbol{X}\) 为连续型随机向量, 称 \(f(x_{1}, \ldots,x_{p})\)为 \(\boldsymbol{X}\) 的联合概率密度函数.
一个 \(p\) 维随机变量的函数 \(f(x_{1}, \ldots,x_{p})\) 能作为 \(\mathbb{R^{p}}\) 中某个随机向量的概率密度函数, 当且仅当
-
\(f(\boldsymbol{x}) \geq 0,\ \forall\ \boldsymbol{x} \in \mathbb{R^{p}}.\)
-
\(\int_{\mathbb{R^{p}}} f(\boldsymbol{x})\mathrm{d}\boldsymbol{x} = 1\).
边缘分布
称随机向量 \(\boldsymbol{X}\) 的部分分量 \((X_{i_{1}},\ldots,X_{i_{m}}),\ 1\leq m < p\) 的分布为边缘分布.
设 \(\boldsymbol{X^{(1)}}\) 为 \(r\) 维随机向量, \(\boldsymbol{X^{(2)}}\) 为 \(p-r\) 维随机向量. 若 \(p\)维随机向量 \(\begin{bmatrix} \boldsymbol{X^{(1)}} \\ \boldsymbol{X^{(2)}} \end{bmatrix}\), 则 \(\boldsymbol{X^{(1)}}, \boldsymbol{X^{(2)}}\) 的边缘密度为
\[\begin{aligned} f_{1}\left(\boldsymbol{x^{(1)}}\right) &= f_{1}\left(x_{1}, \ldots, x_{r}\right) = \int_{-\infty}^{+\infty} \cdots \int_{-\infty}^{+\infty} f (t_{1}, \ldots, t_{p})\mathrm{d}x_{r+1}\cdots\mathrm{d}x_{p} \\ f_{2}\left(\boldsymbol{x^{(2)}}\right) &= f_{1}\left(x_{r+1}, \ldots, x_{p}\right) = \int_{-\infty}^{+\infty} \cdots \int_{-\infty}^{+\infty} f (t_{1}, \ldots, t_{p})\mathrm{d}x_{1}\cdots\mathrm{d}x_{r} \end{aligned}\]条件分布
设 \(\boldsymbol{X^{(1)}}\) 为 \(r\) 维随机向量, \(\boldsymbol{X^{(2)}}\) 为 \(p-r\) 维随机向量. 若 \(p\)维随机向量 \(\begin{bmatrix} \boldsymbol{X^{(1)}} \\ \boldsymbol{X^{(2)}} \end{bmatrix}\), 则给定 \(\boldsymbol{X^{(2)}}\) 时, 称 \(\boldsymbol{X^{(1)}}\) 的分布为条件分布. 当 \(\boldsymbol{X}\) 的概率密度函数为 \(f\left(\boldsymbol{x^{(1)}},\boldsymbol{x^{(2)}}\right)\) 时, 给定 \(\boldsymbol{X^{(2)}}\) 时 \(\boldsymbol{X^{(1)}}\) 的条件密度为
\[f\left(\boldsymbol{x^{(1)}}|\boldsymbol{x^{(2)}}\right) = \frac{f\left(\boldsymbol{x^{(1)}},\boldsymbol{x^{(2)}}\right)}{f\left(\boldsymbol{x^{(2)}}\right)}. \]多元变量的独立性
设 \(\boldsymbol{X_{1}},\ldots,\boldsymbol{X_{p}}\) 是 \(p\) 个随机向量, \(\boldsymbol{X_{i}}\) 的分布函数为 \(F\left(\boldsymbol{X_{i }}\right),\ i= 1, \ldots,p\) , \(F\left(\boldsymbol{X_{1}},\ldots,\boldsymbol{X_{p}}\right)\) 是 \(\left(\boldsymbol{X_{1}},\ldots,\boldsymbol{X_{p}}\right)^{\prime}\) 的联合分布函数, 若
\[F\left(x_{1},\ldots,x_{p}\right),\quad \forall \ x_{j} \in \mathbb{R} \]均成立, 则称 \(\boldsymbol{X_{1}},\ldots,\boldsymbol{X_{p}}\) 相互独立. 在连续型随机变量的情况下, \(\boldsymbol{X_{1}},\ldots,\boldsymbol{X_{p}}\) 相互独立, 当且仅当 \(X=\left(\boldsymbol{X_{1}},\ldots,\boldsymbol{X_{p}}\right)^{\prime}\) 的联合概率密度函数 \(f\left(x_{1},\ldots,x_{p} \right)\) 满足
\[f\left(x_{1},\ldots,x_{p}\right) = f_{1}(x_{1})\cdots f_{p}(x_{p}), \quad \forall\ x_{j} \in \mathbb{R}, \]其中 \(f_{j}(x_{j})\) 是 \(\boldsymbol{X_{j}}\) 的概率密度函数 \((j= 1,\ldots,p).\)
注意, 由 \(\boldsymbol{X_{1}},\ldots,\boldsymbol{X_{p}}\) 相互独立可以推知任何 \(\boldsymbol{X_{i}}\), \(\boldsymbol{X_{j}} \ (i \neq j)\) 相互独立, 但已知任何 \(\boldsymbol{X_{i}}\), \(\boldsymbol{X_{j}} \ (i \neq j)\) 相互独立无法推知 \(\boldsymbol{X_{1}},\ldots,\boldsymbol{X_{p}}\) 相互独立.
随机向量的数字特征及其性质
设 \(\boldsymbol{X} = \left(X_{1},\ldots,X_{p}\right)^{\prime}\) 和 \(\boldsymbol{Y} = \left(Y_{1},\ldots,Y_{q}\right)^{\prime}\) 分别为 \(p\) 维和 \(q\) 维随机向量.
随机向量 \(\boldsymbol{X}\) 的均值向量
若 \(E\left(\boldsymbol{X}\right) = \mu_{i},\ i = 1,\ldots,p\) 存在, 则定义随机向量 \(\boldsymbol{X}\) 的均值向量为
\[E\left(\boldsymbol{X}\right) = \begin{bmatrix} E\left(X_{1}\right) \\ \vdots \\ E\left(X_{p}\right) \end{bmatrix} = \begin{bmatrix} \mu_{1} \\ \vdots \\ \mu_{p} \end{bmatrix} = \boldsymbol{\mu}\]\(\boldsymbol{\mu}\) 是一个 \(p\) 维随机向量, 称为随机向量 \(\boldsymbol{X}\) 的均值向量.
当 \(\boldsymbol{A}, \boldsymbol{B}\) 均为常数矩阵且下列矩阵乘法有定义 (合理) 时, 根据定义易推知如下结论:
-
\(E\left(\boldsymbol{AX}\right)=\boldsymbol{A}E\left(\boldsymbol{X}\right)\)
-
\(E\left(\boldsymbol{AXB}\right)=\boldsymbol{A}E\left(\boldsymbol{X}\right)\boldsymbol{B}\)
随机向量 \(\boldsymbol{X}\) 的协方差矩阵
若 \(X_{i}\) 和 \(X_{j}\) 的协方差 \(\mathrm{Cov}\left(X_{i},X_{j}\right)\) 存在 (\(i, j = 1,\ldots,p\)), 则称
\[\begin{aligned} \boldsymbol{\varSigma} &:= \mathrm{Cov}\left(\boldsymbol{X},\boldsymbol{X}\right) = E\left[\left(\boldsymbol{X}-E(\boldsymbol{X})\right)\left(\boldsymbol{X}-E\left(\boldsymbol{X}\right)\right)^{\prime}\right] = \mathrm{Var}\left(X\right) \\ \\ & = \begin{bmatrix} \mathrm{Var}(X_{1}) & \cdots & \mathrm{Cov}(X_{1},X_{p}) \\ \vdots & \ddots & \vdots \\ \mathrm{Cov}(X_{p},X_{1}) & \cdots & \mathrm{Var}(X_{p}) \end{bmatrix} \\ \\ &=\left(\sigma_{ij}\right)_{p \times p} \end{aligned}\]为 \(p\) 维随机向量 \(\boldsymbol{X}\) 的协方差矩阵, 简称为 \(\boldsymbol{X}\) 的协方差阵.
称 \(\left|\mathrm{Cov}\left(\boldsymbol{X},\boldsymbol{X}\right)\right|\) 为 \(p\) 维随机向量 \(\boldsymbol{X}\) 的广义方差, 其值等于协方差阵的行列式.
随机向量 \(\boldsymbol{X}\) 和 \(\boldsymbol{Y}\) 的协方差矩阵
若 \(X_{i}\) 和 \(Y_{j}\) 的协方差 \(\mathrm{Cov}\left(X_{i},Y_{j}\right)\) 存在 (\(i=1,\ldots,p;\ j=1,\ldots,q\)), 则称
\[\begin{aligned} \mathrm{Cov}\left(\boldsymbol{X},\boldsymbol{Y}\right) &= E\left[\left(\boldsymbol{X}-E(\boldsymbol{X})\right)\left(\boldsymbol{Y}-E\left(\boldsymbol{Y}\right)\right)^{\prime}\right] = \mathrm{Var}\left(X\right) \\ \\ & = \begin{bmatrix} \mathrm{Cov}\left(X_{1},Y_{1}\right) & \cdots & \mathrm{Cov}\left(X_{1},Y_{q}\right) \\ \vdots & \ddots & \vdots \\ \mathrm{Cov}\left(X_{p},Y_{1}\right) & \cdots & \mathrm{Cov}\left(X_{p},Y_{q}\right) \end{bmatrix} \end{aligned}\]为随机向量 \(\boldsymbol{X}\) 和 \(\boldsymbol{Y}\) 的协方差矩阵,
若
\[\mathrm{Cov}\left(\boldsymbol{X},\boldsymbol{Y}\right) = \boldsymbol{O} \]则称随机向量 \(\boldsymbol{X}\) 与 \(\boldsymbol{Y}\) 是不相关的.
当 \(\boldsymbol{A}, \boldsymbol{B}\) 均为常数矩阵且下列矩阵乘法有定义 (合理) 时, 根据定义易推知如下结论:
-
\(\mathrm{Var}\left(\boldsymbol{AX}\right) = \boldsymbol{A}\mathrm{Var}\left(\boldsymbol{X}\right)\boldsymbol{A^{\prime}} = \boldsymbol{A \varSigma A^{\prime }}\).
-
\(\mathrm{Cov}\left(\boldsymbol{AX},\boldsymbol{BY}\right) = \boldsymbol{A}\mathrm{Cov}\left(\boldsymbol{X},\boldsymbol{Y}\right)\boldsymbol{B^{\prime}}\)
-
设 \(\boldsymbol{X}\) 为 \(p\) 维随机向量, 其期望与协方差均存在, 记 \(\boldsymbol{\mu} = E\left(\boldsymbol{X}\right)\), \(\boldsymbol{\varSigma} = \mathrm{Var}\left(\boldsymbol{X}\right)\), \(\boldsymbol{A}\) 为 \(p \times p\) 常数矩阵, 则
-
对于任何随机向量 \(\boldsymbol{X} = \left(X_{1},\ldots,X_{p}\right)^{\prime}\) 来说, 其协方差阵 \(\boldsymbol{\varSigma}\) 是对称非负定矩阵.
-
\(\boldsymbol{\varSigma} = \boldsymbol{L}^{2}\), 其中 \(\boldsymbol{L}\) 为非负定矩阵, 称为 \(\boldsymbol{\varSigma}\) 的平方根矩阵, 记为 \(\boldsymbol{L} = \boldsymbol{\varSigma}^{1/2}\).
随机向量 \(\boldsymbol{X}\) 的相关矩阵
若随机向量 \(\boldsymbol{X} = \left(X_{1},\ldots,X_{p}\right)^{\prime}\) 的协方差矩阵存在, 且每个分量均大于 \(0\), 那么 \(\boldsymbol{X}\) 的相关矩阵定义为
\[\begin{aligned} \boldsymbol{R} := \frac{\mathrm{Cov}\left(X_{i},X_{j}\right)}{\sqrt{\mathrm{Var}\left(X_{i}\right)}\sqrt{\mathrm{Var}\left(X_{j}\right)}} = \left(r_{ij}\right)_{p \times p} \end{aligned},\quad i,j = 1,\ldots,p\]其中 \(r_{ij}\) 称为分量 \(X_{i}\) 与 \(X_{j}\) 之间的线性相关系数.
在数据处理时, 为了克服由于指标的量纲不同对统计分析结果的影响, 往往在使用某种统计分析方法之前, 将每个指标标准化, 即进行如下变换
\[\begin{aligned} X_{j}^{*} &= \frac{X_{j}-E\left(X_{j}\right)}{\left[\mathrm{Var}\left(X_{j}\right)\right]^{1/2}} \\ \\ \boldsymbol{X^{*}} &= \left(X_{1}^{*},\ldots,X_{p}^{*}\right)^{\prime} \end{aligned}\]于是
\[\begin{aligned} E\left(\boldsymbol{X^{*}}\right) &= \boldsymbol{0} \\ \mathrm{Var}\left(\boldsymbol{X^{*}}\right) & = \boldsymbol{R} \end{aligned}\]即标准化数据的协方差矩阵恰好为原指标的相关矩阵
\[\boldsymbol{R} = \mathrm{Var}\left(\boldsymbol{X^{*}}\right) = E\left(\boldsymbol{X^{*}}\boldsymbol{X^{* \prime}}\right) \]统计距离
设 \(\boldsymbol{X}\) 和 \(\boldsymbol{Y}\) 是从均值向量为 \(\boldsymbol{\mu}\), 协方差矩阵为 \(\boldsymbol{\varSigma}\) 的总体 \(G\) 中抽取的两个样品, 定义 \(\boldsymbol{X}\) , \(\boldsymbol{Y}\) 两点之间的马氏距离 (Mahalanobis distance) 为
\[D_{M} \left(\boldsymbol{X},\boldsymbol{Y}\right)= \sqrt{\left(\boldsymbol{X}-\boldsymbol{Y}\right)^{\prime}\boldsymbol{\varSigma}\left(\boldsymbol{X}-\boldsymbol{Y}\right)}\]定义 \(\boldsymbol{X}\) 与总体 \(G\) 的马氏距离为
\[D_{M} \left(\boldsymbol{X},G\right)=\sqrt{\left(\boldsymbol{X}-\boldsymbol{\mu}\right)^{\prime}\boldsymbol{\varSigma}\left(\boldsymbol{X}-\boldsymbol{\mu}\right)} \]设 \(E\) 表示一个点集, \(D\) 表示距离, 它是 \(E \times E\) 到 \([0,+\infty)\) 的函数, 可以证明, 马氏距离符合如下基本距离公理
-
\(D\left(x,y\right) \geq 0,\ \forall \ x,y \in E\);
-
\(D\left(x,y\right) = 0\), 当且仅当 \(x=y\);
-
\(D\left(x,y\right) = D\left(y,x\right),\ \forall \ x,y \in E\);
-
\(D\left(x,y\right) \leq D\left(x,z\right) +D\left(z,y\right), \ \forall \ x,y,z \in E\).
Click here to learn more about Mahalanobis distance
多元正态分布
多元正态分布的定义
设 \(\boldsymbol{U} = \left(U_{1},\ldots,U_{q}\right)^{\prime}\) 为随机向量, \(U_{1},\ldots,U_{q}\ \ \mathrm{i.i.d} \sim N(0,1)\); 设 \(\boldsymbol{\mu}\) 为 \(p\) 维常数向量, \(\boldsymbol{A}\) 为 \(p \times q\) 常数矩阵, 则称 \(\boldsymbol{X} = \boldsymbol{AU} +\boldsymbol{\mu}\) 为 \(p\) 元正态分布, \(\boldsymbol{X}\) 称为 \(p\) 维正态随机向量, 记为
\[\boldsymbol{X} \sim N_{p}\left(\boldsymbol{\mu},\boldsymbol{A A^{\prime}}\right) \]若 \(p\) 元随机向量 \(\boldsymbol{X} = \left(X_{1},\ldots,X_{p}\right)^{\prime}\) 的概率密度函数为
\[f\left(x_{1},\ldots,x_{p}\right) = \left(2 \pi\right)^{-(p/2)}\left| \boldsymbol{\varSigma}\right| ^{-(1/2)} \exp\left\{-\frac{1}{2}\left(\boldsymbol{x}-\boldsymbol{\mu}\right)^{\prime}\boldsymbol{\varSigma}^{-1}\left(\boldsymbol{x}-\boldsymbol{\mu}\right)\right\}, \ \boldsymbol{\varSigma} > 0 \]则称 \(\boldsymbol{X} = \left(X_{1},\ldots,X_{p}\right)^{\prime}\) 服从 \(p\) 元正态分布, \(\boldsymbol{X}\) 称为 \(p\) 维正态随机向量, 记为
\[\boldsymbol{X} \sim N_{p}\left(\boldsymbol{\mu},\boldsymbol{\varSigma}\right) \]其中\(\left|\boldsymbol{\varSigma}\right|\) 为协方差矩阵 \(\boldsymbol{\varSigma}\) 的行列式.
根据上述定义, 显然我们可以得到如下的结论:
设 \(\boldsymbol{X} \sim N_{p}\left(\boldsymbol{\mu},\boldsymbol{\varSigma}\right)\), 则
多元正态分布的性质
-
若正态随机向量 \(\boldsymbol{X} = \left(X_{1},\ldots,X_{p}\right)^{\prime}\) 的协方差矩阵 \(\boldsymbol{\varSigma}\) 是对角矩阵, 则 \(\boldsymbol{X}\) 的各分量是相互独立的随机变量.
-
多元正态随机向量 \(\boldsymbol{X}\) 的任何一个分量子集的分布仍然服从正态分布, 即多元正态随机向量 \(\boldsymbol{X}\) 的边缘分布仍为正态分布; 反之, 若一个随机向量的任何边缘分布均为正态分布, 并不能推出它是多元正态分布.
-
多元正态随机向量 \(\boldsymbol{X} = \left(X_{1},\ldots,X_{p}\right)^{\prime}\) 的任意线性变换仍服从多元正态分布. 即设 \(\boldsymbol{Y}\) 为 \(m\) 维随机向量且满足
其中 \(\boldsymbol{A}\) 为 \(m \times p\) 常数矩阵, \(\boldsymbol{b}\) 为 \(m\) 维常数向量, 则
\[\boldsymbol{Y} \sim N_{m} \left(\boldsymbol{A \mu}+\boldsymbol{b}, \boldsymbol{A \varSigma A^{\prime}}\right) \]即 \(\boldsymbol{Y}\) 服从 \(m\) 元正态分布, 其均值向量为 \(\boldsymbol{A \mu}+\boldsymbol{b}\), 协方差矩阵为 \(\boldsymbol{A \varSigma A^{\prime}}\).
- 若 \(\boldsymbol{X} \sim N_{p} \left(\boldsymbol{\mu},\boldsymbol{\varSigma}\right)\), 则
多元正态随机向量的条件分布与独立性
设 \(\boldsymbol{X} \sim N_{p} \left(\boldsymbol{\mu},\boldsymbol{\varSigma}\right), (p \geq 2)\), 将 \(\boldsymbol{X}, \boldsymbol{\mu},\boldsymbol{\varSigma}\) 剖分如下:
\[\begin{aligned} \boldsymbol{X} = \begin{bmatrix} \boldsymbol{X_{r \times 1}^{(1)}} \\ \\ \boldsymbol{X_{(p-r) \times 1}^{(2)}} \end{bmatrix}, \quad \boldsymbol{\mu} = \begin{bmatrix} \boldsymbol{\mu_{r \times 1}^{(1)}} \\ \\ \boldsymbol{\mu_{(p-r) \times 1}^{(2)}} \end{bmatrix} , \quad\boldsymbol{\varSigma} = \begin{bmatrix} \boldsymbol{\varSigma_{11}} & \varSigma_{12} \\ \boldsymbol{\varSigma_{21}} & \varSigma_{22} \end{bmatrix} > 0 \end{aligned}\]其中 \(\boldsymbol{\varSigma_{11}}\) 为 \(r \times r\) 矩阵, \(\boldsymbol{\varSigma_{12}}\) 为 \(r \times (p-r)\) 矩阵.
独立性
设 \(p\) 维随机向量 \(\boldsymbol{X} \sim N_{p} \left(\boldsymbol{\mu},\boldsymbol{\varSigma}\right)\), 则
\[\boldsymbol{X} = \begin{bmatrix} \boldsymbol{X^{(1)}} \\ \\ \boldsymbol{X^{(2)}} \end{bmatrix} \sim N_{p} \left( \begin{bmatrix} \boldsymbol{\mu^{(1)}} \\ \\ \boldsymbol{\mu^{(2)}} \end{bmatrix},\begin{bmatrix} \boldsymbol{\varSigma_{11}} & \varSigma_{12} \\ \boldsymbol{\varSigma_{21}} & \varSigma_{22} \end{bmatrix} \right),\]即 \(\boldsymbol{X^{(1)}}\) 与 \(\boldsymbol{X^{(2)}}\) 相互独立当且仅当 \(\varSigma_{12} = \boldsymbol{O}\) (即 \(\boldsymbol{X^{(1)}}\) 与 \(\boldsymbol{X^{(2)}}\) 互不相关).
由上述结论推广易得如下推论.
设 \(r_{i} \geq 1, \ i = 1,\ldots,k\), 且 \(\displaystyle \sum_{i=1}^{k} = p\), 有
\[\boldsymbol{X} = \begin{bmatrix} \boldsymbol{X^{(1)}} \\ \vdots \\ \boldsymbol{X^{(k)}} \end{bmatrix} \sim N_{p} \left( \begin{bmatrix} \boldsymbol{\mu^{(1)}} \\ \vdots\\ \boldsymbol{\mu^{(k)}} \end{bmatrix},\begin{bmatrix} \boldsymbol{\varSigma_{11}} & \cdots & \varSigma_{1k} \\ \vdots & \ddots & \vdots\\ \boldsymbol{\varSigma_{k1}} & \cdots & \varSigma_{kk} \end{bmatrix} \right),\]则 \(\boldsymbol{X^{(1)}},\ldots,\boldsymbol{X^{(k)}}\) 相互独立当且仅当 \(\varSigma_{ij} = \boldsymbol{O},\ \forall\ i \neq j.\) 同时, 由于 \(\varSigma_{12} =\mathrm{Cov}\left(\boldsymbol{X^{(1)}},\boldsymbol{X^{(2)}}\right)\).
由上述结论易知, 对于多元正态分布, \(\boldsymbol{X^{(1)}}\) 与 \(\boldsymbol{X^{(2)}}\) 相互独立与 \(\boldsymbol{X^{(1)}}\) 与 \(\boldsymbol{X^{(2)}}\) 互不相关是等价的.
条件分布
设 \(\boldsymbol{X}= \begin{bmatrix} \boldsymbol{X_{r \times 1}^{(1)}} \\ \boldsymbol{X_{(p-r) \times 1}^{(2)}} \end{bmatrix} \sim N_{p}\left(\boldsymbol{\mu},\boldsymbol{\varSigma}\right)\ (\boldsymbol{\varSigma} >0)\), 则当 \(\boldsymbol{X^{(2)}}\) 给定时, \(\boldsymbol{X^{(1)}}\) 的条件分布为
\[\left(\left. \boldsymbol{X^{(1)}} \right| \boldsymbol{X^{(2)}} \right) \sim N_{r}\left(\boldsymbol{\mu_{1 \cdot 2}}, \boldsymbol{\varSigma_{11 \cdot 2}}\right), \]其中
\[\begin{aligned} \boldsymbol{\mu_{1 \cdot 2}} &=\boldsymbol{\mu^{(1)}} + \boldsymbol{\varSigma_{12}\varSigma_{22}^{-1}} \left(\boldsymbol{x^{(2)}}-\boldsymbol{\mu^{(2)}}\right) \\ \boldsymbol{\varSigma_{11 \cdot 2}} &=\boldsymbol{\varSigma_{11}} - \boldsymbol{\varSigma_{12}\varSigma_{22}^{-1}\varSigma_{21}} \end{aligned}\]To be continued...
*随机矩阵的正态分布
常用分布及抽样分布
多元正态分布的参数估计
标签：统计分析,right,Part01,boldsymbol,varSigma,Continued,ldots,向量,left 来源： https://www.cnblogs.com/lucasji/p/16265166.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。