标签：xi 概率密度函数 高斯 sum mu 多维 frac Sigma 1N

多维高斯概率密度函数形式为$f(x,\mu,\Sigma)=\displaystyle\frac{1}{(2\pi)^{d/2}|\Sigma|^{1/2}}\Large e ^{-\frac{1}{2}(x-\mu)^T\Sigma^{-1}(x-\mu)}$f(x,μ,Σ)=(2π)d/2∣Σ∣1/21​e−21​(x−μ)TΣ−1(x−μ)
其中 $x$x 和 $\mu$μ 是 $d$d 维向量，$\Sigma$Σ 是 $d \times d$d×d的矩阵，$\Sigma$Σ 和 $\mu$μ 是待求参数。

设 $\{x_i\}, i=1 \sim N${xi​},i=1∼N 是符合该密度函数的 $N$N 个样本,那么我们可以利用最大似然法（Maxium Likelihood）求待定参数。目标函数为：$E(\mu,\Sigma)=\sum_{i=1}^N \ln f(x_i,\mu,\Sigma)=-\frac{Nd}{2}\ln (2\pi)-\frac{N}{2}\ln |\Sigma|-\frac{1}{2}\sum_{i=1}^N(x_i-\mu)^T\Sigma^{-1}(x_i-\mu)$E(μ,Σ)=i=1∑N​lnf(xi​,μ,Σ)=−2Nd​ln(2π)−2N​ln∣Σ∣−21​i=1∑N​(xi​−μ)TΣ−1(xi​−μ)此时，我们假定 $\{x_i\}, i=1 \sim N${xi​},i=1∼N满足独立同分布（independent and identical distribution, i.i.d）。

根据最大似然法的要求，我们要求 $\Sigma$Σ 和 $\mu$μ 使 $E(\mu,\Sigma)$E(μ,Σ)的值最大，由于 $E$E 是凸函数，故可以直接求使偏导数为 $0$0 的参数。这里为了简化计算我们可以求 $\Sigma^{-1}$Σ−1 的偏导，因为行列式容易转换，而后面有一项矩阵如果进行转换回很麻烦，求出 $\Sigma^{-1}$Σ−1 其实也就是求出了$\Sigma$Σ
$\begin{aligned} &\frac{\partial E}{\partial \mu}=-\frac{1}{2}\sum_{i=1}^N\bigg[\Sigma^{-1}(x_i-\mu)+(\Sigma^{-1})^T(x_i-\mu)\bigg]\times(-1)=0 \\\\ &\frac{\partial E}{\partial (\Sigma^{-1})}=\frac{N}{2}\Sigma^T-\frac{1}{2}\sum_{i=1}^N(x_i-\mu)(x_i-\,u)^T=0 \end{aligned}$​∂μ∂E​=−21​i=1∑N​[Σ−1(xi​−μ)+(Σ−1)T(xi​−μ)]×(−1)=0∂(Σ−1)∂E​=2N​ΣT−21​i=1∑N​(xi​−μ)(xi​−u)T=0​
显然，第二个式子好求，化简得$\Sigma^T=\frac{1}{N}\sum_{i=1}^N(x_i-\mu)(x_i-\,u)^T$ΣT=N1​i=1∑N​(xi​−μ)(xi​−u)T可以看出来这是个对称矩阵，故$\begin{aligned}\Sigma=\Sigma^T=\frac{1}{N}\sum_{i=1}^N(x_i-\mu)(x_i-\,u)^T， \Sigma^{-1}=(\Sigma^{-1})^T\end{aligned}$Σ=ΣT=N1​i=1∑N​(xi​−μ)(xi​−u)T，Σ−1=(Σ−1)T​再看第一个式子$\begin{aligned}&\sum_{i=1}^N\bigg[\Sigma^{-1}(x_i-\mu)+(\Sigma^{-1})^T(x_i-\mu)\bigg]=0 \\\\ \implies&2\sum_{i=1}^N\bigg[\Sigma^{-1}(x_i-\mu)\bigg]=0 \\\\ \implies&\Sigma^{-1}\sum_{i=1}^N(x_i-\mu)=0 \\\\ \implies&\sum_{i=1}^N(x_i-\mu)=0 \\\\ \implies& \mu=\frac{1}{N}\sum_{i=1}^Nx_i \end{aligned}$⟹⟹⟹⟹​i=1∑N​[Σ−1(xi​−μ)+(Σ−1)T(xi​−μ)]=02i=1∑N​[Σ−1(xi​−μ)]=0Σ−1i=1∑N​(xi​−μ)=0i=1∑N​(xi​−μ)=0μ=N1​i=1∑N​xi​​

• 点赞
• 收藏
• 分享
• • 文章举报

ice Alex 发布了15 篇原创文章 · 获赞 9 · 访问量 1869 私信 关注

标签：xi,概率密度函数,高斯,sum,mu,多维,frac,Sigma,1N
来源： https://blog.csdn.net/dreaming_coder/article/details/104145693

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。