ICode9

精准搜索请尝试: 精确搜索
首页 > 编程语言> 文章详细

生成式学习算法(二)之----多元正态分布

2019-09-22 16:04:49  阅读:264  来源: 互联网

标签:begin right end 生成式 mu 算法 array Sigma 正态分布


由均值向量\(\mu \in \mathbb{R}^{n}\)和协方差阵\(\Sigma \in \mathbb{R}^{n \times n}\)参数化的\(n\)维多元正态分布或多元高斯分布记作\(\mathcal{N}(\mu, \Sigma)\)。其中协方差矩阵\(\Sigma \in \mathbb{R}^{n \times n}\)是对称半正定矩阵。它的密度函数为,
\[ \begin{equation} p(x ; \mu, \Sigma)=\frac{1}{(2 \pi)^{n / 2}|\Sigma|^{1 / 2}} \exp \left(-\frac{1}{2}(x-\mu)^{T} \Sigma^{-1}(x-\mu)\right) \end{equation} \]
一个服从多元正态分布的随机向量的均值,即$X\sim \mathcal{N}(\mu, \Sigma) $,有
\[ \mathrm{E}[X]=\int_{x} x p(x ; \mu, \Sigma) d x=\mu \]
为了引出一个服从多元正态分布的协方差阵,首先(作为方差的推广)定义一个的随机向量的协方差阵为,
\[ \begin{equation} \operatorname{Cov}(Z)=\mathrm{E}\left[(Z-\mathrm{E}[Z])(Z-\mathrm{E}[Z])^{T}\right] \end{equation} \]

而且可以验证下面这种定义和上面滴是等价的,
\[ \begin{equation} \operatorname{Cov}(Z)=\mathrm{E}\left[Z Z^{T}\right]-(\mathrm{E}[Z])(\mathrm{E}[Z])^{T} \end{equation} \]
若$X\sim \mathcal{N}(\mu, \Sigma) $ ,则有, \[\operatorname{Cov}(X)=\Sigma\]

直观印象

上面从左向右三个图分别表示均值为零,方差为单位矩阵,0.6倍单位矩阵,两倍单位矩阵的多元二维多元正态分布密度图。可以看到,方差协方差矩阵越大,分布越平坦

下面三个图展示两个变量相关系数越来越大时,二元正态分布密度图。可以看到相关系数越大,越向45度角倾斜。这从下面相应的等高线图中可以更明显地看出。这三个相关系数矩阵,也分别列出来如下,

\[ \Sigma=\left[\begin{array}{ll}{1} & {0} \\ {0} & {1}\end{array}\right] ; \Sigma=\left[\begin{array}{cc}{1} & {0.5} \\ {0.5} & {1}\end{array}\right] ; \Sigma=\left[\begin{array}{cc}{1} & {0.8} \\ {0.8} & {1}\end{array}\right]. \]
下面再来一组带有负相关系数的等高线图。三个协方差矩阵分别为,

\[ \Sigma=\left[\begin{array}{rr}{1} & {-0.5} \\ {-0.5} & {1}\end{array}\right] ; \Sigma=\left[\begin{array}{rr}{1} & {-0.8} \\ {-0.8} & {1}\end{array}\right] ; \Sigma=\left[\begin{array}{rr}{3} & {0.8} \\ {0.8} & {1}\end{array}\right] \]

标签:begin,right,end,生成式,mu,算法,array,Sigma,正态分布
来源: https://www.cnblogs.com/qizhien/p/11567734.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有