标签：bar frac 置信区间 hat 参数估计 theta sigma
目录
- 1 点估计的概念与无偏性
- 2 矩估计及相合性
- 3 最大似然估计与EM算法
- 4 最小方差无偏估计
- 5 有限总体的抽样分布
- 6 区间估计
点估计的概念与无偏性
- 点估计：设\(x_1,x_2,x_3...x_n\)是来自总体的一个样本，则用于估计未知参数的估计量\(\hat \theta=\hat \theta(x_1,x_2...x_n)\)称为统计量\(\theta\)的点估计。
例如，样本平均值是总体均值的点估计，样本方差是总体方差的点估计。
- 无偏性：
- 渐近无偏估计：
- 有效性：设\(\hat \theta_1，\hat \theta_2\)都是\(\theta\)的无偏估计，若对于任意样本，
且至少存在一组样本使不等号严格成立，则称\(\hat \theta_1\)比\(\hat \theta_2\)有效。
矩估计及相合性
-
矩估计：用样本矩（如均值方差等）估计未知变量的方法。
-
相合性：\(\theta\)为未知参数，\(\hat \theta\)是\(\theta\)的一个估计量，\(n\)是样本容量，弱对于任意的\(\epsilon>0\)，有
则称\(\hat\theta\)是\(\theta\)的一个相合估计。
- 定理：设\(\hat\theta\)是\(\theta\)的一个估计量，若
则\(\hat\theta\)是\(\theta\)的一个相合估计。
- 定理：若\(\hat\theta_1，\hat\theta_2，\hat\theta_3...\hat\theta_k\)是\(\theta_1，\theta_2，\theta_3...\theta_k\)的相合估计，\(\eta=\eta(\theta_1,\theta_2...\theta_k)\)是连续函数，则\(\hat\eta=\hat\eta(\hat\theta_1，\hat\theta_2，\hat\theta_3...\hat\theta_k)\)是\(\eta\)的相合估计
相合性被认为是估计量的一个基本要求。
最大似然估计与EM算法
最大似然估计（MLE，maximum likelihood estimation）
- 最大似然估计：设总体的概率密度函数为\(f(x;\theta)\)，\(\theta\)为未知参数，样本的联合概率密度函数
称为样本的似然函数，对于统计量\(\hat\theta\)满足
\[L(\hat\theta)=max L(\theta) \]称\(\hat\theta\)是\(\theta\)的最大似然估计。
最大似然估计基于这样一个想法：在一次抽样中获得该组数据的概率应当是最大的，因此，取使得联合概率最大的\(\hat\theta\)为\(\theta\)的估计值。
EM算法（Expectation-maximization algorithm）
- EM算法流程
输入：观察数据 \(x=(x_1,x_2,…x_n)\)，联合分布$ p(x,z|\theta)$，条件分布 \(p(z|x,\theta)\)， 极大迭代次数 J。
-
随机初始化模型参数\(\theta\)的初值\(\theta_0\)
-
\(for\space j \space in \space range(1,J+1)\)：
-
a) E步：计算联合分布的条件概率期望：
\[Q_i(z^{(i)}) = P( z^{(i)}|x^{(i)}，\theta) \] -
b) M步：极大化 \(L(\theta)\),得到 \(\theta\):
\[\theta = arg \max \limits_{\theta}\sum\limits_{i=1}^m\sum\limits_{z^{(i)}}Q_i(z^{(i)})log{P(x^{(i)}， z^{(i)}|\theta)} \] -
c) 重复E、M步骤直到\(\theta\)收敛
输出：模型参数\(\theta\)
EM算法针对含有隐含分布的数据，可以看作最大似然估计的一种计算方法，详细见其它文章。
最小方差无偏估计
均方误差（MSE，mean square error）
相合性是大样本下评价估计好坏的一个重要标准，小样本下使用均方误差。
\[MSE(\hat \theta)=E(\hat\theta-\theta)^2 \]注意到
\[\begin{split}MSE(\hat\theta)&=E(\hat\theta-E\hat\theta+E\hat\theta-\theta)^2\\&=E(\hat\theta-E\hat\theta)^2+(E\hat\theta-\theta)^2+2E(\hat\theta-E\hat\theta)(E\hat\theta-\theta)\\&=D(\hat\theta)+(E\hat\theta-\theta)^2\end{split} \]因此，MSE由点估计的方差和偏差平方两部分组成。
最小方差无偏估计
对于参数估计问题，设\(\hat\theta\)是\(\theta\)的一个无偏估计，对于任意的一个\(\theta\)的无偏估计\(\widetilde{\theta}\)，若有
\[D(\hat\theta)\leq D(\widetilde{\theta}) \]则称\(\hat\theta\)是\(\theta\)的一致最小方差无偏估计，记为UMVUE(Uniformly Minimum-Variance Unbiased Estimator)
有限总体的抽样分布
对于无限总体，或有放回的抽样，由中心极限定理可知，当样本容量\(n\)较大时，有随机变量\(X\sim N(\mu,\frac {\sigma^2}{n})\)，当总体有限，并且抽样为无放回抽样时，各样本不满足独立同分布的要求，因此，不服从上述分布，均值、方差与上述计算方法不同。
比率p的抽样分布
考虑以下有限总体的场景，总体容量为\(N\)，其中事件\(A\)的个体数为\(M\)，样本容量为\(n\)，其中事件\(A\)的个体数为\(m\)，总体中事件A发生的概率为\(p=\frac MN\)，样本中，事件\(A\)的比率为\(\widehat p=\frac mn\)，则\(\widehat p\)是\(p\)的点估计。
有放回抽样
当抽样为有放回抽样时，显然有
\[A\sim B(n,p) \]\[EA=np \]\[DA =np(1-p) \]证明见https://www.cnblogs.com/lifz-ml/p/15105108.html 常用离散分布
显然有
\[E\widehat p=E(\frac mn)=\frac {Em}n=p \]\[D\widehat p=\frac{Dm}{n^2}=\frac{p(1-p)}{n} \]无放回抽样
当无放回抽样时，\(X\)不再服从\(n\)重伯努利分布，服从超几何分布
\[A\sim h(n,N,M) \]\[EA=n\frac MN \]\[DA=\frac{nM(N-M)(N-n)}{N^2(N-1)} \]以上证明见https://www.cnblogs.com/lifz-ml/p/15105108.html 常用离散分布
\[E\widehat p=\frac {Em}n=\frac MN=p \]\[D\widehat p=\frac {Dm}{n^2}=\frac{M(N-M)(N-n)}{nN^2(N-1)}=\frac {p(1-p)}n\frac{N-n}{N-1} \]其中，\(\sqrt{\frac{N-n}{N-1}}\)被称为有限总体修正系数。
均值\(\bar x\)的抽样分布
考虑如下场景，对于有限总体\(X\)，其分布为离散型，可描述为以下分布列：
| 取值 | 概率 | 频数 |
|---|---|---|
| \(x_1\) | \(p_1\) | \(f_1\) |
| \(x_2\) | \(p_2\) | \(f_2\) |
| \(x_3\) | \(p_3\) | \(f_3\) |
| \(x_4\) | \(p_4\) | \(f_4\) |
| ... | ... | ... |
| \(x_k\) | \(p_k\) | \(f_k\) |
同样，总体容量为\(N\)，样本容量为\(n\)，总体均值为\(\mu\)，总体方差为\(\sigma^2\)。
有放回抽样
显然每个样本\(X_i\)独立同分布于\(X\)，当样本数\(n\)较大时，有
\[\bar x \sim N(\mu,\frac {\sigma^2}n) \]无论样本数大小，都有
\[E\bar x =\mu \]\[D\bar x = \frac {\sigma^2}n \]无放回抽样
\[E\bar x=E\frac {\sum_{i=1}^{n} X_i}{n}=EX_i=\mu \]\[D\bar x = \frac {N-n}{N-1}\frac {\sigma^2}n \]区间估计
- 置信区间：设\(\theta\)是总体的一个参数，对于给定的\(\alpha(0<\alpha<1)\)，设有两个统计量\(\hat\theta_{L}\)和\(\hat\theta_{U}\)，对任意的\(\theta\)，有
则称\([\hat\theta_{L}，\hat\theta_{U}]\)为置信度为\(1-\alpha\)的置信区间
置信区间的一个解释：在次抽样中，每次抽样所得的\(\hat\theta\)有\(1-\alpha\)的概率落在置信区间中。
- 枢轴量法
- 构造样本和待预测变量的函数\(G(x_1,x_2,..x_n,\theta)\)
- 适当选择两常数，使得
- 若\(c\geq G \geq d\)能变形为\(\hat\theta_{L}\leq\theta\leq\hat\theta_{U}\)，则置信区间可得。
单正态总体的置信区间
\(\sigma\)已知时\(\mu\)的置信区间
由于
\[\bar x\sim N(\mu,\frac {\sigma^2}{n}) \]因此，构造枢轴量
\[G=\frac{\bar x-\mu}{\sigma/\sqrt{n}}\sim N(0,1) \]由标准正态分布表查得，置信度为\(1-\alpha\)的双侧置信区间为\([-z_{1-\frac \alpha 2}，z_{1-\frac \alpha 2}]\)，则\(\mu\)的置信区间为
\[-z_{1-\frac \alpha 2}\leq\frac{\bar x-\mu}{\sigma/\sqrt{n}}\leq z_{1-\frac \alpha 2} \]\[\bar x - z_{1-\frac \alpha 2} \frac\sigma{\sqrt{n}}\leq \mu\leq \bar x + z_{1-\frac \alpha 2}\frac\sigma{\sqrt{n}} \]\(\sigma\)未知时\(\mu\)的置信区间
由于
\[\frac{\bar x-\mu}{\sigma/\sqrt{n}}\sim N(0,1) \]\[\frac{(n-1)s^2}{\sigma^2}\sim\chi^2(n-1) \]故，构造枢轴量
\[t=\frac{\bar x-\mu}{s/\sqrt{n}}\sim t(n-1) \]则置信区间为
\[\bar x - t_{1-\frac \alpha 2}(n-1) \frac s{\sqrt{n}}\leq \mu\leq \bar x + t_{1-\frac \alpha 2}(n-1)\frac s{\sqrt{n}} \]\(\sigma^2\)的置信区间
以以下统计量为枢轴量
\[\frac{(n-1)s^2}{\sigma^2}\sim\chi^2(n-1) \]由于\(\chi^2\)是恒为非负的偏态分布，因此，枢轴量区间为
\[[\chi^2_{\frac \alpha 2},\chi^2_{1-\frac \alpha 2}] \]故\(\sigma^2\)的置信区间为
\[[\frac{(n-1)s^2}{\chi^2_{1-\alpha /2}}，\frac{(n-1)s^2}{\chi^2_{\alpha /2}}] \]大样本置信区间
以上是正态分布下的枢轴量法，当分布不是正态分布时，寻找枢轴量及其分布会比较困难，因此，当数据量较大时，可用渐近分布构建近似置信区间。以上述抽样比率\(p\)为例，\(X\sim B(1,p)\)，由中心极限定理，有以下近似分布
\[\bar x\sim N(p,\frac {p(1-p)}n) \]构造枢轴量
\[G=\frac {\bar x-p}{\sqrt{p(1-p)/n}}\sim N(0,1) \]令\(\lambda = z^2_{1-\frac \alpha 2}\)，则
\[(\frac {\bar x-p}{\sqrt{p(1-p)/n}})^2\leq \lambda \]\[(1-\frac \lambda n)p^2-(2p+\frac \lambda n)p+\bar x^2\leq 0 \]上式两根为
\[\frac 1{1+\lambda/n}(\bar x +\frac \lambda{2n}\pm\sqrt{\frac{\bar x(1-\bar x)}{n}\lambda+\frac {\lambda^2}{4n^2}}) \]当n较大时，可得近似区间
\[[\bar x-z_{1-\frac \alpha 2}\sqrt{\frac {\bar x(1-\bar x)}{n}}，\bar x+z_{1-\frac \alpha 2}\sqrt{\frac {\bar x(1-\bar x)}{n}}] \]两正态总体下的置信区间
\(x_1,x_2,...x_m\)是\(N(\mu_1,\sigma^2_1)\)的样本，\(y_1,y_2,...y_n\)是\(N(\mu_2,\sigma^2_2)\)的样本,\(s_x\)，\(s_y\)分别是两样本的方差。
\(\mu_1-\mu_2\)的置信区间
\(\sigma_1^2,\sigma^2_1\)已知时
此时有
\[\bar x-\bar y\sim N(\mu_1-\mu_2,\frac{\sigma^2_1}{m}+\frac{\sigma^2_2}{n}) \]枢轴量
\[G=\frac {\bar x-\bar y-(\mu_1-\mu_2)}{\sqrt{\frac{\sigma^2_1}{m}+\frac{\sigma^2_2}{n}}}\sim N(0,1) \]则\(\mu_1-\mu_2\)的置信区间为
\[\bar x-\bar y\pm z_{1-\frac \alpha 2}\sqrt{\frac{\sigma^2_1}{m}+\frac{\sigma^2_2}{n}} \]\(\sigma_1^2=\sigma^2_2=\sigma^2\)未知时
\[\bar x-\bar y\sim N(\mu_1-\mu_2,(\frac1{m}+\frac1{n}){\sigma^2}) \]\[\frac{(m-1)s_x^2+(n-1)s_y^2}{\sigma^2}\sim \chi^2(m+n-2) \]构造枢轴量
\[t=\sqrt{\frac{mn(m+n-2)}{m+n}}\frac{\bar x-\bar y-(\mu_1-\mu_2)}{\sqrt{(m-1)s^2_x+(n-1)s^2_y}}\sim t(m+n-2) \]令
\[s_w^2=\frac{(m-1)s_x^2+(n-1)s_y^2}{m+n-2} \]则置信区间为
\[\bar x-\bar y \pm \sqrt{\frac {m+n}{mn}}s_wt_{1-\frac \alpha 2}(m+n-2) \]\(\sigma_2^2=c\sigma^2_1\)且c已知时
方法同上，置信区间为
\[\bar x-\bar y \pm \sqrt{\frac {cm+n}{mn}}s_wt_{1-\frac \alpha 2}(m+n-2) \]m,n都很大时的近似置信区间
由中心极限定理，可得以下近似分布
\[\frac{\bar x-\bar y-(\mu_1-\mu_2)}{\sqrt{\frac{s_x^2}m+\frac{s_y^2}n}}\sim N(0，1) \]近似置信区间
\[\bar x-\bar y\pm z_{1-\frac \alpha 2}\sqrt{\frac{s_x^2}m+\frac{s_y^2}n} \]\(\sigma_1^2/\sigma_2^2\)的置信区间
由
\[\frac {(m-1)s_x^2}{\sigma_1^2}\sim\chi^2(m-1) \]\[\frac {(n-1)s_y^2}{\sigma_2^2}\sim\chi^2(n-1) \]构造枢轴量
\[F=\frac{s_x^2/\sigma^2_1}{s_y^2/\sigma^2_2}\sim F(m-1,n-1) \]\(\sigma_1^2/\sigma_2^2\)的置信区间为
\[[\frac{s_x^2}{s_y^2}\frac1 {F_{1-\frac\alpha2}(m-1,n-1)}，\frac{s_x^2}{s_y^2}\frac1 {F_{\frac\alpha2}(m-1,n-1)}] \]标签：bar,frac,置信区间,hat,参数估计,theta,sigma 来源： https://www.cnblogs.com/lifz-ml/p/15121013.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。