老是容易把先验概率,后验概率,似然概率混淆，所以下面记录下来以备日后查阅。区分他们最基本的方法就是看定义，定义取自维基百科和百度百科:
先验概率
- 百度百科定义：先验概率（prior probability）是指根据以往经验和分析得到的概率，如全概率公式，它往往作为"由因求果"问题中的"因"出现的概率。
- 维基百科定义: 在贝叶斯统计中，某一不确定量p的先验概率分布是在考虑"观测数据"前，能表达p不确定性的概率分布。
可以看到二者定义有一个共同点，即先验概率是不依靠观测数据的概率分布，也就是与其他因素独立的分布。所以可以用\(P(\theta)\)表示。
后验概率维基百科定义: 在贝叶斯统计中，一个随机事件或者一个不确定事件的后验概率是在考虑和给出相关证据或数据后所得到的条件概率。同样，后验概率分布是一个未知量（视为随机变量）基于试验和调查后得到的概率分布。
简单的理解就是这个概率需要机遇观测数据才能得到，例如我们需要对一个神经网络建模，我们需要基于给定的数据集X才能得到网络参数θ的分布，所以后验概率表示为\(P(θ|X)\)
似然概率百度百科定义: 统计学中，似然函数是一种关于统计模型参数的函数。给定输出x时，关于参数θ的似然函数L(θ|x)（在数值上）等于给定参数θ后变量X的概率：L(θ|x)=P(X=x|θ)。
维基百科定义: 在数理统计学中，似然函数是一种关于统计模型中的参数的函数，表示模型参数中的似然性。
似然概率很好理解，就是说我们现在有一堆数据，现在需要构建一组参数对这些数据建模，以使得模型能够尽可能地拟合这些数据。所以我们要做的就是从很多组参数中选出一组使得模型对数据的拟合程度最高，所以也常常说最大似然概率，即 \(\underset{θ}{\operatorname{argmax}}P(X|θ)\)。
总结现在总结一下：
- 先验概率: \(P(θ)\)
- 后验概率: \(P(θ|X)\)
- 似然概率: \(P(X|θ)\)
它们三者存在这样的关系:
\[P(θ|X)=\frac{P(X|θ)P(θ)}{P(X)} \]
一般而言数据\(P(X)\)的分布是知道的，所以有
\[P(θ|X) ∝ P(X|θ)P(θ) \]
此外，当参数θ是均匀分布时，后验概率和似然概率成正比，即：
\[P(θ|X) ∝ P(X|θ) \]
标签：似然,概率,后验,定义,参数,先验概率 来源： https://blog.51cto.com/u_15187743/2799695
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。