先验概率与后验概率
根本区别：概率与事件发生的先后顺序，事件发生前则为先验概率，事件发生后则为后验概率。
- 先验概率： 事件发生前的预判概率。可以是基于历史数据的统计，可以由背景常识得出，也可以是人的主观观点给出。一般都是单独事件概率，如P(x),P(y)。
- 后验概率： 事件发生后求的反向条件概率；或者说，基于先验概率求得的反向条件概率。概率形式与条件概率相同。
- 具体说明如下所示：
P(A)是一种先验概率 ， P(B|A) 是条件概率
似然概率与条件概率
- 似然概率： 据结果来判断这个事情本身的性质（参数）。
- 条件概率： 在特定条件下某事件发生的概率。一般的形式为P(x|y)表示y发生的条件下x发生的概率。
- 条件概率P(x|θ)： θ 表示环境对应的参数，x 表示结果；θ是前置条件，理解为在θ 的前提下，事件 x 发生的概率
似然 L(θ|x）： 结果为 x ，参数为θ; L是关于 θ 的函数，而 P 则是关于 x 的函数 - 概率： 描述的是在一定条件下某个事件发生的可能性，概率越大说明这件事情越可能会发生；
- 似然： 描述的是结果已知情况下，事件在不同条件下发生的可能性，似然函数值越大说明事件在对应的条件下发生的可能性越大。
贝叶斯
- 贝叶斯定律： 认为P(x|y)最大的类别y，就是当前文档所属类别。即Max P(x|y) = Max p(x1|y)p(x2|y)…p(xn|y), for all y
最大似然估计（MLE）与最大后验概率估计（MAP）
- MLE: 是求参数θ, 使似然函数P(x0∣θ)最大。
- MAP: 是求参数θ，使P(x0∣θ)P(θ)最大。
- 两者的区别： MAP就是多个作为因子的先验概率P(θ)P(θ)。或者，也可以反过来，认为MLE是把先验概率P(θ)P(θ)认为等于1，即认为θθ是均匀分布。
- 举例：
对于投硬币的例子来看，我们认为（”先验地知道“）θ取0.5的概率很大，取其他值的概率小一些。我们用一个高斯分布来具体描述我们掌握的这个先验知识，例如假设P(θ)为均值0.5，方差0.1的高斯函数，如下图：
则P(x0∣θ)P(θ)的函数图像为：
注意，此时函数取最大值时，θ取值已向左偏移，不再是0.7。实际上，在θ=0.558时函数取得了最大值。即，用最大后验概率估计，得到 θ=0.558
标签：似然,概率,后验,事件,先验概率,x0 来源： https://blog.csdn.net/weixin_40701016/article/details/96484479
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。