ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

【读书笔记】贝叶斯原理

2022-02-18 13:35:21  阅读:168  来源: 互联网

标签:概率 mathbf 女神 读书笔记 mid 贝叶斯 先验概率 原理


Frequentist vs bayesian source - probabilisticworld. Com

频率学派和贝叶斯学派

频率学派 贝叶斯学派
概率的定义 事件重复若干次后频率的极限 事件发生的不确定程度
判别方法 没有先验概率;要求事件是可重复的 有先验概率
描述不确定程度 置信区间或p值 后验概率
求解方法(测量全世界大学生的平均身高) 认为这是一个确定值,用极大似然估计求解 认为不同值都有一个概率,用贝叶斯定理求解后验概率

条件概率的来源

  • 除了逻辑学中正误确定的论断,还应考虑有不确定可信度的论断。类似于\(B\rightarrow A\)的逻辑推断,当我们得到新信息时,相关论断的可信度也应发生变化。比如,对于\(B\rightarrow A\),当\(B\)的可信度提高时,\(A\)也应该提高(条件概率);当\(A\)的可信度提高时,有时\(B\)也会提高(贝叶斯方法)

  • 推导出唯一概率系统的考克斯公理

  • 概率论是常识推断的定量表述

    ​ 类比逻辑论断\(B\rightarrow A\),先验概率\(P(B)\)为假设\(B\)成立的概率,条件概率\(P(A|B)\)为推断“\(\rightarrow\)”成立的概率,联合概率\(P(\mathbf{A}, \mathbf{B})\)为两个假设同时成立的概率

  • 条件概率的计算式来源

    • 根据第三条公理可知,联合事件发生的概率是由单一事件概率与条件概率决定的
    • 直观上来看,\(P(A|B)\)与\(P(B)\)越大,联合事件发生的概率越大
    • 乘法能保证概率值始终在\([0,1]\)区间
    • 因此有\(P(\mathbf{A}, \mathbf{B})=P(\mathbf{A} \mid \mathbf{B}) P(\mathbf{B})\)

贝叶斯公式

  • 核心:利用变量间的相关性,用新得到可观测变量的信息来更新不可观测变量估计

    • 当某一观测变量发生后,另一不可观测量的发生概率如何发生改变
    • 更新前的估计就是先验概率
  • 举例

不可观测量\(A\) 可观测量\(B\) 正向概率 \(P(B\mid A)\) 逆向概率 \(P(A\mid B)\)
发动机 发动机是不是坏了 声音不对 坏了过后的声音是不是这个声音? 听到这个声音,发动机是不是坏了?
抽球 盒子中不同颜色小球的比例 摸出小球的颜色 摸出小球可能是什么颜色? 盒中小球的颜色比例?
女神 女神是否喜欢你 女神对你笑 女神喜欢你的话,对你笑的概率有大? 女神如果对你笑了,喜欢你吗?
  • 公式:\(P(A \mid B)= \frac{P(B \mid A)P(A)}{P(B)}\)

    可以理解为\(P(A,B) = P(A \mid B)P(B)=P(A)P(B \mid A)\),同一相关关系的不同描述角度

    Frequentist vs bayesian source - probabilisticworld. Com
  • 求解:

    以女神为例,要计算\(P(A \mid B)\),带入公式计算其余各项即可

    • \(P(A)\):女神之前就喜欢你吗?如果是路人,还是设置为50%的概率吧
    • \(P(B|A)\):喜欢一个人大概率会笑吧,可以设置为60%
    • \(P(B)\):女神平时傻笑吗?高冷的话可以设置为40%

    计算后可得,喜欢你的先验概率提升为75%了!感谢贝叶斯!

贝叶斯公式的应用

  • 垃圾邮件筛选(垃圾邮件、敏感字词)
  • 疾病检测(得病,报告)
  • 贝叶斯方法可能是解决小样本学习的关键方法

标签:概率,mathbf,女神,读书笔记,mid,贝叶斯,先验概率,原理
来源: https://www.cnblogs.com/mhlan/p/15908241.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有