ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

机器学习中的数学——概率论

2020-03-13 20:58:38  阅读:318  来源: 互联网

标签:infty 机器 方差 协方差 数学 EX 期望 概率论 随机变量


目录


概率论: 随机事件、统计量、常见分布、基本定理
***

@
参考资料:百度文档

随机变量定义

  1. 若对随机试验的每一种可能结果 \(\omega\) \(\in\) \(\Omega\) 都有一个唯一的实数 \(\xi\)(\(\omega\)) 与之对应, 则称数值为随机变量. 实际上, 随机变量是将试验的结果映射到实数空间中. 比如男女分别为1, 0.$
  2. 随机变量可以是离散是连续的

随机变量的数字特征 概率分布

分为离散型分布:
\[ p(x_{i})\]
连续类型分布:
\[ p(x) \]
累计分布函数为:
\[ F(x)= \int_\infty^x{p(\xi)d\xi}\]
其积分求和为0.
使用抛硬币来说 \(p(0)=0.5;p(1)=0.5\)

随机变量数字特征 期望

数字特征:用以刻画随机变量某方面特征的量,称为随机变量的数字特征

常用的数字特征:数学期望, 方差, 矩, 众数, 中位数, 协方差, 相关系数

离散类型期望:

设离散型随机变量\(X\)的概率分布为:
\[ P(X=x_i)=p_i,~~~ i=1, 2, 3,.... \]
若\(\sum_{i=1}^\infty{x_ip_i}\)绝对收敛, 则称\(\sum_{i=1}^\infty{x_ip_i}\)为随机变量X的期望或均值, 记为\(EX\), 即
\[ EX = \sum_{i=1}^\infty{x_ip_i} \]
注:

  • \(EX\)度量了随机变量X的加权平均
  • \(p_i(i=1, 2, 3...)\)为权重 $

连续型随机变量的期望:

定义:设随机变量X的密度函数为\(f(x)\), 若\(\int_{-\infty}^{+\infty}{xf(x)dx}\)绝对收敛, 则称\(\int_{-\infty}^{+\infty}{xf(x)dx}\)为随机变量\(X\)的期望或均值, 记为\(EX\).

随机变量函数的数学期望:

定义:设$ X $为随机变量, $ y=g(x) \(为实函数 1. 设\)X\(为离散型随机变量, 概率分布为\)P(X=x_i)=p_i, ~~i=1, 2, 3, ...\(,若\)\sum_{i=1}^\infty{g(x)p_i}$ 绝对收敛, 则\(E[g(x)]\)存在,且
\[ E[g(x)]=\sum_{i=1}^\infty{g(x)p_i}\]

  1. 设\(X\)为连续型随机变量, 密度函数为\(f(x)\), 若\(\int_{-\infty}^{+\infty}{g(x)f(x)dx}\)绝对收敛, 则\(E[g(x)]\)存在, 且
    \[ E[g(x)]=\int_{-\infty}^{+\infty}{g(x)f(x)dx}\]

例: 设随机变量的概率分布为:

$ X $ 0 1 2
$ P $ 0.1 0.6 0.3

求\(E[x-EX]^2\) .
解:
\(EX=0*0.1+1*0.6+2*0.3=1.2\)
\(E[X-EX]^2=(0-1.2)^2\times 0.1+(1-1.2)^2\times 0.6+(2-1.2)^2\times 0.3=0.36\)

随机变量的方差

对随机变量\(X\),知道了它的数学期望\(EX\), 虽然对该随机变量有了一定了解, 但还不够.
例: 为评估一批灯泡的好坏, 从某种途径了解到其平均寿命为1000h, 即\(EX=1000\), 但不能完全肯定其质量的好坏.

  • 有可能产品的寿命平均集中在950~1050h, 质量稳定!
  • 有可能一半寿命为700小时, 另一半寿命为1300小时, 质量相对不稳定!

故需要找一个值, 能够度量随机变量\(X\)与\(EX\)的偏离程度.

  • \(X-EX\)---->不能!\(X-EX\)是随机变量
  • \(E(X-EX)\)---->不能!\(E(X-EX)=EX-EX=0\)(正负偏差相互抵消)
  • \(E|X-EX|\)---->不便于计算
    得:\(E(X-EX)^2\)

定义:设随机变量\(X\)的数学期望为\(EX\), 则称\(E(X-EX)^2\) 为随机变量\(X\)的方差, 记为\(D(X)\), 或\(Var(X)\) ,并称\(\sqrt{D(X)}\)为\(X\)的标准差.
方差的计算:
考虑到方差实际上是随机变量函数的数学期望:\(g(X)(X-EX)^2\), 因此
若\(X\)为离散型随心变量, 概念分布为\(p_i=P(X=x_i), ~~i=1,2,3...\)则
\[ D(X)=E(X-EX)^2=\sum_{i=1}^\infty{(x_i-EX)^2p_i} \]
若\(X\)为连续型随机变量, 概率密度为f(x), 则:
\[ D(X)=E(X-EX)^2=\int_{-\infty}^{+\infty}{(x_i-EX)^2f(x)dx} \]
有如下公式:
\[ D(X)=E(X^2)-(EX)^2 \]
证[^1]:
[^1]:根据【随机变量函数的数学期望】计算。

\[D(X)=E(X-EX)^2 = E(X^2 -2X*EX+(EX)^2)\]
\[=E(X^2)-2(EX)^2+(EX)^2\]
\[=E(X^2)-(EX)^2\]
方差的性质:

  1. \(D(C)=0~~C为常数\)
  2. \(D(X+C)=D(X)\)
  3. \(D(CX)=C^2D(X)\)

协方差

百度百科:协方差

在概率论和统计学中,协方差用于衡量两个变量的总体误差。而方差是协方差的一种特殊情况,即当两个变量是相同的情况。

\(Cov(X,Y)=E[(X-EX)(Y-EY)]\)
\(=E(XY)-2E(X)E(Y)+E(X)E(Y)\)
\(=E(XY)-E(X)E(Y)\)

从直观上来看,协方差表示的是两个变量总体误差的期望。

标签:infty,机器,方差,协方差,数学,EX,期望,概率论,随机变量
来源: https://www.cnblogs.com/zxingwork/p/12488875.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有