一、概率论基础 ML中的概率论基础概念 概率: 概率再机器学习中是处理不确定性。 不确定性产生的三种来源： （1）建模系统存在随机性 （2）不完全观测: 确定的系统，但是观测值不完全，因为有些值时不可能完全
本文描述系统性失效和随机性失效，并介绍它们与硬件和软件失效的关系。 失效可以被分为两类： 1）随机性失效 2）系统性失效 随机性失效指发生的时间无法确定，但却遵循概率分布的失效。随机失效不适用于软件，只适用于硬件，所以也把它叫做随机硬件失效 (Random Hardware Failure)。随机失效由
本文记录了如题所述的三个概念的学习笔记，更新于2019.06.05。 文章目录域自适应注意力机制知识蒸馏 域自适应 域自适应学习（Domain Adaptation Learning）能够有效地解决训练样本和测试样本概率分布不一致的学习问题。在传统的机器学习算法中，通常假设训练样本和测试样本来自同一
1、适用情景当模型需要输出图像类别这样的离散值时，可以使用包括softmax在内的分类模型。softmax回归即在输出中采用了softmax运算，使运算结果更适合离散值的训练和预测。2、softmax模型假设输入特征为x1、x2、x3、x4，根据输入特征判断图片类别为O1、O2、O3，权重为带下标的w，偏差为带下
在信息论中，perplexity(困惑度)用来度量一个概率分布或概率模型预测样本的好坏程度。它也可以用来比较两个概率分布或概率模型。（应该是比较两者在预测样本上的优劣）低困惑度的概率分布模型或概率模型能更好地预测样本。 困惑度越小，句子概率越大，语言模型越好。 wiki上列举了
统计推断 ----》2个学派 贝叶斯 概率 参数估计 点估计 区间估计、置信区间 假设检验 参数估计 ->定义概率分布 概率分布 两种类型 离散型 连续型 概率论 大树定律 最大似然 正太分布? 比如轨
在学习AdaBoost之前，建议了解的预备知识，包括概率论（用于公式推导）、信息的基础知识，有利于理解算法思路的来龙去脉。此处附上原博客地址：https://blog.csdn.net/xierhacker/article/details/53463567 一.什么是熵Ⅰ.信息量首先考虑一个离散的随机变量x,当我们观察到这个变量的一个
1.二维随机变量(X,Y)的联合分布函数： F(x,y)=P(X≤x,Y≤y) 2.二维随机变量(X,Y)关于X的边缘分布函数： FX(x)=P(X≤x) =P(X≤x,Y<+∞) =F(x,+∞) 3.二维离散型随机变量联合概率分布 称P(X=xi,Y=yi)=pij为(X,Y)的联合概率分布，也称概率分布或分布律 直观表示：概率分布表或分布
交叉熵作为一种loss函数在深度学习中可以作为梯度下降优化的对象，其计算公式为： 其中y是网络预测的概率分布，y‘则是真实测试数据的概率分布。 则对于二维tensor交叉熵的计算方式为： cross_entropy = tf.reduce_mean(-tf.reduce_sum(tf.log(y)*y',axis=1))
概率分布用以表达随机变量取值的概率规律，根据随机变量所属类型的不同，概率分布取不同的表现形式 离散型分布：二项分布、多项分布、伯努利分布、泊松分布 连续型分布：均匀分布、正态分布、指数分布、伽玛分布、偏态分布、贝塔分布 一.伯努利分布 伯努利分布只有两种可能的结果，1-成
