标签：phi right GLM eta 广义 线性 theta log

GLM 是什么

GLM 是一种模型，或者说是建模方法，使用 GLM，可以让把现实中的问题转化为机器学习需要的形式，也就是确定自己需要的假设函数 \(h_{\theta}(x)\)，从而推出推出所需的最优化目标。需要注意的是，GLM 只能对那些服从指数分布族的问题建模。

什么是指数分布族 The exponential family

指数分布族是指一类特殊的概率分布，这些分布都可以被写成

\[p(y;n)=b(y)exp(\eta ^TT(y)-a(\eta)) \]

的形式。

许多常见的分布都属于指数分布族，也就是说，他们可以改写成上面这种形式。

比如，伯努利分布 \(Y\sim Bernoulli(\phi)\)：

\[\begin{aligned} p(y;\phi)&=\phi ^y(1-\phi)^{1-y} \\ &=\exp(y\log(\phi)+(1-y)\log(1-\phi))\\ &=\exp\left(\left(\log\left(\frac{\phi}{1-\phi}\right)\right)y+\log(1-\phi)\right) \end{aligned}\]

其中，

\[\begin{aligned} T(y)&=y \\ \eta&=\log \left(\frac{\phi}{1-\phi}\right) \\ a(\eta)&=-\log(1-\phi) \\ &=\log(1+e^\eta) \\ b(y)&=1 \end{aligned}\]

如何使用 GLM 构建模型

GLM 模型的核心其实就是三个假设：

1. \(y\mid x;\theta\sim \mathrm{ExpotentialFamily}(\eta)\)
2. 给定 \(x\)（也就是特征），我们预测的目标是 \(T(y)\) 的期望，通常情况下有 \(T(y)=y\)，所以我们的假设函数就是 \(h(x)=\mathrm{E}\left[y\mid x\right]\)。
3. 参数 \(\eta\) 和输入 \(x\) 是线性关系：\(\eta = \theta ^T x\)

举个例子

我们下面用一个简单的二分类问题来举个例子：

一个射击运动员，在距离 \(x\) 处的命中率 \(y\) 服从伯努利分布 \(\mathrm{B}(\phi)\)。

从刚才的推导可以得出：

\[\begin{aligned} h_\theta(x)&=\mathrm{E}\left[y\mid x;\theta\right] \\ &=\phi \\ &=1/(1+e^{-\eta}) \\ &=1/(1+e^{-\theta ^T x}) \end{aligned}\]

正好就是 Logistic 回归的形式！

标签：phi,right,GLM,eta,广义,线性,theta,log
来源： https://www.cnblogs.com/yangxuanzhi/p/16294876.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。