标签：输出 函数 感知机 线性 激活 隐藏

感知机

1、给定输入x，权重w，和偏移b，感知机输出：

O = ơ(<w,x>+b)   ơ(x) ={ 1，  if x>0

                                             { 0， otherwise

求解算法相当于使用一个批量为1的梯度下降。

注：感知机相当于一个二分类问题，最早的AI模型之一，-1或1。和线性回归不同的是，线性回归输出的是一个实数。和softmax回归不同在于，softmax输出概率。

• • 收敛定理：数据在半径r内，余量p分类两类，||w||² + b² <= 1,也就是存在一个margin（余量）。感知机保证在(r²+1)/p²步后收敛。（r指的数据的大小，p指的数据的质量，能不能很好的分开）

  • 感知机存在的问题（XOR问题）：感知机不能拟合XOR函数，它只能产生线性分割面。

  • 多层感知机

  • 单隐藏层为什么需要非线性激活函数？

                 因为 线性激活函数 对输出结果输出后依然是线性的，并无法起到正确分类的效果。

Sigmod激活函数：将输入投影到（0,1）

Tanh激活函数：将输入投影到（-1.1）

ReLU激活函数（rectified linear unit）：ReLU(x) = max(x,0)，常用。

• • 多类分类

             输出是k类，因此在输出层要经过一个softmax分类

• • 多隐藏层

             超参数：隐藏层数、每层隐藏层的大小

             每层隐藏层的大小选取有两个策略，假设输入是18个

1. 1. 单隐藏层可以设置为256，设置的大点
   2. 多隐藏层，可以第一层256，第二层128，先胖在慢慢的瘦下来，瘦到想要的输出维度（相对的先压缩在扩张做法在第一步压缩时会损失很多信息）。

总结：多层感知机使用隐藏层和激活函数来得到非线性模型。

标签：输出,函数,感知机,线性,激活,隐藏
来源： https://www.cnblogs.com/beatuy/p/15863969.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。