标签：1441368 alt img blog src com img2018

一、背景介绍

　　1.深度学习应用

　　2.一点基础：线性分类器

　　　　1)线性分类器得分函数：

　　　　　　(1)给定W,可以由像素映射到类目得分

　　　　　　(2)可以调整参数/权重W，使得映射的结果和实际类别吻合

　　　　　　(3)损失函数是用来衡量吻合度的

　　　　　　(4)损失函数别的称呼：代价函数(衡量和标准之间的差异到底有多大，值越大)　　

　　　　　　(5)损失函数1：hinge loss/支持向量机损失

　　　　　　　　对于训练集中的第i张图片数据xi

　　　　　　　　在W下会得到一个得分结果向量f(xi,W)

　　　　　　　　则在该样本上的损失我们可以由下列公式计算得到

　　　　(6)对于线性模型，可以简化为：

　　　　(7)加入正则项：把每图片计算出来的损失做一个累加

　　

　　　　(8)损失函数2：交叉熵损失(softmax分类器)

　　　　　　对于训练集中的第i张图片数据xi

　　　　　　在W下会有一个得分结果向量fyi

　　　　　　则损失函数记作：

 

　　　　　　　实际工程中一般这么算：

　　　　　　　　

 　　　3.神经网络：

　　　　　　(1)神经网络：一般神经网络结构

 　　　　(2)从逻辑回归到神经元“感知器”

　　　　　　

　　　　(3)添加少量隐层===>浅层神经网络

 

 

二、神经网络非线性能力及原理　

　　1.感知器与逻辑门

　　2.强大的非线性切分能力

　　3.网络表达力与过拟合问题

　　4.BP算法与SGD

三、代码与示例

　　1.github

标签：1441368,alt,img,blog,src,com,img2018
来源： https://www.cnblogs.com/bigdata-stone/p/10252375.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。