标签：输出 函数 简介 sum 数组 神经网络 softmax exp 激活
# 1.导入
神经网络可以用在分类问题和回归问题上。
分类问题：数据属于哪一个类别的问题。 回归问题：根据某个输入预测一个数值（连续的）的问题。
一般而言，分类问题用softmax函数，回归问题用恒等函数。
# 2.恒等函数的介绍及其实现
恒等函数会将输入按原样输出。恒等函数的实现如下：
def identity_function(a):
return a
# 3.softmax函数的介绍及其实现
softmax函数的数学式表示：
这里假设输出层共有n个神经元，计算第k个神经元的输出yk。如上述数学式所示，分子为第k个神经元输入信号ak的指数函数，分母是输出层所有神经元输入信号的指数函数之和。
softmax函数的实现：
# 原始版本
def softmax(a): # 入口参数为输入层神经元的输入信号数组a
exp_a = np.exp(a) # 调用NumPy库的exp函数，对数组a的每一个元素求以e为底的指数函数值，得到数组exp_a
sum_exp_a = np.sum(exp_a) # 调用NumPy库的sum函数，将数组exp_a中的所有元素求和，得到sum_exp_a
y = exp_a/sum_exp_a # 通过将数组exp_a除以sum_exp_a，使得数组exp_a中每一个元素除以sum_exp_a，得到输出信号数组y(这里利用了NumPy数组的广播功能)
return y
# 防溢出版本
def softmax(a):
c = np.max(a) # 与原始版本不同的地方就是将信号数组的每一个元素小化后再进行运算。（小化就是减去元素最大值）
exp_a = np.exp(a-c)
sum_exp_a = np.sum(exp_a)
y = exp_a/sum_exp_a
return y
softmax函数的特征：
softmax函数的输出是0.0到1.0之间的实数，并且softmax函数输出值的总和是1。正因为有了这个性质，我们才可以把softmax函数的输出解释为“概率”。比如：对于输出信号数组y[0.1,0.8,0.1]，可以解释为y[0]的概率是0.1、y[1]的概率是0.8、y[2]的概率是0.1，第一个元素概率最高，所以答案是第一个类别。
softmax函数的省略：
在机器学习的推理阶段可以省略softmax函数。因为y=exp(x)为单调递增函数，输入信号数组a与输出信号数组y中的各个元素大小关系并没有发生变化，而神经网络只把输出值最大的神经元所对应的类别作为识别结果。实际上，在输出层使用softmax函数，只是因为它和机器学习的学习阶段有关联。
# 本博客参考了《深度学习入门——基于Python的理论与实现》（斋藤康毅著，陆宇杰译），特在此声明。
武松111
发布了23 篇原创文章 · 获赞 6 · 访问量 1849
私信
关注
标签：输出,函数,简介,sum,数组,神经网络,softmax,exp,激活 来源： https://blog.csdn.net/weixin_44711653/article/details/104091717
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。