标签：Term Short based DNN 硬件 AHP 脉冲 单元 神经元
郑重声明：原文参见标题，如有侵权，请联系作者，将会撤销发布！
arxiv 2021
ABSTRACT
基于脉冲的神经形态硬件有望提供比GPU等标准硬件更节能的深度神经网络(DNN)实现。但这需要了解如何在基于事件的稀疏发放机制中模拟DNN，否则会失去能量优势。特别是，解决序列处理任务的DNN通常采用长短期记忆(LSTM)单元，这些单元很难用很少的脉冲来模拟。我们展示了许多生物神经元的一个方面，即每个脉冲后的缓慢超极化(AHP)电流，提供了一种有效的解决方案。AHP电流可以很容易地在支持多室神经元模型的神经形态硬件中实现，例如英特尔的Loihi芯片。滤波器逼近理论解释了为什么AHP神经元可以模拟LSTM单元的功能。这产生了一种高度节能的时间序列分类方法。此外，它为以非常稀疏的方式实现一类重要的大型DNN提供了基础，这些DNN提取文本中单词和句子之间的关系，以回答有关文本的问题。
能源消耗是使用DNN的新AI方法更广泛应用的主要障碍，尤其是在边缘设备中。 基于脉冲的神经形态硬件是有望缓解这一问题的一个方向。这个研究方向的部分灵感来自运行更复杂、更大的神经网络的大脑，总能耗仅为20W。这种惊人的能量效率的一个关键因素是大脑中的神经元平均每秒仅发出几次信号(脉冲)。相比之下，典型DNN的单元发出输出值，因此消耗能量的频率要高几个数量级。但是，对于现代人工智能解决方案，哪种类型的DNN可以通过神经形态硬件中稀疏活跃的神经元以节能的方式实现仍然是一个悬而未决的问题，参见Davies等人1的图9。在大多数情况下，这需要重新考虑DNN设计原则。
标签：Term,Short,based,DNN,硬件,AHP,脉冲,单元,神经元 来源： https://www.cnblogs.com/lucifer1997/p/16327757.html
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。