03 2023 档案

Layer Normalization
摘要:郑重声明:原文参见标题,如有侵权,请联系作者,将会撤销发布! Arxiv 2016 Abstract 训练最先进的深度神经网络在计算上是昂贵的。减少训练时间的一种方法是使神经元的活动归一化。最近引入的一种称为批量归一化的技术使用神经元的总输入在小批量训练案例上的分布来计算平均值和方差,然后用于在每个 阅读全文

posted @ 2023-03-27 14:39 穷酸秀才大草包 阅读(300) 评论(0) 推荐(0)

Understanding plasticity in neural networks
摘要:郑重声明:原文参见标题,如有侵权,请联系作者,将会撤销发布! Arxiv 2023 Abstract 可塑性是神经网络根据新信息快速改变预测的能力,对于深度强化学习系统的适应性和鲁棒性至关重要。众所周知,即使在相对简单的学习问题中,深度神经网络也会在训练过程中失去可塑性,但驱动这种现象的机制仍知之甚 阅读全文

posted @ 2023-03-27 11:27 穷酸秀才大草包 阅读(352) 评论(0) 推荐(0)

Implementation Matters in Deep Policy Gradients: A Case Study on PPO and TRPO
摘要:郑重声明:原文参见标题,如有侵权,请联系作者,将会撤销发布! Published as a conference paper at ICLR 2020 ABSTRACT 我们通过对两种流行算法:近端策略优化(PPO)和信任区域策略优化(TRPO)的案例研究,研究了深度策略梯度算法中算法进步的根源。具 阅读全文

posted @ 2023-03-23 14:27 穷酸秀才大草包 阅读(442) 评论(0) 推荐(0)

Going Deeper With Directly-Trained Larger Spiking Neural Networks
摘要:郑重声明:原文参见标题,如有侵权,请联系作者,将会撤销发布! The Thirty-Fifth AAAI Conference on Artificial Intelligence (AAAI-21) Abstract 脉冲神经网络(SNN)在时空信息和事件驱动信号处理的生物可编程编码中很有前途,非 阅读全文

posted @ 2023-03-22 14:43 穷酸秀才大草包 阅读(599) 评论(0) 推荐(0)

GPT-4 Technical Report
摘要:Abstract 我们报告了GPT-4的开发,GPT-4是一种大规模的多模态模型,可以接受图像和文本输入并生成文本输出。尽管GPT-4在许多现实世界场景中的能力不如人类,但它在各种专业和学术基准上表现出人类水平的性能,包括通过了一次模拟的律师资格考试,分数在前10%左右。GPT-4是一个基于Tran 阅读全文

posted @ 2023-03-15 15:45 穷酸秀才大草包 阅读(530) 评论(0) 推荐(0)

Enabling Spike-Based Backpropagation for Training Deep Neural Network Architectures
摘要:郑重声明:原文参见标题,如有侵权,请联系作者,将会撤销发布! Frontiers in neuroscience, 2020: 119 Abstract 脉冲神经网络(SNN)最近已成为一种突出的神经计算范式。然而,典型的浅层SNN架构表达复杂表示的能力有限,而使用输入脉冲训练深层SNN迄今为止尚未 阅读全文

posted @ 2023-03-14 20:56 穷酸秀才大草包 阅读(196) 评论(0) 推荐(0)

Conversion of Continuous-Valued Deep Networks to Efficient Event-Driven Networks for Image Classification
摘要:郑重声明:原文参见标题,如有侵权,请联系作者,将会撤销发布! Frontiers in neuroscience, 2017, 11: 682 Abstract 脉冲神经网络(SNN)可能提供一种有效的推理方式,因为网络中的神经元很少被激活,计算是由事件驱动的。先前的工作表明,简单的连续值深度卷积神 阅读全文

posted @ 2023-03-14 20:27 穷酸秀才大草包 阅读(296) 评论(0) 推荐(0)

SNN中各层的实现
摘要:1、BN层 摘录自《Conversion of Continuous-Valued Deep Networks to Efficient Event-Driven Networks for Image Classification》 2、Dropout层 摘录自《Enabling Spike-Bas 阅读全文

posted @ 2023-03-14 19:35 穷酸秀才大草包 阅读(383) 评论(0) 推荐(0)

Optimal ANN-SNN conversion for high-accuracy and ultra-low-latency spiking neural networks
摘要:郑重声明:原文参见标题,如有侵权,请联系作者,将会撤销发布! Published as a conference paper at ICLR 2022 ABSTRACT 脉冲神经网络(SNN)因其独特的低功耗属性和对神经形态硬件的快速推理而受到广泛关注。作为获得深度SNN的最有效方法,ANN-SNN 阅读全文

posted @ 2023-03-10 20:43 穷酸秀才大草包 阅读(1128) 评论(0) 推荐(0)

导航