随笔分类 - 神经网络
摘要：###思路 看了不少网上关于TPU的分析，大都是TPU如何简化计算矩阵乘法，即全连接矩阵的计算，weight和input矩阵只需按顺序读入一次，即可实现矩阵乘法的快速计算。 而CNN需要大量卷积计算，对于一个卷积核，例如3*3卷积核，该如何计算，一直没找到相关分析，或者是太过简略我也没看明白。 后来
阅读全文
摘要：##TPU的目标--快速运行神经网络的推理环节 运行受过训练的神经网络以使用标签对数据进行分类或估计某些缺失值或将来值的过程称为推理。TPU的目标是加速神经网络的推理环节。为了进行推理，神经网络中的每个神经元都进行以下计算： 1、将输入数据（x）乘以权重（w）以表示信号强度 2、添加结果汇总神经元的
阅读全文
摘要：##CPU、GPU、TPU区别 ###CPU CPU的最大好处是它的灵活性。采用冯·诺依曼架构。但是，由于CPU如此灵活，因此硬件在从软件读取下一条指令之前，并不总是知道下一步的计算。 对于每次计算，CPU必须将计算结果存储在CPU内部的内存中（所谓的寄存器或L1高速缓存）。 这种内存访问成为冯诺依
阅读全文
摘要：TPU--Tensor Processing UnitTM-张量处理单元 TPU的核心 是一个65,536的8位MAC矩阵相乘单元， 提供了92 TeraOps/秒(top)的峰值吞吐量和 一个大的(28 MiB)软件管理的片上存储器。 量子化 将浮点数转换为狭窄的整数(通常只有8位)（这对于推断
阅读全文
摘要：主要针对三种计算层（不同的层都可以讲计算划分为2或3个计算阶段）： 1、分类器层：突出*输入；乘积求和；激活函数sigmoid；以Tii、Tnn划分tile 2、卷积层：计算阶段相同，只是激活函数可能不同；以Tx、Ty划分tile3、池化层：没有乘积的操作，可以是求最大池化和平均池化；以Tx、Ty划
阅读全文
摘要：Eyeriss: An Energy-Efficient Reconfigurable Accelerator for Deep Convolutional Neural Networks Eyeriss：适用于深度卷积神经网络的节能型可重构加速器 论文地址：https://people.csail
阅读全文
摘要：参考： https://blog.csdn.net/qq_35608277/article/details/86010157 网络： 物理模型： K(x)随I（x）变化，算法为了学习到自适应的K(x) 所以算法核心就是K（x）
阅读全文
摘要：参考： 1、博客：http://kevinj-huang.github.io/2019/03/03/%E5%8D%9A%E5%AE%A289/ 2、论文：https://openaccess.thecvf.com/content_ICCV_2017/papers/Li_AOD-Net_All-In-
阅读全文
摘要：论文地址：https://arxiv.org/pdf/1611.05431.pdf ResNeXt 的主要贡献是引入 Cardinality 维度，在参数量不变情况下提高网络的准确性。 主要思想是分组卷积 增加分组维度能比增加width或depth达到更高精度
阅读全文
摘要：论文网址：https://arxiv.org/pdf/1610.02357.pdf Xception的主要工作是解释常规卷积(regular convolution)如何从Inception模块过渡到可分离卷积(depthwise separable convolution)。 Xception从结
阅读全文
摘要：看了论文，我一直对于1X1卷积核不理解，因为它看起来只是将原来的矩阵分别乘了一个数，原来的矩阵并没有变化 看了一篇博文以后，理解了1X1卷积核的意义 其实1x1卷积，可以看成一种全连接（full connection）。例如， 第一层有6个神经元，分别是a1—a6，通过全连接之后变成5个，分别是b1
阅读全文
摘要：论文链接：https://arxiv.org/pdf/1707.01083.pdf （瓶颈单元：先1x1卷积降维，再3x3卷积，再1x1卷积升维） shufflenet提出使用逐点分组卷积以减少1×1卷积的计算复杂度的方法。 为了克服组卷积带来的副作用，采用了一种新颖的通道混洗操作，以帮助信息流过特
阅读全文
摘要：论文网址：https://arxiv.org/abs/1704.04861 mobilenet主要工作是用depthwise sparable convolutions替代过去的standard convolutions来解决卷积网络的计算效率和参数量的问题。 在该方法中，把标准卷积分为了 深度卷积
阅读全文
浙公网安备 33010602011771号