摘要: 1. 论文思想 factorized convolutions and aggressive regularization. 本文给出了一些网络设计的技巧。 2. 结果 用5G的计算量和25M的参数。With an ensemble of 4 models and multi crop evalua 阅读全文
posted @ 2017-12-25 23:01 清水汪汪 阅读(2083) 评论(0) 推荐(0) 编辑
摘要: 1. 论文思想 将3D卷积分解为spatial convolution in each channel and linear projection across channels. (spatial convolution + linear projection.) 2. 两种卷积对比 3. 总结 阅读全文
posted @ 2017-12-25 22:56 清水汪汪 阅读(1629) 评论(0) 推荐(0) 编辑
摘要: 1. 论文思想 一维滤过器。将三维卷积分解成三个一维卷积。convolution across channels(lateral), vertical and horizontal direction. 2. 计算量对比 变换后计算量: 对比: 3. 总结 因为spatial convolution 阅读全文
posted @ 2017-12-25 22:46 清水汪汪 阅读(1752) 评论(0) 推荐(0) 编辑
摘要: 论文地址:https://arxiv.org/abs/1507.06149 1. 主要思想 权值矩阵对应的两列i,j,如果差异很小或者说没有差异的话,就把j列与i列上(合并,也就是去掉j列),然后在下一层中把第j行的权值累加在第i像。 这个过程就想象一下隐藏层中少一个单元,对权值矩阵的影响。 整体思 阅读全文
posted @ 2017-11-14 18:41 清水汪汪 阅读(1655) 评论(0) 推荐(0) 编辑
摘要: 参考论文:ImageNet Classification with Deep Convolutional Neural Networks 1.特点 1.1 ReLU Nonlinearity的提出 ReLU是非饱和非线性函数,f(x) = max(0, x),收敛速度比饱和激活函数快。 优缺点: Re 阅读全文
posted @ 2017-11-14 10:34 清水汪汪 阅读(2132) 评论(0) 推荐(0) 编辑
摘要: 1. Parameter pruning and sharing 1.1 Quantization and Binarization "Compressing deep convolutional networks using vector quantization" "Quantized conv 阅读全文
posted @ 2017-11-12 19:39 清水汪汪 阅读(5152) 评论(2) 推荐(0) 编辑
摘要: 论文地址:https://arxiv.org/abs/1602.07360 模型地址:https://github.com/DeepScale/SqueezeNet 1. 论文思想 提出一种新的卷积 组合方式 替代原来的3 3的卷积。类似于bottleneck layer减少参数数目。但是不太像Mo 阅读全文
posted @ 2017-11-12 14:50 清水汪汪 阅读(1250) 评论(0) 推荐(0) 编辑
摘要: Convolutional Neural Networks "ImageNet Models" "Architecture Design" "Activation Functions" "Visualization" "Fast Convolution" "Low Rank Filter Appro 阅读全文
posted @ 2017-11-12 10:55 清水汪汪 阅读(1911) 评论(0) 推荐(0) 编辑
摘要: 论文地址: "https://arxiv.org/abs/1512.06473" 源码地址: "https://github.com/jiaxiang wu/quantized cnn" 1. 主要思想 这篇文章的主要思想其实就是权值共享,也是用聚类的方法(k means)做共享,只不过不是单个权值 阅读全文
posted @ 2017-10-25 17:54 清水汪汪 阅读(2826) 评论(0) 推荐(0) 编辑
摘要: 论文地址:[MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications ](https://arxiv.org/pdf/1704.04861.pdf) MobileNet由Google提出的一种 阅读全文
posted @ 2017-10-23 20:05 清水汪汪 阅读(796) 评论(0) 推荐(0) 编辑
摘要: 《Densely Connected Convolutional Networks》阅读笔记 代码地址:https://github.com/liuzhuang13/DenseNet 首先看一张图: 稠密连接:每层以之前层的输出为输入,对于有L层的传统网络,一共有L个连接,对于DenseNet,则有 阅读全文
posted @ 2017-10-22 22:30 清水汪汪 阅读(9511) 评论(0) 推荐(0) 编辑
摘要: 论文地址: "Deep Residual Learning for Image Recognition" ResNet——MSRA何凯明团队的Residual Networks,在2015年ImageNet上大放异彩,在ImageNet的classification、detection、locali 阅读全文
posted @ 2017-10-22 20:18 清水汪汪 阅读(2136) 评论(0) 推荐(0) 编辑
摘要: 论文地址:https://arxiv.org/abs/1610.09650 主要思想 这篇文章就是用teacher student模型,用一个teacher模型来训练一个student模型,同时对teacher模型的输出结果加以噪声,然后来模拟多个teacher,这也是一种正则化的方法。 1. te 阅读全文
posted @ 2017-10-12 00:22 清水汪汪 阅读(1904) 评论(0) 推荐(0) 编辑
摘要: 论文地址:https://arxiv.org/abs/1707.06342 主要思想 1. 选择一个channel的子集,然后让通过样本以后得到的误差最小(最小二乘),将裁剪问题转换成了优化问题。 2. 这篇论文题目说是对filter的裁剪,其实是对channel的裁剪,对channel裁剪以后,当 阅读全文
posted @ 2017-10-11 09:28 清水汪汪 阅读(1177) 评论(0) 推荐(0) 编辑
摘要: 论文地址:https://arxiv.org/abs/1608.08710 主要思想 这篇文章主要讲了对filters的裁剪,裁剪方法是计算L1范数,然后裁剪掉较少的,多少取决于加速比。 实现效果 1. VGG 16 34%加速 2. ResNet 110 38%加速 具体实现 1. 对于每一个ke 阅读全文
posted @ 2017-10-09 17:28 清水汪汪 阅读(6189) 评论(0) 推荐(0) 编辑
摘要: 论文地址:https://arxiv.org/abs/1707.06168 代码地址:https://github.com/yihui he/channel pruning 采用方法 这篇文章主要讲诉了采用裁剪信道(channel pruning)的方法实现深度网络的加速。主要方法有两点: (1)L 阅读全文
posted @ 2017-10-09 14:20 清水汪汪 阅读(4839) 评论(0) 推荐(0) 编辑
摘要: 1. 在Linux下直接用pip install packageName,有些文件会被放到根目录下,如果没有sudo权限的话,是会安装失败的。这个以后我们就需要指定安装的目录了。 2. 一般编译源代码三部曲 ./configure make make install 这种默认安装路径的话,会把可执行 阅读全文
posted @ 2017-09-24 19:26 清水汪汪 阅读(11214) 评论(0) 推荐(0) 编辑
摘要: C++中的queue自身是不支持clear操作的,但是双端队列deque是支持clear操作的。 方法一 直接用空的队列对象赋值 方法二 遍历出队列 方法三 使用swap,这种是最高效的,定义clear,保持STL容器的标准。 阅读全文
posted @ 2017-09-15 09:40 清水汪汪 阅读(70933) 评论(0) 推荐(9) 编辑
摘要: Question Given a binary tree, find the leftmost value in the last row of the tree. Example 1: Input: Output: 1 Example 2: Input: Output: 7 Note: You m 阅读全文
posted @ 2017-09-14 22:40 清水汪汪 阅读(221) 评论(0) 推荐(0) 编辑
摘要: Question Given an integer array with no duplicates. A maximum tree building on this array is defined as follow: The root is the maximum number in the 阅读全文
posted @ 2017-09-14 20:14 清水汪汪 阅读(152) 评论(0) 推荐(0) 编辑
摘要: 2018/8/13 1. 线性模型(西瓜书P53~P73) 2. Optimizer https://blog.csdn.net/u012151283/article/details/78154917 2018/8/15 1. SVM(西瓜书) 2018/8/16 1. 面试题 https://ww 阅读全文
posted @ 2018-08-13 12:34 清水汪汪 阅读(199) 评论(0) 推荐(0) 编辑
摘要: Question Given a binary tree, find the lowest common ancestor (LCA) of two given nodes in the tree. According to the definition of LCA on Wikipedia: “ 阅读全文
posted @ 2018-08-06 13:02 清水汪汪 阅读(153) 评论(0) 推荐(0) 编辑
摘要: 2018 8 6 1. Lowest Common Ancestor of a Binary Tree(二叉树) 2. Merge Intervals(排序) 2018 8 7 1. Maximal Square (动态规划) 2018 8 8 剑指offer 1~20 1. 二维数组中的查找 2. 阅读全文
posted @ 2018-08-06 12:54 清水汪汪 阅读(283) 评论(0) 推荐(0) 编辑
摘要: Question You are given a list of non negative integers, a1, a2, ..., an, and a target, S. Now you have 2 symbols + and . For each integer, you should 阅读全文
posted @ 2018-07-26 09:44 清水汪汪 阅读(615) 评论(0) 推荐(0) 编辑
摘要: Question Given a non empty array containing only positive integers, find if the array can be partitioned into two subsets such that the sum of element 阅读全文
posted @ 2018-07-26 08:13 清水汪汪 阅读(212) 评论(0) 推荐(0) 编辑
摘要: 1. 下载 "下载地址" ,我下载的是protobuf all 3.5.0.tar.gz,尽量下载all,里面包含protobuf库的所有文件。 2. 编译 1. ./configure 2. make 3. make install 3. 环境变量 1. ~/.profile 加入 export 阅读全文
posted @ 2017-11-27 12:05 清水汪汪 阅读(6001) 评论(0) 推荐(1) 编辑
摘要: 论文地址:https://arxiv.org/abs/1611.01578 1. 论文思想 强化学习,用一个RNN学一个网络参数的序列,然后将其转换成网络,然后训练,得到一个反馈,这个反馈作用于RNN网络,用于生成新的序列。 2. 整体架构 3. RNN网络 4. 具体实现 因为每生成一个网络,都会 阅读全文
posted @ 2017-11-19 20:31 清水汪汪 阅读(2387) 评论(0) 推荐(0) 编辑