[置顶] 论文笔记——Rethinking the Inception Architecture for Computer Vision
摘要： 1. 论文思想 factorized convolutions and aggressive regularization. 本文给出了一些网络设计的技巧。 2. 结果 用5G的计算量和25M的参数。With an ensemble of 4 models and multi crop evalua 阅读全文
posted @ 2017-12-25 23:01 清水汪汪 阅读(2102) 评论(0) 推荐(0)
[置顶] 论文笔记——Factorized Convolutional Neural Networks
摘要： 1. 论文思想 将3D卷积分解为spatial convolution in each channel and linear projection across channels. （spatial convolution + linear projection.） 2. 两种卷积对比 3. 总结 阅读全文
posted @ 2017-12-25 22:56 清水汪汪 阅读(1671) 评论(0) 推荐(0)
[置顶] 论文笔记—Flattened convolution neural networks for feedforward acceleration
摘要： 1. 论文思想 一维滤过器。将三维卷积分解成三个一维卷积。convolution across channels(lateral), vertical and horizontal direction. 2. 计算量对比 变换后计算量： 对比： 3. 总结 因为spatial convolution 阅读全文
posted @ 2017-12-25 22:46 清水汪汪 阅读(1807) 评论(0) 推荐(0)
[置顶] 论文笔记——Data-free Parameter Pruning for Deep Neural Networks
摘要： 论文地址：https://arxiv.org/abs/1507.06149 1. 主要思想 权值矩阵对应的两列i,j，如果差异很小或者说没有差异的话，就把j列与i列上(合并，也就是去掉j列)，然后在下一层中把第j行的权值累加在第i像。 这个过程就想象一下隐藏层中少一个单元，对权值矩阵的影响。 整体思 阅读全文
posted @ 2017-11-14 18:41 清水汪汪 阅读(1683) 评论(0) 推荐(0)
[置顶] AlexNet网络结构特点总结
摘要： 参考论文：ImageNet Classification with Deep Convolutional Neural Networks 1.特点 1.1 ReLU Nonlinearity的提出 ReLU是非饱和非线性函数，f(x) = max(0, x)，收敛速度比饱和激活函数快。 优缺点： Re 阅读全文
posted @ 2017-11-14 10:34 清水汪汪 阅读(2374) 评论(0) 推荐(0)
[置顶] 网络压缩论文整理(network compression)
摘要： 1. Parameter pruning and sharing 1.1 Quantization and Binarization "Compressing deep convolutional networks using vector quantization" "Quantized conv 阅读全文
posted @ 2017-11-12 19:39 清水汪汪 阅读(5195) 评论(2) 推荐(0)
[置顶] 论文笔记——SQUEEZENET ALEXNET-LEVEL ACCURACY WITH 50X FEWER PARAMETERS AND <0.5MB MODEL SIZE
摘要： 论文地址：https://arxiv.org/abs/1602.07360 模型地址：https://github.com/DeepScale/SqueezeNet 1. 论文思想 提出一种新的卷积 组合方式 替代原来的3 3的卷积。类似于bottleneck layer减少参数数目。但是不太像Mo 阅读全文
posted @ 2017-11-12 14:50 清水汪汪 阅读(1268) 评论(0) 推荐(0)
[置顶] 网络压缩论文集(network compression)
摘要： Convolutional Neural Networks "ImageNet Models" "Architecture Design" "Activation Functions" "Visualization" "Fast Convolution" "Low Rank Filter Appro 阅读全文
posted @ 2017-11-12 10:55 清水汪汪 阅读(1931) 评论(0) 推荐(0)
[置顶] 网络量化——Quantized Convolutional Neural Networks for Mobile Devices
摘要： 论文地址： "https://arxiv.org/abs/1512.06473" 源码地址： "https://github.com/jiaxiang wu/quantized cnn" 1. 主要思想 这篇文章的主要思想其实就是权值共享，也是用聚类的方法(k means)做共享，只不过不是单个权值 阅读全文
posted @ 2017-10-25 17:54 清水汪汪 阅读(2875) 评论(0) 推荐(0)
[置顶] 论文笔记——MobileNets(Efficient Convolutional Neural Networks for Mobile Vision Applications)
摘要： 论文地址：[MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications ](https://arxiv.org/pdf/1704.04861.pdf) MobileNet由Google提出的一种 阅读全文
posted @ 2017-10-23 20:05 清水汪汪 阅读(812) 评论(0) 推荐(0)
[置顶] 论文笔记——DenseNet
摘要： 《Densely Connected Convolutional Networks》阅读笔记 代码地址：https://github.com/liuzhuang13/DenseNet 首先看一张图： 稠密连接：每层以之前层的输出为输入，对于有L层的传统网络，一共有L个连接，对于DenseNet，则有 阅读全文
posted @ 2017-10-22 22:30 清水汪汪 阅读(9584) 评论(0) 推荐(0)
[置顶] 论文笔记——Deep Residual Learning for Image Recognition
摘要： 论文地址： "Deep Residual Learning for Image Recognition" ResNet——MSRA何凯明团队的Residual Networks，在2015年ImageNet上大放异彩，在ImageNet的classification、detection、locali 阅读全文
posted @ 2017-10-22 20:18 清水汪汪 阅读(2213) 评论(0) 推荐(0)
[置顶] 论文笔记——Deep Model Compression Distilling Knowledge from Noisy Teachers
摘要： 论文地址：https://arxiv.org/abs/1610.09650 主要思想 这篇文章就是用teacher student模型，用一个teacher模型来训练一个student模型，同时对teacher模型的输出结果加以噪声，然后来模拟多个teacher，这也是一种正则化的方法。 1. te 阅读全文
posted @ 2017-10-12 00:22 清水汪汪 阅读(1913) 评论(0) 推荐(0)
[置顶] 论文笔记——ThiNet: A Filter Level Pruning Method for Deep Neural Network Compreesion
摘要： 论文地址：https://arxiv.org/abs/1707.06342 主要思想 1. 选择一个channel的子集，然后让通过样本以后得到的误差最小(最小二乘)，将裁剪问题转换成了优化问题。 2. 这篇论文题目说是对filter的裁剪，其实是对channel的裁剪，对channel裁剪以后，当 阅读全文
posted @ 2017-10-11 09:28 清水汪汪 阅读(1196) 评论(0) 推荐(0)
[置顶] 论文笔记——PRUNING FILTERS FOR EFFICIENT CONVNETS
摘要： 论文地址：https://arxiv.org/abs/1608.08710 主要思想 这篇文章主要讲了对filters的裁剪，裁剪方法是计算L1范数，然后裁剪掉较少的，多少取决于加速比。 实现效果 1. VGG 16 34%加速 2. ResNet 110 38%加速 具体实现 1. 对于每一个ke 阅读全文
posted @ 2017-10-09 17:28 清水汪汪 阅读(6343) 评论(0) 推荐(0)
[置顶] 论文笔记——Channel Pruning for Accelerating Very Deep Neural Networks
摘要： 论文地址：https://arxiv.org/abs/1707.06168 代码地址：https://github.com/yihui he/channel pruning 采用方法 这篇文章主要讲诉了采用裁剪信道(channel pruning)的方法实现深度网络的加速。主要方法有两点： （1）L 阅读全文
posted @ 2017-10-09 14:20 清水汪汪 阅读(4891) 评论(0) 推荐(0)
[置顶] Linux下指定pip install和make install安装路径
摘要： 1. 在Linux下直接用pip install packageName，有些文件会被放到根目录下，如果没有sudo权限的话，是会安装失败的。这个以后我们就需要指定安装的目录了。 2. 一般编译源代码三部曲 ./configure make make install 这种默认安装路径的话，会把可执行 阅读全文
posted @ 2017-09-24 19:26 清水汪汪 阅读(11304) 评论(0) 推荐(0)
[置顶] C++ 清空队列(queue)的几种方法
摘要： C++中的queue自身是不支持clear操作的，但是双端队列deque是支持clear操作的。 方法一 直接用空的队列对象赋值 方法二 遍历出队列 方法三 使用swap，这种是最高效的，定义clear，保持STL容器的标准。 阅读全文
posted @ 2017-09-15 09:40 清水汪汪 阅读(73317) 评论(0) 推荐(9)
[置顶] LeetCode——Find Bottom Left Tree Value
摘要： Question Given a binary tree, find the leftmost value in the last row of the tree. Example 1: Input: Output: 1 Example 2: Input: Output: 7 Note: You m 阅读全文
posted @ 2017-09-14 22:40 清水汪汪 阅读(226) 评论(0) 推荐(0)
[置顶] LeetCode——Maximum Binary Tree
摘要： Question Given an integer array with no duplicates. A maximum tree building on this array is defined as follow: The root is the maximum number in the 阅读全文
posted @ 2017-09-14 20:14 清水汪汪 阅读(157) 评论(0) 推荐(0)
2018年8月13日
2018 Machine Learning
摘要： 2018/8/13 1. 线性模型(西瓜书P53~P73) 2. Optimizer https://blog.csdn.net/u012151283/article/details/78154917 2018/8/15 1. SVM(西瓜书) 2018/8/16 1. 面试题 https://ww 阅读全文
posted @ 2018-08-13 12:34 清水汪汪 阅读(202) 评论(0) 推荐(0)
2018年8月6日
Leetcode ——Lowest Common Ancestor of a Binary Tree
摘要： Question Given a binary tree, find the lowest common ancestor (LCA) of two given nodes in the tree. According to the definition of LCA on Wikipedia: “ 阅读全文
posted @ 2018-08-06 13:02 清水汪汪 阅读(154) 评论(0) 推荐(0)
2018 leetcode
摘要： 2018 8 6 1. Lowest Common Ancestor of a Binary Tree（二叉树） 2. Merge Intervals（排序） 2018 8 7 1. Maximal Square （动态规划） 2018 8 8 剑指offer 1~20 1. 二维数组中的查找 2. 阅读全文
posted @ 2018-08-06 12:54 清水汪汪 阅读(286) 评论(0) 推荐(0)
2018年7月26日
Leetcode——Target Sum
摘要： Question You are given a list of non negative integers, a1, a2, ..., an, and a target, S. Now you have 2 symbols + and . For each integer, you should 阅读全文
posted @ 2018-07-26 09:44 清水汪汪 阅读(622) 评论(0) 推荐(0)
Leetcode ——Partition Equal Subset Sum
摘要： Question Given a non empty array containing only positive integers, find if the array can be partitioned into two subsets such that the sum of element 阅读全文
posted @ 2018-07-26 08:13 清水汪汪 阅读(215) 评论(0) 推荐(0)
2017年11月27日
Linux下替换默认版本的protobuf
摘要： 1. 下载 "下载地址" ，我下载的是protobuf all 3.5.0.tar.gz，尽量下载all，里面包含protobuf库的所有文件。 2. 编译 1. ./configure 2. make 3. make install 3. 环境变量 1. ~/.profile 加入 export 阅读全文
posted @ 2017-11-27 12:05 清水汪汪 阅读(6137) 评论(0) 推荐(1)
2017年11月19日
论文笔记——NEURAL ARCHITECTURE SEARCH WITH REINFORCEMENT LEARNING
摘要： 论文地址：https://arxiv.org/abs/1611.01578 1. 论文思想 强化学习，用一个RNN学一个网络参数的序列，然后将其转换成网络，然后训练，得到一个反馈，这个反馈作用于RNN网络，用于生成新的序列。 2. 整体架构 3. RNN网络 4. 具体实现 因为每生成一个网络，都会 阅读全文
posted @ 2017-11-19 20:31 清水汪汪 阅读(2399) 评论(0) 推荐(0)
下一页