simple_wxl

2017年7月16日

摘要：但是一般写程序的时候，我们想直接在test时用，这种表达式。（where ）因此我们就在训练的时候就直接训练。所以训练时，第一个公式修正为。即把dropout的输入乘以p 再进行训练，这样得到的训练得到的weight 参数就是，测试的时候除了不使用dropout外，不需要再做任何re 阅读全文

posted @ 2017-07-16 22:29 simple_wxl 阅读(355) 评论(0) 推荐(0)

caffe卷积操作

摘要：阅读全文

posted @ 2017-07-16 22:23 simple_wxl 阅读(185) 评论(0) 推荐(0)

LFM隐语义模型Latent Factor Model

摘要：实际应用 LFM 模型在实际使用中有一个困难，就是很难实现实时推荐。经典的 LFM 模型每次训练都需要扫描所有的用户行为记录，并且需要在用户行为记录上反复迭代来优化参数，所以每次训练都很耗时，实际应用中只能每天训练一次。在新闻推荐中，冷启动问题非常明显，每天都会有大量的新闻，这些新闻往往如昙花一现，阅读全文

posted @ 2017-07-16 19:27 simple_wxl 阅读(483) 评论(0) 推荐(0)

2017年7月15日

word2vec参数

摘要：架构：skip-gram（慢、对罕见字有利）vs CBOW（快） · 训练算法：分层softmax（对罕见字有利）vs 负采样（对常见词和低纬向量有利）负例采样准确率提高，速度会慢，不使用negative sampling的word2vec本身非常快，但是准确性并不高 · 欠采样频繁词：可以提高结阅读全文

posted @ 2017-07-15 17:15 simple_wxl 阅读(6824) 评论(0) 推荐(0)

2017年7月5日

caffe多个gpu数据合并到一起

摘要：当多GPU树形拓扑构建完毕，数据预缓冲到GPU显存，开始进入多GPU并行训练。Caffe的Solver提供了两个用于多GPU训练的回调函数：on_start()和on_gradient_ready()。如图4-5所示，on_start函数用于将参数分发拷贝到每一个GPU中，on_gradeint_r 阅读全文

posted @ 2017-07-05 14:50 simple_wxl 阅读(565) 评论(0) 推荐(0)

2017年7月1日

word2vec原理

摘要：最原始的是NNLM,然后对其改进，有了后面的层次softmax和skip gram 层次softmax：去掉了隐藏层，后面加了huffuman树，concat的映射层也变成了sum skip gram是和层次softmax反过来的，是用中间某个词，预测左右上下文 word2vec是一个无监督算法，f 阅读全文

posted @ 2017-07-01 23:30 simple_wxl 阅读(290) 评论(0) 推荐(0)

2017年6月29日

LSTM及其变种及其克服梯度消失

摘要：本宝宝又转了一篇博文，但是真的很好懂啊：写在前面：知乎上关于lstm能够解决梯度消失的问题的原因：上面说到，LSTM 是为了解决 RNN 的 Gradient Vanish 的问题所提出的。关于 RNN 为什么会出现 Gradient Vanish，上面已经介绍的比较清楚了，本质原因就是因为矩阵阅读全文

posted @ 2017-06-29 21:04 simple_wxl 阅读(13569) 评论(0) 推荐(0)

2017年6月25日

SSD回归类物体检测

摘要：本宝宝最近心情不会，反正这篇也是搬用别人博客的了：（SSD就是YOLO+anchor(不同feature map 作为input)）引言这篇文章是在YOLO[1]之后的一篇文章，这篇文章目前是一篇the-art-of-state的方法。这篇文章可以看到很多前人的影子，我所感受到这篇文章主要借鉴前阅读全文

posted @ 2017-06-25 22:34 simple_wxl 阅读(8256) 评论(0) 推荐(0)

2017年6月22日

yolo回归型的物体检测

摘要：本弱又搬了另外一个博客的讲解：缩进YOLO全称You Only Look Once: Unified, Real-Time Object Detection，是在CVPR2016提出的一种目标检测算法，核心思想是将目标检测转化为回归问题求解，并基于一个单独的end-to-end网络，完成从原始图像阅读全文

posted @ 2017-06-22 19:48 simple_wxl 阅读(1236) 评论(0) 推荐(0)

rcnn ->fast rcnn->faster rcnn物体检测论文

摘要： faster rcnn中的rpn网络：特征可以看做一个尺度51*39的256通道图像，对于该图像的每一个位置，考虑9个可能的候选窗口：三种面积{1282,2562,5122}×三种比例{1:1,1:2,2:1}。这些候选窗口称为anchors。下图示出51*39个anchor中心，以及9种anch 阅读全文

posted @ 2017-06-22 18:56 simple_wxl 阅读(1378) 评论(1) 推荐(1)

公告