随笔分类 - machine learning
1
摘要：sampling听起来更对口。 题目要解决的问题很有意思（ "http://blog.jobbole.com/42550/" ） 解决的方案也很简单：假定现在是$t$时刻，此刻手上留着的样本是$a_t$，流上的样本是$b$，那么应该使样本$b$以$P(b)= \frac{1}{t+1}$的概率替换$
阅读全文
摘要：本来只是想记下除了对不满足要求的action进行惩罚外，还应该对剩余部分进行奖励，这样才能使训练易收敛。后面试着用更细致的惩罚进行训练，发现也可以取得类似的效果。虽然训练收敛性能可能不是那么完美，但得到的模型却能观察到多样性的输出。
阅读全文
摘要：textbook example with:
1. Policy Gradient
2. gluon
阅读全文
摘要：主流都认识到需要找到最具区分性的部分。这篇顺着这个思路，尝试了LSTM辅助下的区域搜索策略，但看起来还没做完全。
阅读全文
摘要：关于MXNet中lstm的exmple程序注记。主要的意义是清理LSTM的工作原理，顺便搭讪MXNet。
阅读全文
摘要：Bellman update 方程收敛性证明注记
阅读全文
摘要：哈哈，先原谅这一个月在重围中的借口。有几次想起还有 blogs 这件事，也是觉得可能这个月没有publication留下。结果刚才debug发现了些有趣的事情，当然，现象是表面，insight是关键。由此的事情远没有完成，先在这里记下，探索也是部分的需要计划的:) Introduction 事情源于
阅读全文
摘要：1. 基于MXNet/Python 的feature Map/softmax 查看类程序；
2. 相关现象的数学讨论及数值验证。
阅读全文
摘要：最近打算做些 的工作，首先要解决的是，通常的AdaBoost都是针对二分类问题的，有必要将其扩展至多分类应用。当然最自然的想法是多次二分类处理，但后面发现了一个统一的框架 " Multi class AdaBoost " 。 Paper 说一些关于paper的事情。 方法 该方法的核心点在于对第$m
阅读全文
摘要：1. section 3 的最末一段，没怎么明白，主要是 a small value of $\beta_2$ ，看起来与 default setting 相悖，并且其所说的 sparse case 与 section 5 中 AdaGrad 的描述($\beta_2\rightarrow 1$)也
阅读全文
摘要：前文的思路存在问题,文末部分进行了更正。 Preface 知道这个词一年多了，还记得当时的情景，当时没有涉及到 CNN 就过去了，后面才知道是一个有趣的事物。前不久打算估计一下网络的这一指标，发现并不那么轻松，就准备另找时间。昨晚的PR课突然发现没什么可以打发时间的了，搜肠一番，那就列些等式吧。 S
阅读全文
摘要：离开 EM 接近一年了，昨晚的 PR 课继续保持了沉闷的风格，于是打算推一遍...结果半路卡住了。先看看走到哪一步了，然后借了 Ng 的 "lecture" 才解脱（去年也是找到这本pdf才算明白，言简意赅）。 Block 首先是独立同分布的似然估计(不支持 \bm ,用大写代替): $$ \beg
阅读全文
摘要：突然又开始怀疑mxnet的softmax(如果有上次的话，应该是在寒假的时候)...总觉得 example/numpy ops/ 中的backward不对劲——太简单了吧，没有看见 cross entropy 的影子啊(doc上说会在后向的时候加入 cross entropy )。查了一番，发现 s
阅读全文
摘要：来准备用 VGG 来做些fine tuning快速交个差，结果半天卡在0.3升不上去．入行没多久，不能肯定是方向有问题，找了个 PASCAL VOC 跑跑分类． 结果发现总是卡在0.2左右，在metric.py里改了几行（草根就该用MXNet），把 predict_label 和 ground tr
阅读全文
摘要：MathJax.Hub.Config({TeX: { equationNumbers: {autoNumber: "all"} }}); note 比CSDN的公式编写好多了。 Introduction 去年暑假的时候开始了贝叶斯推断方面的工作，当时主要是针对 deblurring ，国庆节后，种种
阅读全文
1
浙公网安备 33010602011771号