摘要：
不精通多线程优化的程序员，不是好程序员，连码农都不是。 ——并行计算时代掌握多线程的重要性 线程与操作系统 用户线程与内核线程 广义上线程分为用户线程和内核线程。 前者已经绝迹，它一般只存在于早期不支持多线程的系统中。 它用模拟的方式实现一个模拟的多线程系统，不支持异步。 即，一个线程被阻塞了，其它 阅读全文
摘要：
前置阅读：http://blog.csdn.net/happynear/article/details/44238541——Batch Norm阅读笔记与实现 前置阅读：http://www.zhihu.com/question/38102762——知乎网友 Deep Learning与Bayesi 阅读全文
摘要：
你需要一个管家，随手召唤的那种，想吃啥就吃啥。 ——设计一个全局线程管理器 一个机器学习系统，需要管理一些公共的配置信息，如何存储这些配置信息，是一个难题。 在传统的MVC编程框架中，通常采取设立数据中心的做法，将所有配置信息存在其中。 同时，将数据中心指针共享至所有类，形成一个以数据为中心，多重引 阅读全文
摘要：
你左手是内存，右手是显存，内存可以打死显存，显存也可以打死内存。 —— 请协调好你的主存 从硬件说起 物理之觞 大部分Caffe源码解读都喜欢跳过这部分，我不知道他们是什么心态，因为这恰恰是最重要的一部分。 内存的管理不擅，不仅会导致程序的立即崩溃，还会导致内存的泄露，当然，这只针对传统CPU程序而 阅读全文
摘要：
请以“仰望星空与脚踏实地”作为题目，写一篇不少于800字的文章。除诗歌外，文体不限。 ——2010·北京卷 仰望星空 规范性 Caffe诞生于12年末，如果偏要形容一下这个框架，可以用"须敬如师长"。 这是一份相当规范的代码，这个规范，不应该是BAT规范，那得是Google规范。 很多自称码农的人应 阅读全文
摘要：
工作环境 巧妇有了米炊 众所周知，Caffe是在Linux下写的，所以长久以来，大家都认为跑Caffe，先装Linux。 niuzhiheng大神发起了caffe-windows项目（解决了一些编译、API相异问题） 以及willyd大神发起的caffe-windows-dependencies项目 阅读全文
摘要：
Poor Generalization 这可能是实际中遇到的最多问题。 比如FC网络为什么效果比CNN差那么多啊，是不是陷入局部最小值啊？是不是过拟合啊？是不是欠拟合啊？ 在操场跑步的时候，又从SVM角度思考了一下，我认为Poor Generalization属于过拟合范畴。 与我的论文 [深度神经 阅读全文
摘要：
Reference：Spatial Transformer Networks [Google.DeepMind]Reference：[Theano源码，基于Lasagne]闲扯：大数据不如小数据这是一份很新的Paper(2015.6)，来自于Google旗下的新锐AI公司DeepMind的四位剑桥P... 阅读全文
摘要：
高斯分布·拟合1.1 优美的高斯分布中心极限定理[P79]证明均匀分布和二项分布在数据量 $N\rightarrow \infty$ 时，都会演化近似为高斯分布。作为最晚发现的概率分布，可以假设任何不确定的实数服从高斯分布。对于回归问题，显然目标值 $t$ ，有 $t\sim N(\mu ,\sig... 阅读全文
摘要：
最难读的Theano代码这份LSTM代码的作者，感觉和前面Tutorial代码作者不是同一个人。对于Theano、Python的手法使用得非常娴熟。尤其是在两重并行设计上：①LSTM各个门之间并行②Mini-batch让多个句子并行同时，在训练、预处理上使用了诸多技巧，相比之前的Tutorial，更... 阅读全文