1357

摘要：（Under review as a conference paper at ICLR 2017） ICLR 2017已提交的关于自动编程有 12 篇论文，以下为其中一篇。 主要工作是提出一种利用神经网络生成算法代码的方法，相比于不用神经网络的搜索过程，速度有极大的提升。 学习编程（DeepCode 阅读全文

摘要：上一篇随笔中，采用三层神经网络，ReLu作为激活函数，经过反向传播训练，可以得到对训练数据集100%的正确率。 对于测试数据集上的正确率，由于实际特征并不仅限于像素点，所以没有足够高。 以下为涂鸦的两个数字，虽然都代表2，但是像素点上没有相同之处，在多层神经网络中很容易被识别成不一样的数字。 人眼中 阅读全文

摘要：1. BP算法 多层感知机模型理论上有求解线性不可分的能力，但是当时并没有有效的训练方法。 1986年，Rumelhart和McCelland领导的科学家小组在《Parallel Distributed Processing》一书中，提出了一种前馈型神经计算模型和用于调节该模型神经元联系效率或联结强 阅读全文

摘要：1. 神经元模型 以下引用自Poll的笔记：神经网络基础。 神经元是神经网络中最基本的结构，也可以说是神经网络的基本单元，它的设计灵感完全来源于生物学上神经元的信息传播机制。我们学过生物的同学都知道，神经元有两种状态：兴奋和抑制。一般情况下，大多数的神经元是处于抑制状态，但是一旦某个神经元收到刺激， 阅读全文

摘要：1. 生物的眼睛 眼睛是绝大多数动物必备的器官，其复杂精妙令人惊叹。 在进化过程中，最初的眼应该是从单个感光细胞逐渐扩增分化而来。 以下转自林十之在知乎眼睛是如何进化出来的？的中回答。 嗯哼祖师爷达尔文也承认眼睛这类复杂器官的进化是进化论上的一个难点。他最后作了一个猜想——两个细胞组成的感光器官。一 阅读全文

摘要：米勒实验 一种模拟在原始地球还原性大气中进行雷鸣闪电能产生有机物（特别是氨基酸），以论证生命起源的化学进化过程的实验。1952年由美国芝加哥大学研究生米勒（S.L.Miller）在其导师尤利（H.C.Urey）指导下完成。 以下表格摘自维基百科，在多个模拟原始地球的实验中，由无机物合成出多种氨基酸。 阅读全文

摘要：1.差分进化算法(DE) DE与GA的主要区别在变异步骤。 对于每个目标向量 Xi，G (i=1，2，……，NP)，基本DE算法的变异向量如下产生 其中，随机选择的序号r1，r2和r3互不相同，且r1，r2和r3与目标向量序号i也应不同，所以须满足NP≥4。变异算子F∈[0，2]是一个实常数因数，控 阅读全文

摘要：1.介绍 以下介绍转自sjyan在知乎的回答，如何通俗易懂地解释遗传算法？有什么例子？ 1.介绍 遗传算法(Genetic Algorithm)遵循『适者生存』、『优胜劣汰』的原则，是一类借鉴生物界自然选择和自然遗传机制的随机化搜索算法。遗传算法模拟一个人工种群的进化过程，通过选择(Selectio 阅读全文

摘要：1.BaseConvolutionLayer & ConvolutionLayer 成员变量 注释引用自caffe代码阅读10：Caffe中卷积的实现细节（涉及到BaseConvolutionLayer、ConvolutionLayer、im2col等）-2016.4.3。 成员函数 主要的函数。 阅读全文

摘要：1. Caffe核心代码 • blob[.cpp .h] 基本的数据结构Blob类 • common[.cpp .h] 定义Caffe类 • internal_thread[.cpp .h] 使用boost::thread线程库 • net[.cpp .h] 网络结构类Net • solver[.c 阅读全文

摘要：模型使用 使用caffe训练得到的模型进行测试，一般需要如下文件：1.训练好的caffemodel模型 此处使用lenet_iter_10000.caffemodel。 2.测试网络deploy 可以对lenet_train_test.prototxt做修改。 主要修改的地方包括输入数据，最后的to 阅读全文

摘要：上一篇随笔中，将默认的参数初始化"xaview"改成了"gaussian"，虽然能运行得到不错的结果。 但是在加上针对性的std=sqrt(1/n_out)前，是无法收敛的。 相比之下，采用sigmoid就能收敛。 ReLU不够好的地方： 在学习率过高时，很多单元流经的梯度为0且不再更新就此死掉。— 阅读全文

摘要：网络参数 name: 该层的名称。 type: 层类型，如果是Data，表示数据来源于LevelDB或LMDB。 top/bottom: 输出/ 输入。(data,label)配对作为输入数据进行分类。 include: 属于训练、测试或者两者均含。 Transform_param: 将数据变换到定 阅读全文

摘要：下面是一个可视化的例子，网上还有一些其他版本的代码，在Tensorflow 2016年12月更新后需要修改才能使用。 参照这个例子，为上一篇随笔中的softmax添加了可视化（更新到上一篇）。 主要更新包括： 代码来自https://github.com/tensorflow/tensorflow/ 阅读全文

摘要：以下为简易实现。 添加了可视化后。 tf.reduce_sum和np.sum类似。 阅读全文