marsggbo

摘要： 原文： "Auto Machine Learning笔记 Bayesian Optimization" 优化器是机器学习中很重要的一个环节。当确定损失函数时，你需要一个优化器使损失函数的参数能够快速有效求解成功。优化器很大程度影响计算效率。越来越多的超参数调整是通过自动化方式完成，使用明智的搜索在更 阅读全文

摘要： 原文链接：http://jermmy.xyz/2017/08/25/2017-8-25-learn-tensorflow-shared-variables/ 本文是根据 TensorFlow 官方教程翻译总结的学习笔记，主要介绍了在 TensorFlow 中如何共享参数变量。 教程中首先引入共享变量 阅读全文

摘要： 原文链接：https://www.qingsword.com/qing/python 12.html 引言 在Python中，星号除了用于乘法数值运算和幂运算外，还有一种特殊的用法"在变量前添加单个星号或两个星号"，实现多参数的传入或变量的拆解，本文将详细介绍" 星号参数 "的用法。 1. 什么是星 阅读全文

摘要： I. 背景介绍 1. 学习曲线(Learning Curve) 我们都知道在手工调试模型的参数的时候，我们并不会每次都等到模型迭代完后再修改超参数，而是待模型训练了一定的epoch次数后，通过观察 学习曲线(learning curve, lc) 来判断是否有必要继续训练下去。那什么是学习曲线呢？主 阅读全文

摘要： 老是容易把先验概率,后验概率,似然概率混淆，所以下面记录下来以备日后查阅。区分他们最基本的方法就是看定义，定义取自维基百科和百度百科: 先验概率 百度百科定义：先验概率（prior probability）是指根据以往经验和分析得到的概率，如全概率公式，它往往作为"由因求果"问题中的"因"出现的概率 阅读全文

摘要： I. Scan应用——Compact 在介绍这节之前，首先给定一个情景方便理解，就是因为某种原因我们需要从扑克牌中选出方块的牌。 更formal一点的说法如下，输入是 $s_0,s_1,...$, 我们提前预设条件来得到 Predicate ，即每个元素都会根据条件输出 True 或 False 。 阅读全文

摘要： 双调排序是data independent的排序， 即比较顺序与数据无关的排序方法， 特别适合做并行计算，例如用GPU、fpga来计算。 1、双调序列 在了解双调排序算法之前，我们先来看看什么是双调序列。 双调序列是一个先单调递增后单调递减（或者先单调递减后单调递增）的序列。 2、Batcher定理 阅读全文

摘要： I. 复习word2vec的核心思路 1. Skip gram 模型示意图： 2.word vectors的随机梯度 假设语料库中有这样一行句子： I love deep learning and NLP 中心词为 deep ，那么在计算梯度的时候则可以得到如下的梯度向量。 可以很明显地看到该向量非 阅读全文

摘要： 任何采样算法都应该保证频次越高的样本越容易被采样出来。基本的思路是对于长度为1的线段，根据词语的词频将其公平地分配给每个词语： counter就是w的词频。 于是我们将该线段公平地分配了： 接下来我们只要生成一个0 1之间的随机数，看看落到哪个区间，就能采样到该区间对应的单词了，很公平。 但怎么根据 阅读全文

摘要： "【NLP CS224N笔记】Lecture 1 Introduction of NLP" "【NLP CS224N笔记】Lecture 2 Word Vector Representations: word2vec" 阅读全文