狂徒归来

摘要： 牛顿法与梯度下降法 梯度下降法 梯度下降法非常常用，其利用的是一阶导数，进行逼近，具体的更新方法如下： $$ x_{n+1} = x_n \alpha f'(x_n) $$ 其中$\alpha$为学习速率。 牛顿法 牛顿利用到了二阶导数的信息，其推导需要利用到泰勒的二阶展开，具体如下： $$f(x+ 阅读全文

摘要： 主成分分析 PCA 协方差矩阵 假设我们有 $$ X = \begin{pmatrix}X_1\\X_2\\\vdots\\X_m\end{pmatrix}\in\mathbb{R}^{m\times n} $$ 那么协方差矩阵 $$ C_x= \dfrac{1}{n 1}XX^T = \dfrac 阅读全文

摘要： The Dataset.shuffle() implementation is designed for data that could be shuffled in memory; we're considering whether to add support for external memo 阅读全文

摘要： 服务器更新nvidia driver 版本之后，经常会出现执行nvidia smi出现 Failed to initialize NVML: Driver/library version mismatch的问题 执行如下操作，即可修复 阅读全文

摘要： TensorFlow TFRecord封装不定长的序列数据（文本） 在实验室环境中，通常数据都是一次性导入内存的，然后使用手工写的数据mini batch函数来切分数据，但是这样的做法在海量数据下显得不太合适：1）内存太小不足以将全部数据一次性导入；2）数据切分和模型训练之间无法异步，训练过程易受到 阅读全文

摘要： Ubuntu 深度炼丹环境配置 深度炼丹最麻烦的就是环境配置了，下面过程记录了本人进行深度炼丹环境的配置。 首先是安装图形显卡驱动，按如下指令进行即可 这样便可以安装完图形显卡驱动。 紧接着就是安装CUDA，这是一个比较麻烦的工作。首先是从官网上下载最新的CUDA版本，下面的命令也可以，但是安装得到 阅读全文

摘要： 如果不包含重复元素，那么所有排列可以按如下方式进行打印 如果包含重重元素，则需要先排序，再把重复的元素所在的区间当作一个来做 阅读全文

摘要： FastText 介绍 在面试百度的NLP工程师时，被问及常用的词向量表示学习方法有哪些，我说知道word2vec，然后大佬又问我知道FastText么... 这就很尴尬了，不会！ 不同于word2vec, fasttext利用的是词的形态学信息，也就是词的内部构造信息，也就是子词信息。话说，利用f 阅读全文

摘要： Policy based Approach policy based 强化学习通常是要学习一个actor, actor可以用$\pi_\theta (S)$ 来确定。如果我们用actor来玩游戏，那么每一局可以看成是一个操作序列$\tau=\{s_1, a_1, r_1, s_2, a_2, r_2 阅读全文

摘要： 如何理解C4.5算法解决了ID3算法的偏向于选择取值较多的特征问题 考虑一个极端情况，某个属性（特征）的取值很多，以至于每一个取值对应的类别只有一个。这样根据$$H(D) H(D|A)$$可以得知后面的那一项的值为0。这样得到信息增益会很大。C4.5算法加了一个惩罚项$$H_A(D) = \sum_ 阅读全文