狂徒归来

摘要： Baum Welch估计HMM参数实例 下面的例子来自于《What is the expectation maximization algorithm?》 题面是：假设你有两枚硬币A与B，这两枚硬币抛出正面的概率分别为$\theta_A$和$\theta_B$。下面给出一些观测的结果，需要你去估计这 阅读全文

摘要： 这个问题困扰了我许久，下面是我搜集整理到的答案 1. 对偶问题将原始问题中的约束转为了对偶问题中的等式约束 2. 方便核函数的引入 3. 改变了问题的复杂度。由求特征向量w转化为求比例系数a，在原始问题下，求解的复杂度与样本的维度有关，即w的维度。在对偶问题下，只与样本数量有关。 阅读全文

摘要： Baum Welch算法就是EM算法，所以首先给出EM算法的Q函数 $$\sum_zP(Z|Y,\theta')\log P(Y,Z|\theta)$$ 换成HMM里面的记号便于理解 $$Q(\lambda,\lambda') = \sum_zP(I|O,\lambda')\log P(I,O|\l 阅读全文

摘要： LR采用的Sigmoid函数与最大熵（ME) 的关系 从ME到LR 先直接给出最大熵模型的一般形式，后面再给出具体的推导过程。 $$\begin{align } P_w(y|x) &= \dfrac{1}{Z_w(x)}\exp\left(\sum_{i=1}^{n}w_if_i(x,y)\righ 阅读全文

摘要： 01背包的常数优化的一点解释 在大牛dd的背包九讲中，提及01背包在一个常数级别的优化，不过作者未做出解释（个优化之所以成立的原因请读者自己思考）。下面记录自己的理解心得。 其中$key=sum_{j=i}^NV_j$ . 注意到在空间优化后，内层循环已经变成逆序的了。也就是说，在给定物品i的时候， 阅读全文

摘要： 1. 首先是下载中文维基数据 wget https://dumps.wikimedia.org/zhwiki/latest/zhwiki latest pages articles.xml.bz2 2. 下载提取工具https://github.com/attardi/wikiextractor 3 阅读全文

摘要： TensorFlow L2正则化 L2正则化在机器学习和深度学习非常常用，在TensorFlow中使用L2正则化非常方便，仅需将下面的运算结果加到损失函数后面即可 阅读全文

摘要： TensorFlow batch normalize的使用 batch normalize 经常与CNN搭配使用，据一些研究表面，在RNN层数不是很深的时候使用batch normalize是会用损害作用的。下面介绍下TensorFlow bath normalize的用法 直接把想normaliz 阅读全文

摘要： 听说你的模型损失是NaN 有时候，模型跑着跑着，损失就莫名变NaN了。不过，经验告诉我们，大部分NaN主要是因为除数是0或者传给log的数值不大于0。下面说说是log出NaN的几种常见解决方法。 毕竟， 计算机的是无法表示所有实数的，尽管有些函数得出的结果只能无限近似0，但是由于计算机精度问题，最后 阅读全文

摘要： 编译TensorFlow CPU指令集优化版 如题，CPU指令集优化版，说的是针对某种特定的CPU型号进行过优化的版本。通常官方给的版本是没有针对特定CPU进行过优化的，有网友称，优化过的版本相比优化前的版本性能提升大概30%。 下面简单介绍下在Ubuntu上进行Tensor Flow编译 必要的环 阅读全文