摘要：摘要： 多层反馈RNN（Recurrent neural Network、循环神经网络）神经网络是一种节点定向连接成环的人工神经网络。这种网络的内部状态可以展示动态时序行为。不同于前馈神经网络的是，RNN可以利用它内部的记忆来处理任意时序的输入序列，这让它可以更容易处理如不分段的手写识别、语音识别等
阅读全文
posted @ 2018-11-11 10:21
随笔分类 - 机器学习
有关机器学习算法方面的知识
摘要：摘要： 卷积神经网络（Convolutional Neural Network,CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。 引言： 在传统的机器学习中，通常是我们自己来寻找特征，而深度学习中我们通过神经网络来自主的学习特诊。在大量数据的
阅读全文
posted @ 2018-11-11 10:08
摘要：摘要： 条件随机场是一种判别式概率模型，是随机场的一种，常用于标注或分析序列资料，如自然语言文字或是生物序列。 引言： “条件随机场”被用于中文分词和词性标注等词法分析工作，一般序列分类模型常常采用隐马尔科夫模型（HMM），像基于类的中文分词。但隐马尔可夫模型中存在两个假设：输出独立性假设和马尔可夫
阅读全文
posted @ 2018-11-11 09:27
摘要：摘要： 当我们已知模型的存在，想知道参数的时候我们就可以通过采样的方式来获得一定数量的样本，从而学习到这个系统的参数。变分则是在采样的基础上的一次提升，采用相邻结点的期望。这使得变分往往比采样算法更高效：用一次期望计算代替了大量的采样。直观上，均值的信息是高密(dense)的，而采样值的信息是稀疏(
阅读全文
posted @ 2018-11-10 18:31
摘要：摘要： 主题模型是对文字隐含主题进行建模的方法。它克服了传统信息检索中文档相似度计算方法的缺点，并且能够在海量互联网数据中自动寻找出文字间的语义主题。主题模型在自然语言和基于文本的搜索上都起到非常大的作用。 引言： 两篇文档是否相关往往不只决定于字面上的词语重复，还取决于文字背后的语义关联。对语义关
阅读全文
posted @ 2018-11-10 16:33
摘要：摘要 隐马尔可夫模型（Hidden Markov Model，HMM）是统计模型，它用来描述一个含有隐含未知参数的马尔科夫过程。其难点是从可观察的参数中确定该过程的隐含参数，然后利用这些参数来作进一步的分析。在早些年HMM模型被非常广泛的应用，而现在随着机器学习的发展HMM模型的应用场景越来越小，然
阅读全文
posted @ 2018-11-09 13:53
摘要：摘要 EM算法全称为Expectation Maximization Algorithm，既最大期望算法。它是一种迭代的算法，用于含有隐变量的概率参数模型的最大似然估计和极大后验概率估计。EM算法经常用于机器学习和机器视觉的聚类领域，是一个非常重要的算法。而EM算法本身从使用上来讲并不算难，但是如果
阅读全文
posted @ 2018-11-01 14:46
摘要：引言 贝叶斯网络是机器学习中非常经典的算法之一，它能够根据已知的条件来估算出不确定的知识，应用范围非常的广泛。贝叶斯网络以贝叶斯公式为理论接触构建成了一个有向无环图，我们可以通过贝叶斯网络构建的图清晰的根据已有信息预测未来信息。贝叶斯网络适用于表达和分析不确定性和概率性的事件，应用于有条件地依赖多种
阅读全文
posted @ 2018-11-01 10:58
摘要：一、复习信息熵 为了解决特征选择问题，找出最优特征，先要介绍一些信息论里面的概念。 1、熵（entropy） python3代码实现： 2、条件熵（conditional entropy） python3代码实现： 3、信息增益（information gain） python3代码实现： 看一个简
阅读全文
posted @ 2018-10-28 09:52
摘要：k-menas算法之见解 主要内容： 一、引言 二、k-means聚类算法 一、引言： 先说个K-means算法很高大上的用处，来开始新的算法学习。美国竞选总统，选票由公民投出，总统由大家决定。在2004年出现候选人得票数非常接近，所以1%的选民手中的选票非常关键，决定着总统的归属。那么如何找出这类
阅读全文
posted @ 2018-10-23 21:47