摘要:这次我们将建立一个卷积神经网络,它可以把MNIST手写字符的识别准确率提升到99%,读者可能需要一些卷积神经网络的基础知识才能更好的理解本节的内容。 程序的开头是导入TensorFlow: 接下来载入MNIST数据集,并建立占位符。占位符x的含义为训练图像,y_为对应训练图像的标签。 运行后会在当前 阅读全文
posted @ 2019-10-13 21:47 |旧市拾荒| 阅读 (63) 评论 (0) 编辑
摘要:在学习深度学习等知识之前,首先得了解著名的框架TensorFlow里面的一些基础知识,下面首先看一下这个框架的一些基本用法。 得到的结果是: 通过上面可以看出,只是简单的一个矩阵的乘法,我们就写了这么多的代码,看起来比较麻烦,但是没有办法,要用这个框架就必须按照它的用法去用,但是在用这个框架来写深度 阅读全文
posted @ 2019-10-07 21:54 |旧市拾荒| 阅读 (109) 评论 (0) 编辑
摘要:最近,在使用labelImg.exe这款软件进行数据标注的时候,发现在使用过程中软件打不开,一打开出现如下界面然后就立即闪退出去。 最开始解决的方案是使用管理员方式打开,发现还是闪退,最后把电脑重启一下发现还是没有任何效果。 最终解决方案:时隔一天后,在百度中看到,可能的原因是软件的安装的路径中包含 阅读全文
posted @ 2019-09-30 09:32 |旧市拾荒| 阅读 (20) 评论 (0) 编辑
摘要:一、任务 这次我们将了解在机器学习中支持向量机的使用方法以及一些参数的调整。支持向量机的基本原理就是将低维不可分问题转换为高维可分问题,在前面的博客具体介绍过了,这里就不再介绍了。 首先导入相关标准库: 作为一个例子,首先我们随机生成一些数据,考虑分类任务的简单情况,其中两个类别的点是良好分隔的: 阅读全文
posted @ 2019-09-28 22:04 |旧市拾荒| 阅读 (133) 评论 (0) 编辑
摘要:五、SVM求解实例 上面其实已经得出最终的表达式了,下面我们会根据一些具体的点来求解α的值。数据:3个点,其中正例 X1(3,3) ,X2(4,3) ,负例X3(1,1) 如下图所示 我们需要求解下式的极小值 注意约束条件(在这里不要忘记了yi代表的是数据的类别,+1代表正例,-1代表负例) 代入数 阅读全文
posted @ 2019-09-16 11:34 |旧市拾荒| 阅读 (115) 评论 (0) 编辑
摘要:一、问题引入 支持向量机(SVM,Support Vector Machine)在2012年前还是很牛逼的,但是在12年之后神经网络更牛逼些,但是由于应用场景以及应用算法的不同,我们还是很有必要了解SVM的,而且在面试的过程中SVM一般都会问到。支持向量机是一个非常经典且高效的分类模型。我们的目标: 阅读全文
posted @ 2019-09-15 22:18 |旧市拾荒| 阅读 (114) 评论 (0) 编辑
摘要:五、TF-IDF以及LDA主题模型 TF-IDF关键词提取 可以得到第2400条数据以及关键词 从最后一句话就可以大致得到这段文章的大致意思,那这些词就是这段文章的关键词。 LDA(Latent Dirichlet Allocation)是一种文档主题生成模型,它是一种主题模型,它包含文章,主题和词 阅读全文
posted @ 2019-09-04 08:22 |旧市拾荒| 阅读 (189) 评论 (0) 编辑
摘要:一、基础知识 假设有一份文本数据如下,数据量很大,现在要对整个语料库进行文本分析,category代表新闻种类,theme代表新闻主题,URL代表新闻链接地址,content代表新闻主题内容 停用词:在content这一列,在数据量很大的情况,很容易发现某些似乎与新闻本身意义不大的词大量出现,而我们 阅读全文
posted @ 2019-09-03 15:47 |旧市拾荒| 阅读 (274) 评论 (0) 编辑
摘要:一、任务简介 假设身处这样一个场景,用户输入的是一个错误单词,而我们需要做的就是来预测出用户实际想输入的单词。如果这个单词是正确的,那么结果肯定就是自己本身了。如果用户实际输入tha,那这个单词肯定是错误的,我们就可以通过一种算法来得到用户可能实际上真正想输入的是the。这种算法可以通过贝叶斯算法来 阅读全文
posted @ 2019-08-19 15:27 |旧市拾荒| 阅读 (55) 评论 (0) 编辑
摘要:一、贝叶斯简介 贝叶斯(约1701-1761) Thomas Bayes,英国数学家,贝叶斯方法源于他生前为解决一个“逆概”问题写的一篇文章,生不逢时,死后它的作品才被世人认可。 贝叶斯要解决的问题: 正向概率:假设袋子里面有N个白球,M个黑球,你伸手进去摸一把,摸出黑球的概率是多大? 逆向概率:如 阅读全文
posted @ 2019-08-17 22:05 |旧市拾荒| 阅读 (39) 评论 (0) 编辑
摘要:四、特征重要性衡量 通过上面可以发现准确率有小幅提升,但是似乎得到的结果还是不太理想。我们可以发现模型似乎优化的差不多了,使用的特征似乎也已经使用完了。准确率已经达到了瓶颈,但是如果我们还想提高精度的话,还是要回到最原始的数据集里面。对分类器的结果最大的影响还是输入的数据本身。接下来采用的方法一般是 阅读全文
posted @ 2019-08-12 09:24 |旧市拾荒| 阅读 (268) 评论 (0) 编辑
摘要:一、任务基础 泰坦尼克号沉没是历史上最著名的沉船事故之一。1912年4月15日,在她的处女航中,泰坦尼克号在与冰山相撞后沉没,在2224名乘客和机组人员中造成1502人死亡。这场耸人听闻的悲剧震惊了国际社会,并为船舶制定了更好的安全规定。造成海难失事的原因之一是乘客和机组人员没有足够的救生艇。尽管幸 阅读全文
posted @ 2019-08-10 17:00 |旧市拾荒| 阅读 (331) 评论 (0) 编辑
摘要:一、集成算法 目的:让机器学习效果更好,单个机器学习算法不行,就用多个机器算法集成。 Bagging模型:训练多个分类器取结果的平均 Boosting模型:从弱学习器开始加强,通过加权来进行训练(加入一棵树,要比原来强) Stacking模型:聚合多个分类或回归模型(可以分阶段来做) 二、Baggi 阅读全文
posted @ 2019-08-04 17:15 |旧市拾荒| 阅读 (152) 评论 (0) 编辑
摘要:一、任务基础 导入所需要的库 加载sklearn内置数据集 ,查看数据描述 数据集包含房价价格以及影响房价的一些因素 查看数据集维度 查看第一条数据 二、构造决策树模型 决策树模型参数: (1)criterion gini or entropy 基尼系数或者熵(2)splitter best or 阅读全文
posted @ 2019-07-30 09:19 |旧市拾荒| 阅读 (199) 评论 (0) 编辑
摘要:一、决策树 在机器学习中,决策树是一个预测模型;他代表的是对象属性与对象值之间的一种映射关系。树中每个节点表示某个对象,而每个分叉路径则代表的某个可能的属性值,而每个叶结点则对应从根节点到该叶节点所经历的路径所表示的对象的值。决策树仅有单一输出,若欲有复数输出,可以建立独立的决策树以处理不同输出。数 阅读全文
posted @ 2019-07-28 15:17 |旧市拾荒| 阅读 (155) 评论 (0) 编辑