总访问量: PV

DataScience && DataMining && BigData

随笔分类 -  7.Mechine_Learning

第七阶段Mechine_Learning
摘要:开源机器学习项目 现在机器学习逐渐成为行业热门,经过二十几年的发展,机器学习目前也有了十分广泛的应用,如:数据挖掘、计算机视觉、自然语言处理、生物特征识别、搜索引擎、医学诊断、DNA序列测序、语音和手写识别、战略游戏和机器人等方面。 翻译整理了目前GitHub上最受欢迎的28款开源的机器学习项目,以 阅读全文
posted @ 2018-05-14 13:59 CJZhaoSimons 阅读(719) 评论(1) 推荐(1) 编辑
摘要:[注]PyCharm导入tensorflow包报错的问题 若是你也遇到这个问题,说明你也没有理解tensorflow到底在哪里。 当安装了anaconda3.6后,在PyCharm中设置interpreter,这个解释器决定了你在PyCharm环境中写的代码采用什么方式去执行。 若是你的设置是ana 阅读全文
posted @ 2018-01-13 13:52 CJZhaoSimons 阅读(6514) 评论(0) 推荐(1) 编辑
摘要:文章转载:http://blog.csdn.net/xiaoxiangzi222/article/details/53483931 jieba “结巴”中文分词:做最好的 Python 中文分词组件 "Jieba" (Chinese for "to stutter") Chinese text se 阅读全文
posted @ 2018-01-05 21:59 CJZhaoSimons 阅读(27848) 评论(0) 推荐(2) 编辑
摘要:https://www.pylint.org/ Pylint 在 Windows 上的安装 1. 安装 Python 的包(高于版本 2.2),右键单击桌面上的我的电脑图标,选择属性,高级,环境变量,在 $PATH 中添加 Python 的安装路径,如 C:\Python26\。 2. 使用解压缩工 阅读全文
posted @ 2018-01-03 09:42 CJZhaoSimons 阅读(317) 评论(0) 推荐(0) 编辑
摘要:Anaconda安装 1.拿到安装包,点击安装 2.下一步 3.下一步 4.下一步 5.下一步 6.下一步 7.更改文件显示路径 ctrl+f查找 # The directory to use for notebooks and kernels. c.NotebookApp.notebook_dir 阅读全文
posted @ 2017-12-31 21:57 CJZhaoSimons 阅读(857) 评论(0) 推荐(0) 编辑
摘要:BatchNormalzation是一种解决深度神经网络层数太多,而没有办法有效前向传递的问题,因为每层的输出值都会有不同的均值和方差,所以输出数据的分布也不一样。 如果对于输入的X*W本身得到的值通过tanh激活函数已经输出为1,在通过下一层的神经元之后结果并没有什么改变,因为该值已经很大(神经网 阅读全文
posted @ 2017-12-27 17:14 CJZhaoSimons 阅读(1574) 评论(0) 推荐(0) 编辑
摘要:name_scope variable_scope 通常在RNN中有一个重复循环机制,比如在training中和test中的结构是不同的,但是在两者的参数是相同的时候,就可以用到 # the right method to reuse parameters in train rnn with tf. 阅读全文
posted @ 2017-12-27 15:49 CJZhaoSimons 阅读(299) 评论(0) 推荐(0) 编辑
摘要:AutoEncoder是包含一个压缩和解压缩的过程,属于一种无监督学习的降维技术。 神经网络接受大量信息,有时候接受的数据达到上千万,可以通过压缩 提取原图片最具有代表性的信息,压缩输入的信息量,在将缩减后的数据放入神经网络中学习,如此学习起来变得轻松了 自编码在这个时候使用,可以将自编码归为无监督 阅读全文
posted @ 2017-12-27 15:14 CJZhaoSimons 阅读(566) 评论(0) 推荐(0) 编辑
摘要:RNN RNN无法回忆起长久的记忆 LSTM (long short Term memory长短期记忆)解决梯度消失或弥散vanishing 和梯度爆炸explosion 0.9*n-->0 1.1*n >无穷大 在RNN中增加了Gate 案例 所以RNN无法回忆起长久的记忆。LSTM为了解决该问题 阅读全文
posted @ 2017-12-27 14:36 CJZhaoSimons 阅读(573) 评论(0) 推荐(0) 编辑
摘要:目前tf只能保存模型中的variable变量,整个模型还不能保存,版本1.x 保存模型代码 文件结构如下 还原模型代码 报错信息 未解决 阅读全文
posted @ 2017-12-26 19:44 CJZhaoSimons 阅读(438) 评论(0) 推荐(0) 编辑
摘要:介绍 https://www.youtube.com/watch?v=jajksuQW4mc https://www.youtube.com/watch?v=2-Ol7ZB0MmU https://www.youtube.com/watch?v=H3ciJF2eCJI 卷积神经网络 图片识别,视频分 阅读全文
posted @ 2017-12-26 19:23 CJZhaoSimons 阅读(316) 评论(0) 推荐(0) 编辑
摘要:TF识别手写体识别分类 显示结果 阅读全文
posted @ 2017-12-26 16:47 CJZhaoSimons 阅读(352) 评论(0) 推荐(0) 编辑
摘要:Hash表算法处理海量数据处理面试题 主要针对遇到的海量数据处理问题进行分析,参考互联网上的面试题及相关处理方法,归纳为三种问题 (1)数据量大,内存小情况处理方式(分而治之+Hash映射) (2)判断元素是否在集合中(布隆过滤器+BitMap) (3)各种TOPN(存储和各种排序) 经典问题分析 阅读全文
posted @ 2017-12-26 00:04 CJZhaoSimons 阅读(4233) 评论(0) 推荐(1) 编辑
摘要:Scikit-learn技巧(拓展)总结 本文转载自:http://www.jianshu.com/p/516f009c0875 最近看了《Python数据挖掘入门与实战》,网上有说翻译地不好的,但是说实话,我觉得这本书还是相当不错的。作者Robert Layton是sklearn的开发者之一,书中 阅读全文
posted @ 2017-12-25 18:24 CJZhaoSimons 阅读(670) 评论(0) 推荐(0) 编辑
摘要:Windows下坑太多...... 在启动TensorBoard的过程,还是遇到了一些问题。接下来简单的总结一下我遇到的坑。 1、我没找不到log文件?! 答:所谓的log文件其实就是在你train过程中保存的关于你train的所有详尽信息。 文件的格式是:events.out.tfevents.1 阅读全文
posted @ 2017-12-22 18:05 CJZhaoSimons 阅读(498) 评论(0) 推荐(0) 编辑
摘要:以下算法均为通过不同的方法调整学习率learningrate的过程 GradientDescent是使用全部数据做梯度下降 在该方法中,每次更新我们都需要在整个数据集上求出所有的偏导数。因此批量梯度下降法的速度会比较慢,甚至对于较大的、内存无法容纳的数据集,该方法都无法被使用。同时,梯度下降法不能以 阅读全文
posted @ 2017-12-22 10:35 CJZhaoSimons 阅读(331) 评论(0) 推荐(0) 编辑
摘要:神经网络训练+可视化显示 显示: 阅读全文
posted @ 2017-12-21 21:30 CJZhaoSimons 阅读(1489) 评论(0) 推荐(0) 编辑
摘要:激活函数 激活函数 日常不能用线性方程所概括的东西 左图是线性方程,右图是非线性方程 当男生增加到一定程度的时候,喜欢女生的数量不可能无限制增加,更加趋于平稳 在线性基础上套了一个激活函数,使得最后能得到输出结果 常用的三种激活函数: 取值不同时得到的结果也不同 常见激活函数图形 tensorflo 阅读全文
posted @ 2017-12-21 21:11 CJZhaoSimons 阅读(779) 评论(0) 推荐(0) 编辑
摘要:1.tf的varible变量 2.tf的placeholder 3.tf1.x版本的几个变化 了解: 阅读全文
posted @ 2017-12-21 15:33 CJZhaoSimons 阅读(259) 评论(0) 推荐(0) 编辑
摘要:tf的session 阅读全文
posted @ 2017-12-21 15:04 CJZhaoSimons 阅读(320) 评论(0) 推荐(0) 编辑