2017年9月1日

摘要: 综述 1. Cover和Hart在1968年提出了最初的近邻算法 2. 是分类(classification)算法 3. 输入基于实例的学习(instance based learning),惰性学习(lazy learning) 例子(example) movie name | fight tim 阅读全文
posted @ 2017-09-01 16:32 小闪电 阅读(377) 评论(0) 推荐(0) 编辑
摘要: decsion tree(决策树) 其中每个内部结点表示在一个属性上的测试,每个分支代表一个属性的输出,而每个树叶结点代表类或类的分布。树的最顶层是根节点 连续变量要离散化 机器学习中分类方法的一个重要算法 信息熵: 一个信息的信息量大小和它的不确定性有直接的关系,要搞清楚一件非常非常不确定的事情, 阅读全文
posted @ 2017-09-01 16:24 小闪电 阅读(1117) 评论(0) 推荐(0) 编辑
摘要: 问题产生原因: python的版本过低,其中的json包年久失修,需要更新 解决方法: 1. 删除就的json包 如果是2.7直接删除完json目录 2.重新安装simplejson 测试 阅读全文
posted @ 2017-09-01 10:53 小闪电 阅读(1534) 评论(0) 推荐(0) 编辑

2017年6月27日

摘要: Flume MongodbSink 此mongodb支持3.0 "github地址" MongodbSink flume ng mongodbsink An Apache Flume Sink that send JSON to MongoDB collection 配置文件 configurati 阅读全文
posted @ 2017-06-27 14:35 小闪电 阅读(1685) 评论(2) 推荐(1) 编辑

2017年6月14日

摘要: 数据探索中的贡献度分析 贡献度分析又叫做帕累托分析,简单例子,如一个公司的80%的利润来自20%的产品,而其他80%的产品却只创造了20%的利润,这种分析对于机器学习中的样本选取意义有重要的作用 example 一个餐饮企业的产品为菜品,有的菜品销量好,有的差,通过分析可以选出贡献度大的产品,从而合 阅读全文
posted @ 2017-06-14 14:17 小闪电 阅读(4352) 评论(0) 推荐(0) 编辑
摘要: 简单日志按天滚动,加入apsheduler,用crontab模式按小时运行测试: 作 者:小闪电 出处:http://www.cnblogs.com/yueyanyu/ 本文版权归作者和博客园共有,欢迎转载、交流,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文链接。如果觉得本文对您有益 阅读全文
posted @ 2017-06-14 10:05 小闪电 阅读(3488) 评论(0) 推荐(0) 编辑

2017年6月9日

摘要: 因使用flume的时候总是会对其性能有所调研,网上找的要么就是自测的这里找到一份官方wiki的测试报告供大家参考 https://cwiki.apache.org/confluence/display/FLUME/Performance+Measurements+-+round+2 测试环境: 以下 阅读全文
posted @ 2017-06-09 17:24 小闪电 阅读(4675) 评论(0) 推荐(0) 编辑

2017年4月20日

摘要: from:https://apscheduler.readthedocs.io/en/v2.1.2/cronschedule.html Cron-style scheduling This is the most powerful scheduling method available in APS 阅读全文
posted @ 2017-04-20 16:42 小闪电 阅读(1967) 评论(0) 推荐(0) 编辑

2017年3月3日

摘要: 一.环境介绍: 1.安装jdk 7以上 2.python 2.7.11 3.IDE pycharm 4.package: spark-1.6.0-bin-hadoop2.6.tar.gz 二.Setup 1.解压spark-1.6.0-bin-hadoop2.6.tar.gz 到目录D:\spark 阅读全文
posted @ 2017-03-03 18:09 小闪电 阅读(19535) 评论(0) 推荐(0) 编辑

2017年3月1日

摘要: 作 者:小闪电 出处:http://www.cnblogs.com/yueyanyu/ 本文版权归作者和博客园共有,欢迎转载、交流,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文链接。如果觉得本文对您有益,欢迎点赞、欢迎探讨。本博客来源于互联网的资源,若侵犯到您的权利,请联系博主予以删 阅读全文
posted @ 2017-03-01 15:38 小闪电 阅读(720) 评论(0) 推荐(0) 编辑

导航