摘要: KNIME Analytics Platform是用于创建数据科学应用程序和服务的开源软件。KNIME直观,开放,不断整合新的开发,使人们可以理解数据,设计数据科学工作流程和可重用组件。 借助KNIME Analytics Platform,您可以使用直观的拖放式图形界面创建可视化工作流程,而无需编码。 阅读全文
posted @ 2020-05-28 16:33 kdy 阅读(7289) 评论(1) 推荐(1) 编辑
摘要: 常用数据库操作 启动数据库监听器lsnrctl start 停止数据库监听器lsnrctl stop 登录oraclesqlplus / as sysdba启动oralcestartup;关闭oracleshutdown immediate; 数据库因数据文件损坏起不来时startup mounta 阅读全文
posted @ 2019-08-27 17:40 kdy 阅读(229) 评论(0) 推荐(0) 编辑
摘要: 在开发完Spark作业之后,就该为作业配置合适的资源了。Spark的资源参数,基本都可以在spark-submit命令中作为参数设置。很多Spark初学者,通常不知道该设置哪些必要的参数,以及如何设置这些参数,最后就只能胡乱设置,甚至压根儿不设置。资源参数设置的不合理,可能会导致没有充分利用集群资源 阅读全文
posted @ 2019-05-29 14:12 kdy 阅读(176) 评论(0) 推荐(0) 编辑
摘要: 导语 spark 已经成为广告、报表以及推荐系统等大数据计算场景中首选系统,因效率高,易用以及通用性越来越得到大家的青睐,我自己最近半年在接触spark以及spark streaming之后,对spark技术的使用有一些自己的经验积累以及心得体会,在此分享给大家。 本文依次从spark生态,原理,基 阅读全文
posted @ 2019-05-29 14:10 kdy 阅读(8265) 评论(0) 推荐(0) 编辑
摘要: 所需工具 已经安装了maven插件的elipse 步骤 1.打开eclipse,右键new——other,如下图找到maven project 2、选择maven project,显示创建maven项目的窗口,勾选如图所示,Create a simple project 3、输入项目的基本信息,如下 阅读全文
posted @ 2019-05-23 10:53 kdy 阅读(131) 评论(0) 推荐(0) 编辑
摘要: 一.前言 以前做过的项目中,没有真正的使用过Maven,只知道其名声很大,其作用是用来管理jar 包的。最近一段时间在项目过程中使用Maven,用Maven构建的web项目,其项目结构只停留在了解阶段,没有深入的使用与理解,刚好最近看了一篇关于Maven的详解;就开始深入学习一下Maven的具体应用 阅读全文
posted @ 2019-05-23 09:55 kdy 阅读(117) 评论(0) 推荐(1) 编辑
摘要: 近年来,随着人脸识别、语音识别等技术的突破性进展,隐藏在它们背后的底层技术也引起工程和研究人员的高度重视,譬如机器学习。然而,机器学习是一个入门门槛相对比较高的技术领域,大部分的工程技术人员和业务人员都聚焦在业务领域的特征提取,算法选择,参数调优和模型验证上,因此一个方便高效的可视化工具,对于降低用 阅读全文
posted @ 2018-07-16 17:17 kdy 阅读(6300) 评论(0) 推荐(0) 编辑
摘要: 出版商: hortonworks研发了Ambari和hdp的大数据分析集成平台 cloudera研发了cloudera manger和cdh大数据分析集成平台 稳定性: cloudera相对来说比较稳定 ambari相对来说不稳定(页面打开速度慢) 资源消耗: cloudera manager的se 阅读全文
posted @ 2018-07-16 00:19 kdy 阅读(1934) 评论(0) 推荐(0) 编辑
摘要: 1. 数据集选取或构造 根据任务的目的,选择数据集。或者从实际中构造自己需要的数据。 2. 数据预处理 确定数据集后,就开始对数据进行预处理使得数据能够为我们所用了。数据预处理提高数据质量:准确性、完整性和一致性,包括数据清理、数据集成、数据规约和数据变换方法。 (1)数据清理 忽略元祖、人工填写缺 阅读全文
posted @ 2018-06-21 18:04 kdy 阅读(233) 评论(0) 推荐(0) 编辑
摘要: httpClient工具介绍 HTTP协议可能是现在lntemet上使用得最多、最重要的协议了,越来越多的Java应用程序需要直接通过HTTP协议来访问网络资源。虽然在JDK的java.net包中已经提供了访问http协议的基木功能,但是对于大部分应用程序来说,JDK库本身提供的功能还不够丰富和灵活 阅读全文
posted @ 2018-05-15 15:04 kdy 阅读(1603) 评论(0) 推荐(0) 编辑