上一页 1 2 3 4 5 6 7 8 9 10 ··· 14 下一页
摘要: 网址:http://blog.madhukaraphatak.com/ 首页: 阅读全文
posted @ 2017-12-02 23:15 静若清池 阅读(365) 评论(0) 推荐(0) 编辑
摘要: 根据一些公开资料整理,也许有失偏颇,仅供参考: 1.第一代 Hadoop 承载的 MapReduce 2.第二代 支持 DAG(有向无环图) 的框架: Tez 、 Oozie,主要还是批处理任务 3.第三代 Job 内部的 DAG(有向无环图) 支持(不跨越 Job),以及强调的实时计算:Spark 阅读全文
posted @ 2017-11-12 23:08 静若清池 阅读(2436) 评论(0) 推荐(0) 编辑
摘要: 随着云计算的深入落地,大数据技术有了坚实的底层支撑,不断向前发展并日趋成熟,无论是传统企业还是互联网公司,都不再满足于离线批处理计算,而是更倾向于应用实时流计算,要想在残酷的企业竞争中立于不败之地,企业数据必须被快速处理并输出结果,流计算无疑将是企业Must Have的大杀器。作为充电生态网的领军企 阅读全文
posted @ 2017-11-06 18:04 静若清池 阅读(3269) 评论(10) 推荐(8) 编辑
摘要: 1.选中类,点击顶部菜单:Run-->Edit Configuration,如下所示: 2.选择Application,指定的类,在右边选择Configuration,并在VM options中输入相应参数,如下所示: 阅读全文
posted @ 2017-10-10 13:31 静若清池 阅读(12068) 评论(1) 推荐(0) 编辑
摘要: 使用jvisualvm的remote方式监控服务器端jvisualvm时,不是很方便,因此通过local方式,应该是正路。 一、服务器端(Linux,最小安装模式,没有图形界面) 1.安装xauth 如果在Xshell中配置了X11转发后,出现如下提示: 则需要查看/etc/ssh/sshd_con 阅读全文
posted @ 2017-10-05 21:41 静若清池 阅读(2442) 评论(0) 推荐(0) 编辑
摘要: 使用Java自带的jvisualvm调试Java程序,可以查看CPU、内存、类及线程等信息,还可以进行Dump,无疑是一个利器 由于客户端是Windows、服务端是Linux,并且是最小安装的Linux,没有图形界面,因此需要进行远程调试 一、客户端:Windows 打开%JAVA_HOME%/bi 阅读全文
posted @ 2017-10-02 16:42 静若清池 阅读(6003) 评论(0) 推荐(0) 编辑
摘要: 参考文章:http://www.cnblogs.com/jasondan/p/set_hadoop_log_level.html Hadoop版本:2.7.3。 Hadoop的默认日志级别为INFO,对于百台以上的集群,如果文件操作频繁的话,NameNode会狂打日志,对性能会有一定的影响。 我们可 阅读全文
posted @ 2017-09-19 19:57 静若清池 阅读(1937) 评论(0) 推荐(0) 编辑
摘要: 1.Jobmanager启动不起来 现象1:查看JobManager日志: WARN org.apache.flink.runtime.webmonitor.JobManagerRetriever - Failed to retrieve leader gateway and port. akka. 阅读全文
posted @ 2017-09-16 22:13 静若清池 阅读(32718) 评论(3) 推荐(1) 编辑
摘要: 一、.proto文件语法高亮显示 需要安装Protobuf Support插件 依次点击Intellij中的“File”-->"Settings"-->"Plugins"-->"Browse repositories",如下所示: 输入Protobuf,如下所示 安装完后,重启Intellij ID 阅读全文
posted @ 2017-09-11 16:24 静若清池 阅读(66887) 评论(2) 推荐(9) 编辑
摘要: 参考文章:https://ci.apache.org/projects/flink/flink-docs-release-1.3/setup/jobmanager_high_availability.html#bootstrap-zookeeper Flink典型的任务处理过程如下所示: 很容易发现 阅读全文
posted @ 2017-09-06 10:07 静若清池 阅读(8738) 评论(4) 推荐(0) 编辑
上一页 1 2 3 4 5 6 7 8 9 10 ··· 14 下一页