上一页 1 ··· 3 4 5 6 7 8 9 10 11 ··· 15 下一页
摘要: 随着云计算的深入落地,大数据技术有了坚实的底层支撑,不断向前发展并日趋成熟,无论是传统企业还是互联网公司,都不再满足于离线批处理计算,而是更倾向于应用实时流计算,要想在残酷的企业竞争中立于不败之地,企业数据必须被快速处理并输出结果,流计算无疑将是企业Must Have的大杀器。作为充电生态网的领军企 阅读全文
posted @ 2017-11-06 18:04 静若清池 阅读(3434) 评论(10) 推荐(8) 编辑
摘要: 1.选中类,点击顶部菜单:Run-->Edit Configuration,如下所示: 2.选择Application,指定的类,在右边选择Configuration,并在VM options中输入相应参数,如下所示: 阅读全文
posted @ 2017-10-10 13:31 静若清池 阅读(15156) 评论(1) 推荐(1) 编辑
摘要: 使用jvisualvm的remote方式监控服务器端jvisualvm时,不是很方便,因此通过local方式,应该是正路。 一、服务器端(Linux,最小安装模式,没有图形界面) 1.安装xauth 如果在Xshell中配置了X11转发后,出现如下提示: 则需要查看/etc/ssh/sshd_con 阅读全文
posted @ 2017-10-05 21:41 静若清池 阅读(2689) 评论(0) 推荐(0) 编辑
摘要: 使用Java自带的jvisualvm调试Java程序,可以查看CPU、内存、类及线程等信息,还可以进行Dump,无疑是一个利器 由于客户端是Windows、服务端是Linux,并且是最小安装的Linux,没有图形界面,因此需要进行远程调试 一、客户端:Windows 打开%JAVA_HOME%/bi 阅读全文
posted @ 2017-10-02 16:42 静若清池 阅读(7330) 评论(0) 推荐(0) 编辑
摘要: 参考文章:http://www.cnblogs.com/jasondan/p/set_hadoop_log_level.html Hadoop版本:2.7.3。 Hadoop的默认日志级别为INFO,对于百台以上的集群,如果文件操作频繁的话,NameNode会狂打日志,对性能会有一定的影响。 我们可 阅读全文
posted @ 2017-09-19 19:57 静若清池 阅读(2278) 评论(0) 推荐(0) 编辑
摘要: 1.Jobmanager启动不起来 现象1:查看JobManager日志: WARN org.apache.flink.runtime.webmonitor.JobManagerRetriever - Failed to retrieve leader gateway and port. akka. 阅读全文
posted @ 2017-09-16 22:13 静若清池 阅读(40035) 评论(4) 推荐(1) 编辑
摘要: 一、.proto文件语法高亮显示 需要安装Protobuf Support插件 依次点击Intellij中的“File”-->"Settings"-->"Plugins"-->"Browse repositories",如下所示: 输入Protobuf,如下所示 安装完后,重启Intellij ID 阅读全文
posted @ 2017-09-11 16:24 静若清池 阅读(85294) 评论(2) 推荐(10) 编辑
摘要: 参考文章:https://ci.apache.org/projects/flink/flink-docs-release-1.3/setup/jobmanager_high_availability.html#bootstrap-zookeeper Flink典型的任务处理过程如下所示: 很容易发现 阅读全文
posted @ 2017-09-06 10:07 静若清池 阅读(10853) 评论(4) 推荐(0) 编辑
摘要: Flink运行Job时,可以通过Job Graph看到执行计划,但是如果用IE,会被坑: 换成谷歌Chrome,就OK了: 这个Job Grap,好像是SVG的,可能是IE不支持SVG,需要安装插件才可以,只是猜测,没有去验证,还是用谷歌了,靠谱! 阅读全文
posted @ 2017-09-05 18:44 静若清池 阅读(573) 评论(0) 推荐(0) 编辑
摘要: Flink提供了FlinkKafkaConsumer08,使用Kafka的High-level接口,从Kafka中读取指定Topic的数据,如果要从多个Topic读取数据,可以如下操作: 1.application.conf中配置 如果使用了配置管理库typesafe.config,可以在其appl 阅读全文
posted @ 2017-09-05 16:57 静若清池 阅读(7839) 评论(0) 推荐(0) 编辑
上一页 1 ··· 3 4 5 6 7 8 9 10 11 ··· 15 下一页