摘要: 基本需求 程序读取HDFS上的日志发送至Kafka集群 由于日志量较大 每小时约7亿条+ 采用多线程 多producer实例发送 TPS 可达到120W+ 修改前Producer配置 val props = new Properties() props.put("bootstrap.servers" 阅读全文
posted @ 2020-12-18 10:36 行则将至777 阅读(500) 评论(0) 推荐(0) 编辑
摘要: Spark 源码浅读-任务提交SparkSubmit main方法 main方法主要用于初始化日志,然后接着调用doSubmit方法。 override def main(args: Array[String]): Unit = { /* 初始化日志 */ val submit = new Spar 阅读全文
posted @ 2020-12-03 16:56 行则将至777 阅读(120) 评论(0) 推荐(0) 编辑
摘要: 方法一: spilt //spilt public String reverseWords(String s) { if(s.length()==0){ return ""; } String[] s1 = s.trim().split(" "); StringBuilder sb=new Stri 阅读全文
posted @ 2020-12-01 17:57 行则将至777 阅读(111) 评论(0) 推荐(0) 编辑
摘要: ##安装 yum install glances -y ##界面 ##介绍 ###命令选项 -b:显示网络连接速度 Byte/ 秒 -B @IP|host :绑定服务器端 IP 地址或者主机名称 -c @IP|host:连接 glances 服务器端 -C file:设置配置文件默认是 /etc/g 阅读全文
posted @ 2020-12-01 12:00 行则将至777 阅读(71) 评论(0) 推荐(0) 编辑
摘要: Arrays.stream(arr).forEach(num -> System.out.println(num)); 阅读全文
posted @ 2020-11-20 14:35 行则将至777 阅读(259) 评论(0) 推荐(0) 编辑