11 2020 档案

Kafka消费者 API(自动提交offset)
摘要：1源码demo package com.kpwong.consumer; import org.apache.kafka.clients.consumer.ConsumerConfig; import org.apache.kafka.clients.consumer.ConsumerRecord; 阅读全文
posted @ 2020-11-28 16:57 kpwong 阅读(903) 评论(0) 推荐(0)
kafka 同步发送消息
摘要：同步发送的意思就是，一条消息发送之后，会阻塞当前线程， 直至返回 ack。由于send方法返回的是一个 Future对象，根据 Futrue对象 的特点，我们也可以实现 同步发送的效果 ，只需在调用 Future对象的 get方法即可。 //发送数据 for(int i = 11 ;i <= 20; 阅读全文
posted @ 2020-11-28 16:22 kpwong 阅读(1636) 评论(0) 推荐(0)
kafka 自定义分区
摘要：1：POM文件 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>0.11.0.0</version> </dependency> 2：自定义分区 pack 阅读全文
posted @ 2020-11-28 16:09 kpwong 阅读(502) 评论(0) 推荐(0)
kafka生产者 API Demo
摘要：添加POM文件 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>0.11.0.0</version> </dependency> API生产者(注意:to 阅读全文
posted @ 2020-11-28 14:13 kpwong 阅读(324) 评论(0) 推荐(0)
Spark Java版本wordCount
摘要：import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api 阅读全文
posted @ 2020-11-25 14:56 kpwong 阅读(596) 评论(0) 推荐(0)
Flume与kafka集成
摘要：1）配置flume(flume-kafka.conf) # define a1.sources = r1 a1.sinks = k1 a1.channels = c1 # source a1.sources.r1.type = exec a1.sources.r1.command = tail -F 阅读全文
posted @ 2020-11-25 09:04 kpwong 阅读(164) 评论(0) 推荐(0)
Spark Stuctured Streaming 读取文件夹数据
摘要：package com.kpwong.structure.streaming import org.apache.spark.sql.streaming.Trigger import org.apache.spark.sql.{DataFrame, SparkSession} import org. 阅读全文
posted @ 2020-11-10 13:55 kpwong 阅读(328) 评论(0) 推荐(0)
Spark Stuctured Streaming(实时流计算：Structured Streaming) windows开发环境搭建
摘要：1:http://archive.apache.org/dist/hadoop/core/hadoop-2.7.0/ 下载Hadoop安装包到本地并解压 2: https://github.com/srccodes/hadoop-common-2.2.0-bin 下载这包. 3: 将步骤2下载的bi 阅读全文
posted @ 2020-11-10 11:39 kpwong 阅读(370) 评论(0) 推荐(0)
Hadoop HA一键启动，一键关闭脚本
摘要：本脚本实现一个简单的三台机器分布式集群环境下的Hadoop一键启动。 1：在目录 /usr/local/bin下 touch xhp.sh 2: chmod 777 xhp.sh 3: 编辑 xhp.sh ZK:Zookeeper ZKFC:Zookeeper FailoverController 阅读全文
posted @ 2020-11-07 12:54 kpwong 阅读(782) 评论(0) 推荐(1)
journalnode集群启动脚本
摘要：1：在目录 /usr/local/bin下 touch xjn.sh 2: chmod 777 xjn.sh 3: 编辑 xjn.sh #判断用户是否传参 if [ $# -ne 1 ];then echo "无效参数，用法为: $0 {start|stop}" exit fi #获取用户输入的命令 阅读全文
posted @ 2020-11-07 11:02 kpwong 阅读(702) 评论(0) 推荐(0)
necat 安装
摘要：NetCat是一个非常简单的Unix工具，可以读、写TCP或UDP网络连接(network connection)。它被设计成一个可靠的后端(back-end) 工具，能被其它的程序程序或脚本直接地或容易地驱动。同时，它又是一个功能丰富的网络调试和开发工具，因为它可以建立你可能用到的几乎任何类型的连 阅读全文
posted @ 2020-11-06 16:36 kpwong 阅读(349) 评论(0) 推荐(0)