随笔分类 -  Kafka

kafka性能测试代码
摘要:bin/kafka-producer-perf-test.sh --num-records 5000000 --record-size 5000 \ --topic kafkatopic2 \ --broker-list bin/kafka-run-class.sh org.apache.kafka.clients.tools.ProducerPerformance kafka... 阅读全文

posted @ 2019-07-19 23:36 tneduts 阅读(519) 评论(0) 推荐(0)

spark restful 作业提交
摘要:spark1.4起,在启动master进程时候,同时会有一个restful的服务器,可以接受RESTFUL的请求, 以下是提交应用的示例 示例spark-streaming程从kafka中读取数据并写入到elasticsearch,都是在容器中使用的,遇到如下问题:org.apache.spark. 阅读全文

posted @ 2018-11-13 20:04 tneduts 阅读(1323) 评论(0) 推荐(0)

spark streaming基础知识1
摘要:1.怎么理解spark streaming中的dstream? 它是spark streaming的基础数据结构,代表着(time,RDD)序列,有两种生成方式,一种是基于流数据创建(kafka,socket...),一种是基于已有的dstream进行转换产生.在spark streaming作业运 阅读全文

posted @ 2017-05-20 12:30 tneduts 阅读(332) 评论(2) 推荐(0)

项目笔记
摘要:1.SPARK-SQL 执行几个集市表的ETL报错,出错为空指针异常,推断的表中数据内容有问题,同事重新生成一HIVE表后导入数据,问题消除,未找到根本原因 2.SQOOP提交时按队列 sqoop -D mapred.job.queue.name=queuename SQOOP通过METASTORE 阅读全文

posted @ 2016-12-29 18:33 tneduts 阅读(469) 评论(0) 推荐(0)

KAFKA一异常处理记录
摘要:kafka-console-consumer.sh --topic TOPIC_KEYWORD --from-beginning --zookeeper localhost报异常,Exception in thread "main" java.lang.NoSuchMethodError: kafk 阅读全文

posted @ 2016-07-30 08:50 tneduts 阅读(979) 评论(0) 推荐(0)

kafka集群安装
摘要:主要需要设置的是conf文件夹中的server.properties文件, broker.id,不同的机器节点,使用不同的id号,不能重复。 num.network.threads=8 num.partitions=8 配置环境变量 vi /home/ochadoop/.bash_profile e 阅读全文

posted @ 2016-05-11 07:52 tneduts 阅读(137) 评论(0) 推荐(0)

Kafka原理与java simple producer示例
摘要:brokers和消费者使用zk来获取状态信息和追踪消息坐标。 每一个partition是一个有序的,不可变的消息序列。 只有当partition里面的file置换到磁盘文件以后,才开放给消费者来消费。 每一个partition是跨服务器地被复制到其他地方,为了容错的目的。 这个partition可以 阅读全文

posted @ 2015-11-09 17:16 tneduts 阅读(1615) 评论(3) 推荐(0)

【转载】kafka的工作原理
摘要:http://www.ibm.com/developerworks/cn/opensource/os-cn-kafka/index.html 消息队列 消息队列技术是分布式应用间交换信息的一种技术。消息队列可驻留在内存或磁盘上, 队列存储消息直到它们被应用程序读走。通过消息队列,应用程序可独立地执行--它们不需要知道彼此的位置、或在继续执行前不需要等待接收程序接收此消息。在分布式计算环境中,为... 阅读全文

posted @ 2015-11-08 10:40 tneduts 阅读(275) 评论(0) 推荐(0)

kafka basic commands
摘要:kafka-server-start.sh config/server.properties & kafka-server-stop.sh kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --par... 阅读全文

posted @ 2015-07-05 10:28 tneduts 阅读(319) 评论(3) 推荐(0)

导航