随笔档案「2017年2月」 - baraka

摘要：console-consumer can't rebalance after 4 retries 解决方案：kafka0.9版本换成1.0版本究竟是怎么回事我也不知道阅读全文

posted @ 2017-02-22 19:03 baraka 阅读(1329) 评论(0) 推荐(0)

摘要：broker.id--服务器编号 host.name--推荐写本机ip advertised.host.name--外网访问ip advertised.port--外网访问端口 num.partitions--创建时的分区数目 zookeeper.connect--连接的zookeeper的ip:p 阅读全文

posted @ 2017-02-22 15:59 baraka 阅读(2716) 评论(0) 推荐(0)

Kafka内核理解：消息的收集/消费机制

摘要：一、Kafka数据收集机制 Kafka集群中由producer负责数据的产生，并发送到对应的Topic；Producer通过push的方式将数据发送到对应Topic的分区 Producer发送到Topic的数据是有key/value键值对组成的，Kafka根据key的不同的值决定数据发送到不同的Pa 阅读全文

posted @ 2017-02-21 19:18 baraka 阅读(2366) 评论(0) 推荐(0)

kafka删除topic及其相关数据

摘要：1、删除kafka存储目录（server.properties文件log.dirs配置，默认为"/tmp/kafka-logs"）相关topic目录 2、Kafka 删除topic的命令是： ./bin/kafka-topics --delete --zookeeper 【zookeeper ser 阅读全文

posted @ 2017-02-20 19:35 baraka 阅读(5385) 评论(0) 推荐(2)

kafka使用问题解决

摘要：java.lang.UnsupportedClassVersionError:org/apach/kafka/comon/utils/Utils:Unsupport major.minor version 51.0 java版本1.8 /etc/profile里写的JAVA_HOME版本为1.8 低阅读全文

posted @ 2017-02-20 15:50 baraka 阅读(245) 评论(0) 推荐(0)

深入理解Linux-hostname

摘要：当我觉得对Linux系统下修改hostname已经非常熟悉的时候，今天碰到了几个个问题，这几个问题给我好好上了一课，很多知识点，当你觉得你已经掌握的时候，其实你了解的还只是皮毛。技术活，切勿浅尝则止！实验环境：Red Hat Enterprise Linux Server release 5.7 阅读全文

posted @ 2017-02-20 15:00 baraka 阅读(264) 评论(0) 推荐(0)

librdkafka 安装

摘要：1，Git clone git clone https://github.com/edenhill/librdkafka.git 2，cd librdkafka/ 3，./configure 4，make 5，sudo make install 最后链接lib库: -lrdkafka++ other 阅读全文

posted @ 2017-02-20 14:26 baraka 阅读(3205) 评论(0) 推荐(0)

linux 查看汉字编码方式

摘要：hexdump -C b.bcp 09 为\t 0a 为\n 一个汉字占三位为utf-8 占两位的不对阅读全文

posted @ 2017-02-16 20:22 baraka 阅读(1204) 评论(0) 推荐(0)

c++ 加载库错误问题解决

摘要：转载自：http://blog.csdn.net/sahusoft/article/details/7388617 一般我们在Linux下执行某些外部程序的时候可能会提示找不到共享库的错误, 比如: tmux: error while loading shared libraries: libeve 阅读全文

posted @ 2017-02-11 10:32 baraka 阅读(1116) 评论(0) 推荐(0)

kafka producer发送消息 Failed to update metadata after问题

摘要：提示示例： ERROR Error when sending message to topic test with key: null, value: 2 bytes with error: Failed to update metadata after 60000 ms. 解决方案：这样的问题需阅读全文

posted @ 2017-02-10 09:24 baraka 阅读(15218) 评论(0) 推荐(0)

kafka集群安装部署

摘要：Apache Kafka 是一个高吞吐量分布式消息系统，由LinkedIn开源。引用官网对kafka的介绍：“Apache Kafka is publish-subscribe messaging rethought as a distributed commit log.” “publish-su 阅读全文

posted @ 2017-02-09 16:38 baraka 阅读(367) 评论(0) 推荐(0)

kafka语句示例

摘要：1.从http://kafka.apache.org/下载kafka安装包；2.tar zxvf kafka_2.8.0.tar.gz,修改配置文件conf/server.properties：broker.id=0；host.name=10.100.5.9；zookeeper.connect=10 阅读全文

posted @ 2017-02-09 15:03 baraka 阅读(1042) 评论(0) 推荐(0)

zookeeper安装

摘要：单机模式点击这里下载zookeeper的安装包之后, 解压到合适目录. 进入zookeeper目录下的conf子目录, 创建zoo.cfg: Bash代码 tickTime=2000 dataDir=/Users/apple/zookeeper/data dataLogDir=/Users/app 阅读全文

posted @ 2017-02-05 11:08 baraka 阅读(159) 评论(0) 推荐(0)

redhat java配置

摘要：原来的java版本为1.4 whereis java后将java原来的目录全部删除拿来新的1.8的安装好的java包 vi /etc/profile插入 JAVA_HOME=/usr/local/java/jdk8【此处是你的路径】 PATH=$JAVA_HOME/bin:$PATH CLASS 阅读全文

posted @ 2017-02-04 10:20 baraka 阅读(651) 评论(0) 推荐(0)

公告