岚天逸见

Kafka错误“Network is unreachable”和“larger than available brokers”

摘要：确定Kafka安装和启动正确，ZooKeeper可以查到所有的Brokers，但执行：kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 -... 阅读全文

posted @ 2017-06-26 17:35 岚天逸见阅读(765) 评论(0) 推荐(0)

利用tcpcopy引流过程

摘要： tcpcopy是一个tcp流量复制工具，当前还支持udp和mysql流量的复制。目的：将机器10.24.110.21的5000端口流量引流到机器10.23.25.11的5000端口。示例：将10.24.110.21:4077引流到10.23.25.11:50001) ... 阅读全文

posted @ 2017-06-22 15:43 岚天逸见阅读(563) 评论(0) 推荐(0)

C++标准库addressof的应用

摘要： C++11将addressof作为标准库的一部分，用于取变量和函数等内存地址。代码示例：#include #include void f() {}int main(){ int m; printf("%p\n", std::addressof(m)); /... 阅读全文

posted @ 2017-06-15 09:53 岚天逸见阅读(850) 评论(0) 推荐(0)

特别的字节对齐问题

摘要：有如下一个结构体：struct X{ uint32_t a; char* b[0];};sizeof(X)的值为多少了？关键点：数组维度为0的成员不参与，但是它的类型参与。注：在x86_64上“char*”的algin值为8，x86上为4。... 阅读全文

posted @ 2017-06-06 16:28 岚天逸见阅读(145) 评论(0) 推荐(0)

HBase thrift2 TIOError

摘要：如果HBase thrift2报：“TIOError exception: Default TException”，这个可能是因为操作的表不存在，不一定是网络或磁盘操作异常。HBase Thrift2偷懒了，所有异常被统一成了TIOError和TIllegalArgu... 阅读全文

posted @ 2017-05-27 17:37 岚天逸见阅读(822) 评论(0) 推荐(0)

通用的进程监控脚本process_monitor.sh使用方法

摘要：不用做任何修改，即可用process_monitor.sh监控各种进程。源码下载：https://github.com/eyjian/libmooon/blob/master/shell/process_monitor.sh。使用之前，请给process_monitor.sh带上可执行权限，不带阅读全文

posted @ 2017-05-24 09:24 岚天逸见阅读(1594) 评论(0) 推荐(0)

Linux批量远程命令和上传下载工具

摘要： https://github.com/eyjian/mooon/releases/tag/mooon-toolsmooon_ssh：批量远程命令工具，在多台机器上执行指定命令mooon_upload：批量远程上传工具，上传单个或多个文件到单台或多台机器mooon_do... 阅读全文

posted @ 2017-05-23 16:13 岚天逸见阅读(713) 评论(0) 推荐(0)

强制DataNode向NameNode上报blocks

摘要：正常情况下，什么时候上报blocks，是由NameNode通过回复心跳响应的方式触发的。一次机房搬迁中，原机房hadoop版本为2.7.2，新机房版本为2.8.0，采用先扩容再缩容的方式搬迁。由于新旧机房机型不同和磁盘数不同，操作过程搞混过hdfs-site.xml，... 阅读全文

posted @ 2017-05-19 10:26 岚天逸见阅读(748) 评论(0) 推荐(0)

HDFS块文件和存放目录的关系

摘要：详情请参见DatanodeUtil.java中的函数idToBlockDir(File root, long blockId)。如果block文件没有放在正确的目录下，则DataNode会出现“expected block file path”日志。// g++ -g... 阅读全文

posted @ 2017-05-19 09:30 岚天逸见阅读(765) 评论(0) 推荐(0)

Failed to place enough replicas

摘要：如果DataNode的dfs.datanode.data.dir全配置成SSD类型，则执行“hdfs dfs -put /etc/hosts hdfs:///tmp/”时会报如下错误：2017-05-04 16:08:22,545 WARN org.apache.... 阅读全文

posted @ 2017-05-04 17:00 岚天逸见阅读(2841) 评论(0) 推荐(0)