Kafka底层原理剖析
摘要：
如何确定kafka各个节点是否在一个kafka集群中，是由指定的zookeeper确定的，如果几台kafka中的配置文件server.properties 中指定的地址是同一Zk地址，则这几台kafka节点同属于一个kafka集群 Kafka底层原理剖析 阅读全文
posted @ 2021-07-09 11:36 RICH-ATONE 阅读(199) 评论(0) 推荐(0)
2021年7月9日 #
Hadoop中的jobhistory配置与启动停止
摘要：
jobhistory的配置 1、在yarn-site.xml中添加 <!-- 开启日志聚合 --> <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> 2.在mapred-site.x 阅读全文
posted @ 2021-07-09 10:29 RICH-ATONE 阅读(874) 评论(0) 推荐(0)
2021年7月7日 #
ClickHouse 命令行客户端详解
摘要：
参考官网： https://clickhouse.tech/docs/zh/interfaces/cli/ 阅读全文
posted @ 2021-07-07 17:44 RICH-ATONE 阅读(1429) 评论(0) 推荐(0)
2021年7月6日 #
实时计算 Flink 版 + Hologres，亿级用户实时 UV 精确去重最佳实践
摘要：
实时计算 Flink 版 + Hologres，亿级用户实时 UV 精确去重最佳实践 阅读全文
posted @ 2021-07-06 18:47 RICH-ATONE 阅读(167) 评论(0) 推荐(0)
Flume报错：ERROR hdfs.HDFSEventSink: process failed java.lang.NoSuchMethodError: org.apache.hadoop.ipc.RPC.getProtocolProx
摘要：
报错日志： 21/07/06 12:07:54 ERROR hdfs.HDFSEventSink: process failed java.lang.NoSuchMethodError: org.apache.hadoop.ipc.RPC.getProtocolProxy(Ljava/lang/Cl 阅读全文
posted @ 2021-07-06 14:08 RICH-ATONE 阅读(2249) 评论(0) 推荐(0)
Flume参数说明及其他
摘要：
普通启动flume：nohup bin/flume-ng agent --conf-file conf/kafka_flume_hdfs.conf --name a2 -Dflume.pirate.logger=INFO,LOGFILE >/home/pirate/programs/flume/lo 阅读全文
posted @ 2021-07-06 12:59 RICH-ATONE 阅读(840) 评论(0) 推荐(0)
2021年7月5日 #
多次format namenode后，datanode无法正常启动
摘要：
DataNode报错日志如下： 2021-07-05 16:30:53,595 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool <registering> (Dat 阅读全文
posted @ 2021-07-05 18:14 RICH-ATONE 阅读(297) 评论(0) 推荐(0)
2021年6月29日 #
Flink Metrics监控
摘要：
Flink Metrics监控参考： Flink Metrics监控与 RestApi https://ci.apache.org/projects/flink/flink-docs-release-1.12/zh/ops/metrics.html 阅读全文
posted @ 2021-06-29 15:14 RICH-ATONE 阅读(159) 评论(0) 推荐(0)
2021年6月28日 #
service to hadoop01/hadoop01:8020 Datanode denied communication with namenode because the host is not in the include-list
摘要：
Hadoop新增节点报错： 2021-06-28 16:02:12,489 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Block pool BP-433041383-192.168.10.249-1494331993586 (Data 阅读全文
posted @ 2021-06-28 16:27 RICH-ATONE 阅读(528) 评论(0) 推荐(0)
Hadoop和HBASE对应兼容版本
摘要：
参考官网： https://hbase.apache.org/book.html#configuration 阅读全文
posted @ 2021-06-28 11:08 RICH-ATONE 阅读(929) 评论(0) 推荐(0)
浙公网安备 33010602011771号